WO2017104328A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2017104328A1
WO2017104328A1 PCT/JP2016/083698 JP2016083698W WO2017104328A1 WO 2017104328 A1 WO2017104328 A1 WO 2017104328A1 JP 2016083698 W JP2016083698 W JP 2016083698W WO 2017104328 A1 WO2017104328 A1 WO 2017104328A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
unit
coordinate conversion
tangential
Prior art date
Application number
PCT/JP2016/083698
Other languages
English (en)
French (fr)
Inventor
慶延 岸根
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2017556427A priority Critical patent/JP6417055B2/ja
Priority to CN201680073401.7A priority patent/CN108370415B/zh
Publication of WO2017104328A1 publication Critical patent/WO2017104328A1/ja
Priority to US16/009,384 priority patent/US10567647B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for processing an image acquired using an optical system, and more particularly to an image processing apparatus and an image processing method for performing image processing according to characteristics of an optical system.
  • An image captured through the optical system may have a reduced resolution due to the characteristics of the optical system.
  • an image that enhances the resolution of the captured image may be performed.
  • the resolution enhancement processing there are processing for restoring the resolution using a point spread function (PSF: Point Spread Function) indicating the response of the optical system to the point light source (restoration processing) and contour enhancement processing for enhancing the contour of the subject.
  • PSF Point Spread Function
  • the photographic lens included in the optical system may have different resolutions in the sagittal direction (Sagittal direction) and the tangential direction (Tangential direction) or meridional direction (Meridional direction) perpendicular to the sagittal direction. Due to the difference in resolution, the resolution varies depending on the direction in the captured image.
  • the photographic lens is designed to reduce the difference in resolution depending on the direction. However, the resolution difference depending on the direction tends to increase due to the recent increase in the number of pixels and the F value (F value). There are cases where the resolution difference is compensated.
  • Patent Document 1 by correcting the mismatch between the sagittal direction and the meridional direction MTF (Modulation Transfer Function), and then performing the recovery process, even if the recovery process is weakened, the image is beautifully blurred (with a circular or nearly circular shape). It describes that it is possible to obtain a blurred image.
  • MTF Modulation Transfer Function
  • a photographed image photographed through an optical system may include a distortion component due to optical system distortion (distortion aberration).
  • Patent Document 2 by correcting the distortion component after the point image restoration process (recovery process), it is possible to avoid converting the recovery filter used for the recovery process in accordance with the distortion correction condition, thereby reducing the kernel of the recovery filter. It is described that the increase in size is suppressed.
  • the conventional technique cannot efficiently obtain a good restored image when the resolution of the taking lens differs depending on the direction or when distortion is present.
  • the technique described in Patent Document 1 since the two-stage filter processing of correcting the mismatch of MTF in the sagittal direction / meridional direction (MTF aberration) with the filter and then performing the recovery processing with the filter, the processing is complicated. It was difficult to increase the speed.
  • the technique described in Patent Document 2 since the distortion component is corrected after the point image restoration process, it is necessary to perform point image restoration in a state where the image has a distortion component (a state in which there is a difference in resolution depending on the direction). Therefore, it is necessary to use a rotationally asymmetric filter for point image restoration. For this reason, the restoration process is still complicated and difficult to speed up, and is not very effective.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus and an image processing method capable of efficiently obtaining a good restored image.
  • the image processing apparatus includes an image acquisition unit that acquires a captured image of a subject that has been captured through a photographing lens, and coordinate-transforms the captured image.
  • a coordinate conversion unit that brings the sagittal resolution, which is the tangential direction of the circumference around the center of the imaging surface, and the tangential resolution, which is the radial direction perpendicular to the tangential direction, at a specified spatial frequency, and coordinate conversion
  • a resolution enhancement processing unit that performs a rotationally symmetric resolution enhancement process on the image.
  • the resolution enhancement processing is performed after the sagittal (tangential direction) resolution and the tangential (radiation direction) resolution of the captured image are made closer to each other by coordinate transformation
  • a rotationally symmetric filter is used for the resolution enhancement processing. Therefore, the filter size can be suppressed and the processing speed can be increased, and the processing to bring the resolution closer is performed by coordinate conversion. Therefore, the processing is not complicated by using the filter for the coordinate conversion. Further, in the first aspect, there is no need to convert the filter used for the restoration process according to the distortion correction condition as mentioned in the above-mentioned Patent Document 2 as the problem of the prior art.
  • the desired spatial frequency is designated and the resolution at this spatial frequency is set. It is possible to make it closer, and a good restored image can be obtained efficiently.
  • the spatial frequency specified in the first mode may be a specific spatial frequency or may have a width (range).
  • the image processing apparatus can efficiently obtain a good restored image.
  • point image restoration processing reconstruction processing
  • contour enhancement processing can be performed as the resolution enhancement processing.
  • rotationally symmetric resolution enhancement processing means that a filter used for resolution enhancement processing is rotationally symmetric.
  • An image processing apparatus includes an information acquisition unit that acquires sagittal resolution information and tangential resolution information of a captured image in the first aspect, and the coordinate conversion unit includes the acquired sagittal resolution information. Coordinate conversion is performed based on the resolution information and the tangential resolution information.
  • the second mode prescribes that information for obtaining close resolution is acquired.
  • the information acquisition unit acquires the resolution information by acquiring information recorded on the shooting lens, downloading from the Web, analyzing and acquiring a captured image, acquiring based on user input, and the like. You may make it carry out by the method of.
  • the image processing apparatus has an optical system including a photographing lens, and the image acquisition unit acquires a captured image via the optical system.
  • the third aspect prescribes an image processing apparatus including an optical system for acquiring a captured image.
  • the image processing apparatus is the image processing apparatus according to the third aspect, wherein the photographic lens has a tangential resolution in which a sagittal resolution, which is a tangential direction of the circumference around the optical axis, is a radial direction perpendicular to the tangential direction. Higher than.
  • the sagittal (tangential direction) resolution of the photographic lens is higher than the tangential (radial direction) resolution, and as a result, the tangential resolution is also the radial resolution in the image of the subject. In such a case, a good restored image can be efficiently obtained.
  • the coordinate conversion unit converts at least one of coordinate conversion for compressing the peripheral part of the captured image and coordinate conversion for expanding the central part of the captured image. I do.
  • the fifth mode specifically defines the coordinate transformation in the case where the tangential resolution is higher than the radial resolution in the image as in the fourth mode.
  • expansion and contraction by coordinate transformation may be performed at a degree corresponding to the image height.
  • the distortion of the photographing lens is positive.
  • the photographed image since the distortion aberration of the photographing lens is positive, the photographed image also has a pincushion-type distortion component (the elongation increases toward the periphery of the image) due to this.
  • the image processing apparatus is the image processing apparatus according to the third aspect, wherein the photographic lens has a sagittal resolution in which a tangential resolution that is a radial direction around the optical axis is a tangential direction perpendicular to the radial direction. Higher than.
  • the tangential (radial direction) resolution of the taking lens is higher than the sagittal (tangential direction) resolution, and the radial direction resolution is also the tangential resolution in an image obtained by photographing the subject. In such a case, a good restored image can be efficiently obtained.
  • the coordinate conversion unit is at least one coordinate conversion of coordinate conversion that expands a peripheral portion of the captured image and coordinate conversion that compresses the central portion of the captured image. I do.
  • the eighth aspect specifically defines coordinate transformation in the case where the radial resolution is higher than the tangential resolution in the image as in the seventh aspect.
  • expansion and contraction by coordinate transformation may be performed at a degree corresponding to the image height.
  • the distortion aberration of the photographing lens is negative.
  • the photographed image since the distortion aberration of the photographing lens is negative, the photographed image also has a distortion component of the shape due to this (the contraction is larger toward the periphery of the image).
  • the coordinate conversion unit corrects distortion aberration of the photographing lens by coordinate conversion.
  • the distortion component in the captured image can also be corrected by coordinate conversion that brings the sagittal resolution and the tangential resolution close to each other.
  • an image processing apparatus includes an inverse conversion unit that performs an inverse conversion of coordinate conversion on an image subjected to resolution enhancement processing. According to the eleventh aspect, it is possible to obtain a restored image having the same composition as the original image (the photographed image before coordinate conversion). In the eleventh aspect, whether to perform reverse conversion may be determined depending on whether or not the distortion of the photographing lens is corrected by coordinate conversion that brings the resolution closer.
  • the coordinate conversion unit has a higher one of a sagittal resolution and a tangential resolution at a designated spatial frequency in the coordinate-converted image. Coordinate conversion is performed so that the lower one of the sagittal resolution and the tangential resolution is 0.5 or more, preferably 0.75 or more, when the other resolution is 1.
  • the relationship between the sagittal resolution and the tangential resolution for performing rotationally symmetric resolution enhancement processing is defined.
  • an image processing method is an image processing method of an image processing apparatus including an image acquisition unit, a coordinate conversion unit, and a resolution enhancement processing unit.
  • the coordinate conversion process that brings the resolution of the sagittal and the tangential resolution that is the radial direction perpendicular to the tangential direction close to each other at the specified spatial frequency, and is rotated by the resolution enhancement processing unit for the coordinate-converted image
  • a resolution enhancement processing step for performing symmetrical resolution enhancement processing is performed. According to the thirteenth aspect, a good restored image can be efficiently obtained as in the first aspect.
  • the image processing method according to a fourteenth aspect is the image processing method according to the thirteenth aspect, further comprising an information acquisition step of acquiring sagittal resolution information and tangential resolution information of the captured image, and the acquired sagittal resolution in the coordinate conversion step. And coordinate conversion based on the tangential resolution information.
  • appropriate coordinate transformation can be performed by acquiring information on the sagittal and tangential resolution of the captured image.
  • the image processing method according to the fifteenth aspect according to the thirteenth or fourteenth aspect further includes an inverse conversion step of performing an inverse conversion of coordinate conversion on the image subjected to the resolution enhancement process.
  • an inverse conversion step of performing an inverse conversion of coordinate conversion on the image subjected to the resolution enhancement process.
  • a restored image having the same composition as the original image can be obtained.
  • FIG. 1 is a block diagram illustrating a digital camera according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the camera body controller.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the image processing unit.
  • FIG. 4 is a diagram schematically illustrating a subject image, a captured image, and a coordinate conversion image.
  • FIG. 5 is a diagram illustrating an example of the resolution of a captured image.
  • FIG. 6 is a flowchart showing the operation of the image processing unit.
  • FIG. 7 is another diagram illustrating an example of the resolution of a captured image.
  • FIG. 8 is a table showing the results of image simulation.
  • FIG. 9 is a diagram illustrating an area used for the image simulation illustrated in FIG. 8 in the captured image.
  • FIG. 9 is a diagram illustrating an area used for the image simulation illustrated in FIG. 8 in the captured image.
  • FIG. 10 is a diagram showing an outline from image capturing to point image restoration processing.
  • FIG. 11 is a block diagram illustrating an example of a point image restoration process.
  • FIG. 12 is a diagram illustrating an example of the recovery filter.
  • FIG. 13 is another diagram schematically showing a subject image and a captured image.
  • FIG. 14 is another diagram illustrating the resolution of a captured image.
  • FIG. 15 is still another diagram schematically showing a captured image.
  • FIG. 16 is a diagram illustrating a change in resolution due to coordinate conversion.
  • FIG. 17 is a diagram illustrating an example of the resolution of a captured image according to the second embodiment of the present invention.
  • FIG. 18 is another diagram showing a change in resolution due to coordinate transformation.
  • FIG. 19 is a block diagram illustrating a configuration of a computer.
  • FIG. 20 is a diagram illustrating an appearance of a smartphone according to the third embodiment of the present invention.
  • FIG. 21 is a block diagram illustrating a configuration of a smartphone.
  • FIG. 1 is a block diagram showing a digital camera 10 connected to a computer.
  • the digital camera 10 includes a lens unit 12 and a camera main body 14 including an image sensor 26.
  • the lens unit 12 and the camera main body 14 are the lens unit input / output unit 22 of the lens unit 12 and the camera main body of the camera main body 14. It is electrically connected to the input / output unit 30.
  • the digital camera 10 can be used in various fields. For example, it can be used not only in general photography but also in the security field (surveillance camera) and the medical field (endoscope).
  • the lens unit 12 includes an optical system such as a photographing lens 16 and a diaphragm 17 and an optical system operation unit 18 that controls the optical system.
  • the optical system operation unit 18 includes a memory 19 in which resolution information and distortion information described later are recorded, a lens unit controller 20 connected to the lens unit input / output unit 22, and an actuator (not shown) for operating the optical system. ).
  • the lens unit controller 20 controls the optical system via an actuator based on a control signal sent from the camera body 14 via the lens unit input / output unit 22, for example, focus control or zoom control by lens movement, aperture 17 aperture amount control and the like are performed.
  • the imaging device 26 of the camera body 14 includes a condensing microlens, color filters such as R (red), G (green), and B (blue), an image sensor (photodiode, CMOS (Complementary Metal Oxide Semiconductor), CCD (Charge-Coupled Device).
  • the image sensor 26 converts an optical image of a subject imaged by the optical system of the lens unit 12 (photographing lens 16, aperture 17, etc.) into an electrical signal, and sends an image signal (original image data) to the camera body controller 28. send.
  • the image sensor 26 of this example outputs original image data by photographing a subject using an optical system, and this original image data is transmitted to the image processing unit 35 of the camera body controller 28.
  • the camera body controller 28 has a device control unit 34 and an image processing unit 35 as shown in FIG. 2, and controls the camera body 14 in an integrated manner.
  • the device control unit 34 controls the output of an image signal (image data) from the image sensor 26, generates a control signal for controlling the lens unit 12, and the lens unit via the camera body input / output unit 30. 12 (lens unit controller 20) and image data before and after image processing (RAW (raw image) format) data, JPEG (Joint / Photographic / Experts) to external devices (such as the computer 60) connected via the input / output interface 32 Group) data, etc.).
  • the device control unit 34 appropriately controls various devices included in the digital camera 10 such as a liquid crystal monitor 31 (see FIG. 1) and an EVF (Electronic View Finder) (not shown).
  • the image processing unit 35 can perform arbitrary image processing on the image signal from the image sensor 26 as necessary. For example, sensor correction processing, demosaicing (synchronization) processing, pixel interpolation processing, color correction processing (offset correction processing, white balance processing, color matrix processing, tone correction processing, etc.), RGB image processing (tone correction processing, exposure correction)
  • the image processing unit 35 appropriately performs various image processing such as RGB / YCrCb conversion processing and image compression processing. An image obtained by such image processing can be displayed on the liquid crystal monitor 31.
  • the digital camera 10 shown in FIG. 1 includes other devices (shutters and the like) necessary for shooting and the like, and the user can use a user interface 29 (various buttons, switches, and the like) provided on the camera body 14.
  • a user interface 29 various settings for shooting, for example, input and settings related to coordinate conversion and resolution enhancement processing described later (acquisition of resolution information and distortion information of the lens unit 12, designation of spatial frequency, whether to perform reverse conversion, etc.) Can be appropriately determined and changed.
  • the user interface 29 is connected to the camera body controller 28 (device control unit 34 and image processing unit 35), and various settings determined and changed by the user are reflected in various processes in the camera body controller 28.
  • Various settings via the user interface 29 can be performed while confirming images and information displayed on the liquid crystal monitor 31.
  • the image data processed by the camera body controller 28 is sent to the computer 60 or the like via the input / output interface 32.
  • the format of the image data sent from the digital camera 10 (camera body controller 28) to the computer 60 or the like is not particularly limited, and may be any format such as RAW, JPEG, TIFF (Tag Image Image File Format). Therefore, the camera body controller 28, like so-called Exif (Exchangeable Image File Format), includes header information (shooting information such as shooting date / time, model, number of pixels, aperture value, etc.), main image data, thumbnail image data, and the like.
  • the related data may be associated with each other to form one image file, and the image file may be transmitted to the computer 60.
  • the computer 60 is connected to the digital camera 10 via the input / output interface 32 and the computer input / output unit 62 of the camera body 14, and receives data such as image data sent from the camera body 14.
  • the computer controller 64 controls the computer 60 in an integrated manner, performs image processing on image data from the digital camera 10, and communicates with a server 80 or the like connected to the computer input / output unit 62 via a network line such as the Internet 70.
  • the computer 60 has a display 66, and the processing contents in the computer controller 64 are displayed on the display 66 as necessary.
  • the user can input data and commands to the computer controller 64 by operating input means (not shown) such as a keyboard while confirming the display on the display 66. Accordingly, the user can control the computer 60 and the devices (digital camera 10 and server 80) connected to the computer 60.
  • the server 80 includes a server input / output unit 82 and a server controller 84.
  • the server input / output unit 82 constitutes a transmission / reception connection unit with external devices such as the computer 60, and is connected to the computer input / output unit 62 of the computer 60 via a network line such as the Internet 70.
  • the server controller 84 cooperates with the computer controller 64 in response to a control instruction signal from the computer 60, transmits and receives data to and from the computer controller 64 as necessary, downloads the data to the computer 60, Calculation processing is performed and the calculation result is transmitted to the computer 60.
  • Each controller (lens unit controller 20, camera body controller 28, computer controller 64, server controller 84) has circuits necessary for control processing, such as arithmetic processing circuits (CPU (Central Processing Unit) etc.), memory, etc. It comprises. Communication between the digital camera 10, the computer 60, and the server 80 may be wired or wireless. Further, the computer 60 and the server 80 may be configured integrally, and the computer 60 and / or the server 80 may be omitted. Further, the digital camera 10 may be provided with a communication function with the server 80, and data may be directly transmitted and received between the digital camera 10 and the server 80.
  • CPU Central Processing Unit
  • FIG. 3 is a functional block diagram illustrating a functional configuration example of the image processing unit 35 (information acquisition unit) according to the first embodiment.
  • the image processing unit 35 is provided in the camera body controller 28, and in addition to the functions such as the demosaic processing described above, the image acquisition unit 40, the coordinate conversion unit 41, the resolution enhancement processing unit 42, the inverse conversion unit 43, and the information acquisition unit 44. It has.
  • the image acquisition unit 40 acquires a captured image acquired from the image sensor 26 by capturing a subject using an optical system.
  • the captured image is based on the image data output from the image sensor 26 by capturing the subject, and the image format is particularly limited as long as the coordinate conversion performed by the coordinate conversion unit 41 can be performed. Is not to be done.
  • the image acquisition unit 40 acquires image data that has been subjected to sensor correction processing, demosaic processing, pixel interpolation processing, color correction processing, RGB image processing, and RGB / YCrCb conversion processing as a captured image.
  • sensor correction processing demosaic processing
  • pixel interpolation processing color correction processing
  • RGB image processing RGB image processing
  • RGB / YCrCb conversion processing RGB / YCrCb conversion processing
  • the coordinate conversion unit 41 performs coordinate conversion on the captured image acquired by the image acquisition unit 40 so that the resolution in the sagittal (tangential direction) and the resolution in the tangential (radial direction) approach each other.
  • the resolution enhancement processing unit 42 performs rotationally symmetric resolution enhancement processing on the image after coordinate conversion.
  • the inverse conversion unit 43 performs reverse conversion of coordinate conversion by the coordinate conversion unit 41 on the image after the resolution enhancement processing.
  • the information acquisition unit 44 acquires sagittal and tangential resolution information and distortion aberration information of the photographing lens 16 stored in the memory 19 of the lens unit 12. Details of image processing using these functions of the image processing unit 35 will be described later.
  • the information acquisition unit 44 (information acquisition unit) of the image processing unit 35 acquires the sagittal resolution information and the tangential resolution information of the taking lens 16 from the memory 19 of the lens unit 12 and uses the acquired information.
  • the resolution of the photographed image is obtained (step S11 in FIG. 6: information acquisition step).
  • the resolution information of the taking lens 16 may be obtained from the memory 19 as well as from the Internet 70, or an image (for example, the photographed image 51 in FIG. 4B) taken by the information obtaining unit 44 may be obtained.
  • the user may input information via the user interface 29 while confirming an image or information displayed on the liquid crystal monitor 31, and the information acquisition unit 44 may acquire this information.
  • Information on distortion aberration of the photographic lens 16 can also be acquired by the information acquisition unit 44 via the memory 19, the Internet 70, image analysis, user input, and the like, similar to the acquisition of resolution information described above.
  • FIG. 4A is a diagram schematically illustrating the subject 50
  • FIG. 4B is a diagram schematically illustrating a captured image 51 obtained by the subject 50 captured by the digital camera 10 and acquired by the image acquisition unit 40. It is.
  • the image acquisition unit 40 transmits the acquired captured image 51 to the coordinate conversion unit 41.
  • the tangential direction of the photographing lens 16 (circumferential radial direction around the optical axis) is Ta and the sagittal direction of the photographing lens 16 (centered around the optical axis).
  • the circumferential tangential direction (perpendicular to the radial direction) is denoted by Sa.
  • the characters “FUJIFILM Value from Innovation” in FIGS. 4, 13 and 15 are registered trademarks.
  • the resolution of the captured image 51 differs between sagittal and tangential depending on the resolution of the imaging lens 16.
  • the resolution is an index indicating the degree of blur of an image, and various indexes such as a modulation transfer function (MTF) and a spatial frequency response (SFR) can be used.
  • MTF modulation transfer function
  • SFR spatial frequency response
  • the MTF of the photographing lens 16 is used as an index representing the resolution of the photographed image 51.
  • FIG. 5 is a diagram illustrating an example of the resolution S in the sagittal direction (circumferential tangential direction with the center of the imaging surface as the origin) and the resolution T in the tangential direction (radial direction perpendicular to the tangential direction) in the captured image 51. is there.
  • FIG. 5 shows an example in which the sagittal resolution is higher than the tangential resolution regardless of the spatial frequency.
  • the total spatial frequency is designated to the coordinate conversion unit 41 (image processing unit 35) as a spatial frequency that brings the resolution closer.
  • FIG. 4B shows an example in which the distortion aberration of the photographing lens 16 is positive, and the photographed image 51 has a distortion component of “pincushion type” (the elongation increases toward the periphery of the image) due to this. .
  • FIG. 6 is a diagram showing an outline of image processing (image processing method) in the image processing unit 35.
  • the image acquisition unit 40 of the image processing unit 35 acquires a captured image 51 acquired from the imaging element 26 by capturing the subject 50 using an optical system (step S10: image acquisition step).
  • the information acquisition unit 44 acquires the sagittal resolution S information and the tangential resolution T information of the captured image 51 from the memory 19 of the lens unit 12 (step S11: information acquisition step).
  • the coordinate conversion unit 41 performs coordinate conversion of the captured image 51 based on the resolution information acquired in step S11, and generates a coordinate conversion image 52 as shown in FIG. 4C (step S12: coordinate conversion step). .
  • the resolution enhancement processing unit 42 After the coordinate conversion, the resolution enhancement processing unit 42 performs resolution enhancement processing on the coordinate conversion image 52 (step S13: resolution enhancement processing step).
  • the inverse transformation unit 43 performs coordinate transformation, which is the inverse transformation of the coordinate transformation in step S12, on the image after the resolution enhancement processing, if necessary, and generates an inverse transformation image (step S14: inverse transformation). Process).
  • the coordinate transformation unit 41 sets the higher one of the sagittal resolution and the tangential resolution after coordinate transformation at an arbitrary spatial frequency to 1.0, and the lower one is 0.5 or more.
  • the direction and amount of coordinate conversion are preferably set to be 0.75 or more (when the resolution is expressed in MTF).
  • the sagittal and tangential resolutions after coordinate transformation at the spatial frequency f 1 are R S and R T ( ⁇ R S ), respectively, when R S is 1, RT is 0.5 or more, preferably 0.75 or more.
  • the reason for this value is that if the resolution ratio is within this range, rotationally symmetric resolution enhancement processing can be performed on the coordinate conversion image 52 as described later.
  • the central portion of the captured image 51 may be expanded by an expansion amount corresponding to the image height in the coordinate conversion in step S12. This process can be performed based on the resolution information acquired in step S11.
  • the sagittal resolution S in the coordinate conversion image 52, the sagittal resolution S apparently decreases as shown in FIG. 7B (in FIG. 7B, the sagittal resolution S before coordinate conversion is indicated by a dotted line). Approaches the resolution T of the local.
  • the coordinate transformation unit 41 sagittal after the coordinate transformation in the spatial frequency f 2, tangential resolution each R S of interstitial, when R T ( ⁇ R S), R is taken as 1 a R S T
  • the direction and amount of coordinate transformation are set so that is 0.5 or more, preferably 0.75 or more. Even when such coordinate conversion is performed, the sagittal resolution S and the tangential resolution T are close to each other, so that rotationally symmetric resolution enhancement processing can be performed on the coordinate conversion image 52.
  • step S12 coordinate conversion for compressing the peripheral portion of the captured image 51 with a compression amount corresponding to the image height, and coordinates for expanding the central portion of the captured image 51 with an expansion amount corresponding to the image height.
  • the tangential resolution T is apparently improved and the sagittal resolution S is apparently reduced, and the sagittal resolution S and the tangential resolution T (In FIG. 7C, the sagittal resolution S before coordinate conversion is indicated by a dotted line, and the tangential resolution T before coordinate conversion is indicated by a chain line).
  • FIGS. 7C the sagittal resolution S before coordinate conversion is indicated by a dotted line
  • the tangential resolution T before coordinate conversion is indicated by a chain line.
  • the coordinate conversion unit 41 sets the resolutions of sagittal and tangential after coordinate conversion at the spatial frequency f 3 to R S and R T ( ⁇ R S , respectively). ), The direction and amount of coordinate transformation are set so that RT is 0.5 or more, preferably 0.75 or more when RS is 1.
  • the sagittal resolution S and the tangential resolution T are completely matched by the coordinate transformation in step S12.
  • the resolution approaches the effects of the present invention can be obtained according to the degree of approach.
  • the definition of the axis (direction) is different between the photographic lens 16 and the photographic image 51, but in the image simulation shown in the table of FIG. 8, in the photographic image 51, the “H (horizontal) direction of the photographic image 51 is Sa
  • An image simulation was performed by cutting out a “region (in the vicinity of the region 51a in FIG. 9)” that coincides with the (sagittal) direction and the V (vertical) direction of the photographed image 51 coincides with the Ta (tangential) direction of the photographing lens 16.
  • the photographed image 51 has a difference between the sagittal resolution S and the tangential resolution T as shown in FIG. 5, and has a distortion component caused by the distortion aberration of the photographing lens 16 as shown in FIG. Therefore, in step S11, information on distortion aberration of the photographing lens 16 is acquired, and in step S12, the above-described coordinate conversion is performed in consideration of distortion information (at least one of peripheral compression and central expansion). It is preferable to carry out.
  • the coordinate-transformed image 52 after the coordinate transformation is in a state in which distortion (distortion component) is corrected as shown in FIG. 4C, and the coordinate transformation that brings the sagittal resolution S and the tangential resolution T closer to each other.
  • distortion disortion component
  • FIG. 10 is a diagram showing an outline from image shooting to point image restoration processing (restoration processing).
  • a subject image is formed on an image sensor 26 (image sensor) by an optical system (photographing lens 16, diaphragm 17, etc.).
  • Corresponding to the image 51) is output.
  • the original image data Do is image data in a state where the original subject image is blurred due to a point spread phenomenon derived from the characteristics of the optical system.
  • a coordinate conversion process P30 (step S12 in FIG. 6) is performed on the original image data.
  • the coordinate conversion image 52 after the coordinate conversion is point-symmetric although the asymmetric blur component is corrected by the coordinate conversion process.
  • the blur component remains.
  • point image restoration processing P10 resolution enhancement processing; step S13 in FIG. 6
  • restoration filter F is performed on the coordinate conversion image 52.
  • recovered image data Dr representing an image (recovered image) closer to the original subject image (point image) is obtained.
  • this restored image data Dr is subjected to inverse conversion processing (step S14 in FIG. 6) as necessary.
  • the restoration filter F used in the point image restoration process P10 is obtained by the restoration filter calculation algorithm P20 from the point image information (point spread function) of the optical system according to the photographing conditions at the time of acquiring the original image data Do.
  • the point image information (point spread function) of the optical system may vary depending not only on the type of the taking lens 16 but also on various shooting conditions such as the aperture amount, focal length, zoom amount, image height, number of recorded pixels, pixel pitch, and the like. Therefore, when the recovery filter F is calculated, these photographing conditions are acquired.
  • FIG. 11 is a block diagram illustrating an example of a point image restoration process.
  • the point image restoration process P10 (resolution enhancement process) is a process for creating the restored image data Dr from the coordinate conversion image 52 by the filtering process using the restoration filter F as described above.
  • N ⁇ M N and M are A recovery filter F in the real space constituted by taps of 2 or more integers
  • a weighted average calculation (deconvolution calculation) is performed on the filter coefficient assigned to each tap and the corresponding pixel data (processing target pixel data and adjacent pixel data of the coordinate-transformed image 52).
  • Pixel data (recovered image data Dr) can be calculated.
  • a recovery filter in the real space composed of N ⁇ M taps can be derived by performing an inverse Fourier transform on the recovery filter in the frequency space. Therefore, the recovery filter in the real space can be appropriately calculated by specifying the recovery filter in the basic frequency space and designating the number of taps of the recovery filter in the real space.
  • the recovery filter F is designed to be rotationally symmetric with respect to the kernel center, and can reduce the data stored in the memory. For example, in the case of the 7 ⁇ 7 kernel shown in FIG. 12A, by storing the 4 ⁇ 4 recovery filter G as shown in FIG. Recovery filter F.
  • the resolution enhancement processing unit 42 performs point image restoration processing on the coordinate conversion image 52 using the restoration filter F.
  • a point image restoration process (recovery process) is performed on the coordinate conversion image 52 in which the sagittal resolution S and the tangential resolution T are approximated by coordinate conversion using the recovery filter F that is rotationally symmetric.
  • a good restored image can be obtained efficiently.
  • the image is displayed in a region where the sagittal resolution S is larger (higher). It is preferable to perform coordinate transformation that expands the image in a region where the tangential resolution T is larger (higher).
  • the resolution enhancement process performed by the resolution enhancement processing unit 42 is not particularly limited as long as it is a process of enhancing the resolution of the coordinate conversion image 52 (suppressing blur).
  • the resolution enhancement processing unit 42 may perform contour enhancement processing on the luminance value of the coordinate-converted image 52 using an edge enhancement filter. Note that the resolution enhancement processing unit 42 can perform the resolution enhancement processing on the RGB image before the demosaic processing. In this case, resolution enhancement processing is performed on the RGB image that has been subjected to the coordinate conversion described above.
  • the resolution enhancement processing unit 42 performs the edge enhancement processing as the resolution enhancement processing. Also in the edge enhancement performed by the resolution enhancement processing unit 42, the edge enhancement process is performed by performing a weighted average operation (deconvolution operation) on the filter coefficient and the pixel data assigned to each tap of the edge enhancement filter in the same manner as the recovery process described above. Later pixel data can be calculated. Then, the edge enhancement process can be performed by applying the weighted average process using the edge enhancement filter to all the pixel data constituting the image data while changing the target pixel in order.
  • the edge enhancement filter is created by a known method.
  • the outline enhancement processing as the resolution enhancement processing is a concept including processing called edge enhancement processing or sharpness enhancement processing.
  • the inverse transform unit 43 performs the inverse transform of the coordinate transformation in step S12 on the recovered image (resolution enhanced image) to generate an inversely transformed image (step S14 in FIG. 6).
  • the inversely converted image is an image having the same composition as the captured image 51 and subjected to resolution enhancement processing. If the lens distortion can be sufficiently corrected by the coordinate transformation in step S12 or if the photographed image 51 has almost no distortion component, the inverse transformation in step S14 may not be performed, and the distortion component is added by the coordinate transformation. In this case, the inverse conversion may be performed. For example, when an image such as the photographed image 51 (see FIG. 4) or the photographed image 53 (see FIG.
  • Example 2 a case where the relationship between the sagittal resolution S and the tangential resolution T is different from that in the first embodiment will be described.
  • the first embodiment the case where the sagittal resolution S is higher than the tangential resolution T as shown in FIG. 5 has been described.
  • the tangential resolution T is the sagittal resolution in the captured image. The case where it is higher than S will be described.
  • FIG. 14 is a diagram showing the resolution in such a case. In this case, as shown in FIG. 15, it is assumed that the captured image 53 has barrel distortion (distortion is negative).
  • the configuration and processing procedure of the digital camera 10 may be the same as those of the first embodiment.
  • the coordinate conversion to increase the sagittal resolution S compress the central portion of the photographed image as shown in FIG.
  • the tangential resolution T may be lowered (expanding the peripheral portion of the captured image), or both of these coordinate transformations may be performed as shown in FIG.
  • R T is 1, RS is 0.5 or more, preferably 0.75 or more.
  • the sagittal resolution S and the tangential resolution T are close to each other, so that the rotationally symmetric resolution enhancement processing can be performed on the image after the coordinate conversion in the same manner as in the first embodiment.
  • a restored image can be efficiently obtained, and distortion of the photographing lens 16 is corrected by coordinate conversion. Similar to the first embodiment, the reverse conversion can be performed in the second embodiment as necessary.
  • coordinate conversion of the captured image 51 brings the resolution S of the coordinate conversion image 52 close to the resolution T of the tangential, and this coordinate conversion image Since the resolution emphasis processing that is rotationally symmetric with respect to 52 is performed, it is possible to suppress the calculation processing load of the resolution emphasis processing, and it is possible to efficiently obtain a good restored image.
  • the magnitude relationship between the sagittal resolution S and the tangential resolution T may vary depending on the spatial frequency. In such a case, the resolution may not be close to the entire range of the spatial frequency only by coordinate conversion. . Therefore, in the second embodiment, a spatial frequency region having a specific spatial frequency or width is designated, and the resolution is made close to the spatial frequency.
  • the configuration and processing procedure of the image processing apparatus may be the same as those in the first embodiment.
  • FIG. 17 shows an example in which the magnitude relationship between the sagittal resolution S and the tangential resolution T changes depending on the spatial frequency.
  • the sagittal resolution S and the tangential resolution T almost coincide with each other, but the difference in resolution increases as the spatial frequency increases.
  • the distortion of the photographing lens 16 is positive (the photographed image 51 is obtained by photographing the subject 50 as in FIGS. 4A and 4B).
  • FIG. 18A shows the sagittal resolution at the spatial frequency f C by increasing the tangential (apparent) resolution T by performing coordinate transformation on the captured image 51 to compress the peripheral portion of the image according to the image height.
  • S and the tangential resolution T are matched. Since the sagittal resolution S and the tangential resolution T are approximated by such coordinate conversion, it is possible to perform rotationally symmetric resolution enhancement processing on the image after coordinate conversion as in the first embodiment, Thus, a restored image can be efficiently obtained, and the distortion aberration of the photographing lens 16 is corrected by coordinate conversion.
  • the tangential performs coordinate transformation to compress in response to the peripheral portion of the image to the image height with respect to the captured image 51 (apparent) increase the resolution T, the spatial frequency f L of the f H
  • the sagittal resolution S and the tangential resolution T are close to each other in the range (matched at the spatial frequency f C ).
  • the spatial frequencies f C , f L , and f H are designated as the spatial frequencies f C , f L , and f H.
  • different values may be designated according to the type of image and the purpose of use.
  • the spatial frequency (spatial frequency f L (1/4) ⁇ Nyquist) in the range of the Nyquist frequency of the sensor (imaging device 26) ⁇ (1/4 to 1/2), which is a frequency that is generally important in image quality.
  • the values of the spatial frequencies f C , f L , and f H described above may be specified by the image processing unit 35 (coordinate conversion unit 41) without depending on the user, or input by the user via the user interface 29. A value may be specified.
  • the tangential resolution T is increased by performing coordinate transformation that compresses the peripheral portion of the image according to the image height.
  • the sagittal (apparent) resolution S may be lowered by performing coordinate transformation that expands the center of the image according to the image height. Further, both the coordinate conversion for compressing the peripheral portion of the image according to the image height and the coordinate conversion for expanding the center portion of the image according to the image height are performed (the sagittal resolution S is reduced and the tangential resolution T is increased). You may do it.
  • the lower resolution is set when the higher one of the sagittal resolution S and the tangential resolution T is set to 1, as in the first embodiment. It is preferable to perform coordinate transformation so that the value becomes 0.5 or more, preferably 0.75 or more.
  • FIG. 19 shows a block diagram when the present invention is applied to a computer.
  • the computer 90 includes an image acquisition unit 92, an information acquisition unit 94, a coordinate conversion unit 96, a resolution enhancement processing unit 98, and an inverse conversion unit 99. These units are the image acquisition unit 40 and the information in the digital camera 10.
  • the acquisition unit 44, the coordinate conversion unit 41, the resolution enhancement processing unit 42, and the inverse conversion unit 43 have the same configuration and function. Coordinate transformation, resolution enhancement processing, and inverse transformation similar to those of the digital camera 10 can be performed by such a computer 90, and a load of calculation processing of the resolution enhancement processing can be suppressed and a good restored image can be efficiently obtained. Can do.
  • a magneto-optical recording medium such as a CD (compact disk) or a DVD (digital versatile disk), and a non-temporary recording medium such as various semiconductor memories can be used.
  • FIG. 20 shows an appearance of the smartphone 201 according to the third embodiment.
  • a smartphone 201 illustrated in FIG. 20 includes a flat housing 202, and a display input in which a display panel 221 serving as a display unit and an operation panel 222 serving as an input unit are integrated on one surface of the housing 202. Part 220 is provided.
  • the housing 202 includes a speaker 231, a microphone 232, an operation unit 240, and a camera unit 241 (optical system). Note that the configuration of the housing 202 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent may be employed, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 21 is a block diagram showing a configuration of the smartphone 201 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 220, a call unit 230, an operation unit 240, a camera unit 241, a storage unit 250, and an external input / output unit. 260, GPS (Global Positioning System) receiving unit 270, motion sensor unit 280, power supply unit 290, and main control unit 200 (image acquisition unit, coordinate conversion unit, resolution enhancement processing unit, information acquisition unit, inverse conversion unit) ).
  • GPS Global Positioning System
  • main control unit 200 image acquisition unit, coordinate conversion unit, resolution enhancement processing unit, information acquisition unit, inverse conversion unit
  • main function of the smartphone 201 a wireless communication function for performing mobile wireless communication via a base station device and a mobile communication network is provided.
  • the wireless communication unit 210 performs wireless communication with a base station apparatus accommodated in the mobile communication network in accordance with an instruction from the main control unit 200. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input unit 220 displays images (still images and moving images), character information, and the like visually under the control of the main control unit 200, visually transmits information to the user, and detects a user operation on the displayed information.
  • This is a so-called touch panel, and includes a display panel 221 and an operation panel 222.
  • the display panel 221 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 222 is a device that is placed so that an image displayed on the display surface of the display panel 221 is visible and detects one or more coordinates operated by a user's finger or stylus. When such a device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 200. Next, the main control unit 200 detects an operation position (coordinates) on the display panel 221 based on the received detection signal.
  • the display panel 221 and the operation panel 222 of the smartphone 201 integrally form the display input unit 220.
  • the operation panel 222 completely covers the display panel 221. It has become.
  • the operation panel 222 may have a function of detecting a user operation even in an area outside the display panel 221.
  • the operation panel 222 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 221 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 221. May be included).
  • the operation panel 222 may include two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 202 and the like. Further, examples of the position detection method employed in the operation panel 222 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method, and any method is adopted. You can also
  • the call unit 230 includes a speaker 231 and a microphone 232, converts user's voice input through the microphone 232 into voice data that can be processed by the main control unit 200, and outputs the voice data to the main control unit 200, or a wireless communication unit 210 or the audio data received by the external input / output unit 260 is decoded and output from the speaker 231.
  • the speaker 231 can be mounted on the same surface as the display input unit 220 and the microphone 232 can be mounted on the side surface of the housing 202.
  • the operation unit 240 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 240 is mounted on the side surface of the housing 202 of the smartphone 201 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 250 includes a control program and control data of the main control unit 200, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 250 includes an internal storage unit 251 built in the smartphone and an external storage unit 252 having a removable external memory slot.
  • Each of the internal storage unit 251 and the external storage unit 252 constituting the storage unit 250 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 260 serves as an interface with all external devices connected to the smartphone 201, and communicates with other external devices (for example, USB (Universal Serial Bus), IEEE (Institute of Electrical). and Electronics (Engineers) 1394) or network (for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared data (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband (registered trademark), ZigBee (registered trademark, etc.) for direct or indirect connection.
  • USB Universal Serial Bus
  • IEEE Institute of Electrical
  • Engineers Electronics
  • network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared data (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband (registered trademark), ZigBee (registered trademark, etc.) for direct or indirect connection.
  • IrDA Inf
  • Examples of external devices connected to the smartphone 201 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module / UIM (User Identity Module) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, wired / wireless connection Smart phones, personal computers connected via wired / wireless, PDAs wired / wirelessly connected, and earphones.
  • the external input / output unit can transmit data received from such an external device to each component inside the smartphone 201 and can transmit data inside the smartphone 201 to the external device.
  • the GPS receiving unit 270 receives GPS signals transmitted from the GPS satellites ST1 to STn according to instructions from the main control unit 200, executes positioning calculation processing based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS receiving unit 270 can acquire position information from the wireless communication unit 210 or the external input / output unit 260 (for example, a wireless LAN), the GPS receiving unit 270 can also detect the position using the position information.
  • the motion sensor unit 280 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 201 in accordance with an instruction from the main control unit 200. By detecting the physical movement of the smartphone 201, the moving direction and acceleration of the smartphone 201 are detected. The detection result is output to the main control unit 200.
  • the power supply unit 290 supplies power stored in a battery (not shown) to each unit of the smartphone 201 in accordance with an instruction from the main control unit 200.
  • the main control unit 200 includes a microprocessor, operates according to a control program and control data stored in the storage unit 250, and controls each unit of the smartphone 201 in an integrated manner.
  • the main control unit 200 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 200 operating according to the application software stored in the storage unit 250.
  • Application processing functions include, for example, an infrared communication function for controlling external input / output unit 260 to perform data communication with an opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 200 also has an image processing function such as displaying video on the display input unit 220 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 200 decodes image data, performs image processing on the decoding result, and displays an image on the display input unit 220.
  • the main control unit 200 executes display control for the display panel 221 and operation detection control for detecting a user operation through the operation unit 240 and the operation panel 222.
  • the main control unit 200 By executing the display control, the main control unit 200 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move a display portion of an image such as a large image that cannot fit in the display area of the display panel 221.
  • the main control unit 200 detects a user operation through the operation unit 240, receives an operation on an icon or an input of a character string in an input field of the window through the operation panel 222, Alternatively, it accepts a display image scroll request through a scroll bar.
  • the main control unit 200 causes the operation position with respect to the operation panel 222 to overlap with the display panel 221 (display area) or other outer edge part (non-display area) that does not overlap the display panel 221.
  • a touch panel control function for controlling the sensitive area of the operation panel 222 and the display position of the software key.
  • the main control unit 200 can also detect a gesture operation on the operation panel 222 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one position from a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
  • the camera unit 241 (optical system) is a digital camera that performs electronic photographing using a photographing lens and an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device). Also, the camera unit 241 converts image data obtained by imaging into compressed image data such as JPEG, for example, under the control of the main control unit 200, and records the data in the storage unit 250, or the external input / output unit 260 or wireless communication. Or output through the unit 210. 19 and 20, the camera unit 241 is mounted on the same surface as the display input unit 220, but the mounting position of the camera unit 241 is not limited to this, and is mounted on the back surface of the display input unit 220.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • a plurality of camera units 241 may be mounted. Note that when a plurality of camera units 241 are mounted, the camera unit 241 used for shooting can be switched to perform shooting alone, or a plurality of camera units 241 can be used for shooting simultaneously.
  • the camera unit 241 can be used for various functions of the smartphone 201.
  • an image acquired by the camera unit 241 can be displayed on the display panel 221, or the image of the camera unit 241 can be used as one of operation inputs of the operation panel 222.
  • the GPS receiving unit 270 detects the position, the position can also be detected with reference to an image from the camera unit 241.
  • the optical axis direction of the camera unit 241 of the smartphone 201 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 241 can be used in the application software.
  • the position information acquired by the GPS receiving unit 270 to the image data of the still image or the moving image, the voice information acquired by the microphone 232 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 280 can be added and recorded in the storage unit 250, or output through the external input / output unit 260 and the wireless communication unit 210.
  • the functions and processing procedures (see FIGS. 3 and 6) in the image processing unit 35 described with respect to the first and second embodiments are realized by the main control unit 200, for example.
  • DESCRIPTION OF SYMBOLS 10 ... Digital camera, 12 ... Lens unit, 14 ... Camera body, 16 ... Shooting lens, 17 ... Aperture, 18 ... Optical system operation part, 19 ... Memory, 20 ... Lens unit controller, 22 ... Lens unit input / output part, 26 Image sensor 28 28 Camera controller 29 User interface 30 Camera input / output unit 31 Liquid crystal monitor 32 Input / output interface 34 Device control unit 35 Image processing unit 40 Image acquisition , 41 ... coordinate conversion unit, 42 ... resolution enhancement processing unit, 43 ... inverse conversion unit, 44 ... information acquisition unit, 50 ... subject, 51 ... captured image, 51a ... area, 52 ... coordinate conversion image, 53, 55 ... Captured image, 56, 57 ...
  • Coordinate conversion image 60, 90 ... Computer, 62 ... Computer input / output unit, 64 ... Computer control La, 66 ... Display, 70 ... Internet, 80 ... Server, 82 ... Server input / output unit, 84 ... Server controller, 92 ... Image acquisition unit, 94 ... Information acquisition unit, 96 ... Coordinate conversion unit, 98 ... Resolution enhancement processing unit , 99 ... Inverse conversion unit, 200 ... Main control unit, 201 ... Smartphone, 202 ... Housing, 210 ... Wireless communication unit, 220 ... Display input unit, 221 ... Display panel, 222 ... Operation panel, 230 ... Calling unit, 231 ... Speaker, 232 ... Microphone, 240 ... Operation unit, 241 ...
  • Camera unit 250 ... Storage unit, 251 ... Internal storage unit, 252 ... External storage unit, 260 ... External input / output unit, 270 ... Reception unit, 270 ... GPS reception Part, 280 ... motion sensor part, 290 ... power supply part, Do ... original image data, Dr ... recovery image data, F, G ... recovery filter, P10 ... point image Original processing, P20: recovery filter calculation algorithm, P30: coordinate transformation processing, S, T ... resolution, S10, S11, S12, S13, S14 ... step, ST1, STn ... GPS satellites, f1, f2, f3, f4, f5 , f6, f L, f H ... spatial frequency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

本発明は、良好な復元画像を効率的に得られる画像処理装置及び画像処理方法を提供することを目的とする。本発明の一の態様に係る画像処理装置は、撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、を備える。この態様によれば解像度強調処理に回転対称なフィルタを用いることができてフィルタサイズの抑制や処理の高速化が可能であり、また座標変換にフィルタを用いることで処理が複雑化することもない。

Description

画像処理装置及び画像処理方法
　本発明は光学系を用いて取得した画像を処理する画像処理装置及び画像処理方法に係り、特に光学系の特性に応じた画像処理を行う画像処理装置及び画像処理方法に関する。
　光学系を介して撮影される撮影画像は、光学系の特性に起因して解像度が低下する場合があり、このような解像度の低下を抑制するために、撮影画像に対して解像度を強調する画像処理（解像度強調処理）が行われることがある。解像度強調処理としては、点光源に対する光学系の応答を示す点拡がり関数（ＰＳＦ：Point Spread Function）を利用して解像度を回復させる処理（回復処理）や、被写体の輪郭を強調する輪郭強調処理が知られている。
　光学系に含まれる撮影レンズは、サジタル方向（Sagittal方向）と、サジタル方向に直交するタンジェンシャル方向（Tangential方向）あるいはメリジオナル方向（Meridional方向）とで解像度が異なる場合があり、この場合、撮影レンズの解像度の相違に起因して、撮影画像においても方向によって解像度が異なる。撮影レンズは方向による解像度の差を小さくするように設計されるが、近年の高画素化や低Ｆ値（F value）化により方向による解像度差は増大する傾向にあるため、画像処理によって方向による解像度差を補う場合がある。例えば特許文献１では、サジタル方向とメリジオナル方向のＭＴＦ（Modulation Transfer Function）の不一致を補正し、その後回復処理を行うことで、回復処理を弱くしても綺麗なボケ（円形か円形に近い形状のボケ）の画像を得られるようにすることが記載されている。
　一方、光学系を介して撮影される撮影画像には光学系のディストーション（Distortion；歪曲収差）に起因する歪曲成分が含まれる場合もあり、このような場合歪曲成分を補正することが知られている。例えば特許文献２では、点像復元処理（回復処理）後に歪曲成分の補正を行うことにより、歪曲補正の条件に応じて回復処理に用いる回復フィルタを変換することを避け、これにより回復フィルタのカーネルサイズの増大を抑制することが記載されている。
特開２０１１－１５１６２７号公報 特開２０１０－０８７６７２号公報
　しかしながら従来の技術は、撮影レンズの解像度が方向によって違う場合や歪曲収差が存在する場合に良好な復元画像を効率的に得られるものではなかった。例えば特許文献１に記載の技術では、サジタル方向／メリジオナル方向のＭＴＦの不一致（ＭＴＦ収差）をフィルタにより補正し、その後フィルタにより回復処理を行う、という２段階のフィルタ処理を行うため、処理が複雑で高速化が困難であった。また特許文献２に記載の技術では、点像回復処理後に歪曲成分の補正を行うため、画像が歪曲成分を有した状態（方向によって解像度に差がある状態）で点像復元を行う必要があり、したがって点像復元には回転非対称なフィルタを用いる必要がある。このため復元処理は依然として複雑で高速化が困難であり、さほど効果的なものではなかった。
　本発明はこのような事情に鑑みてなされたもので、良好な復元画像を効率的に得られる画像処理装置及び画像処理方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、を備える。第１の態様では、撮影画像のサジタル（接線方向）の解像度とタンジェンシャル（放射方向）の解像度とを座標変換により近づけてから解像度強調処理を行うので、解像度強調処理に回転対称なフィルタを用いることができてフィルタサイズの抑制や処理の高速化が可能であり、また解像度を近づける処理を座標変換により行うので、座標変換にフィルタを用いることで処理が複雑化することもない。また第１の態様では、上述した特許文献２で従来技術の問題点として言及されているような、歪曲補正の条件に応じて回復処理に用いるフィルタを変換する必要もない。
　なお第１の態様では指定された空間周波数における解像度を近づけるので、接線方向と放射方向との解像度の差が空間周波数によって変化する場合でも、所望の空間周波数を指定してこの空間周波数における解像度を近づけることが可能であり、良好な復元画像を効率的に得ることができる。なお第１の態様において指定する空間周波数は特定の空間周波数でもよいし、幅（範囲）を持っていてもよい。
　このように第１の態様に係る画像処理装置では、良好な復元画像を効率的に得ることができる。なお第１の態様において、解像度強調処理としては点像復元処理（回復処理）や輪郭強調処理を行うことができる。なお第１の態様及び以下の各態様において、「回転対称な解像度強調処理」とは、解像度強調処理に用いるフィルタが回転対称であることを意味する。
　第２の態様に係る画像処理装置は第１の態様において、撮影画像のサジタルの解像度の情報とタンジェンシャルの解像度の情報とを取得する情報取得部を備え、座標変換部は、取得したサジタルの解像度の情報とタンジェンシャルの解像度の情報とに基づいて座標変換を行う。第２の態様は、解像度を近づけるための情報を取得することを規定したものである。なお第２の態様において、情報取得部による解像度の情報の取得は、撮影レンズに記録された情報を取得する、Ｗｅｂからダウンロードする、撮影画像を解析して取得する、ユーザ入力に基づき取得するなどの方法により行うようにしてよい。
　第３の態様に係る画像処理装置は第１または第２の態様において、撮影レンズを含む光学系を有し、画像取得部は光学系を介して撮影画像を取得する。第３の態様は、撮影画像を取得するための光学系を含む画像処理装置を規定するものである。
　第４の態様に係る画像処理装置は第３の態様において、撮影レンズは、光軸を中心とした円周の接線方向であるサジタルの解像度が接線方向に垂直な放射方向であるタンジェンシャルの解像度よりも高い。第４の態様は、撮影レンズのサジタル（接線方向）の解像度がタンジェンシャル（放射方向）の解像度よりも高く、これに起因して被写体を撮影した画像においても接線方向の解像度が放射方向の解像度よりも高い場合について規定しており、このような場合にも良好な復元画像を効率的に得ることができる。
　第５の態様に係る画像処理装置は第４の態様において、座標変換部は、撮影画像の周辺部を圧縮する座標変換と撮影画像の中心部を膨張させる座標変換とのうち少なくとも一方の座標変換を行う。第５の態様は、第４の態様のように画像において接線方向の解像度が放射方向の解像度よりも高い場合の座標変換を具体的に規定するものである。なお第５の態様において、座標変換による膨張及び収縮は、像高に応じた度合いで行ってよい。
　第６の態様に係る画像処理装置は第３から第５の態様のいずれか１つにおいて、撮影レンズの歪曲収差がプラスである。第６の態様では、撮影レンズの歪曲収差がプラスなので、撮影画像もこれに起因して糸巻き型の歪曲成分（像の周辺ほど伸びが大きい）を有する。
　第７の態様に係る画像処理装置は第３の態様において、撮影レンズは、光軸を中心とした円周の放射方向であるタンジェンシャルの解像度が放射方向に垂直な接線方向であるサジタルの解像度よりも高い。第７の態様は、撮影レンズのタンジェンシャル（放射方向）の解像度がサジタル（接線方向）の解像度よりも高く、これに起因して被写体を撮影した画像においても放射方向の解像度が接線方向の解像度よりも高い場合について規定しており、このような場合にも良好な復元画像を効率的に得ることができる。
　第８の態様に係る画像処理装置は第７の態様において、座標変換部は、撮影画像の周辺部を膨張させる座標変換と撮影画像の中心部を圧縮する座標変換とのうち少なくとも一方の座標変換を行う。第８の態様は、第７の態様のように画像において放射方向の解像度が接線方向の解像度よりも高い場合の座標変換を具体的に規定するものである。なお第８の態様において、座標変換による膨張及び収縮は、像高に応じた度合いで行ってよい。
　第９の態様に係る画像処理装置は第３，７，８の態様のいずれか１つにおいて、撮影レンズの歪曲収差がマイナスである。第９の態様によれば、撮影レンズの歪曲収差がマイナスなので、撮影画像もこれに起因してたる型の歪曲成分（像の周辺ほど収縮が大きい）を有する。
　第１０の態様に係る画像処理装置は第３から第９の態様のいずれか１つにおいて、座標変換部は座標変換により撮影レンズの歪曲収差を補正する。第１０の態様によれば、サジタルの解像度とタンジェンシャルの解像度とを近づける座標変換により、撮影画像における歪曲成分をも補正できる。
　第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、解像度強調処理がされた画像に対して座標変換の逆変換を行う逆変換部を備える。第１１の態様によれば、原画像（座標変換前の撮影画像）と同様な構図の復元画像を得ることができる。なお第１１の態様において、解像度を近づける座標変換により撮影レンズの歪曲収差が補正されるか否かに応じて逆変換を行うかどうか決定するようにしてもよい。
　第１２の態様は第１から第１１の態様のいずれか１つにおいて、座標変換部は、座標変換がされた画像において、指定された空間周波数におけるサジタルの解像度とタンジェンシャルの解像度とのうち高い方の解像度を１としたときに、サジタルの解像度とタンジェンシャルの解像度とのうち低い方の解像度が０．５以上、好ましくは０．７５以上になるような座標変換を行う。第１２の態様は、回転対称な解像度強調処理を行うためのサジタルの解像度とタンジェンシャルの解像度との関係を規定するものである。
　上述した目的を達成するため、本発明の第１３の態様に係る画像処理方法は、画像取得部と、座標変換部と、解像度強調処理部と、を備える画像処理装置の画像処理方法であって、撮影レンズを介して撮影された被写体の撮影画像を画像取得部により取得する画像取得工程と、撮影画像を座標変換部により座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換工程と、座標変換がされた画像に対して、解像度強調処理部により回転対称な解像度強調処理を行う解像度強調処理工程と、を有する。第１３の態様によれば、第１の態様と同様に良好な復元画像を効率的に得ることができる。
　第１４の態様に係る画像処理方法は第１３の態様において、撮影画像のサジタルの解像度の情報とタンジェンシャルの解像度の情報とを取得する情報取得工程を備え、座標変換工程では取得したサジタルの解像度の情報とタンジェンシャルの解像度の情報とに基づいて座標変換を行う。第１４の態様では、第２の態様と同様に、撮影画像のサジタル及びタンジェンシャルの解像度の情報を取得することにより適切な座標変換を行えるようにしている。
　第１５の態様に係る画像処理方法は第１３または第１４の態様において、解像度強調処理がされた画像に対して座標変換の逆変換を行う逆変換工程をさらに有する。第１５の態様によれば、第１１の態様と同様に、原画像（座標変換前の撮影画像）と同様な構図の復元画像を得ることができる。なお第１５の態様においても、第１１の態様と同様に撮影レンズの歪曲収差を補正できるか否かに応じて逆変換を行うかどうか決定するようにしてもよい。
　以上説明したように、本発明の画像処理装置及び画像処理方法によれば、良好な復元画像を効率的に得ることができる。
図１は、第１の実施形態に係るデジタルカメラを示すブロック図である。 図２は、カメラ本体コントローラの機能構成例を示すブロック図である。 図３は、画像処理部の機能構成例を示すブロック図である。 図４は、被写体像、撮影画像、及び座標変換画像を模式的に示す図である。 図５は、撮影画像の解像度の例を示す図である。 図６は、画像処理部の動作を示すフロー図である。 図７は、撮影画像の解像度の例を示す他の図である。 図８は、画像シミュレーションの結果を示す表である。 図９は、撮影画像のうち図８に示す画像シミュレーションに用いた領域を示す図である。 図１０は、画像の撮影から点像復元処理までの概略を示す図である。 図１１は、点像復元処理の一例を示すブロック図である。 図１２は、回復フィルタの例を示す図である。 図１３は、被写体像及び撮影画像を模式的に示す他の図である。 図１４は、撮影画像の解像度を示す他の図である。 図１５は、撮影画像を模式的に示すさらに他の図である。 図１６は、座標変換による解像度の変化を示す図である。 図１７は、本発明の第２の実施形態における撮影画像の解像度の例を示す図である。 図１８は、座標変換による解像度の変化を示す他の図である。 図１９は、コンピュータの構成を示すブロック図である。 図２０は、本発明の第３の実施形態に係るスマートフォンの外観を示す図である。 図２１は、スマートフォンの構成を示すブロック図である。
　以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について説明する。
　＜第１の実施形態＞
　第１の実施形態では、コンピュータに接続可能なデジタルカメラ（画像処理装置）に本発明を適用する場合について説明する。図１は、コンピュータに接続されるデジタルカメラ１０を示すブロック図である。
　＜デジタルカメラの構成＞
　デジタルカメラ１０は、レンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２とカメラ本体１４とは、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して電気的に接続される。なおデジタルカメラ１０は様々な分野で使用することが可能であり、例えば一般撮影のみならずセキュリティ分野（監視カメラ）や医療分野（内視鏡）でも使用することができる。
　レンズユニット１２は、撮影レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、後述する解像度の情報及び歪曲収差の情報が記録されたメモリ１９と、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。
　カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤），Ｇ（緑），Ｂ（青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（撮影レンズ１６、絞り１７等）により結像される被写体の光学像を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。
　本例の撮像素子２６は、詳細を後述するように、光学系を用いた被写体の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。
　カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷ（Raw image format）データ、ＪＰＥＧ（Joint Photographic Experts Group）データ等）を送信する。また、デバイス制御部３４は、液晶モニタ３１（図１参照）や図示せぬＥＶＦ（Electronic View Finder）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。
　一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等）、ＲＧＢ画像処理（トーン補正処理、露出補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。このような画像処理により得られた画像は、液晶モニタ３１に表示することができる。
　なお、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース２９（各種ボタン、スイッチ等）を介して撮影等のための各種設定、例えば後述する座標変換や解像度強調処理に関する入力や設定（レンズユニット１２の解像度の情報及び歪曲収差の情報の取得、空間周波数の指定、逆変換を行うかどうか等）を適宜決定及び変更することができる。ユーザインターフェース２９は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。ユーザインターフェース２９を介した各種設定は、液晶モニタ３１に表示された画像や情報を確認しながら行うことができる。
　カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ（Tag Image File Format）等の任意のフォーマットとしうる。したがって、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影日時、機種、画素数、絞り値などの撮影情報等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。
　コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。
　サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。
　各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／またはサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。
　＜画像処理部の機能＞
　図３は第１の実施形態に係る画像処理部３５（情報取得部）の機能構成例を示した機能ブロック図である。画像処理部３５はカメラ本体コントローラ２８に備えられ、上述したデモザイク処理等の機能の他に、画像取得部４０、座標変換部４１、解像度強調処理部４２、逆変換部４３、及び情報取得部４４を備えている。
　画像取得部４０は、光学系を用いた被写体の撮影により撮像素子２６から取得される撮影画像を取得する。ここで撮影画像とは、被写体の撮影により撮像素子２６から出力された画像データに基づくものであり、座標変換部４１で行われる座標変換を行うことが可能であれば、画像の形式が特に限定されるものではない。例えば画像取得部４０は、撮影画像としてセンサ補正処理、デモザイク処理、画素補間処理、色補正処理、ＲＧＢ画像処理、及びＲＧＢ／ＹＣｒＣｂ変換処理が完了した画像データを取得する。以下の説明では、ＹＣｒＣｂ変換された画像のＹ（輝度値）に対して処理を行う場合に説明する。
　座標変換部４１は、画像取得部４０が取得した撮影画像に対して、サジタル（接線方向）の解像度とタンジェンシャル（放射方向）の解像度とを近づける座標変換を行う。解像度強調処理部４２は、座標変換後の画像に対して回転対称な解像度強調処理を行う。逆変換部４３は、解像度強調処理後の画像に対して、座標変換部４１による座標変換の逆変換を行う。情報取得部４４は、レンズユニット１２のメモリ１９に記憶された撮影レンズ１６のサジタル及びタンジェンシャルの解像度の情報及び歪曲収差の情報を取得する。画像処理部３５のこれらの機能を用いた画像処理の詳細は、後述する。
　＜解像度及び歪曲収差の情報の取得＞
　後述する座標変換を行うには、撮影された画像のサジタル及びタンジェンシャルの解像度の情報が必要であるが、撮影された画像の解像度は撮影レンズ１６の解像度に依存する。そこで画像処理部３５の情報取得部４４（情報取得部）は、撮影レンズ１６のサジタルの解像度の情報とタンジェンシャルの解像度の情報とをレンズユニット１２のメモリ１９から取得して、取得した情報から撮影された画像の解像度を求める（図６のステップＳ１１：情報取得工程）。なお撮影レンズ１６の解像度の情報は、メモリ１９から取得する他、インターネット７０から取得してもよいし、情報取得部４４が撮影された画像（例えば、図４（ｂ）の撮影画像５１）を解析して取得してもよい。また、ユーザが液晶モニタ３１に表示された画像や情報を確認しつつユーザインターフェース２９を介して情報を入力し、この情報を情報取得部４４が取得するようにしてもよい。なお撮影レンズ１６の歪曲収差の情報も、上述した解像度の情報の取得と同様にメモリ１９やインターネット７０、画像解析、ユーザ入力等を介して情報取得部４４が取得することができる。
　＜実施例１＞
　＜被写体及び撮影画像＞
　図４（ａ）は被写体５０を模式的に示す図であり、図４（ｂ）は被写体５０をデジタルカメラ１０で撮影し、画像取得部４０により取得された撮影画像５１を模式的に示す図である。画像取得部４０は、取得した撮影画像５１を座標変換部４１に送信する。なお図４（ｂ）の撮影画像５１には、撮影レンズ１６のタンジェンシャル方向（光軸を中心とした円周の放射方向）をＴａで、撮影レンズ１６のサジタル方向（光軸を中心とした円周の接線方向；放射方向と垂直）をＳaで示している。なお図４、図１３、および図１５の文字”FUJIFILM Value from Innovation”は登録商標である。
　＜サジタル及びタンジェンシャルの解像度＞
　また、撮影画像５１は、撮影レンズ１６の解像度に依存して、サジタルとタンジェンシャルとで解像度が異なる。ここで解像度とは画像のボケの程度を示す指標であり、様々な指標、例えば変調伝達関数（ＭＴＦ：Modulation Transfer Function）や空間周波数応答（ＳＦＲ：Spatial Frequency Response）を使用することができる。なおこれ以降に説明する図では、撮影画像５１の解像度を表す指標として撮影レンズ１６のＭＴＦを用いている。
　図５は、撮影画像５１におけるサジタル方向（撮像面の中心を原点とした円周の接線方向）の解像度Ｓ及びタンジェンシャル方向（接線方向に垂直な放射方向）の解像度Ｔの例を示す図である。図５では、サジタルの解像度が空間周波数によらずにタンジェンシャルの解像度よりも高い場合の例を示している。この例においては、解像度を近づける空間周波数として全空間周波数が座標変換部４１（画像処理部３５）に指定される。
　＜撮影画像の歪曲成分＞
　被写体５０は撮影レンズ１６を介して撮影されるので、撮影画像５１には、撮影レンズ１６の特性（歪曲収差）に起因して歪み（歪曲成分）が生じる。図４（ｂ）では、撮影レンズ１６の歪曲収差がプラスであり、これに起因して撮影画像５１が「糸巻き型」（像の周辺ほど伸びが大きい）の歪曲成分を有する例を示している。
　＜画像処理の概要＞
　図６は、画像処理部３５における画像処理（画像処理方法）の概要を示す図である。まず、画像処理部３５の画像取得部４０は、光学系を用いた被写体５０の撮影により撮像素子２６から取得される撮影画像５１を取得する（ステップＳ１０：画像取得工程）。また情報取得部４４は、撮影画像５１について、撮影画像５１のサジタルの解像度Ｓの情報とタンジェンシャルの解像度Ｔの情報をレンズユニット１２のメモリ１９から取得する（ステップＳ１１：情報取得工程）。そして座標変換部４１は、ステップＳ１１で取得した解像度の情報に基づいて撮影画像５１を座標変換し、図４（ｃ）に示すような座標変換画像５２を生成する（ステップＳ１２：座標変換工程）。
　座標変換後、解像度強調処理部４２は、座標変換画像５２に対して解像度強調処理を行う（ステップＳ１３：解像度強調処理工程）。次に逆変換部４３は、解像度強調処理後の画像に対して、必要に応じてステップＳ１２での座標変換の逆変換である座標変換を行い、逆変換画像を生成する（ステップＳ１４：逆変換工程）。
　以下、ステップＳ１２～Ｓ１４における処理を詳細に説明する。
　＜座標変換処理＞
　ステップＳ１２での座標変換について説明する。図５に示すように撮影画像５１のサジタル方向の解像度Ｓがタンジェンシャル方向の解像度Ｔよりも高い場合、撮影画像５１の周辺部を像高に応じた圧縮量で圧縮する。この処理はステップＳ１１で取得した解像度の情報に基づいて行うことができる。すると図７（ａ）に示すようにタンジェンシャルの解像度Ｔが見かけ上向上し（図７（ａ）中、座標変換前のタンジェンシャルの解像度Ｔを点線で示す）、サジタルの解像度Ｓに近づく。この態様では撮影画像５１が圧縮されるので、座標変換後に適用される回復フィルタＦ（図１０～１２参照）のカーネルサイズも縮小され、高速な処理が可能となる。
　ステップＳ１２の座標変換において、座標変換部４１は、任意の空間周波数において座標変換後のサジタルの解像度とタンジェンシャルの解像度とのうち高い方を１．０としたとき、低い方が０．５以上、好ましくは０．７５以上（解像度をＭＴＦで表した場合）となるように座標変換の方向及び量を設定する。例えば、空間周波数ｆ１における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲＳ，ＲＴ（＜ＲＳ）とすると、ＲＳを１としたときにＲＴが０．５以上、好ましくは０．７５以上になるようにする。このような値とするのは、解像度の比率がこの範囲であれば、後述するように座標変換画像５２に対し回転対称な解像度強調処理を行えるようになるからである。
　なお、撮影画像５１の解像度が図５に示す状態である場合、ステップＳ１２の座標変換において、撮影画像５１の中心部を像高に応じた膨張量で膨張させるようにしてもよい。この処理は、ステップＳ１１で取得した解像度の情報に基づいて行うことができる。この場合、座標変換画像５２では、図７（ｂ）に示すようにサジタルの解像度Ｓが見かけ上低下し（図７（ｂ）中、座標変換前のサジタルの解像度Ｓを点線で示す）、タンジェンシャルの解像度Ｔに近づく。この場合も、座標変換部４１は、空間周波数ｆ２における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲＳ，ＲＴ（＜ＲＳ）とすると、ＲＳを１としたときにＲＴが０．５以上、好ましくは０．７５以上になるように座標変換の方向及び量を設定する。このような座標変換を行った場合でも、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づくので、座標変換画像５２に対し回転対称な解像度強調処理を行えるようになる。
　また図５の例では、ステップＳ１２において、撮影画像５１の周辺部を像高に応じた圧縮量で圧縮する座標変換と、撮影画像５１の中心部を像高に応じた膨張量で膨張させる座標変換との両方を行うようにしてもよい。この場合、座標変換画像５２では、図７（ｃ）に示すようにタンジェンシャルの解像度Ｔが見かけ上向上するとともにサジタルの解像度Ｓが見かけ上低下し、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づく（図７（ｃ）中、座標変換前のサジタルの解像度Ｓを点線で示し、座標変換前のタンジェンシャルの解像度Ｔを鎖線で示す）。この場合も図７（ａ），（ｂ）の場合と同様に、座標変換部４１は、空間周波数ｆ３における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲＳ，ＲＴ（＜ＲＳ）とすると、ＲＳを１としたときにＲＴが０．５以上、好ましくは０．７５以上になるように座標変換の方向及び量を設定する。
　なお、ステップＳ１２の座標変換によりサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが完全に一致することが好ましいが、座標変換により解像度を完全に一致させられない場合でも、解像度が近づくのであれば、その近づく度合いに応じて本発明の効果が得られる。
　＜画像シミュレーションによる解像度の数値＞
　ステップＳ１２での座標変換後のサジタル，タンジェンシャルの解像度の数値について画像シミュレーションで検証した結果を示す。このシミュレーションでは、“Fujifilm”という文字（原画像）の太さを撮像素子上で略２画素とし、撮影レンズの非点収差（いわゆるアス誤差）によって撮影画像の解像度（ＭＴＦ）が低下している状態で、上述した座標変換後の「（１／２）×ナイキスト周波数」における解像度の関係が条件１～５（図８の表を参照）を満たす場合の画像を生成した。その結果図８の表に示すように、座標変換後の解像度の関係が上述した数値範囲を満たす条件１～３では座標変換後の画像においてボケの方向が知覚できない状態であり（ボケが円形か円形に近い）、座標変換後の画像に対し回転対称な解像度強調処理を行えることが分かる。
　なお撮影レンズ１６と撮影画像５１とでは軸（方向）の定義が異なるが、図８の表に示す画像シミュレーションでは、撮影画像５１において「撮影画像５１のＨ（水平）方向が撮影レンズ１６のＳa（サジタル）方向と一致し、撮影画像５１のＶ（垂直）方向が撮影レンズ１６のＴa（タンジェンシャル）方向と一致する領域」（図９の領域５１ａ付近）を切り出して画像シミュレーションを行った。
　＜座標変換による歪曲成分の補正＞
　撮影画像５１は、図５に示すようにサジタルの解像度Ｓとタンジェンシャルの解像度Ｔに差があるほか、図４（ｂ）に示すように撮影レンズ１６の歪曲収差に起因する歪曲成分を有する。このため、ステップＳ１１で撮影レンズ１６の歪曲収差の情報を取得し、ステップＳ１２において歪曲収差の情報をも考慮して上述の座標変換（周辺部の圧縮と中心部の膨張とのうち少なくとも一方）を行うことが好ましい。これにより座標変換後の座標変換画像５２は、図４（ｃ）に示すように歪曲収差（歪曲成分）が補正された状態になり、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとを近づける座標変換により、撮影レンズ１６の歪曲収差をも補正することができる。
　＜点像復元処理（回復処理）＞
　図１０は、画像撮影から点像復元処理（回復処理）までの概略を示す図である。点像を被写体として撮影を行う場合、光学系（撮影レンズ１６、絞り１７等）により撮像素子２６（イメージセンサ）上に被写体像が結像され、これにより撮像素子２６から原画像データＤｏ（撮影画像５１に対応）が出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。この原画像データに対し座標変換処理Ｐ３０（図６のステップＳ１２）が行われるが、座標変換後の座標変換画像５２は座標変換処理により非対称なボケの成分は補正されているものの、点対称なボケの成分は残存している。そこで、座標変換画像５２から本来の被写体像（点像）を復元するため、座標変換画像５２に対して回復フィルタＦを用いた点像復元処理Ｐ１０（解像度強調処理；図６のステップＳ１３）を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。なお、詳細を後述するように、この回復画像データＤｒに対して必要に応じ逆変換処理（図６のステップＳ１４）が行われる。
　点像復元処理Ｐ１０で用いられる回復フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、回復フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、撮影レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタＦを算出する際にはこれらの撮影条件が取得される。
　＜点像復元処理の一例＞
　図１１は、点像復元処理の一例を示すブロック図である。点像復元処理Ｐ１０（解像度強調処理）は、上述のように回復フィルタＦを用いたフィルタリング処理によって座標変換画像５２から回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の回復フィルタＦが処理対象の画像（画像データ）に適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（座標変換画像５２の処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この回復フィルタＦを用いた加重平均処理を、対象画素を順番に代えながら、画像（画像データ）を構成する全画素データに適用することで、点像復元処理を行うことができる。
　Ｎ×Ｍのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。
　回復フィルタＦの例を図１２（ａ）に示す。回復フィルタＦはカーネル中心に対して回転対称となるように設計されており、メモリに記憶させるデータを削減することができる。例えば、図１２（ａ）に示した７×７のカーネルの場合、図１２（ｂ）に示すような４×４の回復フィルタＧを記憶させることで、その対称性を利用して７×７の回復フィルタＦとすることができる。
　解像度強調処理部４２は、座標変換画像５２に対して回復フィルタＦを用いて点像復元処理を行う。サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが座標変換により近づけられた座標変換画像５２に対して回転対称な回復フィルタＦを用いて点像復元処理（回復処理）を行うので、撮影画像５１（座標変換がされておらず、図５のようにサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとで差が大きい）に対し回転非対称な回復フィルタにより点像復元処理を行う場合よりも演算負荷を軽減することができ、良好な復元画像を効率的に得ることができる。
　なお、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの大小関係が撮影レンズ１６の像高あるいは撮影画像５１中の位置によって変化する場合は、サジタルの解像度Ｓの方が大きい（高い）領域では画像を圧縮し、タンジェンシャルの解像度Ｔの方が大きい（高い）領域では画像を膨張させる座標変換を行うことが好ましい。
　＜他の解像度強調処理＞
　解像度強調処理部４２で行われる解像度強調処理は、座標変換画像５２の解像度を強調する（ボケを抑制する）処理であれば特に限定されない。上述した点像復元処理（回復処理）の他に、解像度強調処理部４２が座標変換画像５２の輝度値に対して輪郭強調フィルタを使用して輪郭強調処理を行うようにしてもよい。なお、解像度強調処理部４２は、デモザイク処理前のＲＧＢ画像に対しても解像度強調処理を行うことができる。その場合には、上述した座標変換がされたＲＧＢ画像に対して解像度強調処理が行われる。
　解像度強調処理部４２が解像度強調処理として輪郭強調処理を行う場合について説明する。解像度強調処理部４２が行う輪郭強調においても、上述した回復処理と同様に輪郭強調フィルタの各タップに割り当てられるフィルタ係数と画素データとを加重平均演算（デコンボリューション演算）することで、輪郭強調処理後の画素データを算出することができる。そしてこの輪郭強調フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、輪郭強調処理を行うことができる。輪郭強調フィルタは公知の方法により作成される。なお、本発明において、解像度強調処理としての輪郭強調処理は、エッジ強調処理またはシャープネス強調処理と呼ばれる処理も含む概念である。
　＜逆変換処理＞
　逆変換部４３は、回復画像（解像度強調画像）に対してステップＳ１２の座標変換の逆変換を行い、逆変換画像を生成する（図６のステップＳ１４）。逆変換画像は、撮影画像５１と同様の構図を有し且つ解像度強調処理が行われた画像である。なお、ステップＳ１２における座標変換によりレンズの歪曲収差を十分補正できる場合や撮影画像５１に歪曲成分がほとんど無い場合はステップＳ１４の逆変換は行わなくてもよく、座標変換により歪曲成分が付加される場合に逆変換を行えばよい。例えば、撮影画像５１（図４参照）や撮影画像５３（図１５参照）のような画像が座標変換により座標変換画像５２のようになる場合、即ち画像中の歪曲成分が座標変換により補正（除去）される場合は逆変換を行う必要はなく、図１３（ａ）に示すように歪曲成分がほとんどない撮影画像５５に座標変換により歪曲成分が付加されて図１３（ｂ），（ｃ）の座標変換画像５６，５７のようになる場合に逆変換を行えばよい。
　＜実施例２＞
　次に、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの関係が実施例１と異なる場合について説明する。実施例１では、図５に示すようにサジタルの解像度Ｓがタンジェンシャルの解像度Ｔより高い場合について説明したが、実施例２ではそれと逆に、撮影画像において、タンジェンシャルの解像度Ｔがサジタルの解像度Ｓより高い場合について説明する。図１４はそのような場合の解像度を示す図である。この場合、図１５に示すように撮影画像５３はたる型の歪曲収差（歪曲収差がマイナス）を有しているものとする。なお実施例２に関し、デジタルカメラ１０の構成及び処理の手順は実施例１と同様でよい。
　撮影画像５３の特性が図１４及び図１５に示すものである場合、図１６（ａ）に示すようにサジタルの解像度Ｓを上げる（撮影画像の中心部を圧縮する）座標変換、図１６（ｂ）に示すようにタンジェンシャルの解像度Ｔを下げる（撮影画像の周辺部を膨張させる）座標変換、または図１６（ｃ）に示すようにこれら座標変換の両方を行うようにすればよい。この際、図１６（ａ）～（ｃ）に示すように、空間周波数ｆ４～ｆ６における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲＳ，ＲＴ（＞ＲＳ）とすると、ＲＴを１としたときにＲＳが０．５以上、好ましくは０．７５以上になるようにする。
　このような座標変換によってもサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づくので、実施例１と同様に座標変換後の画像に対して回転対称な解像度強調処理を行うことができ、良好な復元画像を効率的に得ることができ、さらに座標変換により撮影レンズ１６の歪曲収差が補正される。なお実施例１と同様に実施例２においても、必要により逆変換を行うことができる。
　実施例１，２について説明したように、第１の実施形態では、撮影画像５１を座標変換することにより座標変換画像５２サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づけられ、この座標変換画像５２に対して回転対称な解像度強調処理が行われるので、解像度強調処理の演算処理の負荷を抑制することができ、良好な復元画像を効率的に得ることができる。
　＜第２の実施形態＞
　次に本発明の第２の実施形態に関して説明する。撮影レンズにおいて、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの大小関係は空間周波数によって変化することがあり、そのような場合座標変換のみでは空間周波数の全範囲において解像度を近づけきれない場合がある。そこで第２の実施形態では、特定の空間周波数もしくは幅を持った空間周波数の領域を指定し、この空間周波数において解像度を近づけるようにする。なお第２の実施形態においても、画像処理装置（デジタルカメラ１０）の構成や処理手順は第１の実施形態と同様でよい。
　図１７は、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの大小関係が空間周波数によって変化する状況を示す例である。この例では、空間周波数が低い領域ではサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとがほぼ一致しているが、空間周波数が高くなるにつれて解像度の差が大きくなっている。なお、この例では撮影レンズ１６の歪曲収差がプラスである（図４（ａ），（ｂ）と同様に、被写体５０を撮影して撮影画像５１が得られた）ものとする。
　図１７に示す状況で、特定の空間周波数において解像度を近づける例を説明する。図１８（ａ）は、撮影画像５１に対し画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの（見かけ上の）解像度Ｔを上げ、空間周波数ｆＣにおいてサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとを一致させた例である。このような座標変換によってサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づくので、第１の実施形態と同様に座標変換後の画像に対して回転対称な解像度強調処理を行うことができ、良好な復元画像を効率的に得ることができ、さらに座標変換により撮影レンズ１６の歪曲収差が補正される。
　次に、幅を持った空間周波数の領域において解像度を近づける例を説明する。図１８（ｂ）は、撮影画像５１に対し画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの（見かけ上の）解像度Ｔを上げ、空間周波数ｆＬからｆＨの範囲においてサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとを近づけた（空間周波数ｆＣにおいて一致させた）例である。
　図１８（ａ），（ｂ）に示すように特定の空間周波数、もしくは幅を持った空間周波数の領域において解像度を近づける場合、空間周波数ｆＣ，ｆＬ，ｆＨとして固定した値を指定してもよいし、画像の種類や使用目的に応じて異なる値を指定してもよい。例えば、一般的に画質において重要な周波数である、センサ（撮像素子２６）のナイキスト周波数×（１／４～１／２）の範囲の空間周波数（空間周波数ｆＬ＝（１／４）×ナイキスト周波数、空間周波数ｆＨ＝（１／２）×ナイキスト周波数）においてサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが最も近づき、ナイキスト周波数×１／３の空間周波数（空間周波数ｆＣ）において解像度が一致するように座標変換を行うことができる。なおセンサのナイキスト周波数（本／ｍｍ）＝（１／２）／センサピッチ（ｍｍ）である。
　上述した空間周波数ｆＣ，ｆＬ，ｆＨの値はユーザによらずに画像処理部３５（座標変換部４１）が指定するようにしてもよいし、ユーザインターフェース２９を介してユーザが入力した値を指定してもよい。
　なお図１７及び図１８（ａ），（ｂ）の例に関し、画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの解像度Ｔを上げる場合について説明したが、第１の実施形態と同様に、画像の中心部を像高に応じて膨張させる座標変換を行ってサジタルの（見かけ上の）解像度Ｓを下げるようにしてもよい。さらに、画像の周辺部を像高に応じて圧縮する座標変換と画像の中心部を像高に応じて膨張させる座標変換の両方を行う（サジタルの解像度Ｓを下げ、タンジェンシャルの解像度Ｔを上げる）ようにしてもよい。また座標変換では、ｆＣ以外の空間周波数においても、第１の実施形態と同様にサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとのうち高い方の解像度を１としたときに、低い方の解像度が０．５以上、好ましくは０．７５以上になるような座標変換を行うことが好ましい。
　なお図１７及び図１８（ａ），（ｂ）の例では空間周波数のほぼ全域でサジタルの解像度Ｓがタンジェンシャルの解像度Ｔより高く歪曲収差がプラスの場合について説明したが、解像度の大小関係がこれと逆の場合（図１４及び図１５のようにタンジェンシャルの解像度Ｔがサジタルの解像度Ｓより高く歪曲収差がマイナスの場合）は、画像の周辺部の膨張と中心部の圧縮とのうち少なくとも一方を行うようにすればよい。
　なお第２の実施形態においても、第１の実施形態と同様に必要に応じて逆変換を行うようにすればよい。
　＜変形例＞
　上述した第１，第２の実施形態における各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータに読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　コンピュータに対して本発明を適用した場合のブロック図を図１９に示す。図１９の例では、コンピュータ９０は画像取得部９２，情報取得部９４，座標変換部９６，解像度強調処理部９８，逆変換部９９を備え、これら各部はデジタルカメラ１０における画像取得部４０，情報取得部４４，座標変換部４１，解像度強調処理部４２，逆変換部４３とそれぞれ同様の構成及び機能を有している。このようなコンピュータ９０によってもデジタルカメラ１０と同様な座標変換や解像度強調処理、逆変換を行うことができ、解像度強調処理の演算処理の負荷を抑制して良好な復元画像を効率的に得ることができる。
　なお、上述したプログラムを記録する記録媒体としては、ＣＤ（compact disk）やＤＶＤ（digital versatile disk）等の光磁気記録媒体、及び各種半導体メモリ等の非一時的記録媒体を用いることができる。
　＜第３の実施形態＞
　次に、本発明の画像処理装置をスマートフォンに適用する場合について説明する。
　＜スマートフォンの構成＞
　図２０は、第３の実施形態に係るスマートフォン２０１の外観を示すものである。図２０に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、かかる筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１（光学系）とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
　図２１は、図２０に示すスマートフォン２０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Global Positioning System）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（画像取得部、座標変換部、解像度強調処理部、情報取得部、逆変換部）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置及び移動通信網を介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。
　表示パネル２２１は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、ＯＥＬＤ（Organic Electro-Luminescence Display：有機ＥＬディスプレイ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１つまたは複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。
　図２０，２１に示すように、スマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。また、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力したりするものである。また、図２０に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。
　操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。
　スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory Card）やＳＩＭ（Subscriber Identity Module）／ＵＩＭ（User Identity Module）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。
　ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。かかる検出結果は、主制御部２００に出力されるものである。
　電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
　また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。
　さらに、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　さらに、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２４１（光学系）は、撮影レンズ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力したりすることができる。図１９，２０に示すスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影したりすることもできる。
　また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。さらには、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画または動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力したりすることもできる。
　なお第３の実施形態において、第１，第２の実施形態に関して説明した画像処理部３５での各機能や処理の手順（図３，６参照）は、例えば主制御部２００で実現される。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
　１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…撮影レンズ、１７…絞り、１８…光学系操作部、１９…メモリ、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３１…液晶モニタ、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、４０…画像取得部、４１…座標変換部、４２…解像度強調処理部、４３…逆変換部、４４…情報取得部、５０…被写体、５１…撮影画像、５１ａ…領域、５２…座標変換画像、５３，５５…撮影画像、５６，５７…座標変換画像、６０，９０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、９２…画像取得部、９４…情報取得部、９６…座標変換部、９８…解像度強調処理部、９９…逆変換部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…受信部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部、Ｄｏ…原画像データ、Ｄｒ…回復画像データ、Ｆ，Ｇ…回復フィルタ、Ｐ１０…点像復元処理、Ｐ２０…回復フィルタ算出アルゴリズム、Ｐ３０…座標変換処理、Ｓ，Ｔ…解像度、Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４…ステップ、ＳＴ１，ＳＴｎ…ＧＰＳ衛星、ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆＬ，ｆＨ…空間周波数

Claims (15)

  1. 　撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、
    　前記撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と前記接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、
    　前記座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、
    　を備える画像処理装置。
  2. 　前記撮影画像の前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とを取得する情報取得部を備え、
    　前記座標変換部は、前記取得した前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とに基づいて前記座標変換を行う請求項１に記載の画像処理装置。
  3. 　前記撮影レンズを含む光学系を有し、前記画像取得部は前記光学系を介して前記撮影画像を取得する請求項１または２に記載の画像処理装置。
  4. 　前記撮影レンズは、光軸を中心とした円周の接線方向であるサジタルの解像度が前記接線方向に垂直な放射方向であるタンジェンシャルの解像度よりも高い請求項３に記載の画像処理装置。
  5. 　前記座標変換部は、前記撮影画像の周辺部を圧縮する座標変換と前記撮影画像の中心部を膨張させる座標変換とのうち少なくとも一方の座標変換を行う請求項４に記載の画像処理装置。
  6. 　前記撮影レンズの歪曲収差がプラスである請求項３から５のいずれか１項に記載の画像処理装置。
  7. 　前記撮影レンズは、光軸を中心とした円周の放射方向であるタンジェンシャルの解像度が前記放射方向に垂直な接線方向であるサジタルの解像度よりも高い請求項３に記載の画像処理装置。
  8. 　前記座標変換部は、前記撮影画像の周辺部を膨張させる座標変換と前記撮影画像の中心部を圧縮する座標変換とのうち少なくとも一方の座標変換を行う請求項７に記載の画像処理装置。
  9. 　前記撮影レンズの歪曲収差がマイナスである請求項３，７，８のいずれか１項に記載の画像処理装置。
  10. 　前記座標変換部は前記座標変換により前記撮影レンズの歪曲収差を補正する請求項３から９のいずれか１項に記載の画像処理装置。
  11. 　前記解像度強調処理がされた画像に対して前記座標変換の逆変換を行う逆変換部を備える、請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 　前記座標変換部は、前記座標変換がされた画像において、前記指定された空間周波数における前記サジタルの解像度と前記タンジェンシャルの解像度とのうち高い方の解像度を１としたときに、前記サジタルの解像度と前記タンジェンシャルの解像度とのうち低い方の解像度が０．５以上、好ましくは０．７５以上になるような座標変換を行う請求項１から１１のいずれか１項に記載の画像処理装置。
  13. 　画像取得部と、座標変換部と、解像度強調処理部と、を備える画像処理装置の画像処理方法であって、
    　撮影レンズを介して撮影された被写体の撮影画像を前記画像取得部により取得する画像取得工程と、
    　前記撮影画像を前記座標変換部により座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と前記接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換工程と、
    　前記座標変換がされた画像に対して、前記解像度強調処理部により回転対称な解像度強調処理を行う解像度強調処理工程と、
    　を有する画像処理方法。
  14. 　前記撮影画像の前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とを取得する情報取得工程を備え、
    　前記座標変換工程では前記取得した前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とに基づいて前記座標変換を行う、請求項１３に記載の画像処理方法。
  15. 　前記解像度強調処理がされた画像に対して前記座標変換の逆変換を行う逆変換工程をさらに有する、請求項１３または１４に記載の画像処理方法。
PCT/JP2016/083698 2015-12-17 2016-11-14 画像処理装置及び画像処理方法 WO2017104328A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017556427A JP6417055B2 (ja) 2015-12-17 2016-11-14 画像処理装置及び画像処理方法
CN201680073401.7A CN108370415B (zh) 2015-12-17 2016-11-14 图像处理装置及图像处理方法
US16/009,384 US10567647B2 (en) 2015-12-17 2018-06-15 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-246228 2015-12-17
JP2015246228 2015-12-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/009,384 Continuation US10567647B2 (en) 2015-12-17 2018-06-15 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2017104328A1 true WO2017104328A1 (ja) 2017-06-22

Family

ID=59055999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083698 WO2017104328A1 (ja) 2015-12-17 2016-11-14 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US10567647B2 (ja)
JP (2) JP6417055B2 (ja)
CN (1) CN108370415B (ja)
WO (1) WO2017104328A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567647B2 (en) 2015-12-17 2020-02-18 Fujifilm Corporation Image processing apparatus and image processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6598886B2 (ja) * 2018-01-05 2019-10-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置
JP6625144B2 (ja) 2018-01-05 2019-12-25 キヤノン株式会社 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009213130A (ja) * 2008-02-04 2009-09-17 Fujifilm Corp 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050205B2 (en) * 2000-12-26 2006-05-23 Fuji Photo Film Co., Ltd. Method of correcting image data picked up from photographic film
WO2004063989A2 (en) * 2003-01-16 2004-07-29 D-Blur Technologies Ltd. Camera with image enhancement functions
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
EP2265989A1 (en) * 2008-04-03 2010-12-29 Omnivision Technologies, Inc. Imaging systems including distributed phase modification and associated methods
JP4942216B2 (ja) 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム
JP5059065B2 (ja) 2009-08-07 2012-10-24 シャープ株式会社 撮像モジュール、結像レンズ、およびコード読取方法
JP5534832B2 (ja) 2010-01-21 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2015103971A (ja) * 2013-11-25 2015-06-04 株式会社東芝 固体撮像装置及びデジタルカメラ
TWI511086B (zh) * 2014-04-18 2015-12-01 Altek Semiconductor Corp 鏡頭失真校正方法
CN108370415B (zh) 2015-12-17 2019-06-14 富士胶片株式会社 图像处理装置及图像处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009213130A (ja) * 2008-02-04 2009-09-17 Fujifilm Corp 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567647B2 (en) 2015-12-17 2020-02-18 Fujifilm Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US20180309926A1 (en) 2018-10-25
JP2019009822A (ja) 2019-01-17
JPWO2017104328A1 (ja) 2018-11-29
CN108370415A (zh) 2018-08-03
US10567647B2 (en) 2020-02-18
CN108370415B (zh) 2019-06-14
JP6417055B2 (ja) 2018-10-31

Similar Documents

Publication Publication Date Title
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
JP5779724B2 (ja) 画像処理装置、撮像装置、コンピュータ及びプログラム
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5851650B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
JP5870231B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
US9619871B2 (en) Image processing device, imaging apparatus, image processing method, and program
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
US9633418B2 (en) Image processing device, imaging apparatus, image processing method, and program
JP2019009822A (ja) 画像処理装置及び画像処理方法
JP5897769B2 (ja) 撮像装置、キャリブレーションシステム、及びプログラム
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16875312

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017556427

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16875312

Country of ref document: EP

Kind code of ref document: A1