WO2016052027A1 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- WO2016052027A1 WO2016052027A1 PCT/JP2015/074316 JP2015074316W WO2016052027A1 WO 2016052027 A1 WO2016052027 A1 WO 2016052027A1 JP 2015074316 W JP2015074316 W JP 2015074316W WO 2016052027 A1 WO2016052027 A1 WO 2016052027A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- processing
- filter
- gain
- filtering
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 1021
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 742
- 238000000034 method Methods 0.000 claims description 757
- 230000008569 process Effects 0.000 claims description 634
- 230000003287 optical effect Effects 0.000 claims description 268
- 238000004364 calculation method Methods 0.000 claims description 122
- 239000006185 dispersion Substances 0.000 claims description 71
- 238000013500 data storage Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 abstract description 44
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 description 118
- 230000006870 function Effects 0.000 description 117
- 238000010586 diagram Methods 0.000 description 68
- 238000003384 imaging method Methods 0.000 description 33
- 239000011159 matrix material Substances 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- 238000013461 design Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 15
- 235000002020 sage Nutrition 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 10
- 230000004075 alteration Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000005315 distribution function Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 235000019687 Lamb Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Definitions
- the present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium, and more particularly to image filter processing.
- Japanese Patent Application Laid-Open No. 2004-228561 discloses an imaging apparatus for the purpose of improving manufacturing tolerances and suppressing manufacturing variations.
- This imaging apparatus includes an aberration control optical system and an image processing unit.
- the aberration control optical system generates larger spherical aberration in the peripheral portion than in the vicinity of the optical axis center.
- the image processing unit performs a recovery process for the component reduced by the spherical aberration, and holds the amount of noise increased by the image processing at a standard deviation of 2 times or less.
- the spherical aberration is intentionally generated at a position away from the optical axis, thereby improving the lens manufacturing tolerance, and restoring the MTF by image processing using a filter to recover the component reduced by the spherical aberration. Processing is performed.
- Patent Document 2 discloses an imaging apparatus that generates an image with an extended depth of field and an image having an arbitrary depth of field by image processing after image capturing.
- the point spread function PSF
- the processing amount increases and the processing time becomes long. Therefore, the point spread function is directly applied only to the representative pixel position. It has been proposed that the point spread function relating to the non-representative pixel position is calculated by performing interpolation based on the point spread function relating to the neighboring representative pixel position.
- the required filter data amount increases at an exponential rate.
- the point spread function of the photographing optical system includes an aperture value (F value), a zoom value (focal length), a subject distance, a focus position, an optical system type, a sensor SN ratio (Signal-Noise ratio), an image height ( This is because the position changes in accordance with imaging conditions such as (image position) and optical system individual differences.
- F value aperture value
- zoom value zoom value
- a subject distance a focus position
- an optical system type a sensor SN ratio
- Sensor-Noise ratio Sensor-Noise ratio
- the point spread function fluctuates according to the image height of the optical system and continuously changes according to the position angle around the optical axis. Therefore, when creating a filter based on the point spread function, ideally optical It is desirable to design and maintain a filter by measuring the point spread function for all positions in the system.
- designing and maintaining an optimized filter for each of all positions of the optical system not only requires a large amount of computation, but also requires an enormous storage capacity to hold the filter. Become. In order to arrange such a memory having a large storage capacity in a limited space, it is necessary to prepare a compact and large-capacity expensive memory. Therefore, filters corresponding to all positions of the optical system are prepared and stored in advance. This is not always desirable from the viewpoint of actually constructing an image processing system.
- Patent Document 1 discloses that a filter that recovers point spread caused by intentionally generated spherical aberration is created and the MTF is improved by using the filter.
- the above-described increase in the number of filters is disclosed. No mention is made of harmful effects and methods for solving such harmful effects.
- the point spread function calculation load is reduced by directly calculating the point spread function for only the representative pixel position.
- the point spread function changes in accordance with a plurality of conditions such as an F value and a focal length other than the pixel position. Therefore, even if only the representative pixel position is used, all of the plurality of conditions are satisfied. Keeping filters optimized for the combination still requires enormous storage capacity.
- the imaging apparatus of Patent Document 2 since the point spread function related to the non-representative pixel position is estimated by interpolation, the actual point spread function related to the non-representative pixel position is appropriately realized by the estimated point spread function. There is no guarantee of that.
- the number of required filter patterns increases. Further, when the filter (filter coefficient) to be used is changed according to the pixel position, the data amount of the filter increases according to the number of pixels of the image to be processed.
- a Wiener filter can be calculated from an optical transfer function (OTF) obtained by Fourier transform of the point spread function (PSF).
- OTF optical transfer function
- PSF point spread function
- a desired frequency characteristic obtained by the inverse Fourier transform of the Wiener filter can be realized by a filter having an arbitrary number of taps.
- the number of taps of the filter is also limited. In order to calculate a tap coefficient having a desired frequency characteristic under a condition where the number of taps of the filter is limited, it is necessary to solve the nonlinear optimization problem, and thus a very large amount of calculation is required.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing technique capable of achieving both high-precision filtering processing and reduction in required storage capacity.
- One aspect of the present invention is an image processing apparatus including a filtering processing unit that acquires processed image data by performing image filtering processing including multiple times of filtering processing on original image data, and the filtering processing unit includes: In each of the multiple filtering processes, a filter is applied to the processing target data to obtain the filter application process data, a gain is applied to the filter application process data to obtain the gain application process data, and the gain application process data is filtered.
- the processing data is acquired, and the gain applied to the filter application processing data in each of the plurality of filtering processes is acquired based on the target frequency characteristic of the image filtering process determined according to the pixel position in the original image data.
- the present invention relates to an image processing apparatus.
- the gain applied to the filter application process data in each of the plurality of filtering processes is acquired based on the target frequency characteristic of the image filter process, and the target frequency characteristic is the original image. It is determined according to the pixel position in the data.
- the target frequency characteristics of the image filter processing are frequency characteristics based on optical characteristics.
- optical characteristics here is preferably the optical characteristics of a photographing optical system used for photographing acquisition of original image data to be subjected to image filtering.
- the characteristics based on the point spread function PSF and the optical transfer function OTF can be set as “optical characteristics”, and an arbitrary standard such as a Wiener filter is used.
- OTF Modulation Transfer Function
- PTF Phase Transfer Function
- the image processing apparatus includes a gain candidate data storage unit that stores gain table information in which candidate data of gain applied to filter application processing data in each of a plurality of filtering processes is associated with a pixel position, and gain table information
- the gain specifying unit that specifies the candidate data associated with the pixel position corresponding to the target frequency characteristic of the image filter processing as a gain applied to the filter application processing data in each of a plurality of times of filtering processing
- the filtering processing unit applies the gain specified by the gain specifying unit to the filter application processing data in each of the plurality of times of filtering processing, and acquires gain application processing data.
- the gain applied to the filter application process data can be easily specified from the gain candidate data.
- the format of the “gain table information” is not particularly limited as long as it appropriately correlates the gain candidate data and the pixel position.
- factors for example, aperture value (F value), zoom value (focal length), subject distance
- the gain candidate data may be associated with the focus position, the optical system type, the sensor SN ratio of the image sensor, the image height (pixel position), the individual differences in the optical system, and the like.
- the filtering processing unit performs a plurality of times of filtering processing for each pixel of the original image data
- the gain specifying unit processes pixel information indicating a pixel position of the original image data that is a target of the plurality of times of filtering processing.
- candidate data associated with the pixel position indicated by the processing pixel information is specified as a gain applied to the filter application processing data in each of a plurality of times of filtering processing.
- the gain is obtained by fitting the frequency characteristics of the image filter processing by the least square method based on the frequency characteristics of the plurality of times of filtering processing with respect to the target frequency characteristics of the image filter processing.
- weighting is performed based on the frequency.
- the approximate error evaluation function of the frequency characteristic is weighted based on the frequency.
- the approximate error evaluation function is a function indicating evaluation of the degree of approximation (that is, the degree of error).
- a functional based on a weighted least square criterion (J LMS [g]) described later is used as an approximation error. It can be used as an evaluation function.
- J LMS [g] weighted least square criterion
- the weighting in the low frequency band is set larger than the weighting in the high frequency band.
- this aspect it is possible to acquire a gain that accurately realizes the frequency characteristic particularly in the low frequency band among the target frequency characteristics of the image filter processing. Due to human visual characteristics, low-frequency components are more easily perceived than high-frequency components, so by acquiring gain by increasing the weight of the low-frequency band, processed image data with excellent visibility can be obtained through image filtering. Can be generated.
- the weighting in the high frequency band is set to be larger than the weighting in the low frequency band in accordance with the photographing condition when acquiring the original image data.
- the high frequency component is set to the low frequency as the accuracy of “approximate to the target frequency characteristic of the image filter processing”. In some cases, preference is given to components.
- shooting conditions when acquiring original image data are determined based on an arbitrary factor that can affect noise. For example, one or a plurality of conditions selected from the setting conditions of the photographing optical system used for acquiring the original image data and the state conditions (scene conditions) of the subject itself are set to “shooting when acquiring the original image data”. Condition.
- the weighting in the least square method is determined according to the pixel position in the original image data.
- the weighting of the high frequency band may be made larger than the weighting of the low frequency band at a pixel position where sharp image quality is required, and the weighting of the low frequency band is performed at a high frequency at a pixel position where image quality with excellent visibility is required. It may be larger than the weight of the band.
- the weighting in the high-frequency band is larger at the pixel position below the first distance from the image center of the original image data than at the pixel position farther than the first distance from the image center of the original image data.
- this aspect it is possible to acquire a gain excellent in reproducibility of high-frequency components in the center of the image rather than in the periphery of the image.
- this aspect can be suitably applied to a case where sharpness is required in the central portion of the image, such as when a main subject is disposed in the central portion of the image.
- the “first distance” is not particularly limited, and can be appropriately set based on an image range in which a high frequency band is important.
- the pixel position farther than the second distance from the image center of the original image data is weighted in the low frequency band than the pixel position less than or equal to the second distance from the image center of the original image data. large.
- this aspect it is possible to acquire a gain excellent in reproducibility of the low frequency component in the peripheral portion of the image as compared with the central portion of the image.
- this aspect can be suitably applied to a case where excellent visibility is required in the peripheral portion of the image, for example, when a subject to be observed can be arranged in the peripheral portion of the image.
- the “second distance” is not particularly limited, and can be appropriately set based on an image range in which the low frequency band is important.
- the filtering processing unit processes the filtering processing data in each of a plurality of times of filtering processing at a frequency where the ratio of the processing image data to the original image data is less than 1 in the target frequency characteristics of the image filtering processing.
- the filtering processing unit uses a filter determined in accordance with characteristics of the optical system used when acquiring the original image data by photographing in at least any one of the plurality of filtering processes. To obtain filter application process data.
- the filtering process based on the characteristics of the optical system is performed at least once.
- the filter determined according to the characteristics of the optical system is a filter determined based on a point spread function of the optical system.
- the filtering process based on the point spread function of the optical system is performed at least once.
- the filtering processing unit includes a filter that is determined regardless of the characteristics of the optical system used when acquiring the original image data by photographing in at least one of the plurality of filtering processes. To obtain filter application processing data.
- the filtering process unrelated to the characteristics of the optical system is performed at least once.
- the filter defined regardless of the characteristics of the optical system is a contour enhancement filter.
- the filtering process related to contour enhancement is performed at least once.
- the contour enhancement filter may have a frequency characteristic corresponding to the pixel position in the processing target data, or may have a common frequency characteristic regardless of the pixel position in the processing target data.
- the plurality of filtering processes include at least a first filtering process and a second filtering process
- the filtering processing unit converts the filtering process data acquired in the first filtering process into the second filtering process. Used as processing target data.
- the first filtering process and the second filtering process are performed in series.
- the plurality of filtering processes include at least a first filtering process and a second filtering process
- the filtering processing unit uses the same data as processing target data in the first filtering process and the second filtering process. Then, the processing image data is acquired based on the filtering processing data acquired in the first filtering processing and the filtering processing data acquired in the second filtering processing.
- the first filtering process and the second filtering process are performed in parallel.
- the plurality of filtering processes include at least a first filtering process and a second filtering process
- the filtering processing unit filters the first filtering process with respect to the processing target data of the first filtering process.
- a second gain applying unit that applies a second filtering process filter to the processing target data of the second filtering process, and obtains filter application process data;
- the second filtering of the filtering application data of the filtering process Applying a gain for management has a second gain application unit for acquiring a gain application processing data.
- the first filtering process and the second filtering process are performed separately by the “filter application unit (first filter application unit and second filter application unit)” and “gain application unit (first filter application unit).
- the process flow is simplified by the gain application unit and the second gain application unit).
- the plurality of filtering processes include at least a first filtering process and a second filtering process, and the filtering processing unit applies a filter to the processing target data, and obtains filter application processing data;
- a gain application unit that applies gain to the filter application process data to obtain the gain application process data, and the filter application unit uses a filter for the first filtering process in the first filtering process.
- the application processing data is acquired, and in the second filtering process, the filter application processing data is acquired using a filter for the second filtering process, and the gain applying unit is used for the first filtering process in the first filtering process.
- the gain application processing data is acquired using the gain, and the second frame is acquired. In Rutaringu process acquires gain application processing data using the gain for the second filtering process.
- the first filtering process and the second filtering process are performed by the same “filter application unit” and “gain application unit”, and the hardware configuration (circuit configuration) is simplified.
- the plurality of filtering processes include at least a first filtering process and a second filtering process
- the filtering processing unit corresponds to an average of a plurality of types of frequency characteristics of the image filtering process in the first filtering process.
- Filter application processing data is acquired using a reference filter determined in accordance with the second filtering processing, and in the second filtering processing, filter application processing data is acquired using a dispersion filter determined according to the dispersion of a plurality of types of frequency characteristics of the image filtering processing.
- the image filter processing to be applied can be performed with high accuracy on average.
- the dispersion filter only needs to respond directly or indirectly to the dispersion of a plurality of types of frequency characteristics of the image filter processing.
- the dispersion filter may be determined based on a standard deviation derived from the dispersion, In addition to the above, the dispersion filter may be determined based on other factors (for example, average).
- Another aspect of the present invention is an image processing apparatus including a filtering processing unit that acquires processed image data by performing image filtering processing including a plurality of times of filtering processing on original image data, and performs a plurality of times of filtering.
- the process includes at least a first filtering process and a second filtering process, and the filtering processing unit obtains filter application processing data by applying a filter to the processing target data in each of the plurality of filtering processes.
- Gain application processing data is obtained by applying gain to the application processing data, and filtering processing data is obtained from the gain application processing data.
- the frequency characteristics of a plurality of types of image filtering processing are obtained, and the original image Duplicate defined according to the pixel position in the data Filter application processing data is acquired using a reference filter that is determined according to the average of the frequency characteristics of the types of image filter processing.
- the frequency characteristics of the plurality of types of image filtering processing are the original image data.
- Filter application processing data is obtained using a dispersion filter determined according to the dispersion of frequency characteristics of a plurality of types of image filter processing determined according to the pixel position in each of the plurality of times of filtering processing.
- the applied gain relates to an image processing apparatus that is determined according to the pixel position in the original image data.
- the gain applied to the filter application process data in each of the plurality of filtering processes is determined according to the pixel position in the original image data.
- desired image filter processing specified based on the optical characteristics of the optical system in accordance with the pixel position can be realized with high accuracy by simple arithmetic processing.
- the reference filter and the dispersion filter corresponding to the average and dispersion of the frequency characteristics of a plurality of types of image filter processing determined according to the pixel position are used, the image filter processing can be performed with high accuracy on average.
- the gain table information associates specific candidate data with a plurality of representative pixel positions, and a pixel position other than the plurality of representative pixel positions includes a plurality of representative pixel positions.
- Candidate data associated with one or more pixel positions is associated.
- candidate data of gain associated with a representative pixel position is associated with a pixel position other than a plurality of representative pixel positions. Therefore, the data amount of “association data between pixel position and gain candidate data” in the gain table information can be reduced.
- “candidate data associated with one or more pixel positions among a plurality of representative pixel positions” may be directly associated with “a pixel position other than a plurality of representative pixel positions”. It may be good or indirectly related. Accordingly, the gain table information can be obtained by, for example, directly relating “one or more pixel positions of a plurality of representative pixel positions” to “a pixel position other than a plurality of representative pixel positions”. "Candidate data associated with one or more pixel positions of a plurality of representative pixel positions” may be indirectly associated with "a pixel position other than the representative pixel position”.
- the filtering processing unit acquires a plurality of filter application processing data by applying a plurality of types of filters to the processing target data, and the gain table information includes a plurality of candidate data at each of a plurality of representative pixel positions.
- the plurality of candidate data associated with each of the plurality of representative pixel positions is specified by the gain specifying unit as a gain applied to each of the plurality of filter application processing data.
- the plurality of types of filters correspond to a reference filter determined according to an average of a plurality of target frequency characteristics determined according to a plurality of representative pixel positions, and a variance of the plurality of target frequency characteristics.
- a dispersion filter defined by
- the image filter processing can be performed with high accuracy on average for a plurality of representative pixel positions.
- the filtering processing unit applies a plurality of types of filters to the processing target data to obtain a plurality of filter application processing data, and applies a gain to the plurality of filter application processing data to obtain the gain application processing data.
- a gain application block that acquires filtering process data from the gain application process data, and a process data acquisition unit that acquires processed image data the gain application block includes a plurality of gain blocks, and a filter application block, A plurality of times of filtering processing is performed with each of the plurality of gain blocks, and each of the plurality of gain blocks applies a gain to the plurality of filter application processing data to obtain a plurality of gain application processing data.
- Multiple filtering processing data from the gain application processing data of Get the data acquires the block processing data from a plurality of filtering data, processing the data acquisition unit acquires the processed image data on the basis of the block processing data acquired in a plurality of gain blocks.
- a plurality of times of filtering processing can be performed with high accuracy by the filter application block and each of the plurality of gain blocks.
- the plurality of gain blocks include at least a first gain block and a second gain block, and each of the first gain block and the second gain block applies a gain to each of the plurality of filter application processing data.
- the processing data acquisition unit applies the processing image data based on the block processing data acquired in the first gain block and the block processing data acquired in the second gain block, and the filtering processing unit
- the gain specifying unit selects the first of candidate data associated with pixel positions other than the plurality of representative pixel positions.
- Candidate data associated with a representative pixel location of the first gain block is used Identified as an in, it identifies the candidate data associated with the second representative pixel location as the gain used in the second gain block.
- candidate data associated with the first representative pixel position and candidate data associated with the second representative pixel position are , Specified as the gain used in the gain block.
- the processing data acquisition unit acquires processing image data by weighting calculation of block processing data acquired in a plurality of gain blocks.
- the processed image data can be obtained with high accuracy by weighting calculation.
- the processing data acquisition unit determines a weighting coefficient assigned to each of the block processing data acquired in the plurality of gain blocks based on the pixel position, and performs the processing by a weighting operation that applies the weighting coefficient to the block processing data. Get image data.
- the processed image data can be obtained with high accuracy by performing the weighting calculation using the weighting coefficient determined based on the pixel position.
- Another aspect of the present invention is an image processing method for obtaining processed image data by performing image filtering processing including a plurality of times of filtering processing on original image data, and in each of the plurality of times of filtering processing, Apply filter to processing target data to obtain filter application processing data, apply gain to filter application processing data to obtain gain application processing data, obtain filtering processing data from gain application processing data, multiple times
- the gain applied to the filter application process data in each filtering process relates to an image processing method acquired based on a target frequency characteristic of the image filter process determined according to the pixel position in the original image data.
- Another aspect of the present invention is an image processing method for obtaining processed image data by performing image filtering processing including a plurality of times of filtering processing on original image data, wherein the plurality of times of filtering processing is at least Including a first filtering process and a second filtering process, in each of a plurality of filtering processes, a filter is applied to processing target data to obtain filter application process data, and a gain is applied to the filter application process data
- the application process data is acquired, the filtering process data is acquired from the gain application process data, and in the first filtering process, a plurality of frequency characteristics of a plurality of types of image filter processes determined according to pixel positions in the original image data Defined according to the average of frequency characteristics of different types of image filtering Filter application processing data is acquired using a reference filter to be processed, and in the second filtering processing, a plurality of types of image filtering processing that are frequency characteristics of a plurality of types of image filtering processing and are determined according to pixel positions in the original image data
- Another aspect of the present invention is a program for causing a computer to realize a function of acquiring processed image data by performing image filtering processing including multiple times of filtering processing on original image data.
- a procedure for obtaining a filter application process data by applying a filter to the processing target data a procedure for obtaining a gain application process data by applying a gain to the filter application process data, and a gain application process data
- obtaining a filtering process data from the computer, and the gain applied to the filter application process data in each of the plurality of filtering processes is an image filtering process determined according to the pixel position in the original image data. Pro acquired based on target frequency characteristics On the lamb.
- Another aspect of the present invention is a program for causing a computer to realize a function of acquiring processed image data by performing image filtering processing including multiple times of filtering processing on original image data.
- the filtering process includes at least a first filtering process and a second filtering process.
- a procedure for applying the filter to the processing target data to obtain the filter application process data and the filter application
- a procedure for acquiring gain application processing data by applying gain to the processing data and a procedure for acquiring filtering processing data from the gain application processing data are executed by a computer.
- the first filtering processing a plurality of types of image filters are used.
- a computer In the second filtering process, a computer is caused to execute a procedure for acquiring filter application process data using a reference filter that is determined according to an average of frequency characteristics of a plurality of types of image filter processes that are determined according to pixel positions.
- Filter application processing data is acquired using a dispersion filter that is determined according to the dispersion of frequency characteristics of multiple types of image filter processing that is determined according to pixel positions in the original image data.
- the gain to be applied to the filter application process data in each of the plurality of filtering processes is related to a program determined according to the pixel position in the original image data.
- Another aspect of the present invention is a program for causing a computer to realize a function of acquiring processed image data by performing image filtering processing including multiple times of filtering processing on original image data.
- a procedure for obtaining a filter application process data by applying a filter to the processing target data a procedure for obtaining a gain application process data by applying a gain to the filter application process data, and a gain application process data
- obtaining a filtering process data from the computer, and the gain applied to the filter application process data in each of the plurality of filtering processes is an image filtering process determined according to the pixel position in the original image data. Pro acquired based on target frequency characteristics Ram a computer-readable recording medium recording a.
- Another aspect of the present invention is a program for causing a computer to realize a function of acquiring processed image data by performing image filtering processing including multiple times of filtering processing on original image data.
- the filtering process includes at least a first filtering process and a second filtering process.
- a procedure for applying the filter to the processing target data to obtain the filter application process data and the filter application
- a procedure for acquiring gain application processing data by applying gain to the processing data and a procedure for acquiring filtering processing data from the gain application processing data are executed by a computer.
- the first filtering processing a plurality of types of image filters are used.
- a computer In the second filtering process, a computer is caused to execute a procedure for acquiring filter application process data using a reference filter that is determined according to an average of frequency characteristics of a plurality of types of image filter processes that are determined according to pixel positions.
- Filter application processing data is acquired using a dispersion filter that is determined according to the dispersion of frequency characteristics of multiple types of image filter processing that is determined according to pixel positions in the original image data.
- the gain to be applied to the filter application process data in each of the plurality of filtering processes is related to a computer-readable recording medium in which a program determined according to the pixel position in the original image data is recorded.
- the gain applied to the filter application processing data in each of the plurality of filtering processes can be acquired based on the target frequency characteristic of the image filter process, and the target frequency characteristic is It is determined according to the pixel position in the original image data.
- FIG. 1 is a block diagram showing a digital camera connected to a computer.
- FIG. 2 is a block diagram illustrating a configuration example of the main body controller.
- FIG. 3 is a block diagram illustrating an example of a functional configuration of the image processing unit.
- FIG. 4 is a block diagram illustrating another example of the functional configuration of the image processing unit.
- FIG. 5 is a block diagram illustrating another example of the functional configuration of the image processing unit.
- FIG. 6 is a conceptual diagram of image filter processing.
- FIG. 7 is a conceptual diagram of the n-th filtering process (where “n” is an integer of 1 to N).
- FIG. 8 is a diagram illustrating an example of a circuit configuration of the filtering processing unit.
- FIG. 1 is a block diagram showing a digital camera connected to a computer.
- FIG. 2 is a block diagram illustrating a configuration example of the main body controller.
- FIG. 3 is a block diagram illustrating an example of a functional configuration of the image processing unit.
- FIG. 9 is a diagram illustrating another example of the circuit configuration of the filtering processing unit.
- FIG. 10 is a diagram illustrating another example of the circuit configuration of the filtering processing unit.
- FIG. 11 is a diagram illustrating another example of the circuit configuration of the filtering processing unit.
- FIG. 12 is a diagram illustrating another example of the circuit configuration of the filtering processing unit.
- FIG. 13 is a conceptual diagram illustrating the relationship between the representative pixel position and candidate data related to the gain output from the gain output unit.
- FIG. 14 is a conceptual diagram showing the relationship between the global coordinate data and local coordinate data output from the position coordinate calculation unit and the pixel position data.
- FIG. 15 is a conceptual diagram illustrating a relationship between local coordinate data input to the weighting coefficient determination unit and weighting coefficients output from the weighting coefficient determination unit.
- FIG. 16 is a block diagram illustrating an example of a functional configuration of the gain acquisition unit, and illustrates a gain acquisition unit suitably combined with the image processing unit illustrated in FIG. 3.
- FIG. 17 is a flowchart showing a gain acquisition flow of the gain acquisition unit shown in FIG.
- FIG. 18 is a block diagram illustrating another example of the functional configuration of the gain acquisition unit, and illustrates a gain acquisition unit that can be suitably combined with the image processing unit illustrated in FIGS. 4 and 5.
- FIG. 19 is a flowchart showing a frequency characteristic acquisition flow of the frequency analysis unit shown in FIG.
- FIG. 20 is a flowchart showing a gain acquisition flow of the gain acquisition unit shown in FIG.
- FIG. 21 is a block diagram illustrating an example of a functional configuration of the filter acquisition device.
- FIG. 22 is a block diagram illustrating an example of a functional configuration of the filter calculation unit.
- FIG. 23 is a conceptual diagram showing variation in frequency characteristics of a plurality of types of image filter processing by a single-peak distribution.
- FIG. 24 is a conceptual diagram showing a variation in frequency characteristics of a plurality of types of image filter processing by a multimodal distribution.
- FIG. 25 is a diagram schematically illustrating an example of frequency characteristics of a plurality of types of image filter processing that can be classified into a single-peak distribution, in which the horizontal axis represents frequency and the vertical axis represents response.
- FIG. 26 is a diagram schematically illustrating an example of the dispersion of the frequency characteristics of the plurality of types of image filter processing illustrated in FIG.
- FIGS. 27A to 27C are diagrams schematically showing an example of a base filter (eigenvector) obtained from the average and variance of the frequency characteristics of the plurality of types of image filter processing shown in FIG. 27 (a) shows “ ⁇ 0 ”, FIG. 27 (b) shows “ ⁇ 1 ”, and FIG. 27 (c) shows “ ⁇ 2 ”.
- 28 (a) to 28 (b) show frequency characteristics (see FIG. 28 (a)) relating to image filter processing (first filtering processing to third filtering processing) performed by the filtering processing unit having the circuit configuration shown in FIG. ) And a gain example (see FIG. 28B).
- FIG. 29 is a block diagram illustrating an example of a functional configuration of a filter calculation unit that calculates filter coefficients based on a unimodal distribution.
- FIG. 30 is a diagram schematically illustrating an example of frequency characteristics of image filter processing that can be classified into a multimodal distribution, in which the horizontal axis represents frequency and the vertical axis represents response.
- FIG. 31 is a diagram schematically showing an example of the dispersion of the frequency characteristics of the plurality of types of image filter processing shown in FIG. 30, and FIG. 31 (a) shows the first image classified into the first variation distribution.
- FIG. 31B shows the frequency characteristic data dispersion of the filter process to the third image filter process, and
- FIG. 31B shows the frequency characteristic data of the fourth image filter process to the sixth image filter process classified into the second variation distribution.
- FIGS. 32A to 32C show the basis filter (eigenvector) obtained from the mean and variance of the frequency characteristics of the first image filter processing to the third image filter processing classified into the first variation distribution. It is a figure which shows an example schematically, FIG. 32 (a) shows “(phi) 0 ", FIG.32 (b) shows “(phi) 1 ", FIG.32 (c) shows "(phi) 2 ".
- FIGS. 33A to 33C show the basis filters (eigenvectors) obtained from the mean and variance of the frequency characteristics of the fourth image filter processing to the sixth image filter processing classified into the second variation distribution.
- FIG.33 (a) shows “(phi) 0 "
- FIG.33 (b) shows “(phi) 1 "
- FIG.33 (c) shows "(phi) 2 "
- 34 (a) to 34 (b) show frequency characteristics (see FIG. 34 (a)) relating to image filter processing (first filtering processing to third filtering processing) performed by the filtering processing unit having the circuit configuration shown in FIG. )
- a gain example see FIG. 34B.
- FIG. 35 is a block diagram illustrating an example of a functional configuration of a filter calculation unit that calculates filter coefficients based on a multimodal distribution.
- FIG. 35 is a block diagram illustrating an example of a functional configuration of a filter calculation unit that calculates filter coefficients based on a multimodal distribution.
- FIG. 36 is a conceptual diagram of a plurality of types of image filter processing (frequency characteristics) classified into a plurality of filter groups by the filter group classification unit.
- FIG. 37 is a block diagram illustrating an embodiment of an imaging module including an EDoF optical system.
- FIG. 38 is a diagram illustrating an example of an EDoF optical system.
- FIG. 39 is a diagram showing an example of a restoration processing flow by the restoration processing block shown in FIG. 40 (a) to 40 (b) are diagrams showing an example of restoration of an image acquired via the EDoF optical system.
- FIG. 40 (a) shows a blurred image before restoration processing
- FIG. ) Indicates an image (point image) in which the blur after the restoration processing is eliminated.
- FIG. 1 is a block diagram showing the digital camera 10 connected to the computer 92.
- the digital camera 10 of this example includes a replaceable lens unit 11 and a camera body 12 having an image sensor 24, and includes a lens unit input / output unit 20 of the lens unit 11 and a camera body input / output unit 28 of the camera body 12.
- the lens unit 11 and the camera body 12 are electrically connected to each other.
- the lens unit 11 includes an optical system including a lens 14 and a diaphragm 15 and an optical system operation unit 17 that controls the optical system.
- the optical system operation unit 17 includes a lens unit controller 18 connected to the lens unit input / output unit 20, a lens unit storage unit 19 that stores various information such as optical system information, and an actuator (not shown) that operates the optical system. Including.
- the lens unit controller 18 controls the optical system via an actuator based on a control signal sent from the camera body 12 via the lens unit input / output unit 20.
- the aperture amount is controlled.
- the lens unit controller 18 reads various information stored in the lens unit storage unit 19 based on a control signal sent from the camera body 12 via the lens unit input / output unit 20 and reads the camera body 12 (body controller 25). ).
- the image pickup device 24 of the camera body 12 includes a condensing microlens, a color filter such as R (red) G (green) B (blue), a CMOS (Complementary Metal Oxide Semiconductor), a CCD (Charge Coupled Device), or the like. And an image sensor (photodiode) configured.
- the image sensor 24 converts the light of the subject image irradiated through the optical system of the lens unit 11 (such as the lens 14 and the diaphragm 15) into an electrical signal and sends the image signal (image data) to the main body controller 25.
- the main body controller 25 performs a function as a device control unit that comprehensively controls each unit of the digital camera 10 and image processing of image data sent from the image sensor 24. And a function as an image processing unit (image processing apparatus) to perform.
- the digital camera 10 further includes other devices (such as a release button) necessary for shooting and the like, and some of these devices constitute a user interface 26 that can be confirmed and operated by the user.
- a user interface 26 is provided in the camera body 12, but the user interface 26 can be arranged in the lens unit 11 and / or the camera body 12.
- the user can determine and change various settings (such as EV values (Exposure Value)), shooting instructions, and confirmation of live view images and captured images via the user interface 26.
- the user interface 26 is connected to the main body controller 25, and various settings and various instructions determined and changed by the user are reflected in various processes in the main body controller 25. Note that the user may be guided through the display on the display unit 27 (EVF: Electronic View Finder, rear liquid crystal display unit) included in the user interface 26 and may be prompted to take a picture.
- EMF Electronic View Finder, rear liquid crystal display unit
- Image data subjected to image processing by the main body controller 25 is stored in a main body storage unit 29 provided in the camera main body 12 and is sent to an external device such as a computer 92 via the input / output interface 30 as necessary.
- the main body storage unit 29 is composed of an arbitrary memory device, and a replaceable memory such as a memory card is preferably used.
- the format of the image data output from the main body controller 25 is not particularly limited, and the main body controller 25 uses image data having a format such as RAW, JPEG (Joint Photographic Experts Group), and / or TIFF (Tagged Image File Format). Can be generated and output.
- the main body controller 25 has a plurality of header information (shooting information (shooting date and time, model, number of pixels, aperture value, etc.)), main image data, thumbnail image data, etc., as in the so-called Exif (Exchangeable Image File Format).
- the related data may be associated with each other and configured as one image file, and the image file may be output.
- the computer 92 is connected to the digital camera 10 via the input / output interface 30 and the computer input / output unit 93 of the camera body 12 and receives data such as image data sent from the camera body 12.
- the computer controller 94 comprehensively controls the computer 92, performs image processing on the image data from the digital camera 10, and communicates with a server 97 or the like connected to the computer input / output unit 93 via a network 96 such as the Internet. Control.
- the computer 92 has a display 95, and the processing contents in the computer controller 94 are displayed on the display 95 as necessary.
- the user can input data and commands to the computer controller 94 by operating input means (not shown) such as a keyboard while confirming the display on the display 95.
- the user can control the computer 92 and devices (such as the digital camera 10 and the server 97) connected to the computer 92.
- the server 97 includes a server input / output unit 98 and a server controller 99.
- the server input / output unit 98 constitutes a transmission / reception connection unit with external devices such as the computer 92 and is connected to the computer input / output unit 93 of the computer 92 via a network 96 such as the Internet.
- the server controller 99 cooperates with the computer controller 94 in response to a control instruction signal from the computer 92, transmits and receives data to and from the computer controller 94 as necessary, performs arithmetic processing, and outputs the calculation result. Send to computer 92.
- Each controller (the lens unit controller 18, the main body controller 25, the computer controller 94, and the server controller 99) has circuits necessary for control processing, such as an arithmetic processing circuit (CPU (Central Processing Unit), etc.), a memory, and the like. It has. Communication between the digital camera 10, the computer 92, and the server 97 may be wired communication or wireless communication. Further, the computer 92 and the server 97 may be integrally configured, and the computer 92 and / or the server 97 may be omitted. In addition, the digital camera 10 may have a communication function with the server 97, and data may be directly transmitted and received between the digital camera 10 and the server 97.
- CPU Central Processing Unit
- FIG. 2 is a block diagram illustrating a configuration example of the main body controller 25.
- the main body controller 25 includes a device control unit 34 and an image processing unit (image processing apparatus) 35, and controls the camera main body 12 in an integrated manner.
- the device control unit 34 appropriately controls various devices included in the digital camera 10.
- the device control unit 34 controls the image sensor 24 to control the output of image signals (image data) from the image sensor 24 and control the lens unit 11.
- a control signal for transmission is transmitted to the lens unit 11 (lens unit controller 18) via the camera body input / output unit 28, and image data (RAW data, JPEG data, etc.) before and after image processing is stored in the body storage unit 29
- the image data before and after image processing (RAW data, JPEG data, etc.) is transmitted to external devices (computer 92, etc.) connected via the input / output interface 30.
- the device control unit 34 includes a display control unit 36 that controls the display unit 27.
- the display control unit 36 causes the display unit 27 to display a guide that guides the user's photographing operation in cooperation with the image processing unit 35. May be.
- the image processing unit 35 performs arbitrary image processing on the image signal output from the image sensor 24 as necessary. For example, sensor correction processing, demosaicing (synchronization) processing, pixel interpolation processing, color correction processing (offset correction processing, white balance processing, color matrix processing, gamma conversion processing, etc.), RGB image processing (sharpness processing, tone correction processing, Various kinds of image processing such as exposure correction processing and contour correction processing, RGB / YCrCb conversion processing, and image compression processing are appropriately performed in the image processing unit 35.
- FIG. 3 is a block diagram illustrating an example of a functional configuration of the image processing unit 35.
- the image processing unit 35 includes a filtering processing unit 41 that acquires processed image data D2 by performing image filtering processing including a plurality of times of filtering processing on the original image data D1.
- the image processing unit 35 of this example further includes a gain specifying unit 43, a gain candidate data storage unit 44, a preprocessing unit 40, and a postprocessing unit 42.
- the filtering processing unit 41 obtains filter application processing data by applying a filter to the processing target data in each of the plurality of times of filtering processing, and obtains gain application processing data by applying a gain to the filter application processing data.
- the filtering process data is acquired from the gain application process data.
- the gain candidate data storage unit 44 associates gain candidate data to be applied to filter application processing data in each of a plurality of filtering processes in the filtering processing unit 41 with pixel positions (optical system positions).
- the gain table information in this example associates candidate data of gain with the type of optical system and the pixel position (position of the optical system).
- This gain table information including candidate data for gain is acquired in advance by the gain acquisition unit 45 according to the type of optical system and the pixel position (position of the optical system) and stored in the gain candidate data storage unit 44.
- a specific example of a gain (candidate data) acquisition method according to the type of optical system and the pixel position will be described later.
- the gain specifying unit 43 refers to the gain table information stored in the gain candidate data storage unit 44, and sets candidate data associated with the pixel position (optical system position) corresponding to the target frequency characteristic a plurality of times. Is specified as a gain applied to the filter application process data in each of the filtering processes, and is sent to the filtering processor 41.
- the gain specifying unit 43 of the present example includes information on the type of optical system used when acquiring the original image data D1 that is the target of the image filtering process P and the pixel position (position of the optical system) of the processing target data. And gain candidate data associated with the optical system type and pixel position (optical system position) is read from the gain candidate data storage unit 44 and filtered as a gain applied to the filter application processing data. Send to part 41.
- the method of acquiring information on the type of optical system and the pixel position by the gain specifying unit 43 is not particularly limited, and the gain specifying unit 43 is, for example, information on the lens unit 11 held in a memory (not shown) of the main body controller 25 and photographing. Information on the type of optical system and pixel position (position of the optical system) may be acquired from the condition information.
- the filtering processing unit 41 acquires the gain application processing data by applying the gain specified by the gain specifying unit 43 to the filter application processing data in each of the plurality of filtering processes.
- the image processing unit 35 performs image processing other than the above-described image filter processing.
- Various image processing other than the image filter processing may be performed in the preprocessing unit 40 provided in the preceding stage of the filtering processing unit 41, or may be performed in the post-processing unit 42 provided in the subsequent stage of the filtering processing unit 41.
- the image filter processing in the filtering processing unit 41 is performed using the data subjected to various image processing performed in the preprocessing unit 40 as the original image data D1, and the processed image data subjected to the image filtering processing in the filtering processing unit 41
- Various image processing is performed in the post-processing unit 42 on D2.
- the image data input from the preprocessing unit 40 to the filtering processing unit 41 is called “original image data D1”
- the image data output from the filtering processing unit 41 to the post-processing unit 42 is “processed image data”. D2 ".
- FIG. 4 is a block diagram illustrating another example of the functional configuration of the image processing unit 35.
- the gain table information stored in advance in the gain candidate data storage unit 44 is referred to obtain the gain used in the filtering process.
- Candidate data is not acquired and stored in advance, and the gain is acquired along with the execution of the filtering process.
- the gain acquisition unit 45 is connected to the filtering processing unit 41, and the gain used in the multiple filtering processes performed in the filtering processing unit 41 is directly transmitted from the gain acquisition unit 45 to the filtering processing unit 41. Supplied.
- the gain acquisition unit 45 acquires data indicating the optical characteristics of the optical system used when acquiring the original image data D1 and indicating the optical characteristics corresponding to the pixel position (position of the optical system) of the processing target data, Based on the data indicating the optical characteristics, the target frequency characteristics of the image filtering process are specified, and based on the specified “target frequency characteristics of the image filtering process”, the filtering is performed in each of the plurality of filtering processes.
- the gain applied to the application processing data is acquired, and the acquired gain is supplied to the filtering processing unit 41.
- the lens unit 11 an example of the optical system used when capturing and acquiring the original image data D1 is used.
- a model number may be used.
- the “data indicating the optical characteristics according to the pixel position of the processing target data (position of the optical system)” may be, for example, optical characteristic data determined in units of individual pixels, or configured by a plurality of pixels. It may be optical characteristic data determined in units of blocks.
- the method of acquiring these data by the gain acquisition unit 45 is not particularly limited, and the gain acquisition unit 45 determines, for example, the type of optical system from the information of the lens unit 11 and the photographing condition information held in a memory (not shown) of the main body controller 25. Information on the pixel position (position of the optical system) may be acquired.
- the gain acquisition unit 45 may be provided as a part of the image processing unit 35 as shown in FIG. 4, or may be provided as a processing unit different from the image processing unit 35 as shown in FIG. .
- image processing other than the above-described image filter processing may be performed in the preprocessing unit 40 provided in the preceding stage of the filtering processing unit 41, or in the subsequent stage of the filtering processing unit 41. May be performed by the post-processing unit 42 provided in the system.
- the optical characteristics of the optical system are uniform regardless of the position, a common filter derived from the optical characteristics can be used for all pixel positions of the image data to be processed.
- the optical characteristics of an actual optical system fluctuate depending on the position, and for example, there is a tendency that the aberration is larger in the peripheral portion than in the central portion. Therefore, ideally, it is desirable to perform a filtering process optimized for each pixel using a filter optimized for optical characteristics at each position of the optical system. In order to perform such an ideal filtering process, it is required to prepare a filter (tap coefficient) optimized for each position of the optical system (for each pixel position), but the optical characteristics of the optical system are affected.
- FIG. 6 is a conceptual diagram of the image filter processing P.
- the image filtering process P of this example includes a plurality of filtering processes (first filtering process F1 to Nth filtering process FN (where “N” is an integer of 2 or more)).
- first filtering process F1 to Nth filtering process FN where “N” is an integer of 2 or more
- processed image data D2 is generated from the original image data D1.
- FIG. 7 is a conceptual diagram of the n-th filtering process Fn (where “n” is an integer from 1 to N).
- Each filtering process (nth filtering process Fn) of the image filter process P includes a filter application process PF and a gain application process PG.
- the filter application process PF is a process for obtaining a filter application process data D4 by applying a filter to the process target data D3, and the gain application process PG is applying a gain to the filter application process data D4 to obtain the gain application process data D5. It is a process to acquire.
- first filtering processing F1 to Nth filtering processing FN In each of a plurality of times of filtering processing (first filtering processing F1 to Nth filtering processing FN) included in the image filtering processing P performed by the filtering processing section 41, it is applied to the processing target data D3 in the filter application processing PF.
- the filter to be used is not particularly limited.
- the filter used in the filter application process PF may be determined according to the optical characteristics of the optical system, and the “point spread function” of the optical system is preferably used as the “optical characteristics of the optical system” used as the basis of the filter. Can be used.
- a filter By defining a filter according to the optical characteristics of the optical system, it is possible to accurately perform image filtering P (filtering processing) of the original image data D1 affected by the optical characteristics of the optical system.
- a point spread function By using a filter designed based on the above, it is possible to perform image filter processing P (filtering processing) that reduces the influence of the point spread phenomenon.
- the “filter determined according to the optical characteristics of the optical system” is not limited to the filter determined based on the point spread function, and the edge enhancement filter and other filters are referred to as “filters determined according to the optical characteristics of the optical system”. May be used. Even in the case of a filter other than a filter based on a point spread function (such as a contour enhancement filter), a filter (such as a contour enhancement filter) according to various conditions (for example, various factors such as the above-described aperture value (F value))
- the edge emphasis filter having a filter coefficient (tap coefficient) adjusted based on optical characteristics that change according to various conditions (for example, various factors such as the above-described aperture value (F value)) may be adjusted. These filters may be used in each filter application process PF.
- the filtering processing unit 41 performs the optical system (the lens 14, the diaphragm 15, etc.) in at least any one of the plurality of filtering processes (the first filtering process F 1 to the Nth filtering process FN).
- the filter application processing data D4 may be acquired using a filter determined according to characteristics (optical characteristics (such as a point spread function)).
- the filter is determined according to the optical characteristics of the optical system
- the filter is determined according to the optical characteristics of the optical system under typical shooting conditions. May be.
- the filter is determined according to the point spread function of the optical system
- a filter can be designed based on a point spread function under typical conditions with respect to one or a plurality of imaging conditions such as (position in image) and individual differences in optical systems.
- the “representative shooting conditions” may be determined based on the expected “frequency adopted when acquiring the original image data D1”.
- the filter may be designed as a “smooth photographing condition”.
- the filtering processing unit 41 is a plurality of filters based on the point spread function of the optical system (the lens 14 and the diaphragm 15 and the like), and a plurality of filters obtained by changing factors that affect the characteristics of the point spread function. It may be used in a plurality of filtering processes (first filtering process F1 to Nth filtering process FN).
- Factors that influence the characteristics of the point spread function include, for example, an aperture value (F value), a zoom value (focal length), a subject distance, a focus position, an optical system type, a sensor SN ratio of the image sensor 24, and an image height (in-image position). (Pixel position, position of the optical system)) and imaging conditions such as individual differences in the optical system.
- a filter derived based on a point spread function in which characteristic data of one or a plurality of factors among these factors is different may be used in each filter application process PF.
- the filtering processor 41 obtains the original image data D1 by photographing in at least one of the plurality of filtering processes (the first filtering process F1 to the Nth filtering process FN).
- the filter application processing data D4 may be acquired using a filter that is determined regardless of the characteristics of the optical system used (lens 14, aperture 15, etc.). As such a “filter determined regardless of the characteristics of the optical system”, for example, an edge enhancement filter can be preferably used.
- the gain applied to the filter application process data D4 in the gain application process PG is “original It is acquired on the basis of “target frequency characteristics of the image filtering process P determined according to the pixel position in the image data”.
- the “target frequency characteristic of the image filter processing P” can be obtained in advance experimentally or theoretically according to the type of the optical system. "A gain used in the gain application process PG" acquired based on "can be obtained in advance.
- a shooting condition (F value or the like) that can be employed when the original image data D1 is captured is assumed in advance, and each of the “adoptable shooting conditions” is assumed.
- the point spread function corresponding to each type of optical system and each pixel position (each position of the optical system) can be derived in advance.
- the frequency characteristic based on the point spread function (optical transfer function) of this optical system can represent the target frequency characteristic of the image filter processing P, and an inverse filter design method using an arbitrary design criterion such as a Wiener filter. It is possible to use.
- the filter used in the filter application process PF is fixed, the frequency characteristics of the filter can be obtained in advance. Therefore, when a filter is used in a fixed manner in the filter application process PF, based on the frequency characteristics of the filter and the point spread function derived in advance, “image filter process determined according to the pixel position in the original image data”
- the gain according to the target frequency characteristic of P can be derived in advance.
- the gain derived in this way is supplied to the filtering processing unit 41 (see “gain applying unit 49” described later) by the gain specifying unit 43 shown in FIG. 3 and the gain acquisition unit 45 shown in FIGS. .
- the above-mentioned “frequency characteristic targeted for the image filter process P” or “gain corresponding to the target frequency characteristic for the image filter process P” is the digital camera 10. It is preferable that the manufacturer of (lens unit 11 and / or camera body 12) is obtained in advance and stored in the memory, and the data stored in the memory when the image filter processing P of the original image data D1 is performed. It is preferable to make it available as appropriate.
- the target frequency characteristic of the image filter processing P is not limited to the frequency characteristic based on the optical characteristic such as the point spread function (optical transfer function) of the optical system (the lens 14 and the diaphragm 15), but the optical system (the lens 14).
- various frequency characteristics derived on the basis of imaging conditions can be set as “target frequency characteristics of the image filter processing P”. Therefore, for example, “frequency characteristics with different peaks depending on the aperture value (F value)” may be set as “target frequency characteristics of image filter processing P”.
- the number N of the filtering processes (the first filtering process F1 to the Nth filtering process FN) constituting the image filter process P is smaller than the total number M of filters when the filters are designed according to the factors in the conventional method. It is preferable.
- the number N of filtering processes constituting the image filter process P is set so that it is preferably 50% or less of M, more preferably 30% or less, and even more preferably 10% or less.
- the upper limit of the number N of filtering processes constituting the image filtering process P is the upper limit of the number of taps (maximum number of taps) of the filter having the largest number of taps among the filters used for the plurality of filtering processes. This is because the number of filter types cannot be increased beyond the number of filter taps.
- the number N of the filtering processes constituting the image filter process P is preferably 10 or less, more preferably 6 or less, and even more preferably 4 or less. Specific numerical examples of the number N of the filtering processes Is not limited to these. Further, the number of taps of a plurality of filters used in a plurality of filtering processes (filtering processing unit 41) constituting the image filter process P may be the same or different from one another among the filters.
- the filtering process can be performed a plurality of times.
- FIG. 8 is a diagram illustrating an example of a circuit configuration of the filtering processing unit 41.
- the filtering processing unit 41 of the present example uses the filtering processing data D6-1 acquired in the first filtering processing F1 as processing target data D3-2 in the second filtering processing F2. That is, the filtering processing unit 41 includes a first filter application unit 48-1, a first gain application unit 49-1, and a first processing data calculation unit 50-1, and the first filtering processing F1 is performed by these. Done. Further, the filtering processing unit 41 includes a second filter application unit 48-2, a second gain application unit 49-2, and a second processing data calculation unit 50-2, and thereby the second filtering processing F2 is performed. Done.
- the first filter application unit 48-1 applies the filter for the first filtering process to the processing target data D3-1 of the first filtering process F1, and acquires the filter application process data D4-1.
- the first gain application unit 49-1 applies the gain g0 for the first filtering process to the filter application process data D4-1 output from the first filter application unit 48-1, and the gain application process Data D5-1 is acquired.
- the second filter application unit 48-2 applies a filter for the second filtering process to the processing target data D3-2 of the second filtering process F2, and sets the filter application process data D4-2. get.
- the second gain application unit 49-2 applies the gain g1 for the second filtering process to the filter application process data D4-2 output from the second filter application unit 48-2, and performs the gain application process. Data D5-2 is acquired.
- the filtering processing unit 41 of the present example adds the processing target data D3 and the gain application processing data D5 and outputs the filtering processing data D6 and the second processing data calculation unit. 50-2. That is, the first processing data calculation unit 50-1 adds the processing target data D3-1 to the gain application processing data D5-1 output from the first gain application unit 49-1, and performs filtering processing data D6-1. Is output. Similarly, the second processing data calculation unit 50-2 adds the processing target data D3-2 to the gain application processing data D5-2 output from the second gain application unit 49-2, thereby filtering the processing data D6- 2 is output.
- the processing target data D3-1 in the first filtering process F1 is the original image data D1
- the second The filtering process data D6-2 in the filtering process F2 is processed image data D2.
- each filter application unit 48 may be held by each filter application unit 48 (first filter application unit 48-1 and second filter application unit 48-2) or stored in a memory (not shown). Each filter application unit 48 may read the information as appropriate.
- the gain used in each filtering process is supplied to each gain application unit 49 (first gain application unit 49-1 and second gain application unit 49-2) by the gain specifying unit 43.
- the filtering processing unit 41 of this example performs a plurality of times of filtering processing (first filtering processing F1 and second filtering processing F2) for each pixel of the original image data D1.
- the gain specifying unit 43 acquires the processing pixel information Fi indicating the pixel position of the original image data D1 that is the target of the plurality of filtering processes, and the candidate data associated with the pixel position indicated by the processing pixel information Fi.
- the gains applied to the filter application process data D4-1 and D4-2 in each of the plurality of filtering processes are specified as gains applied to the filter application process data D4-1 and D4-2 in each of the plurality of filtering processes, and the first gain application unit 49-1 and the second gain application unit 49-2 are specified.
- the pixel position of the processing target pixel data (processing target data D3) (of the optical system)
- Processed pixel information Fi indicating (position) is input to the gain specifying unit 43.
- the processing pixel information Fi may be information that directly or indirectly indicates the pixel position of the pixel data to be processed, and the gain specifying unit 43 at an appropriate timing from the other part (not shown) of the image processing unit 35. Is input.
- the gain specifying unit 43 stores gain candidate data associated with the pixel position of the pixel data to be processed in the gain candidate data storage unit 44 (gain table information shown in FIG. 3).
- FIG. 9 is a diagram illustrating another example of the circuit configuration of the filtering processing unit 41.
- the first filter application unit 48-1 and the first gain application unit 49-1 related to the first filtering process F1 are connected in series, and the second filter application unit related to the second filtering process F2 is connected. 48-2 and the second gain applying unit 49-2 are connected in series. Further, “the first filter application unit 48-1 and the first gain application unit 49-1 related to the first filtering process F1” and “the second filter application unit 48-2 and the second filter application unit 48-2 related to the second filtering process F2”.
- the gain application unit 49-2 "is connected in parallel.
- the filtering processing unit 41 uses the gain application processing data D5-1 output from the first gain application unit 49-1 and the gain application processing data D5-2 output from the second gain application unit 49-2. It has an adder 52 for adding.
- the gain application process data D5 (filtering process data D6) acquired in all the filtering processes (the first filtering process F1 and the second filtering process F2 in this example) are added to the added data D7.
- a processing data acquisition unit 51 that acquires the processing image data D2 by adding the processing target data D3 is provided.
- the filtering processing unit 41 of this example having the circuit configuration shown in FIG. 9 uses the same data (that is, the original image data D1) as the processing target data D3 in the first filtering processing F1 and the second filtering processing F2. .
- the filtering processing unit 41 also processes the processed image data D2 based on the filtering processing data D6-1 acquired in the first filtering processing F1 and the filtering processing data D6-2 acquired in the second filtering processing F2. get.
- the gain application process data D5 output from the gain application unit 49 of each filtering process is the filtering process data D6 obtained in each filtering process.
- the filtering processing unit 41 of this example shown in FIG. 9 also performs a plurality of times of filtering processing (first filtering processing F1 and second filtering processing) for each pixel of the original image data D1.
- a filtering process F2 is performed.
- the gain specifying unit 43 acquires the processing pixel information Fi indicating the pixel position of the original image data D1 that is the target of the plurality of filtering processes, and the candidates associated with the pixel position indicated by the processing pixel information Fi
- the data is specified as a gain applied to the filter application processing data D4-1 and D4-2 in each of the plurality of filtering processes, and the first gain application unit 49-1 and the second gain application unit 49- 2 is supplied.
- FIG. 10 is a diagram illustrating another example of the circuit configuration of the filtering processing unit 41.
- the first filter application unit 48-1 and the first gain application unit 49-1 related to the first filtering process F1 are connected in series
- the second The second filter application unit 48-2 and the second gain application unit 49-2 related to the filtering process F2 are connected in series.
- the gain application unit 49-2 "is connected in parallel. Therefore, the filtering processing unit 41 of this example also uses the same data (that is, the original image data D1) as the processing target data D3 in the first filtering processing F1 and the second filtering processing F2.
- gain application process data D5 (filtering process data D6) acquired in all filtering processes (first filtering process F1 and second filtering process F2 in this example) is added by the process data acquisition unit 51.
- the processed image data D2 is acquired. That is, the filtering processing unit 41 adds the filtering processing data D6-1 acquired in the first filtering processing F1 and the filtering processing data D6-2 acquired in the second filtering processing F2 in the processing data acquisition unit 51.
- the processed image data D2 is obtained.
- the gain application process data D5 output from the gain application unit 49 of each filtering process is the filtering process data D6 obtained in each filtering process.
- the filtering processing unit 41 of this example shown in FIG. 10 also performs a plurality of times of filtering processing (first filtering processing F1 and first filtering processing F1 and each pixel for the original image data D1 as in the filtering processing unit 41 of FIGS. 8 and 9 described above.
- a second filtering process F2) is performed.
- the gain specifying unit 43 acquires the processing pixel information Fi indicating the pixel position of the original image data D1 that is the target of the plurality of filtering processes, and the candidates associated with the pixel position indicated by the processing pixel information Fi
- the data is specified as a gain applied to the filter application processing data D4-1 and D4-2 in each of the plurality of filtering processes, and the first gain application unit 49-1 and the second gain application unit 49- 2 is supplied.
- the image filtering process P (first filtering process F1 to Nth filtering process FN) of this example shown in FIG. 10 prevents the change in the brightness (DC (Direct Current component) component) of the image to be processed.
- filter application unit 48 and gain application unit 49 are provided for each of the plurality of filtering processes, but the common “filter application unit 48 and gain application unit 49”.
- the filtering process may be performed a plurality of times.
- FIG. 11 is a diagram illustrating another example of the circuit configuration of the filtering processing unit 41.
- FIG. 11 shows an example of a circuit configuration in which a single filter application unit 48 and a single gain application unit 49 perform a plurality of filtering processes.
- the circuit configuration example shown in FIG. 11 exhibits a function equivalent to the circuit configuration of the series connection type shown in FIG. 9 described above with respect to the filter application processing PF and the gain application processing PG. 9 is different from the circuit configuration shown in FIG. 9 in that a plurality of filtering processes are performed by the application unit 49 ”.
- the filtering processing unit 41 of this example applies a filter to the processing target data D3 to obtain the filter application processing data D4, and applies a gain to the filter application processing data D4 to obtain the gain application processing data D5.
- a repetitive operation determination unit 54 that determines whether or not it is necessary to repeat the arithmetic processing at 50.
- the iterative calculation determination unit 54 When the number of filtering processes by the filter application unit 48, the gain application unit 49, and the processing data calculation unit 50 reaches N times, the iterative calculation determination unit 54 outputs the filtering processing data finally output from the processing data calculation unit 50. D6 is output as processed image data D2.
- the filter hn used in the filter application unit 48 is supplied from the filter supply unit 56 to the filter application unit 48, and the gain gn used in the gain application unit 49 is supplied from the gain supply unit 55 to the gain application unit 49. Is done. That is, “information on the filter hn ⁇ 1 and gain gn ⁇ 1 used in the n-th filtering process (where“ 1 ⁇ n ⁇ N ”) is held in the filter supply unit 56 and the gain supply unit 55, or not shown. Held in memory.
- the filter supply unit 56 and the gain supply unit 55 send information from the repetitive calculation determination unit 54 that “the filtering process performed in the filter application unit 48, the gain application unit 49, and the processing data calculation unit 50 is the nth time”.
- the filter hn ⁇ 1 and the gain gn ⁇ 1 are supplied to the filter application unit 48 and the gain application unit 49 based on the information from the iterative calculation determination unit 54.
- the filter application unit 48 shown in FIG. 11 acquires the filter application processing data D4 using the first filtering processing filter h0 in the first filtering processing F1, and performs the second filtering in the second filtering processing F2.
- Filter application processing data D4 is acquired using the processing filter h1.
- the gain application unit 49 acquires the gain application process data D5 using the first filtering process gain g0 in the first filtering process F1, and the second filtering process F2 uses the second filtering process data.
- the gain application processing data D5 is acquired using the gain g1.
- the filtering processing unit 41 of this example shown in FIG. 11 also performs a plurality of times of filtering processing (first filtering processing F1 and first filtering processing) for each pixel of the original image data D1, similarly to the filtering processing unit 41 of FIGS. 2 filtering process F2). Further, the gain specifying unit 43 acquires the processing pixel information Fi indicating the pixel position of the original image data D1 that is the target of the plurality of filtering processes, and the candidates associated with the pixel position indicated by the processing pixel information Fi The data is specified as a gain applied to the filter application processing data D4 in each of the plurality of filtering processes, and is supplied to the gain application unit 49 via the gain supply unit 55.
- the gain supply unit 55 that supplies a gain to the gain application unit 49 may be provided integrally with the gain specifying unit 43.
- circuit configurations shown in FIGS. 8 to 11 described above are merely examples, and the filtering processing unit 41 that performs a plurality of filtering processes can be realized by various circuit configurations, and the specific circuit configuration is not particularly limited.
- FIG. 11 shows a circuit configuration example in which a single “filter application unit 48 and gain application unit 49” performs a filtering process (image filter process P) equivalent to the series connection type shown in FIG.
- a filtering process (image filter process P) equivalent to the parallel connection type shown in FIG. 9 or 10 may be performed by a circuit configuration having a single “filter application unit 48 and gain application unit 49”.
- the first processing data calculation unit 50-1 and the second processing data calculation unit 50-2 may be omitted. That is, the gain application process data D5-1 output from the first gain application unit 49-1 is used as the filtering process data D6-1 of the first filtering process F1 and the processing target data D3-2 of the second filtering process F2. Alternatively, the gain application process data D5-2 output from the second gain application unit 49-2 may be the filtering process data D6-2 and the processed image data D2 of the second filtering process F2. Similarly, the processing data calculation unit 50 may be omitted in the circuit configuration shown in FIG. 11, and the gain application processing data D5 output from the gain application unit 49 may be used as the filtering processing data D6.
- the gain applied to the filter application processing data D4 has different image degradation characteristics depending on the position of the optical system. Therefore, from the viewpoint of performing the image filtering process with high accuracy, the gain is applied to each position of the optical system (each pixel position). It is desirable to be optimized. However, from the viewpoint of reducing the amount of data necessary for image filtering, a plurality of specific positions in the optical system are not prepared and stored for gain (candidate data) for all positions (all pixel positions) in the optical system. Only with respect to (a plurality of representative pixel positions), a gain to be applied to the filter application processing data D4 may be prepared and stored.
- the original image data D1 is divided into a plurality of areas, and gains are prepared and stored only for the representative positions (representative pixels) of each area.
- a gain may be acquired by an arbitrary neighborhood interpolation process (for example, a bilinear method or a spline method).
- representative position coordinates (hereinafter also referred to as “global coordinates”) of a plurality of areas obtained by dividing the original image data D1 and relative positions in each area.
- global coordinates By using the correct position coordinates (hereinafter also referred to as “local coordinates”), it is possible to achieve both “ensuring good image filtering (filtering) accuracy” and “reducing required storage capacity”. May be.
- FIG. 12 is a diagram illustrating another example of the circuit configuration of the filtering processing unit 41.
- the filtering processing unit 41 of this example includes a filter application block 47, a gain application block 70, and a processing data acquisition unit 51.
- the filter application block 47 of the filtering processing unit 41 includes a plurality of filter application units (a first filter application unit 48-1 to an Nth filter application unit 48-N (where “N” is an integer of 2 or more)). Then, a plurality of types of filters are applied to the processing target data D3 to obtain a plurality of filter application processing data D4-1 to D4-N.
- the processing target data D3 is common among the plurality of filter application units, and each of the first filter application unit 48-1 to the Nth filter application unit 48-N has original image data as the processing target data D3. D1 is input.
- a plurality of types of filters used in the filter application block 47 are not particularly limited.
- a reference filter determined according to the average of a plurality of target frequency characteristics, and a dispersion filter determined according to the dispersion of the plurality of target frequency characteristics are preferably included. Details of the reference filter and the dispersion filter will be described later.
- the gain application block 70 gains gains from the plurality of filter application processing data D4-1 to D4-N generated by the filter application block 47 (first filter application unit 48-1 to Nth filter application unit 48-N). To obtain gain application process data D5-1 to D5-N. More specifically, the gain application block 70 includes a plurality of gain blocks (a first gain block 70-1 to an Mth gain block 70-M (where “M” is an integer equal to or greater than 2)). Each of the plurality of gain blocks includes a first gain application unit 49-1 to an Nth gain application unit 49-N and an adder 52, and the first gain application unit 49-1 to the Nth gain application.
- the unit 49-N obtains a plurality of gain application process data D5-1 to D5-N by applying a gain to the plurality of filter application process data D4-1 to D4-N. Accordingly, the number of gain application units (first gain application unit 49-1 to Nth gain application unit 49-N) included in each gain block is equal to the number of filter application units (first filter application units) constituting the filter application block 47. It is equal to the number of application units 48-1 to N-th filter application unit 48-N).
- Each of the plurality of gain blocks obtains the filtering processing data D6-1 to D6-N from the plurality of gain application processing data D5-1 to D5-N, and the adder 52 uses the plurality of filtering processing data D6- Block processing data D8 is acquired from 1 to D6-N.
- the gain application process data D5-1 to D5-N and the filtering process data D6-1 to D6-N are composed of the same data, and block processing is performed by the sum of the filtering process data D6-1 to D6-N.
- Data D8 is derived.
- the filter application block 47 and each of the plurality of gain blocks perform a plurality of times of filtering processing (first filtering processing).
- F1 to Mth filtering processes FM are performed, and each filtering process is performed by a combination of the filter application block 47 and each gain block.
- the processing data acquisition unit 51 obtains block processing data (first block processing data D8-1 to Mth) obtained in a plurality of gain blocks (first gain block 70-1 to Mth gain block 70-M). Based on the block processing data D8-M), the processed image data D2 is obtained by weighting the block processing data. More specifically, the processing data acquisition unit 51 includes a weighting coefficient determination unit 73, a first weighting adjustment unit 74-1 to an Mth weighting adjustment unit 74-M, and a weighting addition unit 75.
- the weighting coefficient determination unit 73 of the processing data acquisition unit 51 is acquired by a plurality of gain blocks (first gain block 70-1 to Mth gain block 70-M) based on the pixel position of the processing target data.
- a weighting coefficient (first weighting coefficient W1 to Mth weighting coefficient WM) assigned to each of the block processing data (first block processing data D8-1 to Mth block processing data D8-M) is determined.
- the weighting coefficient determination unit 73 sends the first weighting adjustment unit 74-1 to the Mth weighting adjustment unit 74-M based on the local coordinate data AS supplied from the position coordinate calculation unit 71.
- the supplied first weighting coefficient W1 to Mth weighting coefficient WM are determined.
- the first weighting adjustment unit 74-1 to the Mth weighting adjustment unit 74-M and the weighting addition unit 75 of the processing data acquisition unit 51 have their weighting coefficients (first weighting coefficient W1 to Mth weighting coefficient WM). Is applied to the block processing data (first block processing data D8-1 to Mth block processing data D8-M) to obtain processed image data D2. That is, the first weighting adjustment unit 74-1 to the Mth weighting adjustment unit 74-M are supplied with weighting coefficients (first weighting coefficient W1 to Mth weighting coefficient WM) from the weighting coefficient determination unit 73, respectively.
- the weighting coefficients (first Weighting coefficient W1 to Mth weighting coefficient WM) are applied.
- the weighting adder 75 applies the first weighted data D9-1 to the Mth weighting after applying the weighting coefficient output from each of the first weighting adjustment unit 74-1 to the Mth weighting adjustment unit 74-M.
- the post-data D9-M is added to obtain the processed image data D2 and output it.
- the position coordinate calculation unit 71 functions as the gain specifying unit 43 together with the first gain output unit 72-1 to the Mth gain output unit 72-M. That is, the position coordinate calculation unit 71 acquires the processing pixel information Fi indicating the pixel position of the processing target data D3 (original image data D1 in this example) that is the target of a plurality of filtering processes. Then, the position coordinate calculation unit 71 displays the global coordinate data AL that directly or indirectly indicates the corresponding position on the global coordinate of the pixel position indicated by the processing pixel information Fi, from the first gain output unit 72-1 to the Mth gain. The local coordinate data AS that directly or indirectly indicates the corresponding position on the local coordinate of the pixel position indicated by the processed pixel information Fi is transmitted to the gain output unit 72-M.
- the first gain output unit 72-1 to the Mth gain output unit 72-M correspond to the first gain block 70-1 to the Mth gain block 70-M, respectively, and are based on the global coordinate data AL.
- the gains g0 to gN ⁇ 1 are supplied to the first gain application unit 49-1 to the Nth gain application unit 49-N included in the corresponding gain block.
- the pixel data of the representative pixel position (representative pixel position) among the plurality of pixel data constituting the data D3 (original image data D1) is based on “target frequency characteristics” determined according to the representative pixel position.
- the image filter process P (filtering process) is performed using the gain obtained in this manner.
- non-representative pixel positions pixel data at pixel positions other than the representative pixel position (hereinafter also referred to as “non-representative pixel positions”) among the plurality of pixel data constituting the processing target data D3 (original image data D1), a plurality of representative pixels The gain acquired with respect to the position is used, but an image filtering process P (filtering process) adapted to the non-representative pixel position is performed by performing adjustment by weighting calculation.
- the gain table information stored in the gain candidate data storage unit 44 associates specific candidate data related to gain with a plurality of representative pixel positions (representative pixel positions).
- the pixel positions (non-representative pixel positions) other than the plurality of representative pixel positions are specific to gains associated with one or more pixel positions of the plurality of representative pixel positions (representative pixel positions).
- the number of representative pixel positions associated with the non-representative pixel positions corresponds to the number of gain blocks included in the gain application block 70 illustrated in FIG. Accordingly, in the example shown in FIG. 12 in which the gain application block 70 is configured by the first gain block 70-1 to the Mth gain block 70-M, the number of representative pixel positions associated with the non-representative pixel positions is “M”. It becomes a piece.
- the gain table information of this example associates a plurality of candidate data related to gains with respect to each of the above-mentioned “plural representative pixel positions (representative pixel positions)”.
- the plurality of candidate data associated with each of the plurality of representative pixel positions are respectively the position coordinate calculation unit 71 functioning as the gain specifying unit 43 and the first gain output unit 72-1 to the Mth gain output.
- the unit 72-M specifies the gain applied to the plurality of filter application processing data D4-1 to D4-N. Therefore, the number of “a plurality of gain-related candidate data” associated with each representative pixel position corresponds to the number of gain application units 49 included in each gain block. Accordingly, in the example shown in FIG. 12 in which each gain block includes the first gain application unit 49-1 to the Nth gain application unit 49-N, “a plurality of gain-related items” are associated with each representative pixel position. The number of “candidate data” is “N”.
- the plurality of gain blocks constituting the gain application block 70 are the first gain blocks 70. ⁇ 1 and the second gain block 70-2, and the number of representative pixel positions associated with the non-representative pixel positions is “2”.
- each of the first gain block 70-1 and the second gain block 70-2 has the position coordinate calculation unit 71 and the first gain block 70-1 for each of the plurality of filter application processing data D4-1 to D4-N.
- the gain specified by the gain output unit 72-1 to the second gain output unit 72-2 is applied.
- the processing data acquisition unit 51 includes first block processing data D8-1 acquired by the first gain block 70-1, second block processing data D8-2 acquired by the second gain block, and The processed image data D2 is acquired based on the above.
- the filtering processing unit 41 performs a plurality of times of filtering processing on pixel positions (non-representative pixel positions) other than the plurality of representative pixel positions described above
- the second gain output unit 72-2 selects “first” of gain candidate data associated with pixel positions (non-representative pixel positions) other than the plurality of representative pixel positions.
- the candidate data of the gain associated with “one representative pixel position” is identified as the gain used in the first gain block 70-1, and is associated with the “second representative pixel position”.
- the gain candidate data is specified as a gain used in the second gain block 70-2. Note that these “first representative pixel positions” and “second representative pixel positions” correspond to a plurality of representative pixel positions associated with non-representative pixel positions.
- the processing target data D3 (pixel data) of the processing target pixel position (non-representative pixel position) is the pixel position A (first representative pixel position) and pixel position B (second representative pixel position).
- the combination process of “filter application block 47 and first gain block 70-1” is optimized from “first gain output section 72-1 to the first position so that the pixel position A” is optimized. It is preferable that gains g0 to gN ⁇ 1 ”supplied to the first gain applying unit 49-1 to the Nth gain applying unit 49-N of one gain block 70-1 are determined.
- the processing data acquisition unit 51 performs a weighting operation for the first block processing data D8-1 optimized for the pixel position A and the second block processing data D8-2 optimized for the pixel position B.
- the processed image data D2 related to the non-representative pixel positions can be acquired.
- a plurality of gain blocks included in the gain application block 70 (first gain block 70-1 to Mth gain block 70- Each of M) is optimized to a plurality of representative pixel positions associated with non-representative pixel positions.
- the processing data acquisition unit 51 outputs block processing data (first block processing data D8-1 to Mth blocks) output from a plurality of gain blocks optimized for a plurality of representative pixel positions associated with non-representative pixel positions.
- the processed image data D2 relating to the non-representative pixel position is obtained by adjusting the block processed data D8-M) by weighting calculation.
- the global coordinate data AL supplied from the position coordinate calculation unit 71 to each gain output unit (the first gain output unit 72-1 to the Mth gain output unit 72-M) is at the pixel position of the processing target data D3.
- a plurality of representative pixel positions to be associated are indicated directly or indirectly.
- Each of the gain output units (the first gain output unit 72-1 to the Mth gain output unit 72-M) is associated with the “pixel position of the processing target data D3” based on the received global coordinate data AL.
- the gain optimized for “a plurality of representative pixel positions” is supplied to corresponding gain blocks (first gain block 70-1 to Mth gain block 70-M).
- the first gain output unit 72-1 supplies the gain corresponding to the “first representative pixel position” associated with the pixel position of the processing target data D3 to the first gain block 70-1.
- the Mth gain output unit 72-M supplies a gain corresponding to the “Mth representative pixel position” associated with the pixel position of the processing target data D3 to the Mth gain block 70-M.
- the local coordinate data AS supplied from the position coordinate calculation unit 71 to the weighting coefficient determination unit 73 is the pixel position of the processing target data D3 with respect to “a plurality of representative pixel positions associated with the pixel position of the processing target data D3”.
- the relative position of is indicated directly or indirectly.
- the weighting coefficient determination unit 73 based on the received local coordinate data AS, block processing data (first gain block) output from each gain block (first gain block 70-1 to Mth gain block 70-M).
- a weighting coefficient (first weighting coefficient W1 to Mth weighting coefficient WM) for adjusting block processing data D8-1 to Mth block processing data D8-M) is determined, and a corresponding weighting adjustment unit (first 1 weighting adjustment unit 74-1 to Mth weighting adjustment unit 74-M).
- the gain application unit (first gain block) of any gain block (for example, the first gain block 70-1) included in the gain application block 70 is used.
- a gain optimized for the representative pixel position is supplied from the gain output unit (for example, the first gain output unit 72-1) to the application unit 49-1 to the Nth gain application unit 49-N).
- the block processing data for example, the first block processing data D8-1) output from the gain block (for example, the first gain block 70-1) to which the gain optimized for the representative pixel position is supplied.
- the weighting coefficients for the block processing data (for example, the second block processing data D8-2 to the Mth block processing data D8-M) output from other gain blocks are set. “0 (0%)” may be set.
- FIG. 13 is a conceptual diagram showing the relationship between the representative pixel position and candidate data related to the gains output from the first gain output unit 72-1 to the Mth gain output unit 72-M.
- Each gain output unit (the first gain output unit 72-1 to the Mth gain output unit 72-M) identifies the “corresponding representative pixel position” from the global coordinate data AL, and the identified “corresponding representative pixel”.
- Candidate data relating to “N” gains associated with “pixel position” is supplied to “corresponding gain blocks (first gain applying unit 49-1 to Nth gain applying unit 49-N)”.
- the “candidate data regarding N gains associated with each representative pixel position” is a set of gains optimized to realize image filter processing according to the optical characteristics of the optical system at each representative pixel position. . Accordingly, each gain output unit (first gain output unit 72-1 to Mth gain output unit 72-M) holds table information indicating the relationship of FIG. 13, and specifies the gain by referring to the table information. May be.
- FIG. 14 is a conceptual diagram showing the relationship between the global coordinate data AL and local coordinate data AS output from the position coordinate calculation unit 71 and pixel position data.
- the position coordinate calculation unit 71 acquires the processing pixel information Fi, and data indicating the representative pixel position associated with the processing target pixel position indicated by the processing pixel information Fi (see “processing target pixel position” in FIG. 14) (
- the global coordinate data AL indicating “first representative pixel position data” and “Mth representative pixel position data” in FIG. 14 is output to each gain output unit, and the processed pixel information Fi is also displayed.
- the local coordinate data AS indicating data (refer to “relative position data” in FIG.
- the position coordinate calculation unit 71 may hold table information indicating the relationship of FIG. 14 and output the global coordinate data AL and the local coordinate data AS with reference to the table information.
- FIG. 15 is a conceptual diagram showing the relationship between the local coordinate data AS input to the weighting coefficient determination unit 73 and the weighting coefficient output from the weighting coefficient determination unit 73.
- the weighting coefficient determination unit 73 uses a weighting coefficient (first weighting coefficient W1 to Mth weighting coefficient WM) associated with the local coordinate data AS input from the position coordinate calculation unit 71 as a weighting adjustment unit (first The data is output to the weighting adjustment unit 74-1 to the Mth weighting adjustment unit 74-M). Therefore, the weighting coefficient determining unit 73 may hold the table information shown in FIG. 15 and output the weighting coefficients (first weighting coefficient W1 to Mth weighting coefficient WM) with reference to the table information.
- the filtering processing unit 41 having the circuit configuration shown in FIG. 12 described above, it is possible to effectively achieve both high-accuracy filtering processing and reduction in required storage capacity.
- the circuit configurations shown in FIGS. 8 to 11 basically, it is required to hold gain vectors relating to all pixels (that is, all positions of the optical system) of the processing target data D3 (original image data D1). Strictly speaking, since the deterioration characteristics differ for each pixel of the processing target data D3, it is necessary to secure a considerable storage capacity in order to hold the gain vector.
- the circuit configuration shown in FIG. 12 it is only necessary to hold a vector table related to the number of gains corresponding to the number of gain blocks (M).
- the processed image data D2 can be calculated with high accuracy by interpolation processing by weighting calculation.
- FIG. 16 is a block diagram showing an example of the functional configuration of the gain acquisition unit 45, and shows the gain acquisition unit 45 suitably combined with the image processing unit 35 shown in FIG.
- the gain acquisition unit 45 of this example includes a reference image acquisition unit 60, a reference image analysis unit 61, a target frequency characteristic acquisition unit 62, and an applied gain calculation unit 63.
- the reference image acquisition unit 60 is an optical characteristic of the optical system used when acquiring the original image data D1, and is based on imaging conditions (pixel position (position of the optical system), etc.) when acquiring the original image data D1.
- Reference image data reflecting the corresponding optical characteristics is acquired.
- This reference image data is preferably acquired with respect to various lens units 11 (optical systems) that can be attached to the camera body 12 when acquiring the original image data D1, and is adopted when acquiring the original image data D1. It is preferable to obtain the imaging conditions that can be obtained.
- the reference image data acquisition method by the reference image acquisition unit 60 is not particularly limited.
- reference image data may be input from the image sensor 24 to the reference image acquisition unit 60 by performing imaging while the lens unit 11 including the optical system to be measured is mounted on the camera body 12.
- the reference image acquisition unit Reference numeral 60 may read the reference image data relating to the optical system to be measured from the memory.
- the subject of the reference image data is not particularly limited, and the reference image data may be acquired by photographing a subject having a specific shape, pattern and color, or by photographing a subject having an unspecified shape, pattern and color.
- Reference image data may be acquired.
- the reference image acquisition unit 60 cooperates with the device control unit 34 (display control unit 36, etc.) to display on the display unit 27, etc. It is preferable to guide the shooting of such a subject.
- the reference image acquisition unit 60 analyzes past shot image data stored in the main body storage unit 29 and measures the measurement target. The data for each photographing condition acquired using the lens unit 11 including the optical system is selected from the past photographed image data as the reference image data and specified as the reference image data. May be.
- the reference image analysis unit 61 analyzes the reference image data acquired by the reference image acquisition unit 60, and acquires optical characteristics according to the shooting conditions when acquiring the original image data D1. Specifically, the reference image analysis unit 61 may perform frequency analysis of the reference image data and acquire a point spread function (OTF or the like) for each position (for each pixel position) of the optical system to be measured.
- OTF point spread function
- the target frequency characteristic acquisition unit 62 uses the optical system based on the “optical characteristics corresponding to the position (pixel position) of the optical system” acquired by the reference image analysis unit 61 to capture the original image data D1 captured and acquired using the optical system.
- a target frequency characteristic in the image filter processing P is specified for each position of the optical system (for each pixel position).
- the target frequency characteristic acquisition unit 62 is for each position of the optical system (for each pixel position) acquired by the reference image analysis unit 61.
- a target frequency characteristic of the image filter processing P may be acquired by constructing a filter according to an arbitrary design criterion such as a Wiener filter.
- the applied gain calculation unit 63 is a gain applied to the filter application process data in each of a plurality of filtering processes ( Candidate data).
- the gain acquisition method by the applied gain calculation unit 63 is not particularly limited, and for example, the gain can be calculated by a least square method.
- the applied gain calculation unit 63 performs image processing by the least square method based on each frequency characteristic of a plurality of times of filtering processing with respect to the “frequency characteristic targeted by the image filtering process P” specified by the target frequency characteristic acquisition unit 62. By fitting the frequency characteristics of the filter process P, the gain applied to the filter application process data in each of the multiple filtering processes may be acquired.
- the applied gain calculation unit 63 stores the acquired gain in the gain candidate data storage unit 44 as “gain candidate data”.
- the candidate gain data is preferably stored in the candidate gain data storage unit 44 in a state associated with a gain selection condition related to the target frequency characteristic of the image filtering process P.
- the gain selection condition characteristic data indicating various factors that can affect the target frequency characteristic of the image filter processing P is preferably used.
- “optical system position (pixel position)” is the gain selection. Included in the condition. Therefore, the target frequency characteristic of the image filter processing P is “frequency characteristic based on the point spread function (optical transfer function) of the optical system (lens 14, aperture 15, etc.) used when acquiring the original image data D 1 by photographing.
- Various factors that affect the point spread function for example, an aperture value (F value), a zoom value (focal length), a subject distance, a focus position at the time of shooting for acquiring the original image data D1, Characteristic data relating to the optical system type, sensor SN ratio of the image sensor 24, image height (pixel position (position of the optical system)), and individual optical system differences) are gain candidate data as “gain selection conditions”. Can be associated.
- the reference image acquisition unit 60 captures and acquires a plurality of reference images under a plurality of imaging conditions (gain selection conditions). It is preferable to acquire data, and it is preferable that the reference image analysis unit 61 analyzes a plurality of reference image data captured and acquired under a plurality of imaging conditions to acquire optical characteristics. Moreover, it is preferable that the target frequency characteristic acquisition unit 62 acquires the target frequency characteristic of the image filtering process P regarding a plurality of shooting conditions from the optical characteristics under a plurality of shooting conditions, and the applied gain calculation unit 63 sets the plurality of shooting conditions. It is preferable to acquire the gain associated with the gain and store the gain in the gain candidate data storage unit 44 in association with the corresponding imaging condition (gain selection condition).
- FIG. 17 is a flowchart showing a gain acquisition flow of the gain acquisition unit 45 shown in FIG.
- reference image data captured and acquired using the optical system to be measured is acquired by the reference image acquisition unit 60 (S11 in FIG. 17), and the reference image data is acquired by the reference image analysis unit 61.
- the optical characteristics for each position (each pixel position) of the optical system to be measured are acquired (S12).
- the target frequency characteristic acquisition unit 62 acquires the target frequency characteristic of the image filter process P from the optical characteristic for each photographing condition of the optical system to be measured (S13), and the position of the optical system is determined from the target frequency characteristic.
- the candidate data for each gain (each pixel position) is acquired by the applied gain calculation unit 63 (S14).
- the gain candidate data acquired in this way is obtained as “gain table information” associated with the optical characteristics for each position (each pixel position) of the optical system to be measured, by the applied gain calculation unit 63, as a gain candidate data storage unit. 44 (S15).
- the gain specifying unit 43 specifies the gain to be applied to the filter application processing data in each of the plurality of times of filtering processing from the gain candidate data stored in the gain candidate data storage unit 44, and specifies the specified The gain can be sent to the filtering processing unit 41.
- FIG. 18 is a block diagram showing another example of the functional configuration of the gain acquisition unit 45, and shows the gain acquisition unit 45 suitably combined with the image processing unit 35 shown in FIGS.
- the gain acquisition unit 45 of this example includes a target frequency characteristic acquisition unit 62 and an applied gain calculation unit 63, and the target frequency characteristic acquisition unit 62 determines the frequency characteristic targeted for the image filter processing P as the frequency characteristic of the frequency analysis unit 66. Obtained from the storage unit 68.
- the frequency analysis unit 66 includes a reference image acquisition unit 60, a reference image analysis unit 61, a target frequency characteristic specifying unit 67, and a frequency characteristic storage unit 68.
- the reference image acquisition unit 60 and the reference image analysis unit 61 of this example acquire reference image data and acquire original image data D1 in the same manner as the above-described reference image acquisition unit 60 and reference image analysis unit 61 shown in FIG.
- the optical characteristics for each position (each pixel position) of the optical system used for the acquisition are acquired.
- the target frequency characteristic specifying unit 67 of this example converts the optical characteristics for each position of the optical system (for each pixel position) acquired by the reference image analysis unit 61, similarly to the above-described target frequency characteristic acquisition unit 62 shown in FIG. Based on this, the target frequency characteristic in the image filtering process P of the original image data D1 photographed and acquired using the optical system is specified for each position of the optical system (for each pixel position).
- the target frequency characteristic specifying unit 67 of this example associates the data related to the target frequency characteristic of the specified image filter processing P with the data of the corresponding optical system and the position (pixel position) of the optical system, and the frequency characteristic storage unit 68.
- the “corresponding optical system data and optical system position (pixel position)” here are arbitrary data that can individually specify the optical system to be measured and the position (pixel position) of the optical system. For example, it can be represented by a combination of type information (for example, model number) assigned to each optical system (lens unit 11) and position information (for example, pixel position information) of the optical system.
- the target frequency characteristic acquisition unit 62 of this example uses the optical system type information (corresponding optical system data) and processing used to capture the original image data D1 that is the target of the image filtering process P in the filtering processing unit 41.
- the position information of the target data D3 (information indicating the position (pixel position) of the optical system) is acquired, and the position of the optical system and the processing target data D3 used for photographing the original image data D1 based on the type information and the position information.
- Data regarding the frequency characteristics targeted by the image filtering process P associated with the information is acquired from the frequency characteristics storage unit 68.
- the applied gain calculation unit 63 calculates a gain to be applied to the filter application processing data in each of the plurality of filtering processes based on the “target frequency characteristic of the image filter process P” specified by the target frequency characteristic acquisition unit 62. Obtained and supplied to the filtering processing unit 41.
- the gain acquisition unit 45 of this example sets “the target of the image filter processing P regarding the optical system used for photographing the original image data D1 and the position of the processing target data D3 (the position of the optical system (pixel position)).
- the “frequency characteristic” is read from the frequency characteristic storage unit 68 to obtain the gain. Therefore, “a process for acquiring a target frequency characteristic of the image filter process P” in the frequency analysis unit 66 and “a process for acquiring a gain actually used in the filtering process unit 41” in the gain acquisition unit 45. And can be separated.
- FIG. 19 is a flowchart showing a frequency characteristic acquisition flow of the frequency analysis unit 66 shown in FIG.
- reference image data captured and acquired using the optical system to be measured is acquired by the reference image acquisition unit 60 (S21 in FIG. 19), and the reference image data is acquired by the reference image analysis unit 61.
- the optical characteristics for each position (each pixel position) of the optical system to be measured are acquired (S22).
- the target frequency characteristic specifying unit 67 specifies the target frequency characteristic of the image filter process P for each position of the optical system (for each pixel position) from the optical characteristics for each position (for each pixel position) of the optical system to be measured ( S23) and stored in the frequency characteristic storage unit 68 (S24).
- FIG. 20 is a flowchart showing a gain acquisition flow of the gain acquisition unit 45 shown in FIG.
- the position of the optical system used for photographing the original image data D1 that is the target of the image filtering process P in the filtering processing unit 41 and the processing target data D3 (the position of the optical system (the pixel position) 20) is acquired from the frequency characteristic storage unit 68 by the target frequency characteristic acquisition unit 62 (S31 in FIG. 20).
- the gain used in the filtering process is acquired from the target frequency characteristic by the applied gain calculating unit 63 (S32), and supplied to the filtering processing unit 41 (S33).
- the following method employs a least-square criterion weighted based on the frequency, and the gain is set so that the frequency characteristics of the entire image filtering process P performed by the filtering processing unit 41 are close to the desired desired frequency characteristics.
- the frequency characteristic of the filter used in the filter application unit 48-n that performs the nth filtering process Fn is “ ⁇ n ⁇ 1 ( ⁇ )”.
- each filter application unit 48 when the overall frequency characteristic of the n-th filtering process Fn is represented by “1 + g n ⁇ 1 ( ⁇ n ⁇ 1 ( ⁇ ) ⁇ 1)”, each filter application unit 48.
- the filter used in the filter application unit 48-n of the n-th filtering process Fn performs point spread of the optical system (the lens 14 and the aperture 15 etc.) used when acquiring the original image data D1 by photographing.
- the filter is a function-based image restoration filter. Since the image restoration filter based on the point spread function has two-dimensional degrees of freedom with respect to the frequency ⁇ as described below, it has a frequency characteristic having “two degrees of freedom”.
- the frequency characteristic of the filter used in the filter application unit 48-n of the nth filtering process Fn can be expressed by “ ⁇ n ⁇ 1 ( ⁇ )”.
- the frequency “ ⁇ j ” can be expressed by the following equation, and “ ⁇ j ” indicates N ⁇ sampling points related to the frequency.
- the frequency characteristics of image degradation change continuously according to the position in the image (pixel position (position of the optical system)). Therefore, it is necessary to determine a gain value for each position in the image.
- the position in the image is discretized by N r sampling points, and an index indicating the position in the image is represented by “k (where“ 1 ⁇ k ⁇ N r ”is satisfied)”.
- a gain vector (gain group) g k composed of gains used by a plurality of filtering processes (first filtering process F1 to Nth filtering process FN) is expressed by the following equation: Represented by
- g k )” of the entire image filter processing P (the entire filtering processing unit 41) in which the gain expressed by the above equation is set is expressed by the following equation in the circuit configuration shown in FIG.
- the “target frequency characteristic“ d k ( ⁇ ) ” to be realized can be determined by an arbitrary method, and the determination method is not particularly limited.
- a restoration filter based on a point spread function can be suitably realized by a convolution filter.
- Wiener filters taking into account the S / N ratio of the photographing optical system are widely used.
- the Wiener filter can represent the frequency characteristics of the filter based on the information of the optical transfer function (OTF) of the point spread function and the SN ratio. Therefore, the target frequency characteristic “d k ( ⁇ )” of the image filter processing P to be realized may be determined based on this Wiener filter.
- the frequency characteristic of the entire image filter process P is represented by “f ( ⁇
- the target frequency characteristic of the image filter process P to be realized is represented by “d k ( ⁇ )”
- the approximate weight function is represented by “w”. k ( ⁇ ) ”.
- the gain vector that minimizes the functional “J LMS [g]” based on the weighted least square criterion expressed by the following equation is set as a gain vector representing the optimum frequency characteristic in the image filtering process P. it can.
- the optimal solution g (k) OPT of the gain vector for the index k indicating the position in the image is expressed by the following equation.
- the portion “(A H WA) ⁇ 1 A H W” in the above equation is represented by a matrix that can be calculated in advance.
- the optimum gain vector g (k) OPT for the index k indicating the position in the image (pixel position (position of the optical system)) is a filter obtained based on a point spread function indicating individual image degradation characteristics. The calculation can be performed by applying a matrix to the characteristic.
- the filtering processing unit 41 adopts the circuit configuration shown in FIG. 10, in addition to the above conditions, in order to prevent a change in the DC component (brightness) of the image, the amplification factor (gain) of the DC component is set to 1. It is preferable that the constraint condition of 0 times is applied. Specifically, obtaining the optimal gain vector g (k) OPT according to the following equation corresponds to “the brightness of the entire image is not changed by setting the DC component amplification factor to 1.0”.
- the approximation accuracy of the frequency characteristic is weighted based on the frequency as represented by “w k ( ⁇ )”.
- the approximate error evaluation function J LMS [g] is weighted based on the frequency.
- Image quality can be controlled by adjusting this weight. That is, when approximating the target frequency characteristics of the image filter processing P by the least square method, by adjusting the weighting for the specific frequency, the approximation accuracy for the specific frequency and the specific pixel position in the least square method The image quality can be controlled.
- the weighting in the low frequency band may be set larger than the weighting in the high frequency band.
- low frequency components are more easily perceived than high frequency components in terms of human visual characteristics. Therefore, low frequency components are given priority over high frequency components as an accuracy that approximates the target frequency characteristics of image filter processing P.
- the low frequency component can be processed with high accuracy.
- the weighting in the high frequency band may be set larger than the weighting in the low frequency band according to the photographing condition when acquiring the original image data D1.
- the noise will be amplified. Therefore, in the image filter processing P of the original image data D1 acquired under imaging conditions that are expected to have a lot of noise, the high frequency component is converted to the low frequency component as the accuracy of “approximate to the target frequency characteristic of the image filter processing P”. It may be preferable to prioritize over.
- the “shooting condition when acquiring the original image data D1” here is not particularly limited.
- An arbitrary factor that can affect the amount of noise can be set as a photographing condition.
- the aperture value (F value) or the photographing sensitivity of the image sensor 24 can affect the amount of noise. It may be employed as “shooting conditions”.
- the weighting in the above least square method may be determined according to the pixel position in the original image data D1.
- the original image data D1 is acquired by photographing using a normal digital camera used by a general user
- the main subject is often arranged in the center of the image, and thus the high frequency of the pixel position in the center of the image.
- ingredients there is a tendency for ingredients to be emphasized.
- the importance of an image near the boundary of the photographing range is relatively high in a monitoring camera or the like, high-frequency components at pixel positions in the peripheral portion of the image tend to be emphasized.
- the degree of importance may differ depending on the pixel position in the original image data D1, and a highly weighted pixel position (prioritized pixel position) is determined depending on the type of imaging device and the use (product) of the captured image. You may decide.
- the central portion in the optical system of the digital camera 10 used by a general user, the central portion generally has high resolution and excellent resolution characteristics regardless of frequency, and the peripheral portion tends to have low resolution performance. is there. Therefore, in the image filtering process P of the original image data D1 acquired by photographing using the digital camera 10 shown in FIG. 1, the high frequency band is weighted at the center of the image, and the low frequency band is weighted at the peripheral part of the image. By doing so, the image quality can be improved according to the optical characteristics.
- the weighting in the high frequency band may be made larger than the position (pixel position with a high image height).
- a pixel position farther than the second distance from the image center of the original image data D1 (a pixel position at a high image height)
- the weighting in the low frequency band may be made larger than the position (pixel position at a low image height).
- the “high frequency band” here is preferably included in the range of greater than 0.25 fs and 0.5 fs or less, and the “low frequency band” is preferably included in the range of 0.25 fs or less.
- the “first distance” and the “second distance” here may be the same or different.
- the filtering processing unit 41 having a circuit configuration of a series connection type as shown in FIG. 8 performs a plurality of times of filtering processing
- the frequency characteristic of the filter applied to the processing target data D3 in each filter application unit 48 is frequency attenuation. It is preferable to devise a control method depending on whether or not it has.
- the frequency attenuation works particularly effectively when “the degree of point spread (blurring) represented by the point spread function of the optical system is large” and “the SN ratio is low”, and suppresses noise components in the high frequency band. Bring effect.
- the frequency characteristics ⁇ n (of the filter used in each filter application unit 48 of the filtering processing unit 41 shown in FIG. ⁇ ) can be set based on the following equation.
- the characteristic ⁇ n ( ⁇ ) can be set based on the following equation, for example.
- the frequency characteristics of the entire image filter processing P are based on the product of the frequency characteristics of the filters used in each filter application unit 48. Expressed. In order to handle the “frequency characteristics of the entire series connection type image filter processing P” in the same manner as the “frequency characteristics of the entire parallel connection type image filter processing P”, all of them used in the series connection type image filter processing P are used. It is preferable to convert the “product” problem to the “sum” problem by logarithmizing the frequency characteristic of the filter.
- the gain related to the filtering processing unit 41 having the serial connection type circuit configuration is obtained by the same arithmetic processing as the method of calculating the optimum gain g (k) OPT for the filtering processing unit 41 having the parallel connection type circuit configuration.
- the optimal vector solution g (k) OPT can be calculated.
- the frequency characteristic of the filter does not include the attenuation characteristic
- the frequency characteristic of the filter does not become a large negative value depending on the above logarithmization, and the logarithm of the complex number can be performed using the following equation. .
- ⁇ A device when the frequency characteristics of the filter include frequency attenuation> For example, in the filtering processing unit 41 having a series connection type circuit configuration as shown in FIG. 8, when the frequency characteristics of the filter used in each filter application unit 48 include frequency attenuation, the following points should be noted. Is desirable. That is, when the frequency amplification factor is close to 0 times, the logarithmized value becomes a large negative value. Therefore, when the frequency characteristic is fitted on the basis of the least squares after the logarithmization process, The large negative value may dominate the reference for frequency characteristic approximation. For this reason, it is preferable to take measures such as clipping with a predetermined negative minimum value or adjusting the weighting of the frequency band where frequency attenuation is likely to occur to a small value when logarithmizing.
- the filtering processing unit 41 performs a plurality of filtering processes at a frequency where the ratio of the processed image data D2 to the original image data D1 is less than 1 in the target frequency characteristics of the image filtering process P. It is preferable to use a filter that makes the filtering process data D6 equal to the filter application process data D4.
- the number of parameters to be retained as compared to the case of retaining a filter (filter coefficient) based on a point spread function for all combinations of imaging conditions. Can be significantly reduced. Further, in general methods, it is difficult to appropriately perform filter design (filter coefficient design) unless the image degradation characteristic such as a point spread function is known. However, according to the present embodiment, before the individual image degradation characteristics are grasped. In addition, it is also possible to complete the design of a finite tap length FIR filter that requires a large amount of calculation. In that case, the optimum gain vector can be calculated by simple calculation after obtaining specific image deterioration characteristics.
- FIG. 21 is a block diagram illustrating an example of a functional configuration of the filter acquisition device 76.
- the filter acquisition device 76 that designs and acquires the filters used in each filter application unit 48 includes a filter calculation unit 77.
- the filter calculation unit 77 of this example uses a plurality of types of image filter processing (first image filter processing P1 to kth image) determined according to a plurality of pixel positions (a plurality of positions of the optical system) in the original image data D1.
- the frequency characteristic data of the filter process Pk (where “k” is an integer of 2 or more)) is acquired, and a plurality of filters including the reference filter h b and the dispersion filter h v are output.
- the filter calculation unit 77 uses a plurality of types of image filters based on frequency characteristics of a plurality of types of image filter processing P1 to Pk determined according to a plurality of pixel positions (a plurality of positions of the optical system) in the original image data D1.
- a reference filter h b determined according to the average of the frequency characteristics of the processes P1 to Pk is acquired.
- the filter calculating section 77 based on the frequency characteristics of a plurality of types of image filtering P1 ⁇ Pk, at least one dispersion filter h v determined according to the variance of the frequency characteristics of a plurality of types of image filtering P1 ⁇ Pk get.
- FIG. 22 is a block diagram illustrating an example of a functional configuration of the filter calculation unit 77.
- the filter calculation unit 77 of this example includes an average calculation unit 78, a variance calculation unit 79, and a filter characteristic acquisition unit 80.
- the average calculation unit 78 calculates the average of the frequency characteristics of the plurality of types of image filter processes P1 to Pk from the frequency characteristic data of the plurality of types of image filter processes P1 to Pk.
- the variance calculating unit 79 calculates the variance of the frequency characteristics of the plurality of types of image filter processes P1 to Pk from the frequency characteristic data of the plurality of types of image filter processes P1 to Pk.
- the filter characteristic acquisition unit 80 calculates the reference filter h b based on the average of the frequency characteristics of the plurality of types of image filter processes P1 to Pk calculated by the average calculation unit 78.
- the filter characteristic acquisition unit 80 averages the frequency characteristics of the plurality of types of image filter processes P1 to Pk calculated by the average calculation unit 78 and the plurality of types of image filter processes P1 to Pk calculated by the variance calculation unit 79. Based on the dispersion of the frequency characteristics, the dispersion filter hv is calculated.
- the frequency characteristic data of the plurality of types of image filter processing P1 to Pk used in the filter calculation unit 77 (the average calculation unit 78, the dispersion calculation unit 79, and the filter characteristic acquisition unit 80) of this example includes a plurality of pixel positions (optical systems). Is specified based on the optical characteristics of the optical system in accordance with the position).
- Each frequency characteristic of the “plurality of types of image filter processing P1 to Pk” here constitutes a “frequency characteristic targeted for image filter processing”, and in this example, for each imaging condition (for example, It is determined by frequency characteristics based on the optical characteristics of the optical system for each pixel position (for each position of the optical system).
- frequency characteristics of a plurality of types of image filter processes P1 to Pk are frequency characteristics based on a point spread function of an optical system
- photographing conditions that can affect the point spread function for example, pixel position (position of the optical system)
- the “frequency characteristics of a plurality of types of image filter processes P1 to Pk” can be determined in accordance with the frequency characteristics of a plurality of types of point spread functions obtained by changing. That is, the “frequency characteristics of a plurality of types of image filter processes P1 to Pk” can be determined according to the frequency characteristics of a plurality of types of point spread functions under different shooting conditions.
- the “plural types of point spread functions” can be acquired by an arbitrary method, and may be acquired based on actual measurement values or may be acquired based on estimated values.
- the “frequency characteristics of a plurality of types of image filter processes P1 to Pk” can be calculated based on an arbitrary design criterion such as a Wiener filter using a plurality of types of acquired point spread functions.
- the “frequency characteristics of the plurality of types of image filter processes P1 to Pk” can be acquired by an arbitrary device, and may be acquired by, for example, the filter acquisition device 76 or may be acquired by another device. It may be read and acquired from a memory (not shown) by the filter calculation unit 77 of the acquisition device 76.
- Variations in the frequency characteristics of a plurality of types of image filter processing can be expressed based on a unimodal distribution, or can be expressed based on a multimodal distribution.
- FIG. 23 is a conceptual diagram showing variation in frequency characteristics of a plurality of types of image filter processing by a unimodal distribution.
- FIG. 24 is a conceptual diagram showing a variation in frequency characteristics of a plurality of types of image filter processing by a multimodal distribution.
- the variation expression method based on the unimodal distribution shown in FIG. 23 is a method of expressing variation in frequency characteristics of a plurality of types of image filter processing by one multidimensional complex normal distribution (see “variation distribution G” in FIG. 23). It is.
- the expression method based on the multi-modal distribution is based on the fact that the frequency characteristics of the multiple types of image filter processing vary, such as a plurality of multidimensional complex normal distributions ("first variation distribution G1" and "second variation” in FIG. This is a technique expressed by “distribution G2”).
- the frequency characteristic variation distribution G of the plurality of types of image filter processing is represented by the filter frequency characteristic ⁇ 0 of the first filtering process F 1
- the third are shown cases be represented by the filtering frequency characteristics phi 2 of the filter F3.
- each of the first variation distribution G1 and the second variation distribution G2 constituting the variation distribution G of the frequency characteristics of the plurality of types of image filter processing is represented by the frequency characteristics of the filter of the first filtering processing F1.
- the variation in the frequency characteristics of the plurality of types of image filter processing has an elliptical variation distribution G as shown in FIG. 23, for example, a plurality of filtering processing (the first filtering processing F1 to third filtering processing in the example shown in FIG. 23).
- the frequency characteristics ⁇ 0 , ⁇ 1 , and ⁇ 2 of each filtering process are determined based on the center, the major axis, and the minor axis of the variation distribution G. preferable.
- the variation in the frequency characteristics of a plurality of types of image filter processing has an elliptical first variation distribution G1 and a second variation distribution G2 as shown in FIG.
- the first variation distribution is used.
- the frequency characteristics ⁇ 0 (1) , ⁇ 1 (1) , ⁇ 2 (1) , ⁇ 0 (2) of the respective filtering processes based on the center, the major axis, and the minor axis for each of the G1 and the second variation distribution G2. It is preferable to determine ⁇ 1 (2) and ⁇ 2 (2) .
- the present invention relates to a method for obtaining frequency characteristics of a filter (FIR filter).
- FIR filter filter
- a case will be described in which unimodal distribution is modeled as a multidimensional complex normal distribution and ML (Maximum Likelihood) estimation is performed.
- the variation distribution G of the unimodal distribution can be expressed based on a multidimensional complex normal distribution, and the multidimensional complex normal distribution is characterized by a covariance matrix and is obtained by the following equation.
- ⁇ i represents a vector obtained by discretizing the frequency characteristics ⁇ ( ⁇ ) individually acquired for each of a plurality of types of image filter processing based on the frequency ( ⁇ ), and “N “ r ” represents the number of plural types of image filtering processes. Therefore, “ ⁇ 0 ” in the above expression represents the average (average matrix) of the frequency characteristics of the plurality of types of image filter processing, and “R 0 ” in the above expression represents the variance (shared) of the frequency characteristics of the plurality of types of image filtering. Dispersion matrix).
- m corresponding eigenvectors ⁇ i (where “i” is 1 or more and m or less) in descending order of eigenvalues. It is best to use a subspace spanned by an integer).
- the optimum frequency characteristics ⁇ 0 to ⁇ N ⁇ 1 of the filter of the filtering process for accurately reproducing the frequency characteristics of each of a plurality of types of image filter processes having a unimodal variation distribution G are given by Can be obtained on the basis.
- the process is stabilized by fixing the center of the distribution. From the point of view of achieving this, it is preferable to fix the gain in the first filtering process F1 to “1.0”. For gains in other filtering processes, for example, an optimum value can be obtained by the above-mentioned weighted least square criterion.
- FIG. 25 is a diagram schematically illustrating an example of frequency characteristics of a plurality of types of image filter processing that can be classified into a single-peak distribution, in which the horizontal axis represents frequency ( ⁇ ) and the vertical axis represents response.
- FIG. 25 shows frequency characteristics of four types of image filter processing (first image filter processing P1, second image filter processing P2, third image filter processing P3, and fourth image filter processing P4). ing. These four types of image filter processes P1 to P4 show different frequency characteristics, but the response when the frequency ( ⁇ ) is “0” indicates “1”.
- FIG. 26 is a diagram schematically showing an example of the dispersion of the frequency characteristics of the plurality of types of image filter processing shown in FIG. 25, where the horizontal axis represents frequency ( ⁇ ) and the vertical axis represents dispersion. Note that FIG. 26 does not necessarily represent strictly the dispersion of the frequency characteristics of the plurality of types of image filter processes P1 to P4 shown in FIG. 25 for convenience of explanation.
- FIGS. 27A to 27C are diagrams schematically showing an example of a base filter (eigenvector) obtained from the average and variance of the frequency characteristics of the plurality of types of image filter processing shown in FIG. 27 (a) shows “ ⁇ 0 ”, FIG. 27 (b) shows “ ⁇ 1 ”, and FIG. 27 (c) shows “ ⁇ 2 ”.
- the frequency characteristic ⁇ 0 of the filter used in the first filtering process F1 is preferably determined based on the center (average) of the distribution of frequency characteristics of the plurality of types of image filter processes P1 to P4. .
- the frequency characteristics of the filters used in other filtering processes are preferably determined in order from components with large variations (variances) in the frequency characteristics of the plurality of types of image filter processes P1 to P4 shown in FIG.
- the frequency characteristics phi 1 of the filter used in the second filtering process F2 is based on the plurality of types of image filtering P1 ⁇ large variation component to a first of the frequency characteristic of the P4 (see “H1" in FIG. 26) Is preferably determined.
- the frequency characteristics phi 2 of the filter used in the third filtering process F3 is variation in the frequency characteristics of a plurality of types of image filtering based on the second largest component (see "H2" in FIG. 26) Preferably it is determined.
- the image filtering process P includes the first filtering process F1 to the third filtering process F3.
- the image filtering process P may be configured by two filtering processes, or four or more. It may be configured by the filtering process.
- the frequency characteristic of the filter used in the first filtering process F1 is set to the above-mentioned “ ⁇ 0 ” (FIG. 27 (a)), and the frequency characteristics of the filter used in the second filtering process F2 can be determined based on the above-mentioned “ ⁇ 1 ” (see FIG. 27 (b)).
- FIG. 28A and 28B show frequency characteristics f ( ⁇ ) related to the image filter processing P (first filtering processing F1 to third filtering processing F3) performed by the filtering processing unit 41 having the circuit configuration shown in FIG. ) (See FIG. 28A) and a gain example (see FIG. 28B).
- the gain g 0 in the first filtering process F1 is fixed to “1.0” from the viewpoint of stabilizing the process by fixing the center of the distribution of the frequency characteristics of the plurality of types of image filter processes. It is preferable. Therefore, in FIG. 28B, the filter used in each filter application unit 48 of the filtering processing unit 41 having the circuit configuration shown in FIG. 10 is fixed, and the gain g 0 in the first filtering processing F1 is set to “1. When fixed to “0”, gains g 0 to g 2 for realizing the frequency characteristics of the image filter processes P1 to P4 shown in FIG. 25 with high accuracy by the frequency characteristics of the entire system shown in FIG. Illustrated.
- the frequency characteristic data of a plurality of types of image filter processes P1 to P4 are converted into the frequency characteristics ⁇ 0 to ⁇ 2 (tap coefficients) of the three filters.
- the gain can be compressed to 12 gains (8 gains when g 0 is fixed to “1.0”).
- Filtering processing unit 41 of the thus present example the first filtering process F1, the frequency characteristic of the reference filter h b determined according to the average of the plural types of frequency characteristics of the image filter processing P1 ⁇ P4 "filter The filter application processing data D4-1 is obtained using the frequency characteristic ⁇ 0 ”, and the second filtering process F2 and the third filtering process F3 correspond to the dispersion of a plurality of types of frequency characteristics of the image filter processes P1 to P4.
- the frequency characteristic of the two dispersion filters h v defined Te acquires filtering operation data D4-2, D4-3 used as "frequency characteristics of the filter phi 1" and "frequency characteristics of the filter phi 2".
- the filtering processing unit 41 uses “a reference filter h b determined according to an average of frequency characteristics of a plurality of types of image filter processes determined according to pixel positions in the original image data D1”.
- Filter application processing data D4-1 is obtained, and in the second filtering processing F2 and the third filtering processing F3, “dispersion of frequency characteristics of plural types of image filtering processing determined according to pixel positions in the original image data D1”
- the gain applied to the filter application process data D4 in each of the plurality of filtering processes is determined according to the pixel position in the original image data D1.
- FIG. 29 is a block diagram illustrating an example of a functional configuration of the filter calculation unit 77 that calculates a filter coefficient based on a unimodal distribution.
- the filter calculation unit 77 of the present example includes the above-described average calculation unit 78, variance calculation unit 79, and filter characteristic acquisition unit 80 ( In addition to (see FIG. 22), a tap coefficient calculation unit 81 is further included.
- Tap coefficient calculating section 81 of the filter calculating unit 77 acquires the reference filter h b coefficients in each tap having a plurality of taps are allocated, at least one of the dispersion coefficient to each tap having a plurality of taps are assigned to get the filter h v.
- the “method for assigning a coefficient to each tap” is not particularly limited, but the tap coefficient calculation unit 81 (filter calculation unit 77) is based on, for example, a reference filter h b and at least one dispersion filter based on a SAGE algorithm or an OMP algorithm described later. it is possible to calculate the coefficients allocated to each respective taps of h v.
- the dispersion distribution of the frequency characteristics of the plurality of types of image filter processing can be represented by “variation distribution G” shown in FIG. Yes, but the approximation accuracy will be poor.
- variation distributions of frequency characteristics of a plurality of types of image filter processing are separately expressed by “first variation distribution G1” and “second variation distribution G2” in FIG. 24, and “first variation distribution G1” and
- first variation distribution G1 By treating each of the “second variation distribution G2” as a separate multidimensional complex normal distribution (multimodal distribution), the approximation accuracy can be improved.
- a parameter estimation algorithm for ML estimation in this multimodal distribution for example, estimation of a mixed normal distribution by an EM (Expectation Maximization) algorithm can be suitably used, and efficient parameter estimation can be performed.
- the filter determination method based on the multimodal distribution can be basically performed by the same method as the filter determination method based on the above-described single-peak distribution. That is, the frequency characteristics of a plurality of types of image filter processing are classified into a plurality of distributions (a first variation distribution G1 and a second variation distribution G2 in the example shown in FIG. 24) constituting a multimodal distribution, and each distribution is classified. With respect to the filter, the filter can be obtained by the same procedure as the above-described “variation distribution G” of the unimodal distribution.
- FIG. 30 is a diagram schematically showing an example of frequency characteristics of image filter processing that can be classified into a multimodal distribution, where the horizontal axis represents frequency ( ⁇ ) and the vertical axis represents response.
- FIG. 30 shows six types of image filter processing (first image filter processing P1, second image filter processing P2, third image filter processing P3, fourth image filter processing P4, and fifth image filter processing.
- the frequency characteristics of P5 and sixth image filter processing P6) are shown.
- These six types of image filter processes P1 to P6 each have different frequency characteristics, but the response when the frequency ( ⁇ ) is “0” indicates “1”.
- “frequency characteristic data of the first image filter process P1, frequency characteristic data of the second image filter process P2, and frequency characteristic data of the third image filter process P3” are changed to the first variation.
- the distribution is classified into the distribution G1
- the “frequency characteristic data of the fourth image filter process P4 the frequency characteristic data of the fifth image filter process P5, and the frequency characteristic data of the sixth image filter process P6” are classified into the second variation distribution G2. Can be classified.
- FIGS. 31A and 31B are diagrams schematically showing an example of the dispersion of frequency characteristics of the plurality of types of image filter processing shown in FIG. 30, and FIG. 31A shows the first variation distribution G1.
- FIG. 31B shows the dispersion of the frequency characteristic data of the first image filter processing P1 to the third image filter processing P3 classified into the second image distribution processing G2, and the fourth image filter processing classified into the second variation distribution G2.
- the dispersion of frequency characteristic data in P4 to sixth image filter processing P6 is shown.
- the horizontal axis indicates the frequency ( ⁇ )
- the vertical axis indicates the dispersion. Note that FIGS. 31A and 31B do not necessarily represent strictly the dispersion of the frequency characteristics of the plurality of types of image filter processes P1 to P6 shown in FIG. 30 for convenience of explanation.
- the frequency characteristics of the six types of image filter processes P1 to P6 shown in FIG. 30 are all when the frequency ( ⁇ ) is “0”, so the response when the frequency ( ⁇ ) is “0” is “1”.
- the variance of “0” is “0”.
- FIGS. 31A and 31B regarding “dispersion of frequency characteristics of image filter processing” of each of the first variation distribution G1 and the second variation distribution G2, “the largest variation is shown. Components (see “H1” in FIGS. 31A and 31B) ”and“ components showing the second largest variation (see “H2” in FIGS. 31A and 31B) ”appear.
- FIGS. 32A to 32C show base filters (1) obtained from the mean and variance of the frequency characteristics of the first image filter processing P1 to the third image filter processing P3 classified into the first variation distribution G1.
- FIG. 32A shows “ ⁇ 0 ”, FIG. 32B shows “ ⁇ 1 ”, and FIG. 32C shows “ ⁇ 2 ”.
- FIGS. 33A to 33C show basis filters (4) obtained from the mean and variance of the frequency characteristics of the fourth image filter processing P4 to the sixth image filter processing P6 classified into the second variation distribution G2.
- FIG. 33A shows “ ⁇ 0 ”, FIG. 33B shows “ ⁇ 1 ”, and FIG. 33C shows “ ⁇ 2 ”. Show.
- the frequency characteristic ⁇ 0 of the filter used in the first filtering process F1 is preferably determined based on the center (average) of the distribution of the frequency characteristics of a plurality of types of image filter processes.
- the frequency characteristics of filters used in other filtering processes are determined in accordance with components having large variations (variances) in the frequency characteristics of a plurality of types of image filter processes shown in FIGS. 31 (a) and 31 (b). It is preferable.
- the frequency characteristics phi 1 of the filter used in the second filtering process F2 is composed of a plurality of kinds of image filtering large variation to a first component of the frequency characteristic ( "H1" of FIG. 31 (a), and (b) Preferably) based on the reference).
- the frequency characteristics phi 2 of the filter used in the third filtering process F3 is a plurality of types of image filtering variation of the frequency characteristic is the second largest component (FIG. 31 (a) and (b) " H2 ”)).
- 34A to 34B show frequency characteristics f ( ⁇ ) related to the image filter processing P (first filtering processing F1 to third filtering processing F3) performed by the filtering processing unit 41 having the circuit configuration shown in FIG. ) (See FIG. 34A) and a gain example (see FIG. 34B).
- ⁇ 0 (i) ( ⁇ ) is used in the first filter application unit 48-1 of the first filtering process F1.
- G 0 represents a gain used in the first gain application unit 49-1 of the first filtering process F1.
- ⁇ 1 (i) ( ⁇ ) represents the frequency characteristic of the filter used in the second filter application unit 48-2 of the second filtering process F2, and “g 1 ” represents the second filtering process F2. Represents the gain used in the second gain application unit 49-2.
- ⁇ 2 (i) ( ⁇ ) represents the frequency characteristic of the filter used in the third filter application unit 48-3 of the third filtering process F3, and “g 2 ” represents the third filtering process F3. Represents the gain used in the third gain applying unit 49-3.
- the symbol “i” in the frequency characteristics ⁇ 1 (i) ( ⁇ ) to ⁇ 3 (i) ( ⁇ ) of each filter represents a cluster index indicating a group classified according to the multimodal distribution.
- “1” can be assigned to the first image filter processing P1 to the third image filter processing P3 classified into the first variation distribution G1.
- “2” is assigned to the fourth image filter processing P4 to the sixth image filter processing P6 classified into the second variation distribution G2. it can.
- the filter used in each filter application unit 48 of the filtering processing unit 41 having the circuit configuration shown in FIG. 10 is fixed, and the gain g 0 used in the first filtering processing F1 is fixed. Is fixed to “1.0”, the gain g 0 for accurately realizing the frequency characteristics of the image filter processes P1 to P6 shown in FIG. 30 by the frequency characteristics of the entire system shown in FIG. ⁇ g 2 is illustrated.
- the frequency characteristic data of a plurality of types of image filter processing P1 to P6 is converted into six filter frequency characteristics ⁇ 0 (1) to ⁇ 2 (1). , ⁇ 0 (2) to ⁇ 2 (2) (tap coefficient) and 18 gains (12 gains when g 0 is fixed to “1.0”).
- the filter determination method based on the multimodal distribution according to the number of groups (first variation distribution G1 and second variation distribution G2 in the example shown in FIG. 24) constituting the multimodal distribution. Filter set is required. Therefore, when the multi-peak distribution is used, the number of filters that need to be stored in the memory in advance is increased and the required storage capacity is increased as compared with the case where the single-peak distribution is used. In addition, in order to associate each filter with a group to be classified, association information such as the above-described cluster index needs to be stored in the memory in advance.
- FIG. 35 is a block diagram illustrating an example of a functional configuration of the filter calculation unit 77 that calculates filter coefficients based on the multimodal distribution.
- the filter calculation unit 77 of the present example includes the above-described average calculation unit 78, variance calculation unit 79, and filter characteristic acquisition in order to classify a plurality of types of frequency characteristics of image filter processing into a plurality of groups constituting a multimodal distribution.
- the filter group classification unit 82 is further included.
- the filter group classification unit 82 of this example uses the mixed normal distribution as a reference to determine the frequency characteristics of a plurality of types of image filter processing (first image filter processing P1 to sixth image filter processing P6 in the example shown in FIG. 30).
- the filter groups are classified into a plurality of filter groups (in the example shown in FIG. 24, the first variation distribution G1 and the second variation distribution G2).
- FIG. 36 is a conceptual diagram of a plurality of types of image filter processing (frequency characteristics) classified into a plurality of filter groups by the filter group classification unit 82.
- Filter group classification unit 8 2 analyzes the similarity of frequency characteristic data of a plurality of types of image filter processing, and classifies the frequency characteristics of each image filter processing into corresponding filter groups.
- the filter group classification unit 82 classifies the first image filter processing P1 to the third image filter processing P3 into the filter groups of the first variation distribution G1, and the fourth image filter processing P4 to Pth.
- Six image filter processes P6 are classified into filter groups of the second variation distribution G2.
- the other average calculation unit 78, variance calculation unit 79, filter characteristic acquisition unit 80, and tap coefficient calculation unit 81 constituting the filter calculation unit 77 are frequency characteristics of a plurality of types of image filter processing classified into a plurality of filter groups. out based on the frequency characteristics of a plurality of types of image filtering are included in each of the plurality of filter groups, to obtain the reference filter h b and at least one dispersion filter h v for each of the plurality of filter groups.
- the frequency characteristics of the target image filter processing are selected by selecting an appropriate distribution type from the single-peak distribution and the multi-peak distribution according to the distribution of the frequency characteristic variation of the plurality of types of image filter processing. It is possible to acquire a filter (filter coefficient) and a gain that can accurately reproduce the above.
- the number of filters can be reduced, and it is possible to avoid holding FIR filters (filter coefficients (tap coefficients)) for all conditions. It is possible to perform image filter processing using a very good filter.
- the SAGE algorithm is an algorithm used for incoming wave analysis or the like in radio wave propagation, and is a method for obtaining one basis at a time so as to minimize the residual based on the concept of the EM algorithm.
- the OMP algorithm is an algorithm used when obtaining a sparse coefficient vector using overcomplete dictionary in the field of compressed sensing.
- the OMP method itself is not a method for obtaining a parametric basis
- the OMP method is designed for the FIR filter by changing the situation setting of selecting from the dictionary in the OMP to the situation setting of selecting a closer one from the parametric basis function. It is possible to apply to.
- the tap coefficient calculation unit 81 (see FIGS. 29 and 35) of the filter calculation unit 77 uses a plurality of types of image filters based on these algorithms. From a variation distribution function indicating the variance of the frequency characteristics of the processing and determined based on a coefficient assigned to each tap of the reference filter h b (see covariance matrix “R i ” described later), at least one it is possible to calculate the coefficients assigned to each tap of the dispersion filter h v.
- the tap coefficient calculating section 81 of the filter calculating unit 77 when two or more integer "I", obtains the dispersion filter h v from first to I-th , calculates the coefficients assigned to each tap of the first dispersion filter h v, the variation distribution function determined based on the coefficient assigned to each tap of the reference filter h b.
- the tap coefficient calculating section 81 of the filter calculating unit 77 when 2 or more and I an integer of "J", the coefficients assigned to each tap of the J-th dispersion filter h v, the reference filter h b calculated from the variation distribution function determined based on the coefficient assigned to each respective tap of the dispersion filter h v from coefficient and first assigned to each tap to J-1 th.
- the tap coefficient calculation unit 81 of the filter calculation unit 77 is a variation distribution function indicating dispersion of frequency characteristics of a plurality of types of image filter processing, and includes a reference filter h b and at least one dispersion filter h v.
- a variation distribution function see covariance matrix “Q j ” described later
- the coefficient assigned to each of at least one of the taps is updated.
- Non-Patent Document 1 Non-Patent Document 2
- Non-Patent Document 3 Non-Patent Document 3
- both the SAGE algorithm and the OMP algorithm are intended for vector base decomposition and do not inherently handle subspace approximation in filter design, it is necessary to appropriately modify the calculation formula.
- the case based on the unimodal distribution can be applied as described above. That is, a case where a plurality of filter groups (the first variation distribution G1 and the second variation distribution G2 in the example shown in FIG. 24) are treated as a unimodal distribution distribution G, thereby assuming a multimodal distribution. It is possible to cope with.
- the tap coefficient of the FIR filter that best approximates the average (center value) of the frequency characteristics of a plurality of types of image filter processing represented by the above-mentioned “ ⁇ 0 ” is obtained by an arbitrary method, and is actually obtained by the tap coefficient.
- the frequency characteristic of the filter realized in the above is defined as “frequency characteristic ⁇ 0 of the filter used in the first filtering process F1”.
- Step 3 As shown in the following equation, the covariance matrix R 0 is set as the covariance matrix R 1 and the parameter “i” is set to “1”.
- the tap coefficient of the FIR filter that best approximates the frequency characteristic of the eigenvector ⁇ i is obtained by an arbitrary method, and the frequency characteristic of the filter actually realized by the tap coefficient is set to “ ⁇ i ”.
- the tap coefficient of the filter relating to “ ⁇ i + 1 ” is stored in a memory (not shown).
- the update of the residual of the covariance matrix in step 6 is based on the subtraction of the selected base (FIR filter), and after all the bases are once obtained, This is different from the OMP algorithm in that updating is continued individually for each base.
- steps 1 to 5 of the above OMP algorithm are performed in the same manner in the SAGE algorithm.
- the covariance matrix “R i + 1 ” used in step 6 of the above-described OMP algorithm is obtained by the following equation in the SAGE algorithm.
- Step 7 of the above OMP algorithm is performed in the same manner in the SAGE algorithm. However, in the SAGE algorithm, the following steps 8 to 12 are performed after step 7.
- Step 8 As represented by the following equation, the parameter “j” is set to the initial value “1”.
- Step 9 As represented by the following equation, components that can be expressed by the subspace spanned by the base obtained by removing the j-th base are excluded from the covariance matrix, and the residual is calculated.
- Step 12 The parameter “j” as represented by the following equation until the overall approximation error “J TOTAL ” defined by the following equation falls within a specific target range or the number of loops (calculation time) reaches a specific upper limit. "Step 9" to “Step 12" are repeatedly performed while changing.
- the tap coefficient of the FIR filter can be designed with high accuracy if the variation (for example, average and variance) of the frequency characteristics of a plurality of types of image filter processing can be grasped.
- the variation for example, average and variance
- Each functional configuration described above can be realized by arbitrary hardware, software, or a combination of both.
- a program that causes a computer to execute an image processing method (image processing procedure and function), a gain acquisition method (gain acquisition process procedure and function), and a filter acquisition method (filter acquisition processing procedure and function) in each of the above-described apparatuses and processing units The present invention can also be applied to a computer-readable recording medium (non-transitory recording medium) that records the program, or a computer that can install the program.
- the purpose of the image filtering process is not particularly limited.
- a restoration filter based on a point spread function for improving the image quality a contour enhancement filter, a special filter, and the like.
- filters such as an art filter and a blur filter for the purpose of providing an effect may be used.
- EDoF Extended Depth of Field
- it is a restoration filter based on the optical transfer function (PSF, OTF, MTF, PTF, etc.) of the EDoF optical system, and good image restoration is possible within the range of the expanded depth of field (depth of focus).
- a restoration process using a restoration filter having a filter coefficient set so as to be performed is performed.
- restoration processing is performed on a luminance signal (Y data) obtained from image data (RGB data) after demosaic processing
- Y data luminance signal
- RGB data image data
- restoration processing may be performed on “image data before demosaic processing (mosaic image data)” or “image data after demosaic processing and before luminance signal conversion processing (demosaic image data)”.
- FIG. 37 is a block diagram illustrating an embodiment of the imaging module 101 including the EDoF optical system.
- the imaging module (digital camera or the like) 101 of this example includes an EDoF optical system (lens unit) 110, an imaging element 112, an AD conversion unit 114, and a restoration processing block (image processing unit 35) 120.
- FIG. 38 is a diagram illustrating an example of the EDoF optical system 110.
- the EDoF optical system 110 of this example includes a photographic lens 110A having a fixed focal point and an optical filter 111 disposed at the pupil position.
- the optical filter 111 modulates the phase, and converts the EDoF optical system 110 (the photographing lens 110A) to EDoF so that an enlarged depth of field (depth of focus) (EDoF) is obtained.
- the photographing lens 110A and the optical filter 111 constitute a lens unit that modulates the phase and expands the depth of field.
- the EDoF optical system 110 includes other components as necessary.
- a diaphragm (not shown) is disposed in the vicinity of the optical filter 111.
- the optical filter 111 may be one sheet or a combination of a plurality of sheets.
- the optical filter 111 is merely an example of an optical phase modulation unit, and the EDoF conversion of the EDoF optical system 110 (the photographing lens 110A) may be realized by other units.
- the EDoF optical system 110 may be realized as EDoF by the photographing lens 110A designed to have a function equivalent to that of the optical filter 111 of this example.
- the EDoF conversion of the EDoF optical system 110 can be realized by various means for changing the wavefront of the image formed on the light receiving surface of the image sensor 112.
- optical element whose thickness changes “optical element whose refractive index changes (refractive index distributed wavefront modulation lens, etc.)”, “optical element whose thickness and refractive index change due to coding on the lens surface (wavefront) "Modulation hybrid lens, optical element formed as a phase plane on the lens surface, etc.)” and “liquid crystal element capable of modulating light phase distribution (liquid crystal spatial phase modulation element, etc.)” into EDoF optical system 110 of EDoF It can be adopted as a means.
- the present invention can also be applied to a case that can be formed by the photographic lens 110A itself without using a modulation element.
- the EDoF optical system 110 shown in FIG. 38 can be reduced in size because it can omit the focus adjustment mechanism that mechanically adjusts the focus, and can be suitably mounted on a mobile phone with a camera or a portable information terminal.
- the optical image after passing through the EDoF-converted EDoF optical system 110 is formed on the image sensor 112 shown in FIG. 37, and is converted into an electrical signal here.
- the image sensor 112 is composed of a plurality of pixels arranged in a matrix by a predetermined pattern arrangement (Bayer arrangement, G stripe R / G complete checkered pattern, X-Trans arrangement, honeycomb arrangement, etc.). It includes a color filter (RGB color filter in this example) and a photodiode.
- the optical image incident on the light receiving surface of the image sensor 112 via the EDoF optical system 110 is converted into signal charges in an amount corresponding to the amount of incident light by the photodiodes arranged on the light receiving surface.
- the R, G, and B signal charges accumulated in each photodiode are sequentially output as a voltage signal (image signal) for each pixel.
- the AD converter 114 converts the analog R, G, B image signals output from the image sensor 112 for each pixel into digital RGB image signals.
- the digital image signal converted into a digital image signal by the AD conversion unit 114 is added to the restoration processing block 120.
- the restoration processing block 120 includes, for example, a black level adjustment unit 122, a white balance gain unit 123, a gamma processing unit 124, a demosaic processing unit 125, an RGB / YCrCb conversion unit 126, and a Y signal restoration processing unit 127. Including.
- the black level adjustment unit 122 performs black level adjustment on the digital image signal output from the AD conversion unit 114.
- a known method can be adopted for black level adjustment. For example, when attention is paid to a certain effective photoelectric conversion element, an average of dark current amount acquisition signals corresponding to each of a plurality of OB photoelectric conversion elements included in the photoelectric conversion element row including the effective photoelectric conversion element is obtained, and the effective The black level is adjusted by subtracting this average from the dark current amount acquisition signal corresponding to the photoelectric conversion element.
- the white balance gain unit 123 performs gain adjustment according to the white balance gain of each RGB color signal included in the digital image signal in which the black level data is adjusted.
- the gamma processing unit 124 performs gamma correction that performs gradation correction such as halftone so that the R, G, and B image signals that have undergone white balance adjustment have desired gamma characteristics.
- the demosaic processing unit 125 performs demosaic processing on the R, G, and B image signals after the gamma correction. Specifically, the demosaic processing unit 125 performs a color interpolation process on the R, G, and B image signals, thereby generating a set of image signals (R signal, G signal) output from each light receiving pixel of the image sensor 112. , B signal). That is, before the color demosaicing process, the pixel signal from each light receiving pixel is one of the R, G, and B image signals, but after the color demosaicing process, the R, G, B signal corresponding to each light receiving pixel is displayed. A set of three pixel signals is output.
- the RGB / YCrCb converter 126 converts the demosaic R, G, and B signals for each pixel into a luminance signal Y and color difference signals Cr and Cb, and outputs the luminance signal Y and the color difference signals Cr and Cb for each pixel. To do.
- the Y signal restoration processing unit 127 performs restoration processing on the luminance signal Y from the RGB / YCrCb conversion unit 126 based on a restoration filter stored in advance.
- the restoration filter corresponding to the optical filter 111 is stored in a memory (not shown) (for example, a memory provided with the Y signal restoration processing unit 127). Further, the kernel size of the deconvolution kernel is not limited to 7 ⁇ 7.
- the Y signal restoration processing unit 127 has a sharpening function in the image processing unit 35 described above.
- FIG. 39 is a diagram showing an example of a restoration processing flow by the restoration processing block 120 shown in FIG.
- a digital image signal is added from the AD conversion unit 114 to one input of the black level adjustment unit 122, black level data is added to the other input, and the black level adjustment unit 122 receives the digital image signal.
- the black level data is subtracted from the digital image signal, and the digital image signal from which the black level data has been subtracted is output to the white balance gain unit 123 (S41). As a result, the black level component is not included in the digital image signal, and the digital image signal indicating the black level becomes zero.
- the image data after the black level adjustment is sequentially processed by the white balance gain unit 123 and the gamma processing unit 124 (S42 and S43).
- the R, G and B signals subjected to gamma correction are demosaiced in the demosaic processing unit 125, and then converted into the luminance signal Y and the color difference signals Cr and Cb in the RGB / YCrCb conversion unit 126 (S44).
- the Y signal restoration processing unit 127 performs restoration processing for applying the deconvolution processing for the phase modulation of the optical filter 111 of the EDoF optical system 110 to the luminance signal Y (S45).
- the Y signal restoration processing unit 127 stores a luminance signal (in this case, a luminance signal of 7 ⁇ 7 pixels) corresponding to a predetermined unit pixel group centered on an arbitrary pixel to be processed, and is previously stored in a memory or the like.
- the deconvolution process (deconvolution calculation process) is performed with the restoration filter (7 ⁇ 7 deconvolution kernel and its calculation coefficient).
- the Y signal restoration processing unit 127 performs restoration processing for removing image blur of the entire image by repeating the deconvolution processing for each pixel group of a predetermined unit so as to cover the entire area of the imaging surface.
- the restoration filter is determined according to the position of the center of the pixel group to be subjected to the deconvolution process. That is, a common restoration filter is applied to adjacent pixel groups. Further, in order to simplify the restoration process, it is preferable to apply a common restoration filter to all the pixel groups.
- the point image (optical image) of the luminance signal after passing through the EDoF optical system 110 is formed on the image sensor 112 as a large point image (blurred image).
- a small point image (high resolution image) is restored as shown in FIG.
- the restoration process As described above, by applying the restoration process to the luminance signal after the demosaic process, it is not necessary to have the parameters of the restoration process separately for RGB, and the restoration process can be speeded up.
- R, G, and B image signals corresponding to the R, G, and B pixels at the skipped positions are not collectively deconvoluted into one unit, but the luminance signals of adjacent pixels are set to a predetermined unit.
- the deconvolution process is performed by applying a common restoration filter to the unit, the accuracy of the restoration process is improved. Note that the color difference signals Cr and Cb are acceptable in terms of image quality even if the resolution is not increased by restoration processing due to the visual characteristics of human eyes.
- the image filter processing according to the above-described embodiment can be applied to the restoration processing of the EDoF system as described above.
- the aspect to which the present invention can be applied is not limited to a digital camera and a computer (server).
- the cameras whose main function is imaging functions other than imaging (call function)
- the present invention can be applied to mobile devices having a communication function and other computer functions.
- Other modes to which the present invention can be applied include, for example, a mobile phone having a camera function, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
- a smartphone to which the present invention can be applied will be described.
- FIG. 41 is a diagram illustrating an appearance of the smartphone 201.
- a smartphone 201 illustrated in FIG. 41 includes a flat housing 202, and a display input in which a display panel 221 serving as a display unit and an operation panel 222 serving as an input unit are integrated on one surface of the housing 202. Part 220 is provided.
- the housing 202 includes a speaker 231, a microphone 232, an operation unit 240, and a camera unit 241. Note that the configuration of the housing 202 is not limited to this, and, for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
- FIG. 42 is a block diagram showing a configuration of the smartphone 201 shown in FIG.
- the main components of the smartphone include a wireless communication unit 210, a display input unit 220, a call unit 230, an operation unit 240, a camera unit 241, a storage unit 250, and an external input / output unit. 260, a GPS (Global Positioning System) receiving unit 270, a motion sensor unit 280, a power supply unit 290, and a main control unit 200 (including the main body controller 25 described above).
- a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 201.
- the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW in accordance with an instruction from the main control unit 200. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
- the display input unit 220 displays images (still images and moving images), character information, and the like visually under the control of the main control unit 200, visually transmits information to the user, and detects a user operation on the displayed information.
- This is a so-called touch panel, and includes a display panel 221 and an operation panel 222.
- the display panel 221 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
- the operation panel 222 is a device that is placed so that an image displayed on the display surface of the display panel 221 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
- a detection signal generated due to the operation is output to the main control unit 200.
- the main control unit 200 detects an operation position (coordinates) on the display panel 221 based on the received detection signal.
- the display panel 221 and the operation panel 222 of the smartphone 201 illustrated as an embodiment of the imaging apparatus of the present invention integrally constitute a display input unit 220.
- the arrangement 222 covers the display panel 221 completely.
- the operation panel 222 may have a function of detecting a user operation even in an area outside the display panel 221.
- the operation panel 222 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 221 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 221. May be included).
- the operation panel 222 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 202 and the like. Furthermore, examples of the position detection method employed in the operation panel 222 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
- the call unit 230 includes a speaker 231 and a microphone 232, converts user's voice input through the microphone 232 into voice data that can be processed by the main control unit 200, and outputs the voice data to the main control unit 200, or a wireless communication unit 210 or the audio data received by the external input / output unit 260 is decoded and output from the speaker 231.
- the speaker 231 can be mounted on the same surface as the surface on which the display input unit 220 is provided, and the microphone 232 can be mounted on the side surface of the housing 202.
- the operation unit 240 is a hardware key using a key switch or the like, and receives an instruction from the user.
- the operation unit 240 is mounted on the side surface of the housing 202 of the smartphone 201 and is turned on when pressed by a finger or the like, and turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
- the storage unit 250 includes control programs and control data of the main control unit 200, application software, address data in which names and telephone numbers of communication partners are associated, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
- the storage unit 250 includes an internal storage unit 251 built in the smartphone and an external storage unit 252 having a removable external memory slot.
- Each of the internal storage unit 251 and the external storage unit 252 constituting the storage unit 250 includes a flash memory type, a hard disk type, a multimedia card micro type, a multimedia card micro type, This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
- a card type memory for example, MicroSD (registered trademark) memory
- RAM Random Access Memory
- ROM Read Only Memory
- the external input / output unit 260 serves as an interface with all external devices connected to the smartphone 201, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
- external devices for example, universal serial bus (USB), IEEE 1394, etc.
- a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
- an external device connected to the smartphone 201 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
- Identity Module Card / UIM (User Identity Module Card) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, yes / no
- the external input / output unit can transmit data received from such an external device to each component inside the smartphone 201 and can transmit data inside the smartphone 201 to the external device.
- the GPS receiving unit 270 receives GPS signals transmitted from the GPS satellites ST1 to STn according to instructions from the main control unit 200, executes positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude and longitude of the smartphone 201. , Detect the position consisting of altitude.
- the GPS receiving unit 270 can acquire position information from the wireless communication unit 210 or the external input / output unit 260 (for example, a wireless LAN), the GPS receiving unit 270 can also detect the position using the position information.
- the motion sensor unit 280 includes, for example, a triaxial acceleration sensor, and detects the physical movement of the smartphone 201 in accordance with an instruction from the main control unit 200. By detecting the physical movement of the smartphone 201, the moving direction and acceleration of the smartphone 201 are detected. The detection result is output to the main control unit 200.
- the power supply unit 290 supplies power stored in a battery (not shown) to each unit of the smartphone 201 in accordance with an instruction from the main control unit 200.
- the main control unit 200 includes a microprocessor, operates according to a control program and control data stored in the storage unit 250, and controls each unit of the smartphone 201 in an integrated manner.
- the main control unit 200 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
- the application processing function is realized by the main control unit 200 operating in accordance with application software stored in the storage unit 250.
- Application processing functions include, for example, an infrared communication function for controlling external input / output unit 260 to perform data communication with an opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
- the main control unit 200 also has an image processing function such as displaying video on the display input unit 220 based on image data (still image or moving image data) such as received data or downloaded streaming data.
- the image processing function refers to a function in which the main control unit 200 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 220.
- the main control unit 200 executes display control for the display panel 221 and operation detection control for detecting a user operation through the operation unit 240 and the operation panel 222.
- the main control unit 200 By executing the display control, the main control unit 200 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
- a software key such as a scroll bar, or a window for creating an e-mail.
- the scroll bar refers to a software key for accepting an instruction to move a display portion of an image such as a large image that cannot fit in the display area of the display panel 221.
- the main control unit 200 detects a user operation through the operation unit 240 or receives an operation on the icon or an input of a character string in the input field of the window through the operation panel 222. Or a display image scroll request through a scroll bar.
- the main control unit 200 causes the operation position with respect to the operation panel 222 to overlap with the display panel 221 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 221.
- a touch panel control function for controlling the sensitive area of the operation panel 222 and the display position of the software key.
- the main control unit 200 can also detect a gesture operation on the operation panel 222 and execute a preset function according to the detected gesture operation.
- Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions simultaneously, or combines these to draw a trajectory for at least one of a plurality of positions. means.
- the camera unit 241 is a digital camera that performs electronic photography using an image sensor such as a CMOS or CCD. Also, the camera unit 241 converts image data obtained by imaging into compressed image data such as JPEG, for example, under the control of the main control unit 200, and records the data in the storage unit 250, or the external input / output unit 260 or wireless communication. The data can be output through the unit 210.
- the camera unit 241 is mounted on the same surface as the display input unit 220. However, the mounting position of the camera unit 241 is not limited to this, and the camera unit 241 may be mounted on the back surface of the display input unit 220. Alternatively, a plurality of camera units 241 may be mounted. Note that in the case where a plurality of camera units 241 are mounted, the camera unit 241 used for shooting can be switched to perform shooting alone, or a plurality of camera units 241 can be used for shooting simultaneously.
- the camera unit 241 can be used for various functions of the smartphone 201.
- an image acquired by the camera unit 241 can be displayed on the display panel 221, or the image of the camera unit 241 can be used as one of operation inputs of the operation panel 222.
- the GPS receiving unit 270 detects the position, the position can also be detected with reference to an image from the camera unit 241.
- the optical axis direction of the camera unit 241 of the smartphone 201 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
- the image from the camera unit 241 can also be used in the application software.
- the position information acquired by the GPS receiving unit 270 to the image data of the still image or the moving image, the voice information acquired by the microphone 232 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 280 can be added and recorded in the storage unit 250, or can be output through the external input / output unit 260 and the wireless communication unit 210.
- the image processing unit 35 (filtering processing unit 41) described above can be realized by the main control unit 200, for example.
- DESCRIPTION OF SYMBOLS 10 Digital camera, 11 ... Lens unit, 12 ... Camera body, 14 ... Lens, 15 ... Aperture, 17 ... Optical system operation part, 18 ... Lens unit controller, 19 ... Lens unit memory
- Gain candidate data storage unit 45 ... Gain acquisition unit 47 ... Filter Application block 48... Filter application unit 49.
- Gain application unit 50 Process data calculation unit 51.
- Process data acquisition unit 5 ... adder, 54 ... repetitive calculation determination unit, 55 ... gain supply unit, 56 ... filter supply unit, 60 ... reference image acquisition unit, 61 ... reference image analysis unit, 62 ... target frequency characteristic acquisition unit, 63 ... applied gain calculation , 66... Frequency analysis unit, 67... Target frequency characteristic specifying unit, 68... Frequency characteristic storage unit, 70... Gain application block, 70-1 ... first gain block, 70-2 ... second gain block, 71 ... position coordinate calculation unit, 72-1 ... first gain output unit, 72-2 ... second gain output unit, 73 ...
- weighting coefficient determination unit 74 ... weighting adjustment unit, 75 ... weighting addition unit, 76 ... filter Acquisition device, 77 ... filter calculation unit, 78 ... average calculation unit, 79 ... dispersion calculation unit, 80 ... filter characteristic acquisition unit, 81 ... tap coefficient calculation unit, 82 ... filter group classification unit, 92 ... comp 93 ... Computer input / output unit, 94 ... Computer controller, 95 ... Display, 96 ... Network, 97 ... Server, 98 ... Server input / output unit, 99 ... Server controller, 101 ... Imaging module, 110 ... EDoF optical system, 110A DESCRIPTION OF SYMBOLS ... Shooting lens, 111 ... Optical filter, 112 ...
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
高精度なフィルタリング処理と必要とされる記憶容量の低減化とを両立させることができる画像処理装置、画像処理方法、プログラム及び記録媒体を提供する。画像処理装置35は、複数回のフィルタリング処理を含む画像フィルタ処理を行うフィルタリング処理部41を備える。フィルタリング処理部41は、各フィルタリング処理において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する。各フィルタリング処理においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像フィルタ処理の目標とする周波数特性に基づいて取得される。
Description
本発明は画像処理装置、画像処理方法、プログラム及び記録媒体に係り、特に画像フィルタ処理に関する。
画質を改善するためのフィルタリング処理や特殊な視覚効果を付与するためのフィルタリング処理等、様々な画像フィルタ処理技術が提案されている。例えば、撮影レンズの収差等に起因する像劣化特性を表す点拡がり関数(点像分布関数(PSF:Point Spread Function))に基づいて定められるフィルタを使って、本来の画像を復元する点像復元処理が知られている。
特許文献1は、製造上の公差を改善して製造バラツキを抑えることを目的とした撮像装置を開示する。この撮像装置は、収差制御光学系及び画像処理部を備える。収差制御光学系は、光軸中心付近より周辺部分において球面収差を大きく発生させる。画像処理部は、球面収差により低下した成分の回復処理を行い、画像処理によって増加するノイズ量を標準偏差で2倍以下に保持する。このように光軸から離れた箇所に球面収差を意図的に発生させることによってレンズの製造公差が改善され、またフィルタを使った画像処理によってMTFを復元することによって球面収差により低下した成分の回復処理が行われる。
また特許文献2は、被写界深度が拡大された画像及び任意の被写界深度を有する画像を、画像撮影後の画像処理によって生成する撮像装置を開示する。この特許文献2では、原画像における全画素位置に関して直接的に点拡がり関数(PSF)を算出する場合には処理量が多くなり処理時間が長くなるので、代表画素位置のみに関して点拡がり関数を直接的に算出し、非代表画素位置に関する点拡がり関数は近傍の代表画素位置に関する点拡がり関数に基づいて補間を行うことによって取得することが提案されている。
J.A.Fessler and A.O.Hero,"Space-Alternating Generalized Expectation-Maximization Algorithm," IEEETransactions on Signal Processing,Vol.17,No.10,pp.2664-2677,1994.
B.H.Fleury,M.Tschudin,R.Heddergott,D.Dahlhaus,and K.I.Pedersen,"Channel Parameter Estimation in Mobile Radio Environments Using the SAGE Algorithm,"IEEE J.Selected Areas in Communications,Vol.17,No.3,pp.434-449,Mar.1999.
Y.Pati,R.Rezaiifar,P.Krishnaprasad,"Orthogonal Matching Pursuit : recursive function approximation with application to wavelet decomposition",in Asilomar Conf.on Signals,Systems and Comput.,1993.
上述のような画像フィルタ処理によって使用されるフィルタの種類及び数が増えると、フィルタ全体のデータ量が飛躍的に増大するため、膨大な記憶領域(ROM:Read Only Memory)を確保する必要がある。
すなわち、画像フィルタ処理によって使用されるフィルタが複数の条件に応じて定められる場合には、指数関数的な割合で必要なフィルタのデータ量が増える。例えば撮影光学系の点拡がり関数は、絞り値(F値)、ズーム値(焦点距離)、被写体距離、フォーカス位置、光学系種別、撮像素子のセンサSN比(Signal-Noise ratio)、像高(画像内位置)及び光学系個体差などの撮影条件に応じて変化するからである。しかしながら、個々の撮影条件の組み合わせの全てに関して特有のフィルタを準備すると、それらのフィルタに必要な全体のデータ量は膨大になる。
特に、点拡がり関数は光学系の像高に応じて変動し光軸を中心とした位置角に応じて連続的に変化するため、点拡がり関数に基づくフィルタを作成する場合、理想的には光学系の全ての位置に関して点拡がり関数を計測してフィルタを設計して保持することが望ましい。しかしながら、光学系の全ての位置の各々に最適化されたフィルタを設計して保持することは、多大な演算量が必要になるだけではなく、フィルタを保持するための膨大な記憶容量が必要になる。そのような大きな記憶容量を有するメモリを限られたスペースに配置するにはコンパクト且つ大容量の高価なメモリを準備する必要があるため、光学系の全ての位置に対応するフィルタを予め準備及び記憶しておくことは、実際に画像処理システムを構築する観点からは必ずしも望ましくない。
特許文献1には、意図的に発生させた球面収差による点拡がりを回復するフィルタを作成し、そのフィルタを使ってMTFを改善することは開示されているが、フィルタ数の増大に伴う上述の弊害及びそのような弊害を解決するための手法については全く言及されていない。
また特許文献2に記載の撮像装置では、代表画素位置のみに関して点拡がり関数を直接的に算出することによって点拡がり関数の算出負荷の軽減が図られている。しかしながら、上述のように点拡がり関数は画素位置以外のF値や焦点距離等の複数の条件に応じて変化するため、たとえ代表画素位置のみであったとしても、それらの複数の条件の全ての組み合わせに関して最適化されたフィルタを保持することは、依然として膨大な記憶容量が必要とされる。また特許文献2の撮像装置では、非代表画素位置に関する点拡がり関数は補間により推定されるため、非代表画素位置に関する実際の点拡がり関数がその推定される点拡がり関数によって適切に実現されていることの保証はされない。
また特定の異方性や周波数特性が考慮された画像フィルタ処理では、必要とされるフィルタのパターン数が増大してしまう。さらに画素位置に応じて使用するフィルタ(フィルタ係数)を変える場合には、処理対象の画像の画素数に応じてフィルタのデータ量が増大してしまう。
また多数のフィルタを使用する画像フィルタ処理では、フィルタ係数を決定するための計算量が増大する問題がある。例えば、画像フィルタ処理によって使用するフィルタをタップ数が制限されたFIR(Finite Impulse Response)フィルタによって実現する場合には、各タップに割り当てられるフィルタ係数の演算に必要な計算量が増大する。
例えば点拡がり関数に基づいてフィルタを生成するケースにおいて、点拡がり関数(PSF)をフーリエ変換して得られる光学伝達関数(OTF:Optical Transfer Function)からウィナー(Wiener)フィルタを算出することができる。フィルタのタップ数に制限が無い場合には、そのウィナーフィルタの逆フーリエ変換によって得られる所望の周波数特性を、任意のタップ数を持つフィルタによって実現することが可能である。
しかしながら、実際に使用可能なハードウェアが制限されると、フィルタのタップ数も制限されることになる。そしてフィルタのタップ数が制限される条件下で、所望の周波数特性を持つタップ係数を算出するには非線形最適化問題を解く必要があるため、非常に多くの計算量が必要とされる。
したがって点拡がり関数等の像劣化特性を取得した後に直ちに画像フィルタ処理を行う場合には、実際に使用されるタップ係数の算出のために多大な計算リソースを確保する必要がある。しかしながら、そのような計算リソースを確保しておくことは、実際に画像処理システムを構築する観点からは必ずしも望ましくない。
本発明は上述の事情に鑑みてなされたものであり、高精度なフィルタリング処理と必要とされる記憶容量の低減化とを両立させることができる画像処理手法を提供することを目的とする。
本発明の一態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、フィルタリング処理部は、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理装置に関する。
本態様によれば、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、画像フィルタ処理の目標とする周波数特性に基づいて取得され、この目標とする周波数特性は、原画像データにおける画素位置に応じて定められる。このようにしてゲイン調整を行うことによって、各フィルタリング処理において処理対象データに適用されるフィルタのデータ量を低減しつつ、画素位置に応じた高精度なフィルタリング処理を行うことが可能になる。
なお「周波数特性」は、周波数に関する特性であって、処理前の画像データの周波数成分毎の振幅に対する処理後の画像データの周波数成分毎の振幅の比(=処理後の画像データの周波数成分毎の振幅/処理前の画像データの周波数成分毎の振幅)を示し、周波数に応じたレスポンスを表す。
望ましくは、画像フィルタ処理の目標とする周波数特性は、光学特性に基づく周波数特性である。
本態様によれば、光学特性に基づく画像フィルタ処理を行うことができる。
ここでいう「光学特性」としては、画像フィルタ処理の対象となる原画像データの撮影取得のために使用される撮影光学系の光学特性が好ましい。例えば、点拡がり関数PSFや光学伝達関数OTF(MTF:Modulation Transfer Function及びPTF:Phase Transfer Functionを含む)に基づく特性を「光学特性」とすることができ、ウィナーフィルタ等の任意の基準を利用した逆フィルタ設計手法を用いることによって「画像フィルタ処理の目標とする周波数特性」が表されてもよい。
望ましくは、画像処理装置は、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインの候補データを画素位置に関連付けたゲインテーブル情報を記憶するゲイン候補データ記憶部と、ゲインテーブル情報を参照し、画像フィルタ処理の目標とする周波数特性に応じた画素位置に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインとして特定するゲイン特定部と、を更に備え、フィルタリング処理部は、複数回のフィルタリング処理の各々において、ゲイン特定部が特定したゲインをフィルタ適用処理データに適用してゲイン適用処理データを取得する。
本態様によれば、ゲインの候補データの中から、フィルタ適用処理データに適用されるゲインを簡便に特定することができる。
なお「ゲインテーブル情報」の形式は、ゲインの候補データと画素位置とを適切に関連付けるものであれば、特に限定されない。例えば画像フィルタ処理の目標とする周波数特性が点拡がり関数に基づく場合には、その点拡がり関数に影響を及ぼしうるファクタ(例えば、絞り値(F値)、ズーム値(焦点距離)、被写体距離、フォーカス位置、光学系種別、撮像素子のセンサSN比、像高(画素位置)及び光学系個体差など)に対し、ゲインの候補データを関連付けてもよい。
望ましくは、フィルタリング処理部は、原画像データの画素毎に複数回のフィルタリング処理を行い、ゲイン特定部は、複数回のフィルタリング処理の対象となっている原画像データの画素位置を示す処理画素情報を取得し、処理画素情報が示す画素位置に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインとして特定する。
本態様によれば、処理画素情報に基づいて、候補データの中から複数回のフィルタリング処理において使用するゲインを簡便に特定することができる。
望ましくは、ゲインは、画像フィルタ処理の目標とする周波数特性に対し、複数回のフィルタリング処理の各々の周波数特性に基づいて最小二乗法によって画像フィルタ処理の周波数特性をフィッティングすることにより取得される。
本態様によれば、最小二乗法に基づいて、画像フィルタ処理の目標とする周波数特性を実現するためのゲインを精度良く取得することができる。
望ましくは、最小二乗法では、周波数に基づいて重み付けされる。
特に、最小二乗法では、周波数特性の近似誤差評価関数が周波数に基づいて重み付けされることが好ましい。ここでいう近似誤差評価関数は、近似の程度(すなわち誤差の程度)の評価を示す関数であり、例えば後述の「重み付き最小二乗基準に基づく汎関数(JLMS[g])」を近似誤差評価関数として使用することができる。本態様によれば、重視される周波数帯域の重みを大きくし、重視されない周波数帯域の重みを小さくすることによって、実際の要求に応じたゲインを精度良く取得することができる。
望ましくは、最小二乗法では、低周波帯域における重み付けを高周波帯域における重み付けより大きく設定する。
本態様によれば、画像フィルタ処理の目標とする周波数特性のうち特に低周波帯域における周波数特性を精度良く実現するゲインを取得することができる。人間の視覚特性上、高周波成分よりも低周波成分の方が知覚されやすいため、低周波帯域の重み付けを大きくしてゲインを取得することによって、視認性に優れた処理画像データを画像フィルタ処理によって生成することができる。
ここでいう「低周波帯域」は、実際に要求される画質特性に応じて定められることが好ましく、例えばサンプリング周波数の1/4(=0.25fs=ナイキスト周波数の1/2)以下の範囲において「低周波帯域」を設定することができる。
望ましくは、最小二乗法では、原画像データを取得する際の撮影条件に応じて、高周波帯域における重み付けを低周波帯域における重み付けより大きく設定する。
本態様によれば、原画像データを取得する際の撮影条件に応じて、画像フィルタ処理の目標とする周波数特性のうち特に高周波帯域における周波数特性を精度良く実現するゲインを取得することができる。一般に、高周波帯域におけるMTF劣化が大きくて撮像系のノイズが多い場合には、画像フィルタ処理によってノイズが増幅されてしまい、画質が悪化する場合がある。そのため高周波帯域においてSN比が悪いことが予想される撮影条件下において取得された原画像データの画像フィルタ処理では、「画像フィルタ処理の目標とする周波数特性に近似する」精度として高周波成分を低周波成分よりも優先した方が好ましい場合がある。
ここでいう「高周波帯域」は、実際に要求される画質特性に応じて定められることが好ましく、想定されるノイズの周波数特性に基づいて、例えばサンプリング周波数の1/4(=0.25fs)よりも大きく1/2(=0.5fs)以下の範囲において「高周波帯域」を設定することができる。
また「原画像データを取得する際の撮影条件」は、ノイズに影響を及ぼしうる任意のファクタに基づいて定められる。例えば、原画像データの取得に使用される撮影光学系の設定条件や被写体自体の状態条件(シーン条件)等の中から選ばれる1又は複数の条件を、「原画像データを取得する際の撮影条件」としうる。
望ましくは、最小二乗法における重み付けは、原画像データにおける画素位置に応じて定められる。
本態様によれば、原画像データにおける画素位置に応じて最小二乗法における重み付けを変えることができ、画素位置に応じた画像フィルタ処理を行うことが可能となる。例えば鮮鋭な画質が要求される画素位置では高周波帯域の重み付けを低周波帯域の重み付けよりも大きくしてもよいし、視認性に優れた画質が要求される画素位置では低周波帯域の重み付けを高周波帯域の重み付けよりも大きくしてもよい。
望ましくは、最小二乗法において、原画像データの画像中心から第1の距離以下の画素位置では、原画像データの画像中心から第1の距離よりも遠い画素位置よりも、高周波帯域おける重み付けが大きい。
本態様によれば、画像周辺部よりも画像中央部において高周波成分の再現性に優れたゲインを取得することができる。例えば画像中央部に主要被写体が配置される場合等、画像中央部において鮮鋭性が要求されるケースに対し、本態様は好適に適用されうる。
ここでいう「第1の距離」は特に限定されず、高周波帯域を重視する画像範囲に基づいて適宜設定可能である。
望ましくは、最小二乗法において、原画像データの画像中心から第2の距離よりも遠い画素位置では、原画像データの画像中心から第2の距離以下の画素位置よりも、低周波帯域おける重み付けが大きい。
本態様によれば、画像中央部よりも画像周辺部において低周波成分の再現性に優れたゲインを取得することができる。例えば画像周辺部においても観察対象の被写体が配置されうる場合等、画像周辺部において優れた視認性が要求されるケースに対し、本態様は好適に適用されうる。
ここでいう「第2の距離」は特に限定されず、低周波帯域を重視する画像範囲に基づいて適宜設定可能である。
望ましくは、フィルタリング処理部は、画像フィルタ処理の目標とする周波数特性において原画像データに対する処理画像データの割合が1よりも小さい周波数では、複数回のフィルタリング処理の各々において、フィルタリング処理データを処理対象データと等しくするフィルタを用いる。
過度に値の小さいデータを用いて画像フィルタ処理を行うと、処理後のデータにおいてノイズが混入しやすいだけではなく、そのようなノイズが増幅されることがあり、結果的に画質劣化を招くことがある。本態様によれば、フィルタリング処理データを処理対象データと等しくするフィルタを用いることによって、そのようなノイズ混入及びノイズ増幅を効果的に防ぐことができる。
望ましくは、フィルタリング処理部は、複数回のフィルタリング処理のうちの少なくともいずれか1つのフィルタリング処理において、撮影により原画像データを取得する際に用いられた光学系の特性に応じて定められるフィルタを用いてフィルタ適用処理データを取得する。
本態様によれば、光学系の特性に基づくフィルタリング処理が少なくとも1回は行われる。
望ましくは、光学系の特性に応じて定められるフィルタは、光学系の点拡がり関数に基づいて定められるフィルタである。
本態様によれば、光学系の点拡がり関数に基づくフィルタリング処理が少なくとも1回は行われる。
望ましくは、フィルタリング処理部は、複数回のフィルタリング処理のうちの少なくともいずれか1つのフィルタリング処理において、撮影により原画像データを取得する際に用いられた光学系の特性とは無関係に定められるフィルタを用いてフィルタ適用処理データを取得する。
本態様によれば、光学系の特性とは無関係のフィルタリング処理が少なくとも1回は行われる。
望ましくは、光学系の特性とは無関係に定められるフィルタは輪郭強調フィルタである。
本態様によれば、輪郭強調(エッジ強調)に関するフィルタリング処理が少なくとも1回は行われる。なお輪郭強調フィルタは、処理対象データにおける画素位置に応じた周波数特性を持っていてもよいし、処理対象データにおける画素位置に依らず共通の周波数特性を持っていてもよい。
望ましくは、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、フィルタリング処理部は、第1のフィルタリング処理において取得されるフィルタリング処理データを、第2のフィルタリング処理における処理対象データとして用いる。
本態様によれば、第1のフィルタリング処理及び第2のフィルタリング処理が直列的に行われる。
望ましくは、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、フィルタリング処理部は、第1のフィルタリング処理及び第2のフィルタリング処理では同一データを処理対象データとして使用し、第1のフィルタリング処理において取得されるフィルタリング処理データと第2のフィルタリング処理において取得されるフィルタリング処理データとに基づいて処理画像データを取得する。
本態様によれば、第1のフィルタリング処理及び第2のフィルタリング処理が並列的に行われる。
望ましくは、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、フィルタリング処理部は、第1のフィルタリング処理の処理対象データに対して第1のフィルタリング処理用のフィルタを適用し、フィルタ適用処理データを取得する第1のフィルタ適用部と、第1のフィルタリング処理のフィルタ適用処理データに対して第1のフィルタリング処理用のゲインを適用し、ゲイン適用処理データを取得する第1のゲイン適用部と、第2のフィルタリング処理の処理対象データに対して第2のフィルタリング処理用のフィルタを適用し、フィルタ適用処理データを取得する第2のフィルタ適用部と、第2のフィルタリング処理のフィルタ適用処理データに対して第2のフィルタリング処理用のゲインを適用し、ゲイン適用処理データを取得する第2のゲイン適用部と、を有する。
本態様によれば、第1のフィルタリング処理及び第2のフィルタリング処理が、別個の「フィルタ適用部(第1のフィルタ適用部及び第2のフィルタ適用部)」及び「ゲイン適用部(第1のゲイン適用部及び第2のゲイン適用部)」によって行われ、処理フローがシンプルになる。
望ましくは、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、フィルタリング処理部は、処理対象データにフィルタを適用してフィルタ適用処理データを取得するフィルタ適用部と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得するゲイン適用部と、を有し、フィルタ適用部は、第1のフィルタリング処理では第1のフィルタリング処理用のフィルタを用いてフィルタ適用処理データを取得し、第2のフィルタリング処理では第2のフィルタリング処理用のフィルタを用いてフィルタ適用処理データを取得し、ゲイン適用部は、第1のフィルタリング処理では第1のフィルタリング処理用のゲインを用いてゲイン適用処理データを取得し、第2のフィルタリング処理では第2のフィルタリング処理用のゲインを用いてゲイン適用処理データを取得する。
本態様によれば、第1のフィルタリング処理及び第2のフィルタリング処理が同一の「フィルタ適用部」及び「ゲイン適用部」によって行われ、ハードウェア構成(回路構成)がシンプルになる。
望ましくは、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、フィルタリング処理部は、第1のフィルタリング処理では、画像フィルタ処理の複数種類の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得し、第2のフィルタリング処理では、画像フィルタ処理の複数種類の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得する。
本態様によれば、画像フィルタ処理の複数種類の周波数特性の平均及び分散に応じて定められる基準フィルタ及び分散フィルタが用いられるため、適用したい画像フィルタ処理を平均的に精度良く行うことができる。
なお分散フィルタは、画像フィルタ処理の複数種類の周波数特性の分散に直接的又は間接的に応じていればよく、例えば分散から導き出される標準偏差に基づいて分散フィルタが定められてもよいし、分散に加えて他のファクタ(例えば平均等)に基づいて分散フィルタが定められてもよい。
本発明の他の態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、フィルタリング処理部は、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、第1のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得し、第2のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像処理装置に関する。
本態様によれば、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる。このようにしてゲイン調整を行うことによって、画素位置に応じた光学系の光学特性に基づいて特定される所望の画像フィルタ処理を簡単な演算処理によって精度良く実現することができる。また画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均及び分散に応じた基準フィルタ及び分散フィルタが用いられるため、画像フィルタ処理を平均的に精度良く行うことができる。
望ましくは、ゲインテーブル情報は、複数の代表的な画素位置には、特有の候補データを関連付けており、複数の代表的な画素位置以外の画素位置には、複数の代表的な画素位置のうちの1以上の画素位置に関連付けられている候補データを関連付けている。
本態様によれば、複数の代表的な画素位置以外の画素位置に関し、代表的な画素位置に関連付けられているゲインの候補データが関連付けられることとなる。そのため、ゲインテーブル情報における「画素位置とゲインの候補データとの関連付けデータ」のデータ量を低減化することができる。
なお「複数の代表的な画素位置のうちの1以上の画素位置に関連付けられている候補データ」は「複数の代表的な画素位置以外の画素位置」に対して直接的に関連付けられていてもよいし、間接的に関連付けられていてもよい。したがってゲインテーブル情報は、例えば「複数の代表的な画素位置以外の画素位置」に対して「複数の代表的な画素位置のうちの1以上の画素位置」を直接的に関連付けることにより、「複数の代表的な画素位置以外の画素位置」に対して「複数の代表的な画素位置のうちの1以上の画素位置に関連付けられている候補データ」を間接的に関連付けてもよい。
望ましくは、フィルタリング処理部は、処理対象データに複数種類のフィルタを適用して複数のフィルタ適用処理データを取得し、ゲインテーブル情報は、複数の代表的な画素位置の各々に複数の候補データを関連付けており、複数の代表的な画素位置の各々に関連付けられた複数の候補データは、それぞれ複数のフィルタ適用処理データに適用されるゲインとしてゲイン特定部により特定される。
本態様によれば、複数の代表的な画素位置の各々に関し、複数のゲインが使用されてゲイン適用処理データが精度良く取得される。
望ましくは、複数種類のフィルタは、複数の代表的な画素位置に応じて定められる複数の目標とする周波数特性の平均に応じて定められる基準フィルタと、複数の目標とする周波数特性の分散に応じて定められる分散フィルタとを含む。
本態様によれば、基準フィルタ及び分散フィルタが使用されることにより、画像フィルタ処理を、複数の代表的な画素位置に関して平均的に精度良く行うことができる。
望ましくは、フィルタリング処理部は、処理対象データに複数種類のフィルタを適用して複数のフィルタ適用処理データを取得するフィルタ適用ブロックと、複数のフィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得するゲイン適用ブロックと、処理画像データを取得する処理データ取得部と、を含み、ゲイン適用ブロックは複数のゲインブロックを含み、フィルタ適用ブロックと、複数のゲインブロックの各々とによって、複数回のフィルタリング処理が行われ、複数のゲインブロックの各々は、複数のフィルタ適用処理データにゲインを適用して複数のゲイン適用処理データを取得し、複数のゲイン適用処理データから複数のフィルタリング処理データを取得し、複数のフィルタリング処理データからブロック処理データを取得し、処理データ取得部は、複数のゲインブロックにおいて取得されるブロック処理データに基づいて処理画像データを取得する。
本態様によれば、フィルタ適用ブロックと複数のゲインブロックの各々とによって、複数回のフィルタリング処理を精度良く行うことができる。
望ましくは、複数のゲインブロックは、少なくとも第1のゲインブロック及び第2のゲインブロックを含み、第1のゲインブロック及び第2のゲインブロックの各々は、複数のフィルタ適用処理データの各々にゲインを適用し、処理データ取得部は、第1のゲインブロックにおいて取得されるブロック処理データと、第2のゲインブロックにおいて取得されるブロック処理データとに基づいて、処理画像データを取得し、フィルタリング処理部が複数の代表的な画素位置以外の画素位置について複数回のフィルタリング処理を行う場合、ゲイン特定部は、複数の代表的な画素位置以外の画素位置に関連付けられている候補データのうち、第1の代表的な画素位置に関連付けられている候補データを第1のゲインブロックにおいて使用されるゲインとして特定し、第2の代表的な画素位置に関連付けられている候補データを第2のゲインブロックにおいて使用されるゲインとして特定する。
本態様によれば、代表的な画素位置以外の画素位置に関しては、第1の代表的な画素位置に関連付けられている候補データ及び第2の代表的な画素位置に関連付けられている候補データが、ゲインブロックにおいて使用されるゲインとして特定される。
望ましくは、処理データ取得部は、複数のゲインブロックにおいて取得されるブロック処理データの重み付け演算により処理画像データを取得する。
本態様によれば、重み付け演算により処理画像データを精度良く取得することができる。
望ましくは、処理データ取得部は、画素位置に基づいて、複数のゲインブロックにおいて取得されるブロック処理データの各々に割り当てられる重み付け係数を決定し、重み付け係数をブロック処理データに適用する重み付け演算により処理画像データを取得する。
本態様によれば、画素位置に基づいて決定される重み付け係数を使って重み付け演算を行うことにより、処理画像データを精度良く取得することができる。
本発明の他の態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する画像処理方法であって、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理方法に関する。
本発明の他の態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する画像処理方法であって、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、第1のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得し、第2のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像処理方法に関する。
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラムに関する。
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、第1のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、第2のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められるプログラムに関する。
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められる画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、第1のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、第2のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データにおける画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データにおける画素位置に応じて定められるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
本発明によれば、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを、画像フィルタ処理の目標とする周波数特性に基づいて取得することができ、この目標とする周波数特性は、原画像データにおける画素位置に応じて定められる。これにより、各フィルタリング処理において処理対象データに適用されるフィルタのデータ量を低減しつつ、画素位置に応じた高精度なフィルタリング処理を行うことが可能である。
添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ(PC:パーソナルコンピュータ)に接続可能なデジタルカメラ(撮像装置)に本発明を適用する場合について説明する。
図1は、コンピュータ92に接続されるデジタルカメラ10を示すブロック図である。
本例のデジタルカメラ10は、交換可能なレンズユニット11と、撮像素子24を具備するカメラ本体12とを備え、レンズユニット11のレンズユニット入出力部20とカメラ本体12のカメラ本体入出力部28とを介し、レンズユニット11とカメラ本体12とが電気的に接続される。
レンズユニット11は、レンズ14及び絞り15を含む光学系と、この光学系を制御する光学系操作部17とを具備する。光学系操作部17は、レンズユニット入出力部20に接続されるレンズユニットコントローラ18と、光学系情報等の各種情報を記憶するレンズユニット記憶部19と、光学系を操作するアクチュエータ(図示省略)とを含む。レンズユニットコントローラ18は、カメラ本体12からレンズユニット入出力部20を介して送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えばレンズ移動によるフォーカス制御やズーム制御及び絞り15の絞り量制御等を行う。またレンズユニットコントローラ18は、カメラ本体12からレンズユニット入出力部20を介して送られてくる制御信号に基づき、レンズユニット記憶部19に記憶される各種情報を読み出してカメラ本体12(本体コントローラ25)に送信する。
カメラ本体12の撮像素子24は、集光用マイクロレンズと、R(赤)G(緑)B(青)等のカラーフィルタと、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等によって構成されるイメージセンサ(フォトダイオード)とを有する。この撮像素子24は、レンズユニット11の光学系(レンズ14及び絞り15等)を介して照射される被写体像の光を電気信号に変換し、画像信号(画像データ)を本体コントローラ25に送る。
本体コントローラ25は、詳細については後述するが(図2参照)、デジタルカメラ10の各部を統括的に制御するデバイス制御部としての機能と、撮像素子24から送られてくる画像データの画像処理を行う画像処理部(画像処理装置)としての機能とを有する。
デジタルカメラ10は、さらに、撮影等に必要なその他の機器類(レリーズボタン等)を具備し、それらの機器類の一部はユーザによって確認及び操作可能なユーザインターフェース26を構成する。図1に示す例ではカメラ本体12にユーザインターフェース26が設けられているが、ユーザインターフェース26はレンズユニット11及び/又はカメラ本体12に配置可能である。ユーザは、ユーザインターフェース26を介し、撮影等のための各種設定(EV値(Exposure Value)等)の決定及び変更、撮影指示、及びライブビュー画像及び撮影画像の確認等を行うことができる。ユーザインターフェース26は本体コントローラ25に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体コントローラ25における各種処理に反映される。なおユーザは、ユーザインターフェース26に含まれる表示部27(EVF:Electronic View Finder、背面液晶表示部)における表示を介してガイドされ、撮影が促されてもよい。
本体コントローラ25において画像処理された画像データは、カメラ本体12に設けられる本体記憶部29に記憶され、必要に応じ、入出力インターフェース30を介してコンピュータ92等の外部機器類に送られる。本体記憶部29は任意のメモリデバイスによって構成され、メモリカード等の交換可能メモリが好適に用いられる。本体コントローラ25から出力される画像データのフォーマットは特に限定されず、RAW、JPEG(Joint Photographic Experts Group)、及び/又はTIFF(Tagged Image File Format)等のフォーマットを持つ画像データを、本体コントローラ25は生成及び出力することができる。また本体コントローラ25は、いわゆるExif(Exchangeable Image File Format)のように、ヘッダ情報(撮影情報(撮影日時、機種、画素数、絞り値等)等)、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて一つの画像ファイルとして構成し、その画像ファイルを出力してもよい。
コンピュータ92は、カメラ本体12の入出力インターフェース30及びコンピュータ入出力部93を介してデジタルカメラ10に接続され、カメラ本体12から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ94は、コンピュータ92を統括的に制御し、デジタルカメラ10からの画像データを画像処理し、インターネット等のネットワーク96を介してコンピュータ入出力部93に接続されるサーバ97等との通信を制御する。コンピュータ92はディスプレイ95を有し、コンピュータコントローラ94における処理内容等が必要に応じてディスプレイ95に表示される。ユーザは、ディスプレイ95の表示を確認しながらキーボード等の入力手段(図示省略)を操作することにより、コンピュータコントローラ94にデータやコマンドを入力することができる。これによりユーザは、コンピュータ92や、コンピュータ92に接続される機器類(デジタルカメラ10及びサーバ97等)を制御することができる。
サーバ97は、サーバ入出力部98及びサーバコントローラ99を有する。サーバ入出力部98は、コンピュータ92等の外部機器類との送受信接続部を構成し、インターネット等のネットワーク96を介してコンピュータ92のコンピュータ入出力部93に接続される。サーバコントローラ99は、コンピュータ92からの制御指示信号に応じ、コンピュータコントローラ94と協働し、コンピュータコントローラ94との間で必要に応じてデータ類の送受信を行い、演算処理を行ってその演算結果をコンピュータ92に送信する。
各コントローラ(レンズユニットコントローラ18、本体コントローラ25、コンピュータコントローラ94及びサーバコントローラ99)は、制御処理に必要な回路類を有し、例えば演算処理回路(CPU(Central Processing Unit)等)やメモリ等を具備する。またデジタルカメラ10、コンピュータ92及びサーバ97間の通信は、有線通信であってもよいし無線通信であってもよい。またコンピュータ92及びサーバ97が一体的に構成されてもよく、またコンピュータ92及び/又はサーバ97が省略されてもよい。またデジタルカメラ10にサーバ97との通信機能を持たせ、デジタルカメラ10とサーバ97との間で直接的にデータ類の送受信が行われるようにしてもよい。
図2は、本体コントローラ25の構成例を示すブロック図である。本体コントローラ25は、デバイス制御部34と画像処理部(画像処理装置)35とを有し、カメラ本体12を統括的に制御する。
デバイス制御部34はデジタルカメラ10が具備する各種デバイス類を適宜制御し、例えば、撮像素子24を制御して撮像素子24からの画像信号(画像データ)の出力をコントロールし、レンズユニット11を制御するための制御信号を生成してカメラ本体入出力部28を介してレンズユニット11(レンズユニットコントローラ18)に送信し、画像処理前後の画像データ(RAWデータ及びJPEGデータ等)を本体記憶部29に記憶し、入出力インターフェース30を介して接続される外部機器類(コンピュータ92等)に画像処理前後の画像データ(RAWデータ及びJPEGデータ等)を送信する。またデバイス制御部34は表示部27を制御する表示制御部36を含み、この表示制御部36は、画像処理部35と協働してユーザの撮影操作を案内するガイドを表示部27に表示させてもよい。
一方、画像処理部35は、撮像素子24から出力される画像信号に対し、必要に応じた任意の画像処理を行う。例えばセンサ補正処理、デモザイク(同時化)処理、画素補間処理、色補正処理(オフセット補正処理、ホワイトバランス処理、カラーマトリックス処理、及びガンマ変換処理等)、RGB画像処理(シャープネス処理、トーン補正処理、露出補正処理及び輪郭補正処理等)、RGB/YCrCb変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部35において適宜行われる。
図3は、画像処理部35の機能構成の一例を示すブロック図である。
画像処理部35は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データD1に対して行うことにより処理画像データD2を取得するフィルタリング処理部41を備える。また本例の画像処理部35は、フィルタリング処理部41に加え、ゲイン特定部43、ゲイン候補データ記憶部44、前処理部40及び後処理部42を更に備える。
フィルタリング処理部41は、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、このフィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、このゲイン適用処理データからフィルタリング処理データを取得する。
ゲイン候補データ記憶部44は、フィルタリング処理部41における複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインの候補データを画素位置(光学系の位置)に関連付けた「ゲインテーブル情報」を記憶する。本例のゲインテーブル情報は、光学系の種類及び画素位置(光学系の位置)にゲインの候補データを関連付ける。ゲインの候補データを含むこのゲインテーブル情報は、ゲイン取得部45により、光学系の種類及び画素位置(光学系の位置)に応じて予め取得されてゲイン候補データ記憶部44に記憶される。光学系の種類及び画素位置に応じたゲイン(候補データ)の取得手法の具体例については後述する。
ゲイン特定部43は、ゲイン候補データ記憶部44に記憶されるゲインテーブル情報を参照し、目標とする周波数特性に応じた画素位置(光学系の位置)に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインとして特定し、フィルタリング処理部41に送る。本例のゲイン特定部43は、画像フィルタ処理Pの対象となっている原画像データD1を取得する際に使用された光学系の種類及び処理対象データの画素位置(光学系の位置)の情報を取得し、その光学系の種類及び画素位置(光学系の位置)に関連付けられているゲインの候補データをゲイン候補データ記憶部44から読み出して、フィルタ適用処理データに適用されるゲインとしてフィルタリング処理部41に送る。なおゲイン特定部43による光学系の種類及び画素位置の情報の取得手法は特に限定されず、ゲイン特定部43は、例えば本体コントローラ25の図示しないメモリに保持されているレンズユニット11の情報及び撮影条件情報から光学系の種類及び画素位置(光学系の位置)の情報を取得してもよい。
フィルタリング処理部41は、複数回のフィルタリング処理の各々において、ゲイン特定部43が特定したゲインをフィルタ適用処理データに適用してゲイン適用処理データを取得する。
画像処理部35では、上述の画像フィルタ処理以外の画像処理も行われる。画像フィルタ処理以外の各種の画像処理は、フィルタリング処理部41の前段に設けられる前処理部40において行われてもよいし、フィルタリング処理部41の後段に設けられる後処理部42において行われてもよい。すなわち、前処理部40において行われる各種の画像処理を受けたデータを原画像データD1としてフィルタリング処理部41における画像フィルタ処理が行われ、またフィルタリング処理部41における画像フィルタ処理を受けた処理画像データD2に対して後処理部42において各種の画像処理が行われる。
なお本例では、前処理部40からフィルタリング処理部41に入力される画像データを「原画像データD1」と呼び、フィルタリング処理部41から後処理部42に出力される画像データを「処理画像データD2」と呼ぶ。
図4は、画像処理部35の機能構成の他の例を示すブロック図である。
図3に示す例では、ゲイン候補データ記憶部44に予め記憶されたゲインテーブル情報が参照されてフィルタリング処理において使用されるゲインが取得されるが、図4に示す例では、ゲインテーブル情報(ゲインの候補データ)が予め取得及び記憶されることなく、フィルタリング処理の実行とともにゲインが取得される。すなわち図4に示す例では、ゲイン取得部45がフィルタリング処理部41に接続され、フィルタリング処理部41において行われる複数回のフィルタリング処理によって使用されるゲインがゲイン取得部45からフィルタリング処理部41に直接的に供給される。ゲイン取得部45は、原画像データD1を取得する際に用いられた光学系の光学特性であって処理対象データの画素位置(光学系の位置)に応じた光学特性を示すデータを取得し、この光学特性を示すデータに基づいて画像フィルタ処理の目標とする周波数特性を特定し、特定されるこの「画像フィルタ処理の目標とする周波数特性」に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得し、その取得したゲインをフィルタリング処理部41に供給する。
なお、ここでいう「原画像データD1を取得する際に用いられた光学系の光学特性」を示すデータとして、例えば原画像データD1の撮影取得の際に使用したレンズユニット11(光学系の一例)の種類を表すデータ(例えば型番等)が用いられてもよい。また「処理対象データの画素位置(光学系の位置)に応じた光学特性を示すデータ」とは、例えば個々の画素の単位で定められる光学特性データであってもよいし、複数の画素によって構成されるブロックの単位で定められる光学特性データであってもよい。ゲイン取得部45によるこれらのデータの取得手法は特に限定されず、ゲイン取得部45は、例えば本体コントローラ25の図示しないメモリに保持されているレンズユニット11の情報及び撮影条件情報から光学系の種類及び画素位置(光学系の位置)の情報を取得してもよい。
このゲイン取得部45は、図4に示すように画像処理部35の一部として設けられてもよいし、図5に示すように画像処理部35とは別の処理部として設けられてもよい。
なお図4及び図5に示す例においても、上述の画像フィルタ処理以外の画像処理が、フィルタリング処理部41の前段に設けられる前処理部40において行われてもよいし、フィルタリング処理部41の後段に設けられる後処理部42で行われてもよい。
次に、フィルタリング処理部41において行われる画像フィルタ処理(複数回のフィルタリング処理)の具体例について説明する。
光学系(レンズ等)の光学特性が位置に依らずに一様であれば、処理対象の画像データの全画素位置に関して、その光学特性から導き出される共通のフィルタを使用することが可能である。しかしながら、実際の光学系は位置によって光学特性が変動し、例えば中央部分に比べて周辺部分では収差が大きくなる傾向がある。したがって、理想的には、光学系の各位置における光学特性に最適化されたフィルタを使って画素毎に最適化されたフィルタリング処理を行うことが望ましい。そのような理想的なフィルタリング処理を行うには、光学系の位置毎(画素位置毎)に最適化されたフィルタ(タップ係数)を準備することが求められるが、光学系の光学特性に影響を及ぼしうるファクタが複数存在する場合には準備すべきフィルタの数及びデータ量が膨大になる。例えば点拡がり関数に基づくフィルタリング処理が行われる場合には、F値、ズーム値、被写体距離、フォーカス位置、光学系種別、撮像素子24のセンサSN比、像高(画像内位置)及び光学系個体差などの撮影条件によって点拡がり関数は変動しうるため、理想的には、これらの撮影条件の全ての組み合わせに対応するフィルタ(タップ係数)を準備する必要がある。
そのような画像フィルタ処理に必要なデータ量の肥大化を防ぐため、以下の実施形態では、全ての画素位置に対応するフィルタを保持する代わりに、複数回のフィルタリング処理を適用し、各フィルタリング処理において使用するゲインを画素位置に応じて調整することにより、処理対象の原画像データの各画素位置に適合する画像フィルタ処理が実現される。これにより、原画像データの各画素位置に関して平均的に良好な画像フィルタ処理を行うことができる。また特許文献2に開示されているような従来の補間技術を利用する場合には画像フィルタ処理の精度を向上させるために補間間隔や補間方法を工夫する必要があるが、以下に示される画像フィルタ処理を利用する場合には使用フィルタの数(フィルタ適用処理の数)を増やすだけで簡単に画像フィルタ処理の精度を向上させることが可能である。
図6は、画像フィルタ処理Pの概念図である。本例の画像フィルタ処理Pは、複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN(ただし「N」は2以上の整数))を含む。この「複数回のフィルタリング処理を含む画像フィルタ処理P」によって、原画像データD1から処理画像データD2が生成される。
図7は、第nのフィルタリング処理Fn(ただし「n」は1以上N以下の整数)の概念図である。画像フィルタ処理Pの各フィルタリング処理(第nのフィルタリング処理Fn)は、フィルタ適用処理PF及びゲイン適用処理PGを含む。フィルタ適用処理PFは、処理対象データD3にフィルタを適用してフィルタ適用処理データD4を取得する処理であり、ゲイン適用処理PGは、フィルタ適用処理データD4にゲインを適用してゲイン適用処理データD5を取得する処理である。
フィルタリング処理部41によって行われる画像フィルタ処理Pに含まれる複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)の各々において、フィルタ適用処理PFにおいて処理対象データD3に適用されるフィルタは、特に限定されない。
例えばフィルタ適用処理PFにおいて使用されるフィルタは光学系の光学特性に応じて定められてもよく、フィルタの基礎として用いられるこの「光学系の光学特性」として光学系の「点拡がり関数」を好適に用いることができる。光学系の光学特性に応じてフィルタを定めることにより光学系の光学特性の影響を受けた原画像データD1の画像フィルタ処理P(フィルタリング処理)を精度良く行うことが可能になり、例えば点拡がり関数に基づいて設計されたフィルタを用いることで点拡がり現象の影響を低減する画像フィルタ処理P(フィルタリング処理)を行うことができる。
なお「光学系の光学特性に応じて定められるフィルタ」は点拡がり関数に基づいて定められるフィルタに限られず、輪郭強調フィルタや他のフィルタを「光学系の光学特性に応じて定められるフィルタ」として使用してもよい。点拡がり関数に基づくフィルタ以外のフィルタ(輪郭強調フィルタ等)の場合であっても、種々の条件(例えば上述の絞り値(F値)等の各種ファクタ)に応じてフィルタ(輪郭強調フィルタ等)が調整されてもよく、種々の条件(例えば上述の絞り値(F値)等の各種ファクタ)に応じて変化する光学特性に基づいて調整されたフィルタ係数(タップ係数)を持つ輪郭強調フィルタ等のフィルタが、各フィルタ適用処理PFにおいて用いられてもよい。
したがってフィルタリング処理部41は、複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)のうちの少なくともいずれか一つのフィルタリング処理において、光学系(レンズ14及び絞り15等)の特性(光学特性(点拡がり関数等))に応じて定められるフィルタを用いてフィルタ適用処理データD4を取得してもよい。
また光学系の光学特性に応じてフィルタを定めるケースにおいて、その光学系の光学特性が撮影条件に応じて変動する場合には、フィルタは代表的な撮影条件における光学系の光学特性に応じて定められてもよい。例えば光学系の点拡がり関数に応じてフィルタを定めるケースにおいて、点拡がり関数に影響を及ぼしうるF値、ズーム値、被写体距離、フォーカス位置、光学系種別、撮像素子24のセンサSN比、像高(画像内位置)及び光学系個体差などの撮影条件のうちの一又は複数の撮影条件に関し、代表的な条件下での点拡がり関数に基づいてフィルタを設計することができる。例えば、予想される「原画像データD1を取得する際に採用される頻度」に基づいて「代表的な撮影条件」が定められてもよく、予想される採用頻度が高い撮影条件を「代表的な撮影条件」としてフィルタが設計されてもよい。
したがってフィルタリング処理部41は、光学系(レンズ14及び絞り15等)の点拡がり関数に基づく複数のフィルタであって、点拡がり関数の特性を左右するファクタを変えることにより得られる複数のフィルタを、複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)において使用してもよい。点拡がり関数の特性を左右するファクタとして、例えば絞り値(F値)、ズーム値(焦点距離)、被写体距離、フォーカス位置、光学系種別、撮像素子24のセンサSN比、像高(画像内位置(画素位置、光学系の位置))及び光学系個体差などの撮影条件が挙げられる。これらのファクタのうち1又は複数のファクタの特性データが異なる点拡がり関数に基づいて導出されるフィルタが、各フィルタ適用処理PFにおいて用いられてもよい。
またフィルタリング処理部41は、複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)のうちの少なくともいずれか一つのフィルタリング処理において、撮影により原画像データD1を取得する際に用いられた光学系(レンズ14及び絞り15等)の特性とは無関係に定められるフィルタを用いてフィルタ適用処理データD4を取得してもよい。そのような「光学系の特性とは無関係に定められるフィルタ」として、例えば輪郭強調フィルタを好適に使用することができる。
一方、画像フィルタ処理Pにおける複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)の各々において、ゲイン適用処理PGにおけるフィルタ適用処理データD4に適用されるゲインは、「原画像データにおける画素位置に応じて定められる画像フィルタ処理Pの目標とする周波数特性」に基づいて取得される。
この「画像フィルタ処理Pの目標とする周波数特性」は、光学系の種類に応じて実験的又は理論的に予め求めることが可能であり、そのような「画像フィルタ処理Pの目標とする周波数特性」に基づいて取得される「ゲイン適用処理PGにおいて使用されるゲイン」も予め求めることが可能である。
例えば光学特性として「点拡がり関数」を想定した場合に、原画像データD1の撮影取得の際に採用されうる撮影条件(F値等)を予め想定し、その「採用されうる撮影条件」の各々に関して光学系の種類毎及び画素位置毎(光学系の位置毎)に対応する点拡がり関数を予め導出しておくことができる。この光学系の点拡がり関数(光学伝達関数)に基づく周波数特性によって、画像フィルタ処理Pの目標とする周波数特性を表すことができ、ウィナーフィルタ等の任意の設計基準を利用した逆フィルタ設計手法を用いることが可能である。
またフィルタ適用処理PFにおいて使用されるフィルタが固定される場合には、そのフィルタの周波数特性も予め求めることができる。したがってフィルタ適用処理PFにおいてフィルタを固定的に使用する場合には、そのフィルタの周波数特性と予め導出される点拡がり関数とに基づいて、「原画像データにおける画素位置に応じて定められる画像フィルタ処理Pの目標とする周波数特性に応じたゲイン」を予め導出しておくことができる。このようにして導出されるゲインは、図3に示すゲイン特定部43や図4及び図5に示すゲイン取得部45によってフィルタリング処理部41(後述の「ゲイン適用部49」参照)に供給される。
ゲインの具体的な算出手法例については後述するが、上述の「画像フィルタ処理Pの目標とする周波数特性」又は「画像フィルタ処理Pの目標とする周波数特性に応じたゲイン」は、デジタルカメラ10(レンズユニット11及び/又はカメラ本体12)のメーカ側により予め求められてメモリに記憶されることが好ましく、原画像データD1の画像フィルタ処理Pを行う際にそのメモリに記憶されているデータを適宜利用可能とすることが好ましい。
なお、画像フィルタ処理Pの目標とする周波数特性は、光学系(レンズ14及び絞り15等)の点拡がり関数(光学伝達関数)等の光学特性に基づく周波数特性に限られず、光学系(レンズ14及び絞り15等)の撮影条件(上述の絞り値(F値)等の各種ファクタ)に基づいて導き出される各種の周波数特性を「画像フィルタ処理Pの目標とする周波数特性」とすることができる。したがって、例えば「絞り値(F値)に応じてピークが異なる周波数特性」が「画像フィルタ処理Pの目標とする周波数特性」に設定されてもよい。
次に、画像フィルタ処理P(複数回のフィルタリング処理)を行う回路構成例について説明する。
画像フィルタ処理Pを構成するフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)の数Nは、従来通りの手法においてファクタに応じてフィルタを設計した場合のフィルタの総数Mより少ないことが好ましい。望ましくはMの50%以下、更に望ましくは30%以下、更に望ましくは10%以下となるように、画像フィルタ処理Pを構成するフィルタリング処理の数Nが設定される。ただし画像フィルタ処理Pを構成するフィルタリング処理の数Nは、複数回のフィルタリング処理に使用されるフィルタのうちタップ数が最も大きいフィルタのタップ数(最大タップ数)が上限となる。これは、フィルタのタップ数以上にはフィルタの種類を増やせないためである。
なお画像フィルタ処理Pを構成するフィルタリング処理の数Nは、望ましくは10以下であり、更に望ましくは6以下であり、更に望ましくは4以下であるが、フィルタリング処理の数Nの具体的な数値例はこれらに限られない。また、画像フィルタ処理Pを構成する複数回のフィルタリング処理(フィルタリング処理部41)において使用される複数のフィルタのタップ数は、フィルタ間において相互に同じであってもよいし異なっていてもよい。
図8~図12に関する以下の説明では、便宜上「N=2」と仮定して、フィルタリング処理部41で行われる複数回のフィルタリング処理が第1のフィルタリング処理F1及び第2のフィルタリング処理F2によって構成されるケースについて説明する。ただし、「N」が3以上の整数であり、3回以上のフィルタリング処理がフィルタリング処理部41で行われる場合も、同様の設計手法によってフィルタリング処理部41を実現することが可能である。
また図8~図12に関する以下の説明では、便宜上、画像処理部35が図3に示す構成を有するケースについて説明するが、画像処理部35が他の構成(例えば図4及び図5参照)を有するケースについても同様にして複数回のフィルタリング処理を行うことができる。
図8は、フィルタリング処理部41の回路構成の一例を示す図である。図8には、第1のフィルタリング処理F1~第Nのフィルタリング処理FN(ただし本例では「N=2」)の各々を行う回路が直列的に接続されるケースの一例が示されている。
本例のフィルタリング処理部41は、第1のフィルタリング処理F1において取得されるフィルタリング処理データD6-1を、第2のフィルタリング処理F2における処理対象データD3-2として用いる。すなわちフィルタリング処理部41は、第1のフィルタ適用部48-1、第1のゲイン適用部49-1及び第1の処理データ算出部50-1を有し、これらによって第1のフィルタリング処理F1が行われる。またフィルタリング処理部41は、第2のフィルタ適用部48-2、第2のゲイン適用部49-2及び第2の処理データ算出部50-2を有し、これらによって第2のフィルタリング処理F2が行われる。
第1のフィルタ適用部48-1は、第1のフィルタリング処理F1の処理対象データD3-1に対して第1のフィルタリング処理用のフィルタを適用し、フィルタ適用処理データD4-1を取得する。第1のゲイン適用部49-1は、第1のフィルタ適用部48-1から出力されるフィルタ適用処理データD4-1に対して第1のフィルタリング処理用のゲインg0を適用し、ゲイン適用処理データD5-1を取得する。同様に、第2のフィルタ適用部48-2は、第2のフィルタリング処理F2の処理対象データD3-2に対して第2のフィルタリング処理用のフィルタを適用し、フィルタ適用処理データD4-2を取得する。第2のゲイン適用部49-2は、第2のフィルタ適用部48-2から出力されるフィルタ適用処理データD4-2に対して第2のフィルタリング処理用のゲインg1を適用し、ゲイン適用処理データD5-2を取得する。
また本例のフィルタリング処理部41は、処理対象データD3とゲイン適用処理データD5とを加算してフィルタリング処理データD6を出力する第1の処理データ算出部50-1及び第2の処理データ算出部50-2を更に有する。すなわち第1の処理データ算出部50-1は、第1のゲイン適用部49-1から出力されるゲイン適用処理データD5-1に処理対象データD3-1を加算してフィルタリング処理データD6-1を出力する。同様に第2の処理データ算出部50-2は、第2のゲイン適用部49-2から出力されるゲイン適用処理データD5-2に処理対象データD3-2を加算してフィルタリング処理データD6-2を出力する。
なお第1のフィルタリング処理F1及び第2のフィルタリング処理F2によって画像フィルタ処理Pが構成される本例では、第1のフィルタリング処理F1における処理対象データD3-1は原画像データD1であり、第2のフィルタリング処理F2におけるフィルタリング処理データD6-2は処理画像データD2となる。
各フィルタリング処理において使われるフィルタは、各フィルタ適用部48(第1のフィルタ適用部48-1及び第2のフィルタ適用部48-2)によって保持されていてもよいし、図示しないメモリに記憶されて各フィルタ適用部48により適宜読み出されてもよい。
また各フィルタリング処理において使われるゲインは、ゲイン特定部43によって各ゲイン適用部49(第1のゲイン適用部49-1及び第2のゲイン適用部49-2)に供給される。
本例のフィルタリング処理部41は、原画像データD1の画素毎に複数回のフィルタリング処理(第1のフィルタリング処理F1及び第2のフィルタリング処理F2)を行う。ゲイン特定部43は、複数回のフィルタリング処理の対象となっている原画像データD1の画素位置を示す処理画素情報Fiを取得し、その処理画素情報Fiが示す画素位置に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データD4-1、D4-2に適用されるゲインとして特定して、第1のゲイン適用部49-1及び第2のゲイン適用部49-2に供給する。
例えば、原画像データD1を構成するある画素データに関して第1のフィルタリング処理F1及び第2のフィルタリング処理F2が行われる場合、その処理対象の画素データ(処理対象データD3)の画素位置(光学系の位置)を示す処理画素情報Fiが、ゲイン特定部43に入力される。この処理画素情報Fiは、その処理対象の画素データの画素位置を直接的又は間接的に示す情報であればよく、画像処理部35の他部(図示省略)から適切なタイミングでゲイン特定部43に入力される。ゲイン特定部43は、入力される処理画素情報Fiに基づいて、その処理対象の画素データの画素位置に関連付けられているゲインの候補データを図3に示すゲイン候補データ記憶部44(ゲインテーブル情報)から取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインとして特定し、フィルタリング処理部41に送る。これらの一連のゲイン供給処理を原画像データD1の画素データ毎に繰り返すことによって、フィルタリング処理部41における原画像データD1の画像フィルタ処理P(第1のフィルタリング処理F1及び第2のフィルタリング処理F2)が行われる。
図9は、フィルタリング処理部41の回路構成の他の例を示す図である。図9には、第1のフィルタリング処理F1~第Nのフィルタリング処理FN(ただし本例では「N=2」)の各々を行う回路が並列的に接続されるケースの一例が示されている。
本例では第1のフィルタリング処理F1に関する第1のフィルタ適用部48-1と第1のゲイン適用部49-1とが直列的に接続され、第2のフィルタリング処理F2に関する第2のフィルタ適用部48-2と第2のゲイン適用部49-2とが直列的に接続される。また「第1のフィルタリング処理F1に関する第1のフィルタ適用部48-1及び第1のゲイン適用部49-1」と「第2のフィルタリング処理F2に関する第2のフィルタ適用部48-2及び第2のゲイン適用部49-2」とが並列的に接続される。またフィルタリング処理部41は、第1のゲイン適用部49-1から出力されるゲイン適用処理データD5-1と第2のゲイン適用部49-2から出力されるゲイン適用処理データD5-2とを加算する加算器52を有する。さらに全てのフィルタリング処理(本例では第1のフィルタリング処理F1及び第2のフィルタリング処理F2)において取得されるゲイン適用処理データD5(フィルタリング処理データD6)が加算されることにより得られる加算データD7と、処理対象データD3とを加算することにより処理画像データD2を取得する処理データ取得部51が設けられている。
この図9に示す回路構成を有する本例のフィルタリング処理部41は、第1のフィルタリング処理F1及び第2のフィルタリング処理F2においては同一データ(すなわち原画像データD1)を処理対象データD3として使用する。またフィルタリング処理部41は、第1のフィルタリング処理F1において取得されるフィルタリング処理データD6-1と第2のフィルタリング処理F2において取得されるフィルタリング処理データD6-2とに基づいて、処理画像データD2を取得する。なお本例では、各フィルタリング処理のゲイン適用部49から出力されるゲイン適用処理データD5が、各フィルタリング処理において得られるフィルタリング処理データD6となる。
図9に示す本例のフィルタリング処理部41も、上述の図8のフィルタリング処理部41と同様に、原画像データD1の画素毎に複数回のフィルタリング処理(第1のフィルタリング処理F1及び第2のフィルタリング処理F2)を行う。またゲイン特定部43が、複数回のフィルタリング処理の対象となっている原画像データD1の画素位置を示す処理画素情報Fiを取得し、その処理画素情報Fiが示す画素位置に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データD4-1、D4-2に適用されるゲインとして特定して、第1のゲイン適用部49-1及び第2のゲイン適用部49-2に供給する。
図10は、フィルタリング処理部41の回路構成の他の例を示す図である。図10には、第1のフィルタリング処理F1~第Nのフィルタリング処理FN(ただし本例では「N=2」)の各々を行う回路が並列的に接続される他の例が示されている。
本例も、図9に示す例と同様に、第1のフィルタリング処理F1に関する第1のフィルタ適用部48-1と第1のゲイン適用部49-1とが直列的に接続され、第2のフィルタリング処理F2に関する第2のフィルタ適用部48-2と第2のゲイン適用部49-2とが直列的に接続される。また「第1のフィルタリング処理F1に関する第1のフィルタ適用部48-1及び第1のゲイン適用部49-1」と「第2のフィルタリング処理F2に関する第2のフィルタ適用部48-2及び第2のゲイン適用部49-2」とが並列的に接続される。したがって本例のフィルタリング処理部41も、第1のフィルタリング処理F1及び第2のフィルタリング処理F2においては同一データ(すなわち原画像データD1)を処理対象データD3として使用する。
ただし本例では、全てのフィルタリング処理(本例では第1のフィルタリング処理F1及び第2のフィルタリング処理F2)において取得されるゲイン適用処理データD5(フィルタリング処理データD6)が処理データ取得部51によって加算されることにより、処理画像データD2が取得される。すなわちフィルタリング処理部41は、処理データ取得部51において、第1のフィルタリング処理F1において取得されるフィルタリング処理データD6-1と第2のフィルタリング処理F2において取得されるフィルタリング処理データD6-2とを加算することにより処理画像データD2を取得する。なお本例においても、各フィルタリング処理のゲイン適用部49から出力されるゲイン適用処理データD5が、各フィルタリング処理において得られるフィルタリング処理データD6となる。
図10に示す本例のフィルタリング処理部41も、上述の図8及び図9のフィルタリング処理部41と同様に、原画像データD1の画素毎に複数回のフィルタリング処理(第1のフィルタリング処理F1及び第2のフィルタリング処理F2)を行う。またゲイン特定部43が、複数回のフィルタリング処理の対象となっている原画像データD1の画素位置を示す処理画素情報Fiを取得し、その処理画素情報Fiが示す画素位置に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データD4-1、D4-2に適用されるゲインとして特定して、第1のゲイン適用部49-1及び第2のゲイン適用部49-2に供給する。
なお図10に示す本例の画像フィルタ処理P(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)は処理対象画像の明るさ(DC(Direct Current)成分)の変化を防ぐため、周波数(ω)が0の場合のフィルタレスポンスが1に設定され(φn(0)=1)に設定され、任意のゲインに関して明るさが一定に調整されることが好ましい。
上述の図9~図10に示す例では、複数回のフィルタリング処理の各々に関して別個の「フィルタ適用部48及びゲイン適用部49」が設けられるが、共通の「フィルタ適用部48及びゲイン適用部49」によって複数回のフィルタリング処理が行われてもよい。
図11は、フィルタリング処理部41の回路構成の他の例を示す図である。図11には、単一のフィルタ適用部48及び単一のゲイン適用部49によって複数回のフィルタリング処理を行う回路構成の例が示されている。図11に示す回路構成例は、フィルタ適用処理PF及びゲイン適用処理PGに関して上述の図9に示す直列接続タイプの回路構成と等価の機能を発揮するが、単一の「フィルタ適用部48及びゲイン適用部49」によって複数回のフィルタリング処理が行われる点において図9に示す回路構成とは異なる。
すなわち本例のフィルタリング処理部41は、処理対象データD3にフィルタを適用してフィルタ適用処理データD4を取得するフィルタ適用部48と、フィルタ適用処理データD4にゲインを適用してゲイン適用処理データD5を取得するゲイン適用部49とを有する。またフィルタリング処理部41は、ゲイン適用処理データD5と処理対象データD3とを加算してフィルタリング処理データD6を取得する処理データ算出部50と、フィルタ適用部48、ゲイン適用部49及び処理データ算出部50における演算処理の繰り返しの要否を判定する繰り返し演算判定部54とを有する。
繰り返し演算判定部54は、フィルタ適用部48、ゲイン適用部49及び処理データ算出部50によるフィルタリング処理の回数が予め定められるN回(本例では「N=2」)に達したか否かを判定する。フィルタ適用部48、ゲイン適用部49及び処理データ算出部50によるフィルタリング処理の回数がN回に達していない場合、繰り返し演算判定部54は、処理データ算出部50から出力されるフィルタリング処理データD6をフィードバックする。フィルタリング処理データD6がフィードバックされると、フィルタ適用部48、ゲイン適用部49及び処理データ算出部50は、フィードバックされたフィルタリング処理データD6を新たな処理対象データD3として、一連の処理を繰り返す。フィルタ適用部48、ゲイン適用部49及び処理データ算出部50によるフィルタリング処理の回数がN回に達した場合、繰り返し演算判定部54は、処理データ算出部50から最終的に出力されるフィルタリング処理データD6を処理画像データD2として出力する。
本例において、フィルタ適用部48において使用されるフィルタhnはフィルタ供給部56からフィルタ適用部48に供給され、ゲイン適用部49において使用されるゲインgnはゲイン供給部55からゲイン適用部49に供給される。すなわち「n回目のフィルタリング処理(ただし「1≦n≦N」)において使用されるフィルタhn-1及びゲインgn-1の情報」がフィルタ供給部56及びゲイン供給部55において保持され、或いは図示しないメモリに保持されている。フィルタ供給部56及びゲイン供給部55は、繰り返し演算判定部54から「次にフィルタ適用部48、ゲイン適用部49及び処理データ算出部50において行われるフィルタリング処理がn回目である」という情報が送られ、その繰り返し演算判定部54からの情報に基づいてフィルタ適用部48及びゲイン適用部49にフィルタhn-1及びゲインgn-1を供給する。
したがって図11に示すフィルタ適用部48は、第1のフィルタリング処理F1では第1のフィルタリング処理用フィルタh0を用いてフィルタ適用処理データD4を取得し、第2のフィルタリング処理F2においては第2のフィルタリング処理用フィルタh1を用いてフィルタ適用処理データD4を取得する。またゲイン適用部49は、第1のフィルタリング処理F1においては第1のフィルタリング処理用のゲインg0を用いてゲイン適用処理データD5を取得し、第2のフィルタリング処理F2においては第2のフィルタリング処理用のゲインg1を用いてゲイン適用処理データD5を取得する。
図11に示す本例のフィルタリング処理部41も、上述の図8~10のフィルタリング処理部41と同様に、原画像データD1の画素毎に複数回のフィルタリング処理(第1のフィルタリング処理F1及び第2のフィルタリング処理F2)を行う。またゲイン特定部43が、複数回のフィルタリング処理の対象となっている原画像データD1の画素位置を示す処理画素情報Fiを取得し、その処理画素情報Fiが示す画素位置に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データD4に適用されるゲインとして特定して、ゲイン供給部55を介してゲイン適用部49に供給する。なおゲイン適用部49にゲインを供給するゲイン供給部55は、ゲイン特定部43と一体的に設けられてもよい。
上述の図8~図11に示す回路構成は例に過ぎず、複数回のフィルタリング処理を行うフィルタリング処理部41は様々な回路構成によって実現可能であり、具体的な回路構成は特に限定されない。
例えば図11には単一の「フィルタ適用部48及びゲイン適用部49」によって図9に示す直列接続タイプと同等のフィルタリング処理(画像フィルタ処理P)を行う回路構成例が示されているが、同様に、単一の「フィルタ適用部48及びゲイン適用部49」を有する回路構成によって、図9又は図10に示す並列接続タイプと同等のフィルタリング処理(画像フィルタ処理P)が行われてもよい。
また図8に示す直列接続タイプの回路構成において、第1の処理データ算出部50-1及び第2の処理データ算出部50-2が省略されてもよい。すなわち第1のゲイン適用部49-1から出力されるゲイン適用処理データD5-1を、第1のフィルタリング処理F1のフィルタリング処理データD6-1及び第2のフィルタリング処理F2の処理対象データD3-2としてもよく、第2のゲイン適用部49-2から出力されるゲイン適用処理データD5-2を、第2のフィルタリング処理F2のフィルタリング処理データD6-2及び処理画像データD2としてもよい。同様に、図11に示す回路構成において処理データ算出部50が省略されてもよく、ゲイン適用部49から出力されるゲイン適用処理データD5をフィルタリング処理データD6としてもよい。
またフィルタ適用処理データD4に適用するゲインは、厳密には光学系の位置に応じて像劣化特性が異なるため画像フィルタ処理を精度良く行う観点からは、光学系の位置毎(画素位置毎)に最適化されることが望ましい。ただし、画像フィルタ処理に必要なデータ量を低減する観点から、光学系の全ての位置(全画素位置)に関してゲイン(候補データ)を準備及び記憶するのではなく、光学系の複数の特定の位置(複数の代表的な画素の位置)に関してのみ、フィルタ適用処理データD4に適用するゲインが準備及び記憶されてもよい。
すなわち、光学系の全位置(全画素位置)の各々に関するゲインを保持しておくことは、膨大な記憶容量を消費してしまう虞がある。そのような記憶容量の膨大な消費を避けるため、原画像データD1を複数の領域に分割し、各領域の代表位置(代表画素)に関してのみゲインを準備及び記憶しておき、その代表位置(代表画素)以外の位置(画素)に関しては任意の近傍補間処理(例えばバイリニア法或いはスプライン法等)によってゲインを取得してもよい。
また下記の図12に示す回路構成例のように、原画像データD1を分割して得られる複数の領域の代表的な位置座標(以下、「大域座標」とも称する)及び各領域内の相対的な位置座標(以下、「局所座標」とも称する)を利用することにより、「画像フィルタ処理(フィルタリング処理)の良好な精度の確保」と「必要とされる記憶容量の低減化」とを両立させてもよい。
図12は、フィルタリング処理部41の回路構成の他の例を示す図である。
本例のフィルタリング処理部41は、フィルタ適用ブロック47と、ゲイン適用ブロック70と、処理データ取得部51とを含む。
フィルタリング処理部41のフィルタ適用ブロック47は、複数のフィルタ適用部(第1のフィルタ適用部48-1~第Nのフィルタ適用部48-N(ただし「N」は2以上の整数))を含み、処理対象データD3に複数種類のフィルタを適用して複数のフィルタ適用処理データD4-1~D4-Nを取得する。本例では、複数のフィルタ適用部間において処理対象データD3は共通し、第1のフィルタ適用部48-1~第Nのフィルタ適用部48-Nの各々には処理対象データD3として原画像データD1が入力される。
フィルタ適用ブロック47(第1のフィルタ適用部48-1~第Nのフィルタ適用部48-N)において使用される複数種類のフィルタは、特に限定されないが、「複数の代表的な画素位置(以下、「代表画素位置」とも称する)」に応じて定められる複数の目標とする周波数特性の平均に応じて定められる基準フィルタと、その複数の目標とする周波数特性の分散に応じて定められる分散フィルタとを含むことが好ましい。この基準フィルタ及び分散フィルタの詳細については後述する。
ゲイン適用ブロック70は、フィルタ適用ブロック47(第1のフィルタ適用部48-1~第Nのフィルタ適用部48-N)によって生成される複数のフィルタ適用処理データD4-1~D4-Nにゲインを適用してゲイン適用処理データD5-1~D5-Nを取得する。より具体的には、ゲイン適用ブロック70は複数のゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M(ただし「M」は2以上の整数))を含む。複数のゲインブロックの各々は、第1のゲイン適用部49-1~第Nのゲイン適用部49-Nと加算器52とを含み、第1のゲイン適用部49-1~第Nのゲイン適用部49-Nによって複数のフィルタ適用処理データD4-1~D4-Nにゲインを適用して複数のゲイン適用処理データD5-1~D5-Nを取得する。したがって各ゲインブロックに含まれるゲイン適用部(第1のゲイン適用部49-1~第Nのゲイン適用部49-N)の数は、フィルタ適用ブロック47を構成するフィルタ適用部(第1のフィルタ適用部48-1~第Nのフィルタ適用部48-N)の数と等しい。
また複数のゲインブロックの各々は、その複数のゲイン適用処理データD5-1~D5-Nからフィルタリング処理データD6-1~D6-Nを取得し、加算器52によってその複数のフィルタリング処理データD6-1~D6-Nからブロック処理データD8を取得する。なお本例では、ゲイン適用処理データD5-1~D5-Nとフィルタリング処理データD6-1~D6-Nとは同じデータによって構成され、フィルタリング処理データD6-1~D6-Nの和によってブロック処理データD8は導き出される。
このように本例では、フィルタ適用ブロック47と複数のゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M)の各々とによって複数回のフィルタリング処理(第1のフィルタリング処理F1~第Mのフィルタリング処理FM)が行われ、各フィルタリング処理はフィルタ適用ブロック47と各ゲインブロックとの組み合わせによって行われる。
処理データ取得部51は、複数のゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M)において取得されるブロック処理データ(第1のブロック処理データD8-1~第Mのブロック処理データD8-M)に基づいて、そのブロック処理データの重み付け演算により処理画像データD2を取得する。より具体的には、処理データ取得部51は、重み付け係数決定部73と、第1の重み付け調整部74-1~第Mの重み付け調整部74-Mと、重み付け加算部75とを含む。
処理データ取得部51の重み付け係数決定部73は、処理対象データの画素位置に基づいて、複数のゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M)によって取得されるブロック処理データ(第1のブロック処理データD8-1~第Mのブロック処理データD8-M)の各々に割り当てられる重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)を決定する。より具体的には、重み付け係数決定部73は、位置座標算出部71から供給される局所座標データASに基づいて、第1の重み付け調整部74-1~第Mの重み付け調整部74-Mに供給する第1の重み付け係数W1~第Mの重み付け係数WMを決定する。
処理データ取得部51の第1の重み付け調整部74-1~第Mの重み付け調整部74-M及び重み付け加算部75は、その重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)をブロック処理データ(第1のブロック処理データD8-1~第Mのブロック処理データD8-M)に適用する重み付け演算を行うことにより、処理画像データD2を取得する。すなわち第1の重み付け調整部74-1~第Mの重み付け調整部74-Mはそれぞれ、重み付け係数決定部73から重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)が供給され、第1のゲインブロック70-1~第Mのゲインブロック70-Mから出力される第1のブロック処理データD8-1~第Mのブロック処理データD8-Mに対してその重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)を適用する。重み付け加算部75は、第1の重み付け調整部74-1~第Mの重み付け調整部74-Mのそれぞれから出力される重み付け係数適用後の第1の重み付け後データD9-1~第Mの重み付け後データD9-Mを加算して処理画像データD2を取得して出力する。
位置座標算出部71は、第1のゲイン出力部72-1~第Mのゲイン出力部72-Mとともにゲイン特定部43として機能する。すなわち位置座標算出部71は、複数回のフィルタリング処理の対象となっている処理対象データD3(本例では原画像データD1)の画素位置を示す処理画素情報Fiを取得する。そして位置座標算出部71は、その処理画素情報Fiが示す画素位置の大域座標上の対応位置を直接的又は間接的に示す大域座標データALを第1のゲイン出力部72-1~第Mのゲイン出力部72-Mに送信し、またその処理画素情報Fiが示す画素位置の局所座標上の対応位置を直接的又は間接的に示す局所座標データASを重み付け係数決定部73に送信する。
第1のゲイン出力部72-1~第Mのゲイン出力部72-Mは、それぞれ第1のゲインブロック70-1~第Mのゲインブロック70-Mに対応し、大域座標データALに基づいて、対応のゲインブロックに含まれる第1のゲイン適用部49-1~第Nのゲイン適用部49-Nにゲインg0~gN-1を供給する。
上述の回路構成を有する図12に示すフィルタリング処理部41及びゲイン特定部43(位置座標算出部71及び第1のゲイン出力部72-1~第Mのゲイン出力部72-M)では、処理対象データD3(原画像データD1)を構成する複数の画素データのうち代表的な画素位置(代表画素位置)の画素データに関しては、代表画素位置に応じて定められる「目標とする周波数特性」に基づいて取得されるゲインが使用されて画像フィルタ処理P(フィルタリング処理)が行われる。一方、処理対象データD3(原画像データD1)を構成する複数の画素データのうち代表画素位置以外の画素位置(以下、「非代表画素位置」とも称する)の画素データに関しては、複数の代表画素位置に関して取得されるゲインが使用されるが、重み付け演算による調整が行われることにより非代表画素位置に適合した画像フィルタ処理P(フィルタリング処理)が遂行される。
すなわち本例において、ゲイン候補データ記憶部44(図3参照)に記憶されるゲインテーブル情報は、複数の代表的な画素位置(代表画素位置)にはゲインに関する特有の候補データを関連付けており、その複数の代表的な画素位置以外の画素位置(非代表画素位置)には、複数の代表的な画素位置(代表画素位置)のうちの1以上の画素位置に関連付けられているゲインに関する特有の候補データを関連付けている。非代表画素位置に関連付けられる代表画素位置の数は、図12に示すゲイン適用ブロック70に含まれるゲインブロックの数に対応する。したがって第1のゲインブロック70-1~第Mのゲインブロック70-Mによってゲイン適用ブロック70が構成される図12に示す例では、非代表画素位置に関連付けられる代表画素位置の数は「M」個となる。
また本例のゲインテーブル情報は、上述の「複数の代表的な画素位置(代表画素位置)」の各々に対してゲインに関する複数の候補データを関連付けている。その複数の代表的な画素位置の各々に関連付けられたその複数の候補データはそれぞれ、ゲイン特定部43として機能する位置座標算出部71及び第1のゲイン出力部72-1~第Mのゲイン出力部72-Mにより、複数のフィルタ適用処理データD4-1~D4-Nに適用されるゲインとして特定される。そのため代表画素位置の各々に対して関連付けられている「ゲインに関する複数の候補データ」の数は、各ゲインブロックに含まれるゲイン適用部49の数に対応する。したがって各ゲインブロックが第1のゲイン適用部49-1~第Nのゲイン適用部49-Nを含む図12に示す例では、代表画素位置の各々に対して関連付けられている「ゲインに関する複数の候補データ」の数は「N」個となる。
例えばゲイン適用ブロック70に含まれるゲインブロックの数を「2」とした場合(すなわち「M=2」と仮定した場合)、ゲイン適用ブロック70を構成する複数のゲインブロックは第1のゲインブロック70-1及び第2のゲインブロック70-2を含み、非代表画素位置に関連付けられる代表画素位置の数は「2」となる。この場合、第1のゲインブロック70-1及び第2のゲインブロック70-2の各々は、複数のフィルタ適用処理データD4-1~D4-Nの各々に対し、位置座標算出部71及び第1のゲイン出力部72-1~第2のゲイン出力部72-2により特定されるゲインを適用する。また処理データ取得部51は、第1のゲインブロック70-1によって取得される第1のブロック処理データD8-1と、第2のゲインブロックによって取得される第2のブロック処理データD8-2とに基づいて、処理画像データD2を取得する。
特にフィルタリング処理部41が上述の複数の代表的な画素位置以外の画素位置(非代表画素位置)について複数回のフィルタリング処理を行う場合、位置座標算出部71及び第1のゲイン出力部72-1~第2のゲイン出力部72-2(ゲイン特定部43)は、その複数の代表的な画素位置以外の画素位置(非代表画素位置)に関連付けられているゲインの候補データのうち、「第1の代表的な画素位置」に関連付けられているゲインの候補データを第1のゲインブロック70-1において使用されるゲインとして特定し、「第2の代表的な画素位置」に関連付けられているゲインの候補データを第2のゲインブロック70-2において使用されるゲインとして特定する。なお、これらの「第1の代表的な画素位置」及び「第2の代表的な画素位置」は、非代表画素位置に関連付けられる複数の代表画素位置に相当する。
したがって処理対象の画素位置(非代表画素位置)の処理対象データD3(画素データ)が、画素位置A(第1の代表的な画素位置)及び画素位置B(第2の代表的な画素位置)に関連付けられている場合、「フィルタ適用ブロック47及び第1のゲインブロック70-1」の組み合わせ処理が「画素位置A」に最適化されるように「第1のゲイン出力部72-1から第1のゲインブロック70-1の第1のゲイン適用部49-1~第Nのゲイン適用部49-Nに供給されるゲインg0~gN-1」が決められることが好ましい。また「フィルタ適用ブロック47及び第2のゲインブロック70-2」の組み合わせ処理が「画素位置B」に最適化されるように「第2のゲイン出力部72-2から第2のゲインブロック70-2の第1のゲイン適用部49-1~第Nのゲイン適用部49-Nに供給されるゲインg0~gN-1」が決められることが好ましい。この場合、処理対象の画素位置(非代表画素位置)の処理対象データD3(画素データ)の「画素位置A及び画素位置Bに対する相対的な位置関係」を示す局所座標データASに基づいて、「画素位置Aに最適化された第1のブロック処理データD8-1」及び「画素位置Bに最適化された第2のブロック処理データD8-2」の重み付け演算が処理データ取得部51において行われることにより、非代表画素位置に関する処理画像データD2を取得することができる。
上述のように処理対象データD3(画素データ)が非代表画素位置の場合には、ゲイン適用ブロック70に含まれる複数のゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M)のそれぞれが、非代表画素位置に関連付けられる複数の代表画素位置に最適化される。そして、処理データ取得部51によって、非代表画素位置に関連付けられる複数の代表画素位置に最適化された複数のゲインブロックから出力されるブロック処理データ(第1のブロック処理データD8-1~第Mのブロック処理データD8-M)を重み付け演算により調整することにより、その非代表画素位置に関する処理画像データD2が取得される。
したがって位置座標算出部71から各ゲイン出力部(第1のゲイン出力部72-1~第Mのゲイン出力部72-M)に供給される大域座標データALは、処理対象データD3の画素位置に関連付けられる複数の代表画素位置を直接的又は間接的に示す。ゲイン出力部の各々(第1のゲイン出力部72-1~第Mのゲイン出力部72-M)は、受信した大域座標データALに基づいて、その「処理対象データD3の画素位置に関連付けられる複数の代表画素位置」に最適化されたゲインを、対応のゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M)に供給する。例えば第1のゲイン出力部72-1は、処理対象データD3の画素位置に関連付けられる「第1の代表的な画素位置」に対応するゲインを第1のゲインブロック70-1に供給する。同様に第Mのゲイン出力部72-Mは、処理対象データD3の画素位置に関連付けられる「第Mの代表的な画素位置」に対応するゲインを第Mのゲインブロック70-Mに供給する。
一方、位置座標算出部71から重み付け係数決定部73に供給される局所座標データASは、「処理対象データD3の画素位置に関連付けられる複数の代表画素位置」に対する、その処理対象データD3の画素位置の相対的な位置を直接的又は間接的に示す。重み付け係数決定部73は、受信した局所座標データASに基づいて、各ゲインブロック(第1のゲインブロック70-1~第Mのゲインブロック70-M)から出力されるブロック処理データ(第1のブロック処理データD8-1~第Mのブロック処理データD8-M)を調整するための重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)を決定し、対応の重み付け調整部(第1の重み付け調整部74-1~第Mの重み付け調整部74-M)に送信する。
なお処理対象データD3(画素データ)が代表画素位置の場合には、ゲイン適用ブロック70に含まれるいずれかのゲインブロック(例えば第1のゲインブロック70-1)のゲイン適用部(第1のゲイン適用部49-1~第Nのゲイン適用部49-N)に、その代表画素位置に最適化されたゲインがゲイン出力部(例えば第1のゲイン出力部72-1)から供給されることが好ましい。この場合、その代表画素位置に最適化されたゲインが供給されるゲインブロック(例えば第1のゲインブロック70-1)から出力されるブロック処理データ(例えば第1のブロック処理データD8-1)に対する重み付け係数を「1(100%)」としつつ、他のゲインブロックから出力されるブロック処理データ(例えば第2のブロック処理データD8-2~第Mのブロック処理データD8-M)に対する重み付け係数を「0(0%)」とすればよい。
図13は、代表画素位置と、第1のゲイン出力部72-1~第Mのゲイン出力部72-Mから出力されるゲインに関する候補データとの関係を示す概念図である。各ゲイン出力部(第1のゲイン出力部72-1~第Mのゲイン出力部72-M)は、大域座標データALから「対応の代表画素位置」を特定し、その特定した「対応の代表画素位置」に関連付けられた「N」個のゲインに関する候補データを「対応のゲインブロック(第1のゲイン適用部49-1~第Nのゲイン適用部49-N)」に供給する。なお「各代表画素位置に関連付けられたN個のゲインに関する候補データ」は、各代表画素位置における光学系の光学特性に応じた画像フィルタ処理を実現するために最適化されたゲインの集合である。したがって各ゲイン出力部(第1のゲイン出力部72-1~第Mのゲイン出力部72-M)は、図13の関係を示すテーブル情報を保持し、そのテーブル情報を参照してゲインを特定してもよい。
図14は、位置座標算出部71から出力される大域座標データAL及び局所座標データASと画素位置データとの関係を示す概念図である。位置座標算出部71は処理画素情報Fiを取得し、その処理画素情報Fiが示す処理対象の画素位置(図14の「処理対象画素位置」参照)に関連付けられている代表画素位置を示すデータ(図14の「第1の代表的な画素位置データ」及び「第Mの代表的な画素位置データ」参照)を示す大域座標データALを各ゲイン出力部に出力し、またその処理画素情報Fiが示す処理対象の画素位置の、「関連付けられている代表画素位置」を基準とした相対的な位置を示すデータ(図14の「相対位置データ」参照)を示す局所座標データASを重み付け係数決定部73に出力する。したがって位置座標算出部71は、図14の関係を示すテーブル情報を保持し、そのテーブル情報を参照して大域座標データAL及び局所座標データASを出力してもよい。
図15は、重み付け係数決定部73に入力される局所座標データASと重み付け係数決定部73から出力される重み付け係数との関係を示す概念図である。重み付け係数決定部73は、位置座標算出部71から入力される局所座標データASに関連付けられている重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)を重み付け調整部(第1の重み付け調整部74-1~第Mの重み付け調整部74-M)に出力する。したがって重み付け係数決定部73は、図15に示すテーブル情報を保持し、そのテーブル情報を参照して重み付け係数(第1の重み付け係数W1~第Mの重み付け係数WM)出力してもよい。
上述の図12に示す回路構成を有するフィルタリング処理部41によれば、高精度なフィルタリング処理と必要とされる記憶容量の低減化とを効果的に両立させることができる。図8~図11に示す回路構成では、基本的には、処理対象データD3(原画像データD1)の全画素(すなわち光学系の全ての位置)に関するゲインベクトルを保持することが求められ、像劣化特性は厳密には処理対象データD3の画素単位で異なるため、ゲインベクトルを保持するために相当の記憶容量を確保する必要がある。しかしながら図12に示す回路構成によれば、ゲインブロック数(M個)に対応する数のゲインに関するベクトルテーブルを保持すればよく、非代表画素位置の処理対象データD3に関しては処理データ取得部51の重み付け演算による補間処理により処理画像データD2を精度良く算出することができる。
<ゲイン決定手法>
次に、ゲイン適用部49(第1のゲイン適用部49-1~第Nのゲイン適用部49-N)において用いられるゲインの決定手法について説明する。
次に、ゲイン適用部49(第1のゲイン適用部49-1~第Nのゲイン適用部49-N)において用いられるゲインの決定手法について説明する。
図16は、ゲイン取得部45の機能構成の一例を示すブロック図であり、図3に示す画像処理部35と好適に組み合わせられるゲイン取得部45を示す。本例のゲイン取得部45は、参照画像取得部60、参照画像解析部61、目標周波数特性取得部62及び適用ゲイン算出部63を有する。
参照画像取得部60は、原画像データD1を取得する際に用いられる光学系の光学特性であって、原画像データD1を取得する際の撮影条件(画素位置(光学系の位置)等)に応じた光学特性が反映された参照画像データを取得する。この参照画像データは、原画像データD1を取得する際にカメラ本体12に装着されうる各種のレンズユニット11(光学系)に関して取得されることが好ましく、また原画像データD1を取得する際に採用されうる撮影条件に関して取得されることが好ましい。
なお参照画像取得部60による参照画像データの取得手法は、特に限定されない。例えば、測定対象の光学系を含むレンズユニット11をカメラ本体12に装着した状態により撮影を行うことで、撮像素子24から参照画像取得部60に参照画像データが入力されてもよい。また測定対象の光学系を含むレンズユニット11を使った撮影が予め行われて取得された参照画像データがメモリ(図1に示す本体記憶部29等)に保存されている場合、参照画像取得部60は測定対象の光学系に関する参照画像データをそのメモリから読み出してもよい。
なお参照画像データの被写体は特に限定されず、特定の形状、模様及び色を有する被写体の撮影により参照画像データが取得されてもよいし、不特定の形状、模様及び色を有する被写体の撮影により参照画像データが取得されてもよい。特定の形状、模様及び色を有する被写体の撮影により参照画像データを取得する場合、参照画像取得部60は、デバイス制御部34(表示制御部36等)と協働して表示部27における表示等をコントロールし、そのような被写体の撮影の誘導を行うことが好ましい。また不特定の形状、模様及び色を有する被写体の撮影により参照画像データを取得する場合、参照画像取得部60は、本体記憶部29に保存されている過去の撮影画像データを解析し、測定対象の光学系を含むレンズユニット11を使って取得された撮影条件毎のデータであって、参照画像データとして好ましい画像特性を有するデータを過去の撮影画像データの中から選択して参照画像データとして特定してもよい。
参照画像解析部61は、参照画像取得部60によって取得される参照画像データの解析を行って、原画像データD1を取得する際の撮影条件に応じた光学特性を取得する。具体的には、参照画像解析部61は参照画像データの周波数解析を行い、測定対象の光学系の位置毎(画素位置毎)の点拡がり関数(OTF等)を取得してもよい。
目標周波数特性取得部62は、参照画像解析部61が取得する「光学系の位置(画素位置)に応じた光学特性」に基づいて、その光学系を使って撮影取得される原画像データD1の画像フィルタ処理Pにおいて目標とする周波数特性を光学系の位置毎(画素位置毎)に特定する。例えば画像フィルタ処理Pが光学系の点拡がり現象をキャンセルすることを意図する処理の場合、目標周波数特性取得部62は、参照画像解析部61が取得した光学系の位置毎(画素位置毎)の点拡がり関数(OTF等)に基づいて、ウィナーフィルタ等の任意の設計基準によってフィルタを構築することにより画像フィルタ処理Pの目標とする周波数特性を取得してもよい。
適用ゲイン算出部63は、目標周波数特性取得部62が特定する「画像フィルタ処理Pの目標とする周波数特性」に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲイン(候補データ)を取得する。適用ゲイン算出部63によるゲインの取得手法は特に限定されず、例えば最小二乗法によってゲインを算出することができる。すなわち適用ゲイン算出部63は、目標周波数特性取得部62が特定した「画像フィルタ処理Pの目標とする周波数特性」に対し、複数回のフィルタリング処理の各々の周波数特性に基づいて最小二乗法により画像フィルタ処理Pの周波数特性をフィッティングすることによって、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得してもよい。
適用ゲイン算出部63は、取得したゲインを「ゲインの候補データ」としてゲイン候補データ記憶部44に記憶する。ゲインの候補データは、画像フィルタ処理Pの目標とする周波数特性に関係付けられたゲイン選定条件と関連付けられた状態で、ゲイン候補データ記憶部44に記憶されることが好ましい。ゲイン選定条件としては、画像フィルタ処理Pの目標とする周波数特性に影響を及ぼしうる各種ファクタを示す特性データが好適に用いられ、特に本例では「光学系の位置(画素位置)」がゲイン選定条件に含まれる。したがって画像フィルタ処理Pの目標とする周波数特性が「撮影により原画像データD1を取得する際に用いられた光学系(レンズ14及び絞り15等)の点拡がり関数(光学伝達関数)に基づく周波数特性」である場合、その点拡がり関数に影響を及ぼす各種ファクタ(例えば原画像データD1を取得するための撮影の際の絞り値(F値)、ズーム値(焦点距離)、被写体距離、フォーカス位置、光学系種別、撮像素子24のセンサSN比、像高(画素位置(光学系の位置))及び光学系個体差などの撮影条件)に関する特性データが、「ゲイン選定条件」としてゲインの候補データと関連付けられうる。
このようにゲインの候補データをゲイン選定条件と関連付けてゲイン候補データ記憶部44に記憶する場合、参照画像取得部60は複数の撮影条件(ゲイン選定条件)下で撮影取得された複数の参照画像データを取得することが好ましく、参照画像解析部61は複数の撮影条件下で撮影取得された複数の参照画像データを解析して光学特性を取得することが好ましい。また目標周波数特性取得部62は複数の撮影条件下での光学特性から複数の撮影条件に関する画像フィルタ処理Pの目標とする周波数特性を取得することが好ましく、適用ゲイン算出部63は複数の撮影条件に関連付けられるゲインを取得し、そのゲインを対応の撮影条件(ゲイン選定条件)と関連付けてゲイン候補データ記憶部44に記憶することが好ましい。
図17は、図16に示すゲイン取得部45のゲイン取得フローを示すフローチャートである。本例では上述のように、まず測定対象の光学系を使って撮影取得された参照画像データが参照画像取得部60により取得され(図17のS11)、参照画像解析部61によってその参照画像データの解析が行われて測定対象の光学系の位置毎(画素位置毎)の光学特性が取得される(S12)。そして測定対象の光学系の撮影条件毎の光学特性から画像フィルタ処理Pの目標とする周波数特性が目標周波数特性取得部62により取得され(S13)、その目標とする周波数特性から、光学系の位置毎(画素位置毎)のゲインの候補データが適用ゲイン算出部63により取得される(S14)。
このようにして取得されたゲインの候補データは、測定対象の光学系の位置毎(画素位置毎)の光学特性に関連付けた「ゲインテーブル情報」として、適用ゲイン算出部63によりゲイン候補データ記憶部44に記憶される(S15)。これによりゲイン特定部43は、ゲイン候補データ記憶部44に記憶されるゲインの候補データの中から、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを特定し、その特定したゲインをフィルタリング処理部41に送ることができる。
図18は、ゲイン取得部45の機能構成の他の例を示すブロック図であり、図4及び図5に示す画像処理部35と好適に組み合わせられるゲイン取得部45を示す。本例のゲイン取得部45は目標周波数特性取得部62及び適用ゲイン算出部63を有し、目標周波数特性取得部62は、画像フィルタ処理Pの目標とする周波数特性を周波数解析部66の周波数特性記憶部68から取得する。
周波数解析部66は、参照画像取得部60、参照画像解析部61、目標周波数特性特定部67及び周波数特性記憶部68を有する。本例の参照画像取得部60及び参照画像解析部61は、図16に示す上述の参照画像取得部60及び参照画像解析部61と同様に、参照画像データを取得し、原画像データD1を取得する際に用いられる光学系の位置毎(画素位置毎)の光学特性を取得する。また本例の目標周波数特性特定部67は、図16に示す上述の目標周波数特性取得部62と同様に、参照画像解析部61が取得した光学系の位置毎(画素位置毎)の光学特性に基づいて、その光学系を使って撮影取得される原画像データD1の画像フィルタ処理Pにおいて目標とする周波数特性を光学系の位置毎(画素位置毎)に特定する。
ただし本例の目標周波数特性特定部67は、特定した画像フィルタ処理Pの目標とする周波数特性に関するデータを、対応の光学系のデータ及び光学系の位置(画素位置)と関連付けて周波数特性記憶部68に記憶する。ここでいう「対応の光学系のデータ及び光学系の位置(画素位置)」は、測定対象の光学系及び光学系の位置(画素位置)を個々に特定することが可能な任意のデータであって、例えば個々の光学系(レンズユニット11)に割り当てられる種類情報(例えば型番等)と光学系の位置情報(例えば画素位置情報等)との組み合わせによって表されうる。
本例の目標周波数特性取得部62は、フィルタリング処理部41における画像フィルタ処理Pの対象となっている原画像データD1の撮影に使用した光学系の種類情報(対応の光学系のデータ)及び処理対象データD3の位置情報(光学系の位置(画素位置)を示す情報)を取得し、その種類情報及び位置情報に基づいて原画像データD1の撮影に使用した光学系及び処理対象データD3の位置情報に関連付けられている画像フィルタ処理Pの目標とする周波数特性に関するデータを周波数特性記憶部68から取得する。適用ゲイン算出部63は、目標周波数特性取得部62が特定した「画像フィルタ処理Pの目標とする周波数特性」に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得してフィルタリング処理部41に供給する。
このように本例のゲイン取得部45は、原画像データD1の撮影に使用した光学系及び処理対象データD3の位置(光学系の位置(画素位置))に関する「画像フィルタ処理Pの目標とする周波数特性」を周波数特性記憶部68から読み出してゲインを取得する。したがって、周波数解析部66における「画像フィルタ処理Pの目標とする周波数特性を取得するための処理」と、ゲイン取得部45における「フィルタリング処理部41において実際に使用するゲインを取得するための処理」とを分離することができる。
図19は、図18に示す周波数解析部66の周波数特性取得フローを示すフローチャートである。本例では上述のように、まず測定対象の光学系を使って撮影取得された参照画像データが参照画像取得部60により取得され(図19のS21)、参照画像解析部61によってその参照画像データの解析が行われて測定対象の光学系の位置毎(画素位置毎)の光学特性が取得される(S22)。そして目標周波数特性特定部67によって測定対象の光学系の位置毎(画素位置毎)の光学特性から画像フィルタ処理Pの目標とする周波数特性が光学系の位置毎(画素位置毎)に特定され(S23)、周波数特性記憶部68に記憶される(S24)。
図20は、図18に示すゲイン取得部45のゲイン取得フローを示すフローチャートである。本例では上述のように、まずフィルタリング処理部41における画像フィルタ処理Pの対象となっている原画像データD1の撮影に使用した光学系及び処理対象データD3の位置(光学系の位置(画素位置))に関連付けられている画像フィルタ処理Pの目標とする周波数特性に関するデータが、目標周波数特性取得部62によって周波数特性記憶部
68から取得される(図20のS31)。そして適用ゲイン算出部63によって、その目標とする周波数特性からフィルタリング処理において使用されるゲインが取得され(S32)、フィルタリング処理部41に供給される(S33)。
68から取得される(図20のS31)。そして適用ゲイン算出部63によって、その目標とする周波数特性からフィルタリング処理において使用されるゲインが取得され(S32)、フィルタリング処理部41に供給される(S33)。
<ゲイン係数(ゲイン値ベクトル)の算出手法>
以下、上述のゲイン取得部45(特に適用ゲイン算出部63)における演算処理の具体的な流れについて説明する。一例として、フィルタリング処理部41が図10に示す回路構成を有するケースについて主に説明するが、フィルタリング処理部41が他の回路構成(図8~9及び図11~12参照)を有するケースについても同様の演算処理によってゲインを算出することが可能である。
以下、上述のゲイン取得部45(特に適用ゲイン算出部63)における演算処理の具体的な流れについて説明する。一例として、フィルタリング処理部41が図10に示す回路構成を有するケースについて主に説明するが、フィルタリング処理部41が他の回路構成(図8~9及び図11~12参照)を有するケースについても同様の演算処理によってゲインを算出することが可能である。
以下の方法は、周波数に基づいて重み付けされた最小二乗基準を採用し、フィルタリング処理部41によって行われる画像フィルタ処理P全体の周波数特性を、目標とする所望の周波数特性に近づけるように、ゲインを求める。
図10に示す回路構成において、第nのフィルタリング処理Fn(ただし「1≦n≦N」)を行うフィルタ適用部48-nにおいて使用されるフィルタの周波数特性を「φn-1(ω)」によって表し、ゲイン適用部49-nにおいて使用されるゲインを「gn-1」によって表すと、第nのフィルタリング処理Fnの周波数特性は「gn-1φn-1(ω)」によって表される。したがってフィルタリング処理部41が行う画像フィルタ処理P(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)の全体の周波数特性を「f(ω)」によって表すと、「f(ω)=g0φ0(ω)…+gN-1φN-1(ω)(ただし「N」は2以上の整数)」が成立する。
なお図8及び図11に示す回路構成では、第nのフィルタリング処理Fnの全体の周波数特性を「1+gn-1(ψn-1(ω)-1)」によって表すと、各フィルタ適用部48において使用されるフィルタの周波数特性φn-1(ω)は「φn-1(ω)=ψn-1(ω)-1」によって表され、画像フィルタ処理P全体の周波数特性f(ω)は「f(ω)=(1+g0φ0(ω))…×(1+gN-1φN-1(ω))」によって表される。また図9に示す回路構成では、画像フィルタ処理P全体の周波数特性f(ω)は「f(ω)=1+g0φ0(ω)…+gN-1φN-1(ω)」によって表される。
したがって図10の回路構成に関する下述の説明は、図10の回路構成の周波数特性「f(ω)=g0φ0(ω)…+gN-1φN-1(ω)」を周波数特性「f(ω)=1+g0φ0(ω)…+gN-1φN-1(ω)」に応用することによって、図9に示す回路構成についても適用可能である。例えば、図9の回路構成の上記の周波数特性f(ω)における「1+g0φ0(ω)」を「図10の回路構成の上記の周波数特性f(ω)における「g0φ0(ω)」」として扱うことにより、図10の回路構成に関する下述の説明は図10に示す回路構成にも当てはめられる。同様に、図10の回路構成に関する下述の説明は、図10の回路構成の周波数特性「f(ω)=g0φ0(ω)…+gN-1φN-1(ω)」を「f(ω)=(1+g0φ0(ω))…×(1+gN-1φN-1(ω))」に応用することによって、図8及び図11に示す回路構成についても適用される。なおこの場合、対数化処理を利用することによって、図8及び図11に示す回路構成の周波数特性f(ω)の積の演算式は和の演算式に変換され、図10の回路構成に関する下述の説明を図8及び図11に示す回路構成に当てはめ易くなる。
ここで、第nのフィルタリング処理Fnのフィルタ適用部48-nにおいて使用されるフィルタが、撮影により原画像データD1を取得する際に用いられた光学系(レンズ14及び絞り15等)の点拡がり関数に基づく画像復元用のフィルタであると仮定する。点拡がり関数に基づく画像復元用のフィルタは、下記のように周波数ωに関して2次元の自由度を有するため、「2自由度」を持つ周波数特性となる。
このような周波数ベクトルωを用いると、第nのフィルタリング処理Fnのフィルタ適用部48-nにおいて用いられるフィルタの周波数特性を「φn-1(ω)」によって表すことができる。フィルタの周波数特性φn(ω)の離散化を周波数についてNω個のサンプリング点に関して行うことにより、下記のベクトルφnが得られる。
なお周波数「ωj」は、下記式によって表すことができ、「ωj」は周波数に関するNω個のサンプリングポイントを示す。
像劣化の周波数特性は、画像内位置(画素位置(光学系の位置))によって連続的に変化する。そのため、画像内位置毎にゲイン値を決定する必要がある。画像内位置をNr個のサンプリング点によって離散化し、画像内位置を示すインデックスを「k(ただし「1≦k≦Nr」を満たす)」により表す。
画像内位置を示すインデックスkに関し、複数回のフィルタリング処理(第1のフィルタリング処理F1~第Nのフィルタリング処理FN)によって使用されるゲインによって構成されるゲインベクトル(ゲイン群)gkは、下記式によって表される。
上記式によって表されるゲインが設定された画像フィルタ処理P全体(フィルタリング処理部41全体)の周波数特性「f(ω|gk)」は、図10に示す回路構成では、下記式によって表される。
一方、実現したい「画像フィルタ処理Pの目標とする周波数特性「dk(ω)」」は、任意の方法により決定することが可能であり、その決定方法は特に限定されない。一般に、点拡がり関数に基づく復元フィルタは、コンボリュージョン型のフィルタによって好適に実現可能である。点拡がり関数に基づくフィルタの周波数特性を決定する方法としては様々な手法があり、例えば撮影光学系のSN比を考慮したウィナーフィルタが広く利用されている。ウィナーフィルタは、点拡がり関数の光学伝達関数(OTF)及びSN比の情報に基づいてフィルタの周波数特性を表すことができる。したがって、実現したい画像フィルタ処理Pの目標とする周波数特性「dk(ω)」を、このウィナーフィルタに基づいて決定してもよい。
画像フィルタ処理P全体の周波数特性を「f(ω|gk)」によって表し、実現したい画像フィルタ処理Pの目標とする周波数特性を「dk(ω)」によって表し、近似重み関数を「wk(ω)」によって表す。この場合、下記式によって表される重み付き最小二乗基準に基づく汎関数「JLMS[g]」を最小化するゲインベクトルを、画像フィルタ処理Pにおける最適な周波数特性を表すゲインベクトルとすることができる。
上記式を周波数及び画像内位置のサンプリングポイントによって離散化すると、下記式が得られる。
上記式において「diag」は引数ベクトルを対角要素とする対角行列を示し、上記式の「w」及び「d」は、それぞれ「wk(ω)」及び「dk(ω)」を「ベクトルφn」に関する上述の方法と同様にしてベクトル化したものである。
上記式に基づいて、画像内位置を示すインデックスkに関するゲインベクトルの最適解g(k)
OPTは下記式によって表される。
近似重み関数及び各フィルタの周波数特性(フィルタ係数)が決定されていれば、上記式中の「(AHWA)-1AHW」の部分は、予め算出可能な行列によって表される。このように画像内位置(画素位置(光学系の位置))を示すインデックスkに関するゲインベクトルの最適解g(k)
OPTは、個別の像劣化特性を示す点拡がり関数に基づいて取得されるフィルタ特性に行列を適用する演算によって算出可能である。
なおフィルタリング処理部41が図10に示す回路構成を採用する場合には、上記の条件に加え、画像のDC成分(明るさ)の変化を防ぐために、DC成分の増幅率(ゲイン)を1.0倍にするという拘束条件が適用されることが好ましい。具体的には、下記式に従ってゲインベクトルの最適解g(k)
OPTを取得することが「DC成分の増幅率を1.0倍として画像全体の明るさを変えない」ことに相当する。
上記式は、QP(Quadratic Programming)問題として扱うことができ、「N」が小さい場合には、少ない計算量によって解くことが可能である。また、一例として下記式によって表されるように、各フィルタのDC成分の増幅率に制限を設けることによって、DC成分の増幅率の制限(拘束条件)を除外することが可能である。
<重み付けの工夫>
上述の最小二乗法では、「wk(ω)」によって表されるように周波数に基づいて周波数特性の近似精度に重み付けがされる。例えば最小二乗法による周波数特性の近似を上記の近似誤差評価関数JLMS[g]に基づいて行う場合、その近似誤差評価関数JLMS[g]が周波数に基づいて重み付けされる。この重み付けを調整することによって画質をコントロールすることができる。すなわち、最小二乗法によって画像フィルタ処理Pの目標とする周波数特性に近似する際に、特定の周波数に対して重み付けを調整することによって、最小二乗法において特定の周波数や特定の画素位置に関する近似精度を高めることができ、画質をコントロールすることができる。
上述の最小二乗法では、「wk(ω)」によって表されるように周波数に基づいて周波数特性の近似精度に重み付けがされる。例えば最小二乗法による周波数特性の近似を上記の近似誤差評価関数JLMS[g]に基づいて行う場合、その近似誤差評価関数JLMS[g]が周波数に基づいて重み付けされる。この重み付けを調整することによって画質をコントロールすることができる。すなわち、最小二乗法によって画像フィルタ処理Pの目標とする周波数特性に近似する際に、特定の周波数に対して重み付けを調整することによって、最小二乗法において特定の周波数や特定の画素位置に関する近似精度を高めることができ、画質をコントロールすることができる。
例えば、上述の最小二乗法では、低周波帯域における重み付けを高周波帯域における重み付けより大きく設定してもよい。一般に、人間の視覚特性上、高周波成分よりも低周波成分の方が知覚されやすいため、「画像フィルタ処理Pの目標とする周波数特性に近似する」精度として低周波成分を高周波成分よりも優先することによって、低周波成分を高精度に処理することができる。
なお、ここでいう「低周波帯域(低周波成分)」及び「高周波帯域(高周波成分)」は相対的な周波数範囲(周波数帯域)を表す。例えばサンプリング周波数の1/4(=0.25fs)以下の範囲を「低周波帯域(低周波成分)」として扱い、0.25fsよりも大きく0.5fs以下の範囲を「高周波帯域(高周波成分)」として扱ってもよい。
また上述の最小二乗法では、原画像データD1を取得する際の撮影条件に応じて、高周波帯域における重み付けを低周波帯域における重み付けより大きく設定してもよい。一般に、ノイズが多い場合にフィルタの高周波特性が悪いとノイズが増幅されてしまう。したがってノイズが多いことが予想される撮影条件下において取得された原画像データD1の画像フィルタ処理Pでは、「画像フィルタ処理Pの目標とする周波数特性に近似する」精度として高周波成分を低周波成分よりも優先した方が好ましい場合がある。
なお、ここでいう「原画像データD1を取得する際の撮影条件」は特に限定されない。ノイズ量に影響を及ぼしうる任意のファクタを撮影条件とすることができ、例えば絞り値(F値)や撮像素子24の撮影感度を、ノイズ量に影響を及ぼしうる「原画像データD1を取得する際の撮影条件」として採用してもよい。
また上述の最小二乗法における重み付けは、原画像データD1における画素位置に応じて定められてもよい。例えば一般ユーザが使用する通常のデジタルカメラを使った撮影により原画像データD1が取得される場合には、主要被写体が画像中央部に配置されることが多いため、画像中央部の画素位置の高周波成分が重視される傾向がある。一方、監視カメラ等において撮影範囲の境界付近の画像の重要性が比較的高い場合には、画像周辺部の画素位置の高周波成分が重視される傾向がある。このように、原画像データD1における画素位置に応じて重要度が異なる場合があり、重み付けの高い画素位置(優先される画素位置)を撮像装置の種類や撮影画像の用途(製品)に応じて決定してもよい。
例えば一般ユーザが使用するデジタルカメラ10が具備する光学系において、中央部は一般的に解像度が高く周波数に依らずに優れた解像特性を有し、周辺部は解像性能が低くなる傾向がある。したがって図1に示すデジタルカメラ10を使った撮影により取得される原画像データD1の画像フィルタ処理Pでは、画像中央部では高周波帯域の重み付けを大きくし、画像周辺部では低周波帯域の重み付けを大きくすることによって、光学特性に応じた画質改善を行うことができる。すなわち上述の最小二乗法において、原画像データD1の画像中心から第1の距離以下の画素位置(低像高の画素位置)では、原画像データD1の画像中心から第1の距離よりも遠い画素位置(高像高の画素位置)よりも、高周波帯域における重み付けを大きくしてもよい。また上述の最小二乗法において、原画像データD1の画像中心から第2の距離よりも遠い画素位置(高像高の画素位置)では、原画像データD1の画像中心から第2の距離以下の画素位置(低像高の画素位置)よりも、低周波帯域における重み付けを大きくしてもよい。
なお、ここでいう「高周波帯域」は0.25fsよりも大きく0.5fs以下の範囲に含まれることが好ましく、「低周波帯域」は0.25fs以下の範囲に含まれることが好ましい。また、ここでいう「第1の距離」と「第2の距離」は同じであってもよいし、異なっていてもよい。
<フィルタの周波数特性が周波数減衰を含まない場合の工夫>
図8に示すような直列接続タイプの回路構成を有するフィルタリング処理部41によって複数回のフィルタリング処理が行われる場合、各フィルタ適用部48において処理対象データD3に適用されるフィルタの周波数特性が周波数減衰を持つか否かに応じて、制御方法を工夫することが好ましい。周波数減衰は、「光学系の点拡がり関数によって表される点像の拡がり(ボケ)の程度が大きい」且つ「SN比が低い」場合に特に有効に作用し、高周波帯域におけるノイズ成分を抑制する効果をもたらす。
図8に示すような直列接続タイプの回路構成を有するフィルタリング処理部41によって複数回のフィルタリング処理が行われる場合、各フィルタ適用部48において処理対象データD3に適用されるフィルタの周波数特性が周波数減衰を持つか否かに応じて、制御方法を工夫することが好ましい。周波数減衰は、「光学系の点拡がり関数によって表される点像の拡がり(ボケ)の程度が大きい」且つ「SN比が低い」場合に特に有効に作用し、高周波帯域におけるノイズ成分を抑制する効果をもたらす。
例えば各フィルタ適用部48において使用するフィルタに周波数減衰の効果を持たせる必要がない場合には、図10に示すフィルタリング処理部41の各フィルタ適用部48において使用されるフィルタの周波数特性φn(ω)を下記式に基づいて設定することができる。
上記式は、各フィルタ適用部48において使用されるフィルタの周波数特性φn(ω)が「|φn(ω)|>1」を満たす場合には、本来の周波数特性φn(ω)を持つフィルタを使用し、「|φn(ω)|≦1」を満たす場合には、「周波数特性(レスポンス)=1」となるフィルタを使用することを示す。
なお各フィルタ適用部48において使用するフィルタに周波数減衰の効果を持たせる必要がない場合に、図8~9及び図11に示すフィルタリング処理部41の各フィルタ適用部48において使用されるフィルタの周波数特性φn(ω)は、例えば下記式に基づいて設定することができる。
またフィルタリング処理部41を構成する回路構成が図8に示すような直列接続タイプの場合、画像フィルタ処理P全体の周波数特性は、各フィルタ適用部48において使用されるフィルタの周波数特性の積に基づいて表現される。この「直列接続タイプの画像フィルタ処理P全体の周波数特性」を「並列接続タイプの画像フィルタ処理P全体の周波数特性」と同様に扱うために、直列接続タイプの画像フィルタ処理Pにおいて使用される全てのフィルタの周波数特性を対数化することによって、「積」の問題を「和」の問題に変換することが好ましい。この場合、並列接続タイプの回路構成を有するフィルタリング処理部41に関するゲインベクトルの最適解g(k)
OPTの算出手法と同様の演算処理によって、直列接続タイプの回路構成を有するフィルタリング処理部41に関するゲインベクトルの最適解g(k)
OPTを算出することができる。なおフィルタの周波数特性が減衰特性を含まないケースでは、上述の対数化によっては、フィルタの周波数特性が大きな負の値とはならず、下記式を利用して複素数の対数化を行うことができる。
<フィルタの周波数特性が周波数減衰を含む場合の工夫>
例えば図8に示すような直列接続タイプの回路構成を有するフィルタリング処理部41において、各フィルタ適用部48において使用されるフィルタの周波数特性が周波数減衰を含む場合には、以下の点に留意することが望ましい。すなわち、周波数増幅率が0倍に近い場合には、対数化後の値が大きな負の値となるため、対数化処理を行った後に最小二乗基準により周波数特性のフィッティングを行う場合等には、その大きな負の値が周波数特性近似の基準を支配してしまう虞がある。そのため、対数化の際に、予め決められた負の最小値によってクリッピングを行ったり、周波数減衰が起きやすい周波数帯域の重み付けを小さく調節するなどの対策を行うことが好ましい。
例えば図8に示すような直列接続タイプの回路構成を有するフィルタリング処理部41において、各フィルタ適用部48において使用されるフィルタの周波数特性が周波数減衰を含む場合には、以下の点に留意することが望ましい。すなわち、周波数増幅率が0倍に近い場合には、対数化後の値が大きな負の値となるため、対数化処理を行った後に最小二乗基準により周波数特性のフィッティングを行う場合等には、その大きな負の値が周波数特性近似の基準を支配してしまう虞がある。そのため、対数化の際に、予め決められた負の最小値によってクリッピングを行ったり、周波数減衰が起きやすい周波数帯域の重み付けを小さく調節するなどの対策を行うことが好ましい。
例えばクリッピングにより対応する場合には、フィルタリング処理部41は、画像フィルタ処理Pの目標とする周波数特性において原画像データD1に対する処理画像データD2の割合が1よりも小さい周波数では、複数回のフィルタリング処理の各々において、フィルタリング処理データD6をフィルタ適用処理データD4と等しくするフィルタを用いることが好ましい。
各フィルタリング処理において使用するゲインを上述のようにして決定及び調整することによって、例えば撮影条件の組み合わせの全てに関して点拡がり関数に基づくフィルタ(フィルタ係数)を保持するケースに比べ、保持すべきパラメータ数を格段に削減することができる。また一般の方法では、点拡がり関数のような像劣化特性が既知でないとフィルタ設計(フィルタ係数設計)を適切に行うが難しいが、本実施形態によれば、個々の像劣化特性を把握する前に、多くの計算量が必要とされる有限タップ長のFIRフィルタの設計を完了しておくことも可能である。その場合、具体的な像劣化特性を取得した後に簡単な計算によって、最適なゲインベクトルを算出することができる。
<フィルタの設計手法>
次に、フィルタリング処理部41の各フィルタ適用部48において使用されるフィルタの設計手法の具体例について説明する。
次に、フィルタリング処理部41の各フィルタ適用部48において使用されるフィルタの設計手法の具体例について説明する。
図21は、フィルタ取得装置76の機能構成の一例を示すブロック図である。
各フィルタ適用部48において使用されるフィルタの設計及び取得を行うフィルタ取得装置76は、フィルタ算出部77を有する。本例のフィルタ算出部77は、原画像データD1における複数の画素位置(光学系の複数の位置)に応じて定められる複数種類の画像フィルタ処理(第1の画像フィルタ処理P1~第kの画像フィルタ処理Pk(ただし「k」は2以上の整数))の周波数特性データを取得し、基準フィルタhb及び分散フィルタhvを含む複数のフィルタを出力する。すなわちフィルタ算出部77は、原画像データD1における複数の画素位置(光学系の複数の位置)に応じて定められる複数種類の画像フィルタ処理P1~Pkの周波数特性に基づいて、複数種類の画像フィルタ処理P1~Pkの周波数特性の平均に応じて定められる基準フィルタhbを取得する。またフィルタ算出部77は、複数種類の画像フィルタ処理P1~Pkの周波数特性に基づいて、複数種類の画像フィルタ処理P1~Pkの周波数特性の分散に応じて定められる少なくとも一つの分散フィルタhvを取得する。
図22は、フィルタ算出部77の機能構成の一例を示すブロック図である。
本例のフィルタ算出部77は、平均算出部78、分散算出部79及びフィルタ特性取得部80を有する。平均算出部78は、複数種類の画像フィルタ処理P1~Pkの周波数特性データから、複数種類の画像フィルタ処理P1~Pkの周波数特性の平均を算出する。分散算出部79は、複数種類の画像フィルタ処理P1~Pkの周波数特性データから、複数種類の画像フィルタ処理P1~Pkの周波数特性の分散を算出する。フィルタ特性取得部80は、平均算出部78において算出された複数種類の画像フィルタ処理P1~Pkの周波数特性の平均に基づいて基準フィルタhbを算出する。またフィルタ特性取得部80は、平均算出部78において算出された複数種類の画像フィルタ処理P1~Pkの周波数特性の平均と、分散算出部79において算出された複数種類の画像フィルタ処理P1~Pkの周波数特性の分散とに基づいて、分散フィルタhvを算出する。
なお本例のフィルタ算出部77(平均算出部78、分散算出部79及びフィルタ特性取得部80)において用いられる複数種類の画像フィルタ処理P1~Pkの周波数特性データは、複数の画素位置(光学系の位置)に応じた光学系の光学特性に基づいて特定される。このようにフィルタ(基準フィルタhb及び分散フィルタhv)の算出の基礎となる「複数種類の画像フィルタ処理P1~Pkの周波数特性データ」を複数の画素位置(光学系の位置)を基準にして定めることにより、そのような複数の画素位置(光学系の位置)に適合したフィルタ(基準フィルタhb及び分散フィルタhv)を算出することができる。したがって、そのような「複数の画素位置(光学系の位置)」として原画像データD1を取得する際の「代表的な画素位置(光学系の位置)」を想定することにより、「画像フィルタ処理の目標とする周波数特性」をフィルタリング処理部41によって精度良く実現することができる。
<複数種類の画像フィルタ処理の周波数特性>
ここでいう「複数種類の画像フィルタ処理P1~Pk」の各々の周波数特性は「画像フィルタ処理の目標とする周波数特性」を構成し、本例では撮影の際に採用されうる撮影条件毎(例えば画素位置毎(光学系の位置毎))の光学系の光学特性に基づく周波数特性によって定められる。
ここでいう「複数種類の画像フィルタ処理P1~Pk」の各々の周波数特性は「画像フィルタ処理の目標とする周波数特性」を構成し、本例では撮影の際に採用されうる撮影条件毎(例えば画素位置毎(光学系の位置毎))の光学系の光学特性に基づく周波数特性によって定められる。
例えば「複数種類の画像フィルタ処理P1~Pkの周波数特性」が光学系の点拡がり関数に基づく周波数特性の場合、点拡がり関数に影響を及ぼしうる撮影条件(例えば画素位置(光学系の位置))を変えることにより得られる複数種類の点拡がり関数の周波数特性に応じて「複数種類の画像フィルタ処理P1~Pkの周波数特性」を定めることができる。すなわち異なる撮影条件下における複数種類の点拡がり関数の周波数特性に応じて「複数種類の画像フィルタ処理P1~Pkの周波数特性」を定めることができる。この「複数種類の点拡がり関数」は、任意の手法により取得可能であり、実測値に基づいて取得されてもよいし、推定値に基づいて取得されてもよい。「複数種類の画像フィルタ処理P1~Pkの周波数特性」は、取得される複数種類の点拡がり関数を使ってウィナーフィルタ等の任意の設計基準に基づき算出可能である。
この「複数種類の画像フィルタ処理P1~Pkの周波数特性」は、任意の装置によって取得可能であり、例えばフィルタ取得装置76において取得されてもよいし、他の装置により取得されてもよく、フィルタ取得装置76のフィルタ算出部77によって図示しないメモリから読み出されて取得されてもよい。
<複数種類の画像フィルタ処理の周波数特性のバラツキ>
複数種類の画像フィルタ処理の周波数特性のバラツキは、単峰型分布に基づいて表現することも可能であるし、多峰型分布に基づいて表現することも可能である。
複数種類の画像フィルタ処理の周波数特性のバラツキは、単峰型分布に基づいて表現することも可能であるし、多峰型分布に基づいて表現することも可能である。
図23は、複数種類の画像フィルタ処理の周波数特性のバラツキを単峰型分布によって表した概念図である。図24は、複数種類の画像フィルタ処理の周波数特性のバラツキを多峰型分布によって表した概念図である。
図23に示す単峰型分布に基づくバラツキ表現手法は、複数種類の画像フィルタ処理の周波数特性のバラツキを、一つの多次元複素正規分布(図23の「バラツキ分布G」参照)によって表現する手法である。一方、多峰型分布に基づく表現手法は、複数種類の画像フィルタ処理の周波数特性のバラツキを、複数の多次元複素正規分布(図24の「第1のバラツキ分布G1」及び「第2のバラツキ分布G2」参照)によって表現する手法である。
図23には、複数種類の画像フィルタ処理の周波数特性のバラツキ分布Gを、第1のフィルタリング処理F1のフィルタの周波数特性φ0、第2のフィルタリング処理F2のフィルタの周波数特性φ1及び第3のフィルタリング処理F3のフィルタの周波数特性φ2によって表現するケースが示されている。また図24には、複数種類の画像フィルタ処理の周波数特性のバラツキ分布Gを構成する第1のバラツキ分布G1及び第2のバラツキ分布G2の各々を、第1のフィルタリング処理F1のフィルタの周波数特性(φ0
(1)、φ0
(2))、第2のフィルタリング処理F2のフィルタの周波数特性(φ1
(1)、φ1
(2))及び第3のフィルタリング処理F3のフィルタの周波数特性(φ2
(1)、φ2
(2))によって表現するケースが示されている。なお図23及び図24には、一例としてフィルタリング処理部41が図10に示す回路構成を有することを前提としたフィルタの周波数特性φ0~φ2が図示されている。
複数種類の画像フィルタ処理の周波数特性のバラツキが例えば図23に示すような楕円形状のバラツキ分布Gを有する場合、複数のフィルタリング処理(図23に示す例では第1のフィルタリング処理F1~第3のフィルタリング処理F3)によって各画像フィルタ処理を精度良く実現するには、バラツキ分布Gの中心、長軸及び短軸に基づいて各フィルタリング処理の周波数特性φ0、φ1、φ2を決定することが好ましい。同様に、複数種類の画像フィルタ処理の周波数特性のバラツキが例えば図24に示すような楕円形状の第1のバラツキ分布G1及び第2のバラツキ分布G2を有する場合、複数のフィルタリング処理(図24に示す例では第1のフィルタリング処理F1~第3のフィルタリング処理F3)によって第1のバラツキ分布G1及び第2のバラツキ分布G2に含まれる各画像フィルタ処理を精度良く表すには、第1のバラツキ分布G1及び第2のバラツキ分布G2の各々に関して中心、長軸及び短軸に基づき各フィルタリング処理の周波数特性φ0
(1)、φ1
(1)、φ2
(1)、φ0
(2)、φ1
(2)、φ2
(2)を決定することが好ましい。
<単峰型分布>
次に、複数種類の画像フィルタ処理の周波数特性のバラツキを単峰型分布として扱う場合(図23参照)における、フィルタ及びゲインの設計手法例について説明する。
次に、複数種類の画像フィルタ処理の周波数特性のバラツキを単峰型分布として扱う場合(図23参照)における、フィルタ及びゲインの設計手法例について説明する。
以下の方法は、任意個数の複数種類の画像フィルタ処理の周波数特性のバラツキサンプルが実際に取得された場合に、その画像フィルタ処理の周波数特性のバラツキを精度良く補償することができる所望数の基底フィルタ(FIRフィルタ)の周波数特性を求める手法に関する。また、単峰型分布を多次元複素正規分布としてモデル化を行い、ML(Maximum Likelihood)推定を行うケースについて説明する。
単峰型分布のバラツキ分布Gは多次元複素正規分布に基づいて表現可能であり、その多次元複素正規分布は共分散行列によって特徴付けられ、次式によって得られる。
上記式において「βi」は、複数種類の画像フィルタ処理の各々に関して個別に取得される周波数特性β(ω)を周波数(ω)に基づいて離散化することにより得られるベクトルを表し、「Nr」は複数種類の画像フィルタ処理の数を表す。したがって上記式の「Ψ0」は、複数種類の画像フィルタ処理の周波数特性の平均(平均行列)を表し、上記式の「R0」は、複数種類の画像フィルタ処理の周波数特性の分散(共分散行列)を表す。
上記式によって表される共分散行列の固有値分解を下記式に従って行うことにより、固有ベクトルΨi(ただし「i」は1以上Nr以下の整数)を得ることができる。
Karhunen-Loeve展開によれば、バラツキ分布を次元mの線形部分空間によって平均的に近似するには、固有値の大きいものから順にm個の対応する固有ベクトルΨi(ただし「i」は1以上m以下の整数)によって張られる部分空間を用いるのが最良である。
したがって、単峰型のバラツキ分布Gを持つ複数種類の画像フィルタ処理の各々の周波数特性を精度良く再現するためのフィルタリング処理のフィルタの最適な周波数特性φ0~φN-1は、下記式に基づいて取得することができる。
なお、第1のフィルタリング処理F1のフィルタの周波数特性φ0は、上述のように、複数種類の画像フィルタ処理の周波数特性の分布の中心に該当するため、分布の中心を固定して処理を安定化させる観点からは第1のフィルタリング処理F1におけるゲインは「1.0」に固定することが好ましい。他のフィルタリング処理におけるゲインについては、例えば上述の重み付き最小二乗基準によって最適値を求めることができる。
図25は、単峰型分布に分類可能な複数種類の画像フィルタ処理の周波数特性の一例を概略的に示す図であり、横軸は周波数(ω)を示し、縦軸はレスポンスを示す。ここでいうレスポンスは、各画像フィルタ処理の前後の周波数成分量の比(=処理後の周波数成分量/処理前データの周波数成分量)であり、「レスポンス=1」は画像フィルタ処理の前後でデータが同じであることを意味する。
図25には、4種類の画像フィルタ処理(第1の画像フィルタ処理P1、第2の画像フィルタ処理P2、第3の画像フィルタ処理P3及び第4の画像フィルタ処理P4)の周波数特性が示されている。これらの4種類の画像フィルタ処理P1~P4は、それぞれ異なる周波数特性を示すが、いずれも周波数(ω)が「0」の場合のレスポンスは「1」を示す。
図26は、図25に示される複数種類の画像フィルタ処理の周波数特性の分散の一例を概略的に示す図であり、横軸は周波数(ω)を示し、縦軸は分散を示す。なお、図26は、説明の便宜上、図25に示される複数種類の画像フィルタ処理P1~P4の周波数特性の分散を必ずしも厳密に表すものではない。
図25に示す4種類の画像フィルタ処理P1~P4は、いずれも周波数(ω)が「0」の場合のレスポンスは「1」であるため、周波数(ω)が「0」の場合の分散は「0」になる。図26に示す例では、複数種類の画像フィルタ処理P1~P4の周波数特性に関して、「一番目に大きいバラツキを示す成分(図26の符号「H1」参照)」及び「二番目に大きいバラツキを示す成分(図26の符号「H2」参照)」が表れる。
図27(a)~(c)は、図25に示される複数種類の画像フィルタ処理の周波数特性の平均及び分散から取得される基底フィルタ(固有ベクトル)の一例を概略的に示す図であり、図27(a)は「φ0」を示し、図27(b)は「φ1」を示し、図27(c)は「φ2」を示す。
上述のように、第1のフィルタリング処理F1において使用されるフィルタの周波数特性φ0は、複数種類の画像フィルタ処理P1~P4の周波数特性の分布の中心(平均)に基づいて決定することが好ましい。
また他のフィルタリング処理において使用されるフィルタの周波数特性は、図26に示す複数種類の画像フィルタ処理P1~P4の周波数特性のバラツキ(分散)が大きい成分から順に定められることが好ましい。したがって第2のフィルタリング処理F2において使用されるフィルタの周波数特性φ1は、複数種類の画像フィルタ処理P1~P4の周波数特性のバラツキが一番目に大きい成分(図26の「H1」参照)に基づいて決定されることが好ましい。同様に、第3のフィルタリング処理F3において使用されるフィルタの周波数特性φ2は、複数種類の画像フィルタ処理の周波数特性のバラツキが二番目に大きい成分(図26の「H2」参照)に基づいて決定されることが好ましい。
なお上述の例は画像フィルタ処理Pが第1のフィルタリング処理F1~第3のフィルタリング処理F3を含むケースに関するが、画像フィルタ処理Pは二つのフィルタリング処理によって構成されていてもよいし、四つ以上のフィルタリング処理によって構成されていてもよい。例えば画像フィルタ処理Pが第1のフィルタリング処理F1及び第2のフィルタリング処理F2によって構成される場合には、第1のフィルタリング処理F1において使用されるフィルタの周波数特性を上述の「φ0」(図27(a)参照)に基づいて定め、第2のフィルタリング処理F2において使用されるフィルタの周波数特性を上述の「φ1」(図27(b)参照)に基づいて定めることができる。
図28(a)~(b)は、図10に示す回路構成を有するフィルタリング処理部41が行う画像フィルタ処理P(第1のフィルタリング処理F1~第3のフィルタリング処理F3)に関する周波数特性f(ω)(図28(a)参照)及びゲイン例(図28(b)参照)を示す。
上述のように、複数種類の画像フィルタ処理の周波数特性の分布の中心を固定して処理を安定化させる観点からは、第1のフィルタリング処理F1におけるゲインg0は「1.0」に固定することが好ましい。したがって図28(b)には、図10に示す回路構成を有するフィルタリング処理部41の各フィルタ適用部48において使用するフィルタを固定し、また第1のフィルタリング処理F1におけるゲインg0を「1.0」に固定した場合に、図25に示す画像フィルタ処理P1~P4の各々の周波数特性を図28(a)に示すシステム全体の周波数特性によって精度良く実現するためのゲインg0~g2が例示されている。
図28(b)に示すように、上述の例によれば、複数種類の画像フィルタ処理P1~P4の周波数特性のデータを、3個のフィルタの周波数特性φ0~φ2(タップ係数)と12個のゲイン(g0を「1.0」に固定する場合には8個のゲイン)とに圧縮することができる。
このように本例のフィルタリング処理部41は、第1のフィルタリング処理F1では、画像フィルタ処理P1~P4の複数種類の周波数特性の平均に応じて定められる基準フィルタhbの周波数特性を「フィルタの周波数特性φ0」として用いてフィルタ適用処理データD4-1を取得し、第2のフィルタリング処理F2及び第3のフィルタリング処理F3では、画像フィルタ処理P1~P4の複数種類の周波数特性の分散に応じて定められる二つの分散フィルタhvの周波数特性を「フィルタの周波数特性φ1」及び「フィルタの周波数特性φ2」として用いてフィルタ適用処理データD4-2、D4-3を取得する。
特にフィルタリング処理部41は、第1のフィルタリング処理F1では「原画像データD1における画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタhb」を用いてフィルタ適用処理データD4-1を取得し、第2のフィルタリング処理F2及び第3のフィルタリング処理F3では「原画像データD1における画素位置に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタhv」を用いてフィルタ適用処理データD4-2、D4-3を取得することが好ましい。この場合、複数回のフィルタリング処理の各々においてフィルタ適用処理データD4に適用されるゲインは、原画像データD1における画素位置に応じて定められることが好ましい。
図29は、単峰型分布に基づいてフィルタ係数を算出するフィルタ算出部77の機能構成の一例を示すブロック図である。周波数空間により表されるフィルタ特性から実空間により表されるフィルタ係数を算出するために、本例のフィルタ算出部77は、上述の平均算出部78、分散算出部79及びフィルタ特性取得部80(図22参照)に加え、タップ係数演算部81を更に有する。
このフィルタ算出部77のタップ係数演算部81は、複数のタップを持ち各タップに係数が割り当てられる基準フィルタhbを取得するとともに、複数のタップを持ち各タップに係数が割り当てられる少なくとも一つの分散フィルタhvを取得する。「各タップに係数を割り当てる手法」は特に限定されないが、タップ係数演算部81(フィルタ算出部77)は、例えば後述のSAGEアルゴリズム又はOMPアルゴリズムに基づいて、基準フィルタhb及び少なくとも一つの分散フィルタhvの各々の各タップに割り当てられる係数を算出することができる。
<多峰型分布>
次に、複数種類の画像フィルタ処理の周波数特性のバラツキを多峰型分布として扱う場合(図24参照)における、フィルタ及びゲインの設計手法例について説明する。
次に、複数種類の画像フィルタ処理の周波数特性のバラツキを多峰型分布として扱う場合(図24参照)における、フィルタ及びゲインの設計手法例について説明する。
図24に示す例において、全体を一つの分布(単峰型分布)として扱う場合には、複数種類の画像フィルタ処理の周波数特性のバラツキ分布は図24に示す「バラツキ分布G」によって表すことができるが、近似精度が悪くなる。一方、複数種類の画像フィルタ処理の周波数特性のバラツキ分布を図24の「第1のバラツキ分布G1」及び「第2のバラツキ分布G2」によって分離して表し、「第1のバラツキ分布G1」及び「第2のバラツキ分布G2」の各々を別個の多次元複素正規分布(多峰型分布)として扱うことにより、近似精度を向上させることができる。この多峰型分布におけるML推定のパラメータ推定アルゴリズムとして、例えばEM(Expectation Maximization)アルゴリズムによる混合正規分布の推定を好適に利用することができ、効率的なパラメータ推定を行うことができる。
多峰型分布に基づくフィルタの決定手法は、基本的には上述の単峰型分布に基づくフィルタ決定手法と同様の手法により行うことができる。すなわち、複数種類の画像フィルタ処理の周波数特性を、多峰型分布を構成する複数の分布(図24に示す例では第1のバラツキ分布G1及び第2のバラツキ分布G2)に分類し、各分布に関して、上述の単峰型分布の「バラツキ分布G」と同様の手順によってフィルタを求めることができる。
図30は、多峰型分布に分類可能な画像フィルタ処理の周波数特性の一例を概略的に示す図であり、横軸は周波数(ω)を示し、縦軸はレスポンスを示す。
図30には、6種類の画像フィルタ処理(第1の画像フィルタ処理P1、第2の画像フィルタ処理P2、第3の画像フィルタ処理P3、第4の画像フィルタ処理P4、第5の画像フィルタ処理P5及び第6の画像フィルタ処理P6)の周波数特性が示されている。これらの6種類の画像フィルタ処理P1~P6は、それぞれ異なる周波数特性を示すが、いずれも周波数(ω)が「0」の場合のレスポンスは「1」を示す。
図30に示す例において、例えば「第1の画像フィルタ処理P1の周波数特性データ、第2の画像フィルタ処理P2の周波数特性データ及び第3の画像フィルタ処理P3の周波数特性データ」を第1のバラツキ分布G1に分類し、「第4の画像フィルタ処理P4の周波数特性データ、第5の画像フィルタ処理P5の周波数特性データ及び第6の画像フィルタ処理P6の周波数特性データ」を第2のバラツキ分布G2に分類することができる。
図31(a)~(b)は、図30に示される複数種類の画像フィルタ処理の周波数特性の分散の一例を概略的に示す図であり、図31(a)は第1のバラツキ分布G1に分類される第1の画像フィルタ処理P1~第3の画像フィルタ処理P3の周波数特性データの分散を示し、図31(b)は第2のバラツキ分布G2に分類される第4の画像フィルタ処理P4~第6の画像フィルタ処理P6の周波数特性データの分散を示す。図31(a)及び(b)の横軸は周波数(ω)を示し、縦軸は分散を示す。なお、図31(a)及び(b)は、説明の便宜上、図30に示される複数種類の画像フィルタ処理P1~P6の周波数特性の分散を必ずしも厳密に表すものではない。
図30に示す6種類の画像フィルタ処理P1~P6の周波数特性は、いずれも周波数(ω)が「0」の場合のレスポンスが「1」であるため、周波数(ω)が「0」の場合の分散は「0」になる。図31(a)及び(b)に示すように、第1のバラツキ分布G1及び第2のバラツキ分布G2の各々の「画像フィルタ処理の周波数特性の分散」に関し、「一番目に大きいバラツキを示す成分(図31(a)及び(b)の「H1」参照)」及び「二番目に大きいバラツキを示す成分(図31(a)及び(b)の「H2」参照)」が表れる。
図32(a)~(c)は、第1のバラツキ分布G1に分類される第1の画像フィルタ処理P1~第3の画像フィルタ処理P3の周波数特性の平均及び分散から取得される基底フィルタ(固有ベクトル)の一例を概略的に示す図であり、図32(a)は「φ0」を示し、図32(b)は「φ1」を示し、図32(c)は「φ2」を示す。図33(a)~(c)は、第2のバラツキ分布G2に分類される第4の画像フィルタ処理P4~第6の画像フィルタ処理P6の周波数特性の平均及び分散から取得される基底フィルタ(固有ベクトル)の一例を概略的に示す図であり、図33(a)は「φ0」を示し、図33(b)は「φ1」を示し、図33(c)は「φ2」を示す。
上述のように、第1のフィルタリング処理F1において使用されるフィルタの周波数特性φ0は、複数種類の画像フィルタ処理の周波数特性の分布の中心(平均)に基づいて決定することが好ましい。
また他のフィルタリング処理において使用されるフィルタの周波数特性は、図31(a)及び(b)の各々に示す複数種類の画像フィルタ処理の周波数特性のバラツキ(分散)が大きい成分に応じて定められることが好ましい。したがって第2のフィルタリング処理F2において使用されるフィルタの周波数特性φ1は、複数種類の画像フィルタ処理の周波数特性のバラツキが一番目に大きい成分(図31(a)及び(b)の「H1」参照)に基づいて決定されることが好ましい。同様に、第3のフィルタリング処理F3において使用されるフィルタの周波数特性φ2は、複数種類の画像フィルタ処理の周波数特性のバラツキが二番目に大きい成分(図31(a)及び(b)の「H2」参照)に基づいて決定されることが好ましい。
図34(a)~(b)は、図10に示す回路構成を有するフィルタリング処理部41が行う画像フィルタ処理P(第1のフィルタリング処理F1~第3のフィルタリング処理F3)に関する周波数特性f(ω)(図34(a)参照)及びゲイン例(図34(b)参照)を示す。図34(a)に示す多峰型分布に関する周波数特性f(ω)において、「φ0
(i)(ω)」は第1のフィルタリング処理F1の第1のフィルタ適用部48-1において使用されるフィルタの周波数特性を表し、「g0」は第1のフィルタリング処理F1の第1のゲイン適用部49-1において使用されるゲインを表す。また「φ1
(i)(ω)」は第2のフィルタリング処理F2の第2のフィルタ適用部48-2において使用されるフィルタの周波数特性を表し、「g1」は第2のフィルタリング処理F2の第2のゲイン適用部49-2において使用されるゲインを表す。また「φ2
(i)(ω)」は第3のフィルタリング処理F3の第3のフィルタ適用部48-3において使用されるフィルタの周波数特性を表し、「g2」は第3のフィルタリング処理F3の第3のゲイン適用部49-3において使用されるゲインを表す。
各フィルタの周波数特性φ1
(i)(ω)~φ3
(i)(ω)における符号「i」は、多峰型分布に従って分類されるグループを示すクラスタインデックスを表す。例えば第1のバラツキ分布G1に分類される第1の画像フィルタ処理P1~第3の画像フィルタ処理P3には、図34(b)に示すようにクラスタインデックスiとして「1」を割り当てることができる。一方、第2のバラツキ分布G2に分類される第4の画像フィルタ処理P4~第6の画像フィルタ処理P6には、図34(b)に示すようにクラスタインデックスiとして「2」を割り当てることができる。
なお、図34(b)には、図10に示す回路構成を有するフィルタリング処理部41の各フィルタ適用部48において使用するフィルタを固定し、また第1のフィルタリング処理F1において使用されるゲインg0を「1.0」に固定した場合に、図30に示す画像フィルタ処理P1~P6の各々の周波数特性を図34(a)に示すシステム全体の周波数特性によって精度良く実現するためのゲインg0~g2が例示されている。
図34(b)に示すように、上述の例によれば、複数種類の画像フィルタ処理P1~P6の周波数特性のデータを、6個のフィルタ周波数特性φ0
(1)~φ2
(1)、φ0
(2)~φ2
(2)(タップ係数)と18個のゲイン(g0を「1.0」に固定する場合には12個のゲイン)とに圧縮することができる。
このように、多峰型分布に基づくフィルタの決定方法によると、多峰型分布を構成するグループ(図24に示す例では第1のバラツキ分布G1及び第2のバラツキ分布G2)の数に応じたフィルタセットが必要になる。したがって多峰型分布を利用する場合には、単峰型分布を利用する場合に比べて、予めメモリに記憶しておく必要があるフィルタの数が増え、必要とされる記憶容量も増大する。また、各フィルタと分類されるグループとを関連付けるために、上述のクラスタインデックスのような関連付け情報も予めメモリに記憶しておく必要がある。
図35は、多峰型分布に基づいてフィルタ係数を算出するフィルタ算出部77の機能構成の一例を示すブロック図である。本例のフィルタ算出部77は、多峰型分布を構成する複数のグループに画像フィルタ処理の複数種類の周波数特性を分類するために、上述の平均算出部78、分散算出部79、フィルタ特性取得部80及びタップ係数演算部81(図29参照)に加え、フィルタグループ分類部82を更に有する。
本例のフィルタグループ分類部82は、混合正規分布を基準に、複数種類の画像フィルタ処理(図30に示す例では第1の画像フィルタ処理P1~第6の画像フィルタ処理P6)の周波数特性を、複数のフィルタグループ(図24に示す例では第1のバラツキ分布G1及び第2のバラツキ分布G2)に分類する。
図36は、フィルタグループ分類部82によって複数のフィルタグループに分類される複数種類の画像フィルタ処理(周波数特性)の概念図である。フィルタグループ分類部8
2は複数種類の画像フィルタ処理の周波数特性データの類似性を分析し、各画像フィルタ処理の周波数特性を対応のフィルタグループに分類する。上述の例では、フィルタグループ分類部82によって、第1の画像フィルタ処理P1~第3の画像フィルタ処理P3が第1のバラツキ分布G1のフィルタグループに分類され、第4の画像フィルタ処理P4~第6の画像フィルタ処理P6が第2のバラツキ分布G2のフィルタグループに分類される。
2は複数種類の画像フィルタ処理の周波数特性データの類似性を分析し、各画像フィルタ処理の周波数特性を対応のフィルタグループに分類する。上述の例では、フィルタグループ分類部82によって、第1の画像フィルタ処理P1~第3の画像フィルタ処理P3が第1のバラツキ分布G1のフィルタグループに分類され、第4の画像フィルタ処理P4~第6の画像フィルタ処理P6が第2のバラツキ分布G2のフィルタグループに分類される。
フィルタ算出部77を構成する他の平均算出部78、分散算出部79、フィルタ特性取得部80及びタップ係数演算部81は、複数のフィルタグループに分類された複数種類の画像フィルタ処理の周波数特性のうち複数のフィルタグループの各々に含まれる複数種類の画像フィルタ処理の周波数特性に基づいて、複数のフィルタグループの各々に関する基準フィルタhb及び少なくとも一つの分散フィルタhvを取得する。
上述の例によれば、複数種類の画像フィルタ処理の周波数特性のバラツキの分布が既知である場合に、そのバラツキをカバーするのに最適なフィルタを精度良く設計することができる。特に、複数種類の画像フィルタ処理の周波数特性のバラツキの分布に応じて、単峰型分布及び多峰型分布のうち適切な分布タイプが選択されることにより、目的とする画像フィルタ処理の周波数特性を精度良く再現することが可能なフィルタ(フィルタ係数)及びゲインを取得することができる。
上述のように本実施形態によれば、フィルタ数(データ量)を低減することができ、全ての条件に関するFIRフィルタ(フィルタ係数(タップ係数))を保持することを避けることができ、平均的に良好なフィルタを使った画像フィルタ処理を行うことができる。
<FIRフィルタの設計>
次に、タップ数に制限が設けられるFIRフィルタの設計手法について説明する。
次に、タップ数に制限が設けられるFIRフィルタの設計手法について説明する。
上述の方法によってフィルタの周波数特性を柔軟に調整することにより、複数種類の画像フィルタ処理の周波数特性のバラツキを有効にカバーするのに最適なフィルタを設計することができる。しかしながら、実際に使用するフィルタをタップ数に制限が設けられるFIRフィルタによって実現する場合には、所望の周波数特性を理想的に得ることは難しい。
一般に、急峻な周波数特性を少ないタップ数により実現することは非常に困難である。特に小さな固有値に対応する固有ベクトルは、急峻なギザギザ形状を持つ傾向がある。したがって、上述の方法によってフィルタの理想的な周波数特性が取得されても、実際に使用されるフィルタのタップ数が十分に用意されていない場合には、複数種類の画像フィルタ処理の周波数特性のバラツキを十分にカバーすることが難しくなる。
この問題は、基底が非線形であってパラメトリックな関数に関し、あるベクトルをなるべく少ない数の基底の線形和によって近似することを目的として基底のパラメータを決める問題と類似する。このような問題を解決するための様々な手法が提案されている。例えばSAGEアルゴリズムは、電波伝搬における到来波解析などに用いられるアルゴリズムであり、EMアルゴリズムの考え方に基づいて、残差を最小にするように基底を一つずつ求める方法である。またOMPアルゴリズムは、Compressed Sensingの分野においてovercomplete dictionaryを用いたスパースな係数ベクトルを求める場合に用いられるアルゴリズムである。OMPの手法自体はパラメトリックな基底を求める方法ではないが、OMPにおけるdictionaryから選ぶという状況設定を、パラメトリックな基底関数から近いものを選ぶという状況設定に変えることによって、OMPの手法をFIRフィルタの設計に応用することが可能である。
SAGEアルゴリズム及びOMPアルゴリズムの具体的な演算方法例については後述するが、フィルタ算出部77のタップ係数演算部81(図29及び図35参照)は、これらのアルゴリズムに基づいて、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって基準フィルタhbの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数(後述の共分散行列「Ri」参照)から、少なくとも一つの分散フィルタhvの各タップに割り当てられる係数を算出することができる。
後述のSAGEアルゴリズム及びOMPアルゴリズムによれば、フィルタ算出部77のタップ係数演算部81は、「I」を2以上の整数とした場合に、1番目からI番目までの分散フィルタhvを取得し、1番目の分散フィルタhvの各タップに割り当てられる係数を、基準フィルタhbの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数から算出する。またフィルタ算出部77のタップ係数演算部81は、「J」を2以上且つI以下の整数とした場合に、J番目の分散フィルタhvの各タップに割り当てられる係数を、基準フィルタhbの各タップに割り当てられる係数と1番目からJ-1番目までの分散フィルタhvの各々の各タップに割り当てられる係数とに基づいて定められるバラツキ分布関数から算出する。
SAGEアルゴリズムでは、さらに、フィルタ算出部77のタップ係数演算部81は、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって、基準フィルタhb及び少なくとも一つの分散フィルタhvの各々の各タップに割り当てられる係数に基づいて定められる残差成分を示すバラツキ分布関数(後述の共分散行列「Qj」参照)に基づいて、基準フィルタhb及び少なくとも一つの分散フィルタhvのうちの少なくともいずれかの各タップに割り当てられる係数を更新する。
なお、SAGEアルゴリズム及びOMPアルゴリズムは様々な文献において説明されており、例えば非特許文献1、非特許文献2及び非特許文献3を参照することができる。ただし、SAGEアルゴリズム及びOMPアルゴリズムの両者とも、ベクトルの基底分解を目的としており、本来的にはフィルタ設計における部分空間近似を扱うものではないため、算出式に適宜修正を加える必要がある。
<OMPアルゴリズムを応用した最適フィルタ群の算出>
以下、OMPアルゴリズムに基づくフィルタ設計の一例について説明する。下述の各ステップの処理は、基本的にはフィルタ算出部77(タップ係数演算部81)において行われるが、各ステップの処理の一部又は全部が他部において行われてもよい。
以下、OMPアルゴリズムに基づくフィルタ設計の一例について説明する。下述の各ステップの処理は、基本的にはフィルタ算出部77(タップ係数演算部81)において行われるが、各ステップの処理の一部又は全部が他部において行われてもよい。
以下では単峰型分布を前提とするケースについて説明する。なお、多峰型分布を前提とするケースに関しては、上述のように単峰型分布を前提とするケースを応用することができる。すなわち複数のフィルタグループ(図24に示す例では第1のバラツキ分布G1及び第2のバラツキ分布G2)の各々を単峰型分布のバラツキ分布Gとして扱うことにより、多峰型分布を前提するケースにも対応することが可能である。
・ステップ1
まず、上述の「Ψ0」により表される複数種類の画像フィルタ処理の周波数特性の平均(中心値)を最良に近似するFIRフィルタのタップ係数が任意の手法により取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性を「第1のフィルタリング処理F1において使用されるフィルタの周波数特性φ0」とする。
まず、上述の「Ψ0」により表される複数種類の画像フィルタ処理の周波数特性の平均(中心値)を最良に近似するFIRフィルタのタップ係数が任意の手法により取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性を「第1のフィルタリング処理F1において使用されるフィルタの周波数特性φ0」とする。
・ステップ2
上記の「第1のフィルタリング処理F1で実際に使用されるフィルタの周波数特性φ0」を複数種類の画像フィルタ処理の周波数特性の平均(中心値)と仮定した場合の共分散行列R0を、下記式に基づいて算出する。
上記の「第1のフィルタリング処理F1で実際に使用されるフィルタの周波数特性φ0」を複数種類の画像フィルタ処理の周波数特性の平均(中心値)と仮定した場合の共分散行列R0を、下記式に基づいて算出する。
・ステップ3
下記式のように、共分散行列R0が共分散行列R1として設定され、パラメータ「i」が「1」に設定される。
下記式のように、共分散行列R0が共分散行列R1として設定され、パラメータ「i」が「1」に設定される。
・ステップ4
共分散行列Riの最大の固有値に対応する固有ベクトルΨiが、上述の手法によって求められる。
共分散行列Riの最大の固有値に対応する固有ベクトルΨiが、上述の手法によって求められる。
・ステップ5
固有ベクトルΨiの周波数特性を最良に近似するFIRフィルタのタップ係数が任意の手法により取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性が「φi」に設定される。この周波数特性φiを持つフィルタは、第「i+1」のフィルタリング処理において使用されるフィルタに対応し、例えば「i=1」であれば第2のフィルタリング処理F2において使用されるフィルタの周波数特性φ2が求められる。この「φi+1」に関するフィルタのタップ係数は、図示しないメモリに記憶される。
固有ベクトルΨiの周波数特性を最良に近似するFIRフィルタのタップ係数が任意の手法により取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性が「φi」に設定される。この周波数特性φiを持つフィルタは、第「i+1」のフィルタリング処理において使用されるフィルタに対応し、例えば「i=1」であれば第2のフィルタリング処理F2において使用されるフィルタの周波数特性φ2が求められる。この「φi+1」に関するフィルタのタップ係数は、図示しないメモリに記憶される。
・ステップ6
既に求められた「φ1~φi」を基底として、その基底の張る部分空間によって表現可能な成分が共分散行列から除外され、残差が算出される。例えば「i」を3以上の整数として「Φi=[φ1 φ2…φi]」と定義すると、span{φ1,φ2,…,φi}への正射影行列は、ΦiのMoore-Penrose一般逆を「Φi +」を用いて表すと、「ΦiΦi +」により表される。この正射影行列ΦiΦi +を用いると共分散行列「Ri+1」は下記式によって表される。
既に求められた「φ1~φi」を基底として、その基底の張る部分空間によって表現可能な成分が共分散行列から除外され、残差が算出される。例えば「i」を3以上の整数として「Φi=[φ1 φ2…φi]」と定義すると、span{φ1,φ2,…,φi}への正射影行列は、ΦiのMoore-Penrose一般逆を「Φi +」を用いて表すと、「ΦiΦi +」により表される。この正射影行列ΦiΦi +を用いると共分散行列「Ri+1」は下記式によって表される。
・ステップ7
下記式のように「i=i+1」として「i」を新たに設定し、「i=N-1」となるまで「ステップ4」~「ステップ7」を繰り返す。このようにしてフィルタの周波数特性φ1~φN-1が求められる。
下記式のように「i=i+1」として「i」を新たに設定し、「i=N-1」となるまで「ステップ4」~「ステップ7」を繰り返す。このようにしてフィルタの周波数特性φ1~φN-1が求められる。
<SAGEアルゴリズムを応用した最適フィルタ群の算出>
次に、SAGEアルゴリズムに基づくフィルタ設計の一例について説明する。以下では単峰型分布を前提とするケースについて説明するが、多峰型分布を前提とするケースにも本例を応用することができる点は上述のOMPアルゴリズムと同様である。
次に、SAGEアルゴリズムに基づくフィルタ設計の一例について説明する。以下では単峰型分布を前提とするケースについて説明するが、多峰型分布を前提とするケースにも本例を応用することができる点は上述のOMPアルゴリズムと同様である。
SAGEアルゴリズムは、上述のステップ6における共分散行列の残差の更新が単に選ばれた基底(FIRフィルタ)の減算に基づくものになっている点と、全ての基底が一旦求められた後もそれぞれの基底について個別に更新が続けられる点とで、OMPアルゴリズムと異なる。
より具体的には、上述のOMPアルゴリズムのステップ1~ステップ5は、SAGEアルゴリズムにおいても同様に行われる。ただし、上述のOMPアルゴリズムのステップ6において用いられる共分散行列「Ri+1」が、SAGEアルゴリズムでは下記式によって求められる。
上述のOMPアルゴリズムのステップ7は、SAGEアルゴリズムにおいても同様に行われる。ただしSAGEアルゴリズムでは、ステップ7以降に、下記のステップ8~ステップ12が行われる。
・ステップ8
下記式によって表されるように、パラメータ「j」が初期値「1」に設定される。
下記式によって表されるように、パラメータ「j」が初期値「1」に設定される。
・ステップ9
下記式によって表されるように、j番目の基底を取り除いた基底の張る部分空間よって表現可能な成分が共分散行列から除外され、残差が算出される。
下記式によって表されるように、j番目の基底を取り除いた基底の張る部分空間よって表現可能な成分が共分散行列から除外され、残差が算出される。
・ステップ10
上記式によって表される残差成分を示す共分散行列Qjの最大の固有値に対応する固有ベクトルΨjが、上述の手法に従って求められる。
上記式によって表される残差成分を示す共分散行列Qjの最大の固有値に対応する固有ベクトルΨjが、上述の手法に従って求められる。
・ステップ11
固有ベクトルΨjの周波数特性を最良に近似するFIRフィルタのタップ係数が任意の手法によって取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性が「φj」に設定される。これにより第「j+1」のフィルタリング処理において使用されるフィルタの周波数特性φj(タップ係数)が更新され、図示しないメモリに記憶される。
固有ベクトルΨjの周波数特性を最良に近似するFIRフィルタのタップ係数が任意の手法によって取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性が「φj」に設定される。これにより第「j+1」のフィルタリング処理において使用されるフィルタの周波数特性φj(タップ係数)が更新され、図示しないメモリに記憶される。
・ステップ12
下記式によって定義される全体の近似誤差「JTOTAL」が特定の目標範囲内となるか、若しくはループ回数(計算時間)が特定の上限に達するまで、下記式によって表されるようにパラメータ「j」を変えながら「ステップ9」~「ステップ12」が繰り返し行われる。
下記式によって定義される全体の近似誤差「JTOTAL」が特定の目標範囲内となるか、若しくはループ回数(計算時間)が特定の上限に達するまで、下記式によって表されるようにパラメータ「j」を変えながら「ステップ9」~「ステップ12」が繰り返し行われる。
上述のSAGEアルゴリズム又はOMPアルゴリズムを利用することによって、複数種類の画像フィルタ処理の周波数特性のバラツキ(例えば平均及び分散)が把握可能であればFIRフィルタのタップ係数を精度良く設計することができる。また、個別の具体的な画像フィルタ処理の周波数特性の把握に先立って、画像フィルタ処理(複数のフィルタリング処理)において実際に使用可能なフィルタのタップ係数を決めることができる。
<他の変形例>
上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部における画像処理方法(画像処理手順及び機能)、ゲイン取得方法(ゲイン取得処理手順及び機能)及びフィルタ取得方法(フィルタ取得処理手順及び機能)をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部における画像処理方法(画像処理手順及び機能)、ゲイン取得方法(ゲイン取得処理手順及び機能)及びフィルタ取得方法(フィルタ取得処理手順及び機能)をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
また画像フィルタ処理(複数回のフィルタリング処理)の目的も特に限定されず、各フィルタリング処理(各フィルタ適用部48)では、画質改善を目的とする点拡がり関数に基づく復元フィルタや輪郭強調フィルタ、特殊効果の付与を目的とするアートフィルタやぼかしフィルタ、等の各種のフィルタが用いられてもよい。
<EDoFシステムへの応用例>
例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field(Focus))を有する光学系(撮影レンズ等)によって撮影取得された画像データ(原画像データD1)に対する復元処理に対しても、本発明に係る画像フィルタ処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態において撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の光学伝達関数(PSF、OTF、MTF、PTF、等)に基づく復元フィルタであって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。
例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field(Focus))を有する光学系(撮影レンズ等)によって撮影取得された画像データ(原画像データD1)に対する復元処理に対しても、本発明に係る画像フィルタ処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態において撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の光学伝達関数(PSF、OTF、MTF、PTF、等)に基づく復元フィルタであって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。
以下に、EDoF光学系を介して撮影取得された画像データの復元に関するシステム(EDoFシステム)の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ(RGBデータ)から得られる輝度信号(Yデータ)に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ(モザイク画像データ)」や「デモザイク処理後であって輝度信号変換処理前の画像データ(デモザイク画像データ)」に対して復元処理が行われてもよい。
図37は、EDoF光学系を備える撮像モジュール101の一形態を示すブロック図である。本例の撮像モジュール(デジタルカメラ等)101は、EDoF光学系(レンズユニット)110と、撮像素子112と、AD変換部114と、復元処理ブロック(画像処理部35)120とを含む。
図38は、EDoF光学系110の一例を示す図である。本例のEDoF光学系110は、単焦点の固定された撮影レンズ110Aと、瞳位置に配置される光学フィルタ111とを有する。光学フィルタ111は、位相を変調させるもので、拡大された被写界深度(焦点深度)(EDoF)が得られるようにEDoF光学系110(撮影レンズ110A)をEDoF化する。このように、撮影レンズ110A及び光学フィルタ111は、位相を変調して被写界深度を拡大させるレンズ部を構成する。
なお、EDoF光学系110は必要に応じて他の構成要素を含み、例えば光学フィルタ111の近傍には絞り(図示省略)が配設されている。また、光学フィルタ111は、1枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ111は、光学的位相変調手段の一例に過ぎず、EDoF光学系110(撮影レンズ110A)のEDoF化は他の手段によって実現されてもよい。例えば、光学フィルタ111を設ける代わりに、本例の光学フィルタ111と同等の機能を有するようにレンズ設計された撮影レンズ110AによってEDoF光学系110のEDoF化を実現してもよい。
すなわち、撮像素子112の受光面への結像の波面を変化させる各種の手段によって、EDoF光学系110のEDoF化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子(屈折率分布型波面変調レンズ等)」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子(波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等)」、「光の位相分布を変調可能な液晶素子(液晶空間位相変調素子等)」を、EDoF光学系110のEDoF化手段として採用しうる。このように、光波面変調素子(光学フィルタ111(位相板))によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ110A自体によって形成可能なケースに対しても、本発明は応用可能である。
図38に示すEDoF光学系110は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
EDoF化されたEDoF光学系110を通過後の光学像は、図37に示す撮像素子112に結像され、ここで電気信号に変換される。
撮像素子112は、所定のパターン配列(ベイヤー配列、GストライプR/G完全市松、X-Trans配列、ハニカム配列、等)によりマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ(本例ではRGBカラーフィルタ)及びフォトダイオードを含んで構成される。EDoF光学系110を介して撮像素子112の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたR、G、Bの信号電荷は、画素毎の電圧信号(画像信号)として順次出力される。
AD変換部114は、撮像素子112から画素毎に出力されるアナログのR、G、B画像信号をデジタルのRGB画像信号に変換する。AD変換部114によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック120に加えられる。
復元処理ブロック120は、例えば、黒レベル調整部122と、ホワイトバランスゲイン部123と、ガンマ処理部124と、デモザイク処理部125と、RGB/YCrCb変換部126と、Y信号復元処理部127とを含む。
黒レベル調整部122は、AD変換部114から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のOB光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することによって、黒レベル調整が行われる。
ホワイトバランスゲイン部123は、黒レベルデータが調整されたデジタル画像信号に含まれるRGB各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
ガンマ処理部124は、ホワイトバランス調整されたR、G、B画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
デモザイク処理部125は、ガンマ補正後のR、G、B画像信号にデモザイク処理を施す。具体的には、デモザイク処理部125は、R、G、Bの画像信号に色補間処理を施すことにより、撮像素子112の各受光画素から出力される一組の画像信号(R信号、G信号、B信号)を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はR、G、Bの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するR、G、B信号の三つの画素信号の組が出力されることになる。
RGB/YCrCb変換部126は、デモザイク処理された画素毎のR、G、B信号を、輝度信号Yと色差信号Cr、Cbに変換し、画素毎の輝度信号Y及び色差信号Cr、Cbを出力する。
Y信号復元処理部127は、予め記憶された復元フィルタに基づいて、RGB/YCrCb変換部126からの輝度信号Yに復元処理を行う。復元フィルタは、例えば、7×7のカーネルサイズを有するデコンボリューションカーネル(M=7、N=7のタップ数に対応)と、そのデコンボリューションカーネルに対応する演算係数(復元ゲインデータ、フィルタ係数に対応)とからなり、光学フィルタ111の位相変調分のデコンボリューション処理(逆畳み込み演算処理)に使用される。なお、復元フィルタは、光学フィルタ111に対応するものが図示しないメモリ(例えばY信号復元処理部127が付随的に設けられるメモリ)に記憶される。また、デコンボリューションカーネルのカーネルサイズは、7×7のものに限らない。なお、Y信号復元処理部127は、上述した画像処理部35における鮮鋭化処理の機能を有する。
次に、復元処理ブロック120による復元処理について説明する。図39は、図37に示す復元処理ブロック120による復元処理フローの一例を示す図である。
黒レベル調整部122の一方の入力には、AD変換部114からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部122は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部123に出力する(S41)。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は0になる。
黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部123、ガンマ処理部124による処理が施される(S42及びS43)。
ガンマ補正されたR、G、B信号は、デモザイク処理部125においてデモザイク処理された後に、RGB/YCrCb変換部126において輝度信号Yと色差信号Cr、Cbに変換される(S44)。
Y信号復元処理部127は、輝度信号Yに、EDoF光学系110の光学フィルタ111の位相変調分のデコンボリューション処理を適用する復元処理を行う(S45)。すなわち、Y信号復元処理部127は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号(ここでは7×7画素の輝度信号)と、予めメモリなどに記憶されている復元フィルタ(7×7のデコンボリューションカーネルとその演算係数)とのデコンボリューション処理(逆畳み込み演算処理)を行う。Y信号復元処理部127は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
図40(a)に示すように、EDoF光学系110を通過後の輝度信号の点像(光学像)は、大きな点像(ボケた画像)として撮像素子112に結像されるが、Y信号復元処理部127でのデコンボリューション処理により、図40(b)に示すように小さな点像(高解像度の画像)に復元される。
上述のようにデモザイク処理後の輝度信号に復元処理を適用することで、復元処理のパラメータをRGB別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるR、G、Bの画素に対応するR、G、Bの画像信号をそれぞれ1単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Cr、Cbについては、人の目による視覚の特性上、復元処理によって解像度を上げなくても画質的には許容される。また、JPEGのような圧縮形式によって画像を記録する場合、色差信号は輝度信号よりも高い圧縮率により圧縮されるので、復元処理によって解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。
以上説明したようなEDoFシステムの復元処理に対しても、上述の実施形態に係る画像フィルタ処理を適用することが可能である。
また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ(サーバ)には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能(通話機能、通信機能、その他のコンピュータ機能)を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンへの応用例>
図41は、スマートフォン201の外観を示す図である。図41に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、係る筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241とを備えている。なお、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図41は、スマートフォン201の外観を示す図である。図41に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、係る筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241とを備えている。なお、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図42は、図41に示すスマートフォン201の構成を示すブロック図である。図42に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部220と、通話部230と、操作部240と、カメラ部241と、記憶部250と、外部入出力部260と、GPS(Global Positioning System)受信部270と、モーションセンサ部280と、電源部290と、主制御部200(上述の本体コントローラ25が含まれる)とを備える。また、スマートフォン201の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部200の指示に従って、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部220は、主制御部200の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル221と、操作パネル222とを備える。
表示パネル221は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル222は、表示パネル221の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部200に出力する。次いで、主制御部200は、受信した検出信号に基づいて、表示パネル221上の操作位置(座標)を検出する。
図41に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン201の表示パネル221と操作パネル222とは一体となって表示入力部220を構成しているが、操作パネル222が表示パネル221を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル222は、表示パネル221外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル222は、表示パネル221に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル221に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル221の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル222が、外縁部分と、それ以外の内側部分の二つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体202の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル222において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部230は、スピーカ231やマイクロホン232を備え、マイクロホン232を通じて入力されたユーザの音声を主制御部200にて処理可能な音声データに変換して主制御部200に出力したり、無線通信部210或いは外部入出力部260により受信された音声データを復号してスピーカ231から出力するものである。また、図41に示すように、例えば、スピーカ231を表示入力部220が設けられた面と同じ面に搭載し、マイクロホン232を筐体202の側面に搭載することができる。
操作部240は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図41に示すように、操作部240は、スマートフォン201の筐体202の側面に搭載され、指などによって押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部250は、主制御部200の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部250は、スマートフォン内蔵の内部記憶部251と着脱自在な外部メモリスロットを有する外部記憶部252により構成される。なお、記憶部250を構成するそれぞれの内部記憶部251と外部記憶部252は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部260は、スマートフォン201に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン201に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン201の内部の各構成要素に伝達することや、スマートフォン201の内部のデータを外部機器に伝送することが可能である。
GPS受信部270は、主制御部200の指示に従って、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン201の緯度、経度、高度からなる位置を検出する。GPS受信部270は、無線通信部210や外部入出力部260(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部280は、例えば、3軸の加速度センサなどを備え、主制御部200の指示に従って、スマートフォン201の物理的な動きを検出する。スマートフォン201の物理的な動きを検出することにより、スマートフォン201の動く方向や加速度が検出される。係る検出結果は、主制御部200に出力されるものである。
電源部290は、主制御部200の指示に従って、スマートフォン201の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部200は、マイクロプロセッサを備え、記憶部250が記憶する制御プログラムや制御データに従って動作し、スマートフォン201の各部を統括して制御するものである。また、主制御部200は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部250が記憶するアプリケーションソフトウェアに従って主制御部200が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部260を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部200は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部220に表示する等の画像処理機能を備える。画像処理機能とは、主制御部200が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部220に表示する機能のことをいう。
更に、主制御部200は、表示パネル221に対する表示制御と、操作部240、操作パネル222を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部200は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル221の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部200は、操作部240を通じたユーザ操作を検出したり、操作パネル222を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部200は、操作パネル222に対する操作位置が、表示パネル221に重なる重畳部分(表示領域)か、それ以外の表示パネル221に重ならない外縁部分(非表示領域)かを判定し、操作パネル222の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部200は、操作パネル222に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも一つについて軌跡を描く操作を意味する。
カメラ部241は、CMOSやCCDなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部241は、主制御部200の制御により、撮像によって得た画像データを例えばJPEGなどの圧縮した画像データに変換し、記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することができる。図41に示すにスマートフォン201において、カメラ部241は表示入力部220と同じ面に搭載されているが、カメラ部241の搭載位置はこれに限らず、表示入力部220の背面に搭載されてもよいし、或いは、複数のカメラ部241が搭載されてもよい。なお、複数のカメラ部241が搭載されている場合、撮影に供するカメラ部241を切り替えて単独にて撮影したり、或いは、複数のカメラ部241を同時に使用して撮影することもできる。
また、カメラ部241はスマートフォン201の各種機能に利用することができる。例えば、表示パネル221にカメラ部241において取得した画像を表示することや、操作パネル222の操作入力の一つとして、カメラ部241の画像を利用することができる。また、GPS受信部270が位置を検出する際に、カメラ部241からの画像を参照して位置を検出することもできる。更には、カメラ部241からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン201のカメラ部241の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部241からの画像をアプリケーションソフトウェア内において利用することもできる。
その他、静止画又は動画の画像データにGPS受信部270により取得した位置情報、マイクロホン232により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部280により取得した姿勢情報等などを付加して記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することもできる。
上述の画像処理部35(フィルタリング処理部41)は、例えば主制御部200によって実現可能である。
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…デジタルカメラ、11…レンズユニット、12…カメラ本体、14…レンズ、15…絞り、17…光学系操作部、18…レンズユニットコントローラ、19…レンズユニット記憶部、20…レンズユニット入出力部、24…撮像素子、25…本体コントローラ、26…ユーザインターフェース、27…表示部、28…カメラ本体入出力部、29…本体記憶部、30…入出力インターフェース、34…デバイス制御部、35…画像処理部、36…表示制御部、40…前処理部、41…フィルタリング処理部、42…後処理部、43…ゲイン特定部、44…ゲイン候補データ記憶部、45…ゲイン取得部、47…フィルタ適用ブロック、48…フィルタ適用部、49…ゲイン適用部、50…処理データ算出部、51…処理データ取得部、52…加算器、54…繰り返し演算判定部、55…ゲイン供給部、56…フィルタ供給部、60…参照画像取得部、61…参照画像解析部、62…目標周波数特性取得部、63…適用ゲイン算出部、66…周波数解析部、67…目標周波数特性特定部、68…周波数特性記憶部、70…ゲイン適用ブロック、70-1…第1のゲインブロック、70-2…第2のゲインブロック、71…位置座標算出部、72-1…第1のゲイン出力部、72-2…第2のゲイン出力部、73…重み付け係数決定部、74…重み付け調整部、75…重み付け加算部、76…フィルタ取得装置、77…フィルタ算出部、78…平均算出部、79…分散算出部、80…フィルタ特性取得部、81…タップ係数演算部、82…フィルタグループ分類部、92…コンピュータ、93…コンピュータ入出力部、94…コンピュータコントローラ、95…ディスプレイ、96…ネットワーク、97…サーバ、98…サーバ入出力部、99…サーバコントローラ、101…撮像モジュール、110…EDoF光学系、110A…撮影レンズ、111…光学フィルタ、112…撮像素子、114…AD変換部、120…復元処理ブロック、122…黒レベル調整部、123…ホワイトバランスゲイン部、124…ガンマ処理部、125…デモザイク処理部、126…YCrCb変換部、127…Y信号復元処理部、200…主制御部、201…スマートフォン、202…筐体、210…無線通信部、220…表示入力部、221…表示パネル、222…操作パネル、230…通話部、231…スピーカ、232…マイクロホン、240…操作部、241…カメラ部、250…記憶部、251…内部記憶部、252…外部記憶部、260…外部入出力部、270…GPS受信部、280…モーションセンサ部、290…電源部
Claims (35)
- 複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、
前記フィルタリング処理部は、前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められる前記画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理装置。 - 前記画像フィルタ処理の目標とする周波数特性は、光学特性に基づく周波数特性である請求項1に記載の画像処理装置。
- 前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインの候補データを前記画素位置に関連付けたゲインテーブル情報を記憶するゲイン候補データ記憶部と、
前記ゲインテーブル情報を参照し、前記画像フィルタ処理の目標とする周波数特性に応じた前記画素位置に関連付けられている前記候補データを、前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインとして特定するゲイン特定部と、を更に備え、
前記フィルタリング処理部は、前記複数回のフィルタリング処理の各々において、前記ゲイン特定部が特定した前記ゲインを前記フィルタ適用処理データに適用して前記ゲイン適用処理データを取得する請求項1又は2に記載の画像処理装置。 - 前記フィルタリング処理部は、前記原画像データの画素毎に前記複数回のフィルタリング処理を行い、
前記ゲイン特定部は、前記複数回のフィルタリング処理の対象となっている前記原画像データの前記画素位置を示す処理画素情報を取得し、当該処理画素情報が示す前記画素位置に関連付けられている前記候補データを、前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインとして特定する請求項3に記載の画像処理装置。 - 前記ゲインは、前記画像フィルタ処理の目標とする周波数特性に対し、前記複数回のフィルタリング処理の各々の周波数特性に基づいて最小二乗法によって前記画像フィルタ処理の周波数特性をフィッティングすることにより取得される請求項1~4のいずれか一項に記載の画像処理装置。
- 前記最小二乗法では、周波数に基づいて重み付けされる請求項5に記載の画像処理装置。
- 前記最小二乗法では、低周波帯域における重み付けを高周波帯域における重み付けより大きく設定する請求項6に記載の画像処理装置。
- 前記最小二乗法では、前記原画像データを取得する際の撮影条件に応じて、高周波帯域における重み付けを低周波帯域における重み付けより大きく設定する請求項6に記載の画像処理装置。
- 前記最小二乗法における重み付けは、前記原画像データにおける画素位置に応じて定められる請求項6~8のいずれか一項に記載の画像処理装置。
- 前記最小二乗法において、前記原画像データの画像中心から第1の距離以下の画素位置では、前記原画像データの画像中心から前記第1の距離よりも遠い画素位置よりも、高周波帯域おける重み付けが大きい請求項9に記載の画像処理装置。
- 前記最小二乗法において、前記原画像データの画像中心から第2の距離よりも遠い画素位置では、前記原画像データの前記画像中心から前記第2の距離以下の画素位置よりも、低周波帯域おける重み付けが大きい請求項9又は10に記載の画像処理装置。
- 前記フィルタリング処理部は、前記画像フィルタ処理の目標とする周波数特性において前記原画像データに対する前記処理画像データの割合が1よりも小さい周波数では、前記複数回のフィルタリング処理の各々において、前記フィルタリング処理データを前記処理対象データと等しくするフィルタを用いる請求項6~11のいずれか一項に記載の画像処理装置。
- 前記フィルタリング処理部は、前記複数回のフィルタリング処理のうちの少なくともいずれか1つのフィルタリング処理において、撮影により前記原画像データを取得する際に用いられた光学系の特性に応じて定められるフィルタを用いて前記フィルタ適用処理データを取得する請求項1~12のいずれか一項に記載の画像処理装置。
- 前記光学系の特性に応じて定められるフィルタは、前記光学系の点拡がり関数に基づいて定められるフィルタである請求項13に記載の画像処理装置。
- 前記フィルタリング処理部は、前記複数回のフィルタリング処理のうちの少なくともいずれか1つのフィルタリング処理において、撮影により前記原画像データを取得する際に用いられた光学系の特性とは無関係に定められるフィルタを用いて前記フィルタ適用処理データを取得する請求項1~14のいずれか一項に記載の画像処理装置。
- 前記光学系の特性とは無関係に定められるフィルタは輪郭強調フィルタである請求項15に記載の画像処理装置。
- 前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記フィルタリング処理部は、前記第1のフィルタリング処理において取得される前記フィルタリング処理データを、前記第2のフィルタリング処理における前記処理対象データとして用いる請求項1~16のいずれか一項に記載の画像処理装置。 - 前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記フィルタリング処理部は、前記第1のフィルタリング処理及び前記第2のフィルタリング処理では同一データを前記処理対象データとして使用し、前記第1のフィルタリング処理において取得される前記フィルタリング処理データと前記第2のフィルタリング処理において取得される前記フィルタリング処理データとに基づいて前記処理画像データを取得する請求項1~16のいずれか一項に記載の画像処理装置。 - 前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記フィルタリング処理部は、
前記第1のフィルタリング処理の前記処理対象データに対して当該第1のフィルタリング処理用のフィルタを適用し、前記フィルタ適用処理データを取得する第1のフィルタ適用部と、
前記第1のフィルタリング処理の前記フィルタ適用処理データに対して当該第1のフィルタリング処理用のゲインを適用し、前記ゲイン適用処理データを取得する第1のゲイン適用部と、
前記第2のフィルタリング処理の前記処理対象データに対して当該第2のフィルタリング処理用のフィルタを適用し、前記フィルタ適用処理データを取得する第2のフィルタ適用部と、
前記第2のフィルタリング処理の前記フィルタ適用処理データに対して当該第2のフィルタリング処理用のゲインを適用し、前記ゲイン適用処理データを取得する第2のゲイン適用部と、を有する請求項1~16のいずれか一項に記載の画像処理装置。 - 前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記フィルタリング処理部は、前記処理対象データに前記フィルタを適用して前記フィルタ適用処理データを取得するフィルタ適用部と、前記フィルタ適用処理データに前記ゲインを適用して前記ゲイン適用処理データを取得するゲイン適用部と、を有し、
前記フィルタ適用部は、前記第1のフィルタリング処理では当該第1のフィルタリング処理用のフィルタを用いて前記フィルタ適用処理データを取得し、前記第2のフィルタリング処理では当該第2のフィルタリング処理用のフィルタを用いて前記フィルタ適用処理データを取得し、
前記ゲイン適用部は、前記第1のフィルタリング処理では当該第1のフィルタリング処理用のゲインを用いて前記ゲイン適用処理データを取得し、前記第2のフィルタリング処理では当該第2のフィルタリング処理用のゲインを用いて前記ゲイン適用処理データを取得する請求項1~16のいずれか一項に記載の画像処理装置。 - 前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記フィルタリング処理部は、
前記第1のフィルタリング処理では、前記画像フィルタ処理の複数種類の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得し、
前記第2のフィルタリング処理では、前記画像フィルタ処理の前記複数種類の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得する請求項1~16のいずれか一項に記載の画像処理装置。 - 複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、
前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記フィルタリング処理部は、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記第1のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得し、
前記第2のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められる画像処理装置。 - 前記ゲインテーブル情報は、
複数の代表的な画素位置には、特有の前記候補データを関連付けており、
前記複数の代表的な画素位置以外の画素位置には、前記複数の代表的な画素位置のうちの1以上の画素位置に関連付けられている前記候補データを関連付けている請求項3又は4に記載の画像処理装置。 - 前記フィルタリング処理部は、前記処理対象データに複数種類の前記フィルタを適用して複数のフィルタ適用処理データを取得し、
前記ゲインテーブル情報は、前記複数の代表的な画素位置の各々に複数の候補データを関連付けており、当該複数の代表的な画素位置の各々に関連付けられた複数の候補データは、それぞれ前記複数のフィルタ適用処理データに適用される前記ゲインとして前記ゲイン特定部により特定される請求項23に記載の画像処理装置。 - 前記複数種類のフィルタは、前記複数の代表的な画素位置に応じて定められる複数の目標とする周波数特性の平均に応じて定められる基準フィルタと、当該複数の目標とする周波数特性の分散に応じて定められる分散フィルタとを含む請求項24に記載の画像処理装置。
- 前記フィルタリング処理部は、
前記処理対象データに前記複数種類のフィルタを適用して前記複数のフィルタ適用処理データを取得するフィルタ適用ブロックと、
前記複数のフィルタ適用処理データに前記ゲインを適用して前記ゲイン適用処理データを取得し、当該ゲイン適用処理データから前記フィルタリング処理データを取得するゲイン適用ブロックと、
前記処理画像データを取得する処理データ取得部と、を含み、
前記ゲイン適用ブロックは複数のゲインブロックを含み、前記フィルタ適用ブロックと、前記複数のゲインブロックの各々とによって、前記複数回のフィルタリング処理が行われ、
当該複数のゲインブロックの各々は、前記複数のフィルタ適用処理データに前記ゲインを適用して複数のゲイン適用処理データを取得し、当該複数のゲイン適用処理データから複数のフィルタリング処理データを取得し、当該複数のフィルタリング処理データからブロック処理データを取得し、
前記処理データ取得部は、前記複数のゲインブロックにおいて取得される前記ブロック処理データに基づいて前記処理画像データを取得する請求項24又は25に記載の画像処理装置。 - 前記複数のゲインブロックは、少なくとも第1のゲインブロック及び第2のゲインブロックを含み、
前記第1のゲインブロック及び前記第2のゲインブロックの各々は、前記複数のフィルタ適用処理データの各々に前記ゲインを適用し、
前記処理データ取得部は、前記第1のゲインブロックにおいて取得される前記ブロック処理データと、前記第2のゲインブロックにおいて取得される前記ブロック処理データとに基づいて、前記処理画像データを取得し、
前記フィルタリング処理部が前記複数の代表的な画素位置以外の画素位置について前記複数回のフィルタリング処理を行う場合、
前記ゲイン特定部は、前記複数の代表的な画素位置以外の画素位置に関連付けられている前記候補データのうち、第1の代表的な画素位置に関連付けられている前記候補データを前記第1のゲインブロックによって使用される前記ゲインとして特定し、第2の代表的な画素位置に関連付けられている前記候補データを前記第2のゲインブロックによって使用される前記ゲインとして特定する請求項26に記載の画像処理装置。 - 前記処理データ取得部は、前記複数のゲインブロックにおいて取得される前記ブロック処理データの重み付け演算により前記処理画像データを取得する請求項26又は27に記載の画像処理装置。
- 前記処理データ取得部は、前記画素位置に基づいて、前記複数のゲインブロックにおいて取得される前記ブロック処理データの各々に割り当てられる重み付け係数を決定し、当該重み付け係数を前記ブロック処理データに適用する前記重み付け演算により前記処理画像データを取得する請求項28に記載の画像処理装置。
- 複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得する画像処理方法であって、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められる前記画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理方法。 - 複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得する画像処理方法であって、
前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記第1のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得し、
前記第2のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められる画像処理方法。 - コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められる前記画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラム。 - コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記第1のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記第2のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められるプログラム。 - コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められる前記画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことによって処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理は、少なくとも第1のフィルタリング処理及び第2のフィルタリング処理を含み、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記第1のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記第2のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データにおける画素位置に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データにおける画素位置に応じて定められるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201580052860.2A CN107079094B (zh) | 2014-09-30 | 2015-08-28 | 图像处理装置、图像处理方法、及记录介质 |
JP2016551651A JP6067950B2 (ja) | 2014-09-30 | 2015-08-28 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US15/462,454 US9805452B2 (en) | 2014-09-30 | 2017-03-17 | Image processing apparatus, image processing method, program, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-201085 | 2014-09-30 | ||
JP2014201085 | 2014-09-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/462,454 Continuation US9805452B2 (en) | 2014-09-30 | 2017-03-17 | Image processing apparatus, image processing method, program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016052027A1 true WO2016052027A1 (ja) | 2016-04-07 |
Family
ID=55630073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/074316 WO2016052027A1 (ja) | 2014-09-30 | 2015-08-28 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9805452B2 (ja) |
JP (1) | JP6067950B2 (ja) |
CN (1) | CN107079094B (ja) |
WO (1) | WO2016052027A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110249620A (zh) * | 2017-02-17 | 2019-09-17 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9696265B2 (en) * | 2014-11-04 | 2017-07-04 | Exnodes Inc. | Computational wafer inspection filter design |
US10506152B2 (en) | 2015-04-07 | 2019-12-10 | Sony Corporation | Edge detection signal processing |
KR102567186B1 (ko) * | 2016-04-21 | 2023-08-16 | 가부시키가이샤 크리프톤 | 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법 |
US11012605B2 (en) * | 2016-11-08 | 2021-05-18 | Sony Corporation | Image processing device, image processing method, and program for generating a focused image |
KR102604362B1 (ko) * | 2018-09-28 | 2023-11-21 | 엘지디스플레이 주식회사 | 센서 패키지 모듈 및 이를 포함하는 유기발광 표시장치 |
KR102577467B1 (ko) * | 2018-11-02 | 2023-09-12 | 엘지디스플레이 주식회사 | 표시장치와 그 휘도 제어 방법 |
CN110084814B (zh) * | 2019-05-13 | 2021-11-02 | 苏州微创关节医疗科技有限公司 | 表面涂层测量方法、装置、计算机设备和存储介质 |
CN114494063B (zh) * | 2022-01-25 | 2023-04-07 | 电子科技大学 | 一种基于生物视觉机制的夜间交通图像增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008177801A (ja) * | 2007-01-18 | 2008-07-31 | Sony Corp | 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体 |
JP2012252646A (ja) * | 2011-06-06 | 2012-12-20 | Kyocera Corp | 画像処理システムおよび画像処理方法 |
JP2013038562A (ja) * | 2011-08-08 | 2013-02-21 | Canon Inc | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0922460A (ja) * | 1995-02-09 | 1997-01-21 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
US6728003B1 (en) * | 2000-04-04 | 2004-04-27 | Eastman Kodak Company | Method of compensating for MTF in a digital image channel |
US7373011B2 (en) * | 2004-10-07 | 2008-05-13 | Polaroid Corporation | Density-dependent sharpening |
US7683950B2 (en) * | 2005-04-26 | 2010-03-23 | Eastman Kodak Company | Method and apparatus for correcting a channel dependent color aberration in a digital image |
JP4431607B2 (ja) * | 2007-11-08 | 2010-03-17 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
JP2009206822A (ja) | 2008-02-27 | 2009-09-10 | Kyocera Corp | 撮像装置、撮像方法、および電子機器 |
JP5213688B2 (ja) | 2008-12-19 | 2013-06-19 | 三洋電機株式会社 | 撮像装置 |
EP2661873A1 (en) * | 2011-01-07 | 2013-11-13 | TP Vision Holding B.V. | Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device |
US8907973B2 (en) * | 2012-10-22 | 2014-12-09 | Stmicroelectronics International N.V. | Content adaptive image restoration, scaling and enhancement for high definition display |
JP6335614B2 (ja) * | 2014-04-25 | 2018-05-30 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
-
2015
- 2015-08-28 WO PCT/JP2015/074316 patent/WO2016052027A1/ja active Application Filing
- 2015-08-28 JP JP2016551651A patent/JP6067950B2/ja active Active
- 2015-08-28 CN CN201580052860.2A patent/CN107079094B/zh active Active
-
2017
- 2017-03-17 US US15/462,454 patent/US9805452B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008177801A (ja) * | 2007-01-18 | 2008-07-31 | Sony Corp | 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体 |
JP2012252646A (ja) * | 2011-06-06 | 2012-12-20 | Kyocera Corp | 画像処理システムおよび画像処理方法 |
JP2013038562A (ja) * | 2011-08-08 | 2013-02-21 | Canon Inc | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110249620A (zh) * | 2017-02-17 | 2019-09-17 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
CN110249620B (zh) * | 2017-02-17 | 2021-04-23 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
Also Published As
Publication number | Publication date |
---|---|
US9805452B2 (en) | 2017-10-31 |
CN107079094A (zh) | 2017-08-18 |
JP6067950B2 (ja) | 2017-01-25 |
CN107079094B (zh) | 2018-07-13 |
US20170193643A1 (en) | 2017-07-06 |
JPWO2016052027A1 (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6067950B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP6067949B2 (ja) | 画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体 | |
JP5779724B2 (ja) | 画像処理装置、撮像装置、コンピュータ及びプログラム | |
US9866750B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
US9906732B2 (en) | Image processing device, image capture device, image processing method, and program | |
WO2014125659A1 (ja) | 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム | |
JP6042043B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
US9854187B2 (en) | Image processing apparatus, filter acquisition apparatus, image processing method, filter acquisition method, program, and recording medium | |
US9619871B2 (en) | Image processing device, imaging apparatus, image processing method, and program | |
WO2014136323A1 (ja) | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 | |
US9892495B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
JP5870231B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US9633418B2 (en) | Image processing device, imaging apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15846017 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016551651 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15846017 Country of ref document: EP Kind code of ref document: A1 |