CN104704806B - 图像处理装置、摄像装置以及图像处理方法 - Google Patents
图像处理装置、摄像装置以及图像处理方法 Download PDFInfo
- Publication number
- CN104704806B CN104704806B CN201380051298.2A CN201380051298A CN104704806B CN 104704806 B CN104704806 B CN 104704806B CN 201380051298 A CN201380051298 A CN 201380051298A CN 104704806 B CN104704806 B CN 104704806B
- Authority
- CN
- China
- Prior art keywords
- data
- restoration disposal
- image
- original digital
- digital image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 388
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000010355 oscillation Effects 0.000 claims abstract description 255
- 238000012937 correction Methods 0.000 claims abstract description 207
- 238000010191 image analysis Methods 0.000 claims abstract description 72
- 238000011084 recovery Methods 0.000 claims description 133
- 230000003287 optical effect Effects 0.000 claims description 124
- 229920006395 saturated elastomer Polymers 0.000 claims description 50
- 238000009738 saturating Methods 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 abstract description 26
- 238000000034 method Methods 0.000 description 68
- 230000008569 process Effects 0.000 description 61
- 230000006870 function Effects 0.000 description 56
- 241000219739 Lens Species 0.000 description 50
- 238000004422 calculation algorithm Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 33
- 238000003860 storage Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 230000004075 alteration Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 241000894007 species Species 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 241001269238 Data Species 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 244000131099 Macrotyloma uniflorum Species 0.000 description 1
- 235000012549 Macrotyloma uniflorum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000002858 crystal cell Anatomy 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
针对灰度校正(伽玛校正处理)后的原图像数据进行点像复原处理部36的复原处理。在减幅振荡判定部38中判定“包括解析原图像数据而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个的图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件”。根据减幅振荡判定部38的判定结果来控制图像处理，例如，在恢复图像数据中减幅振荡的产生可能性低的情况下进行复原处理，在减幅振荡的产生可能性高的情况下跳过复原处理。这样进行与被摄体像的特性(特征)相应的点像复原处理，从而能够降低恢复图像中的减幅振荡等画质劣化。
Description
技术领域
本发明涉及一种基于点扩散函数的复原处理的图像处理装置、摄像装置、图像处理方法、程序以及记录介质。
背景技术
在经由摄像光学***而被摄影的被摄体像中，由于由摄像光学***引起的衍射、像差等的影响，有时能够看到点被摄体具有微小的扩散的所谓点扩散现象。表示针对光学***的点光源的响应的函数被称为点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。
由于该点扩散现象而画质劣化了的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。点像复原处理是预先求出由透镜(光学***)的像差等引起的劣化特性(点像特性)，通过采用与该点像特性相应的复原滤波器(恢复滤波器)的图像处理来消除摄影图像的点扩散的处理。
关于该点像复原处理，提出了各种方法，例如专利文献1公开了能够关于临时进行了恢复处理的图像，之后变更恢复处理的强度的图像处理装置。在该图像处理装置中，通过将校正滤波器应用于摄影图像来生成校正图像，生成摄影图像与校正图像的差分图像，保存摄影图像、校正图像以及差分图像。
另外专利文献2公开了针对进行了非线性校正的图像采用盲反卷积来进行图像恢复的图像处理装置。该图像处理装置具备校正部和图像恢复部，所述校正部针对实施了非线性的灰度校正的摄影图像进行使非线性的灰度校正降低的校正，所述图像恢复部针对降低了灰度校正的摄影图像而应用盲反卷积来进行图像恢复。
另外专利文献3公开了使基于图像恢复处理的图像数据的过恢复降低的图像处理装置。在该图像处理装置中，在伽玛(gamma)处理前进行针对RGB形式的彩色图像数据的图像恢复处理，由伽玛校正所导致的像素信号值的放大以及衰减的差异被吸收，计算出变化量的极限值，以使得像素信号值的变化量的最大值在伽玛校正后也为恒定。由此，“发生通过饱和像素实际得到的图像数据的劣化状态与由图像恢复滤波器假定为恢复对象的图像数据的劣化状态不一致的事态”、“在边缘部分产生下冲、过冲这样的画质劣化，特别是在低亮度部的下冲通过图像恢复处理后的伽玛处理被放大”等技术上的课题得以解决。
另外，光学***的点扩散函数在焦点深度被扩大了的图像的复原技术也被使用。例如专利文献4公开了短时间且高精度地执行图像复原的摄像模块。在该摄影模块中，通过对去马赛克算法处理(同步处理)后的亮度信号实施复原处理，不需要分RGB地具有复原处理的参数，复原处理高速化。另外，将靠近的像素彼此整合成预定的单位，通过对该单位应用共同的复原处理参数来进行反卷积处理，实现了复原处理精度的提高。
现有技术文献
专利文献
专利文献1：日本特开2011-151627号公报
专利文献2：日本特开2011-059813号公报
专利文献3：日本特开2013-020610号公报
专利文献4：日本特开2012-049759号公报
发明内容
发明所要解决的课题
上述点像复原处理是将由于光学***的点扩散现象(摄像光学特性)而模糊了的图像复原成原来的清晰的图像的处理，是通过针对画质劣化了的原图像数据而应用基于点扩散函数的复原滤波器，来获取消除了画质劣化的恢复图像的技术。
因此，为了得到忠实地重现了被摄体像的恢复图像，需要用于点像复原处理的“复原滤波器的特性”与“原图像数据的画质劣化”适当地相匹配。
即，如果设计能够准确地把握由于光学***而导致的画质劣化，严格地消除这样的画质劣化的复原滤波器，并将由光学***所导致的画质劣化(点扩散现象)准确地反映到原图像数据，则在原理上，能够从“画质劣化了的摄影图像”得到“忠实地重现了被摄体像的高画质的图像”。
然而，根据被摄体像、摄影设备的特性，有时“复原滤波器的特性”与“原图像数据的画质劣化”没有适当地相匹配。
例如，关于原图像数据，根据摄像元件的摄像能力而画质变动，在被摄体像非常明亮的情况下，有时在摄像元件中产生像素饱和现象。在产生了这样的像素饱和的情况下，该饱和像素数据(饱和像素值)被裁剪等，因此，所得到的原图像数据不一定忠实地重现被摄体像。
这样，成为复原处理的对象的原图像数据不仅受到源于光学***的劣化特性的影响，还受到源于摄像元件的劣化特性的影响，特别是在被摄体像的对比度大的情况下，有时产生意想不到的画质劣化。
因此，即使设计了能够充分地解析光学***的特性而抑制点扩散现象的影响的复原滤波器，由于被摄体像，“复原滤波器的特性”与“原图像数据的画质劣化”也有时没有适当地相匹配。
如果在“复原滤波器的特性”与“原图像数据的画质劣化”没有适当地相匹配的条件下进行复原处理，则没有充分地除掉画质劣化，得不到优质的恢复图像，在某些情况下，助长了画质劣化，减幅振荡等在恢复图像中变得显著。
在上述专利文献1～4中，完全没有论及这些课题，没有以“关注于利用了点扩散函数的复原处理中的图像韧性，根据图像的特性(特征)而使处理变化”的观点来提出方案等。
本发明是鉴于上述情况而完成的，其目的在于，提供一种通过进行与被摄体像的特性相应的点像复原处理，来抑制恢复图像中的减幅振荡等画质劣化的技术。
用于解决课题的方案
本发明的一种方式涉及一种图像处理装置，具备：图像信息获取部，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个；复原处理部，针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；减幅振荡判定部，判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件；以及处理控制部，根据减幅振荡判定部的判定结果，控制图像处理，针对灰度校正后的原图像数据进行复原处理。
根据本方式，针对灰度校正后的原图像数据来进行基于光学***的点扩散函数的复原处理，根据图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件来控制图像处理。因此，能够根据恢复图像数据中的减幅振荡的产生状况来灵活地控制图像处理，能够有效地防止减幅振荡的产生/增强。通过这样控制复原处理，能够同时实现“提供给用户的图像(图像数据)的解像感的提高”与“由于复原处理而在图像(图像数据)中可能产生的减幅振荡的抑制”。
本发明的其他方式涉及一种图像处理装置，具备：图像信息获取部，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个；复原处理部，针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；灰度校正部，进行原图像数据的灰度校正；减幅振荡判定部，判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件；以及处理控制部，根据减幅振荡判定部的判定结果，控制复原处理，处理控制部根据减幅振荡判定部的判定结果，决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。
根据本方式，根据图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件，来决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个来进行复原处理。如果在复原处理后进行灰度校正，有可能通过灰度校正而复原处理的副作用(减幅振荡等)被增强。因此，在图像信息符合产生减幅振荡的条件的情况下，通过针对灰度校正后的原图像数据而进行复原处理，能够防止这样的复原处理的副作用(减幅振荡等)通过灰度校正而被增强。
优选的是，灰度校正是基于对数化处理的灰度校正，复原滤波器由与对数化处理前的图像数据对应的滤波器系数构成。
根据本方式，针对对数化处理后的原图像数据，特地采用由与对数化处理前的图像数据对应的滤波器系数构成的复原滤波器来进行复原处理，从而能够提高针对由于复原处理而产生的减幅振荡所导致的画质劣化的韧性，并且使减幅振荡的影响在图像(图像数据)上变得不显著。
优选的是，灰度校正是基于对数化处理的灰度校正，复原滤波器由与对数化处理后的图像数据对应的滤波器系数构成。
根据本方式，针对对数化处理后的原图像数据，采用由与对数化处理后的图像数据对应的滤波器系数构成的复原滤波器来进行复原处理，从而能够提高针对由于复原处理而产生的减幅振荡所导致的画质劣化的韧性，并且使减幅振荡的影响图像上变得不显著，另外，能够提高复原精度。
优选的是，复原处理是仅复原原图像数据的振幅分量而得到恢复图像数据的处理。
根据本方式，即使在复原处理不伴随相位分量的复原而减幅振荡容易产生的情况下，针对灰度校正后的原图像数据而进行复原处理，能够实现与是否产生减幅振荡的状况相应的灵活的图像处理控制。
优选的是，复原处理是复原原图像数据的振幅分量以及相位分量而得到恢复图像数据的处理。
根据本方式，即使在复原处理伴随相位分量的复原而能够降低减幅振荡的情况下，针对灰度校正后的原图像数据而进行复原处理，能够进一步地提高图像韧性(图像非破裂性)，能够实现与是否产生减幅振荡的状况相应的灵活的图像处理控制。
优选的是，图像处理装置还具备复原处理信息获取部，该复原处理信息获取部获取复原处理信息，该复原处理信息关于复原处理是仅复原原图像数据的振幅分量而得到恢复图像数据的处理，还是复原原图像数据的振幅分量以及相位分量而得到恢复图像数据的处理，处理控制部除减幅振荡判定部的判定结果之外，还根据复原处理信息获取部所获取的复原处理信息，决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。
根据本方式，根据减幅振荡判定部的判定结果以及复原处理信息，决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。因此，例如考虑是否伴随相位分量的复原，能够决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。
优选的是，图像信息获取部获取包括图像解析数据的图像信息，图像解析数据表示原图像数据中是否包括像素值饱和了的像素数据或者具有比阈值大的像素值的像素数据。
根据本方式，根据原图像数据中是否包括像素值饱和了的像素数据或者具有比阈值大的像素值的像素数据，判定是否为产生减幅振荡的条件。
优选的是，图像获取条件数据包括在获取原图像数据的摄影中使用的光学***的信息。
根据本方式，根据可能对减幅振荡的产生造成影响的“光学***的信息”，判定是否为产生减幅振荡的条件。
优选的是，光学***的信息包括在获取原图像数据的摄影中使用的光学***的透镜种类、光圈值、变焦值中的至少任一个。
根据本方式，根据可能对减幅振荡的产生造成影响的“光学***的透镜种类、光圈值、变焦值中的至少任一个”，判定是否为产生减幅振荡的条件。
优选的是，处理控制部根据减幅振荡判定部的判定结果，决定是否执行复原处理部的复原处理。
根据本方式，在减幅振荡判定部的判定结果表示“图像信息符合产生减幅振荡的条件”的情况下，不执行复原处理，从而能够防止将产生了减幅振荡等画质劣化的图像(图像数据)提供给用户。
优选的是，处理控制部根据减幅振荡判定部的判定结果，决定在复原处理中采用的复原滤波器。
根据本方式，能够在复原处理中使用与减幅振荡判定部的判定结果相应的复原滤波器，在表示“图像信息符合产生减幅振荡的条件”的情况下，通过使用防止了减幅振荡的复原滤波器，能够防止将产生了减幅振荡等画质劣化的图像(图像数据)提供给用户。
优选的是，图像处理装置具备进行原图像数据的灰度校正的灰度校正部。另外，优选的是，处理控制部根据减幅振荡判定部的判定结果，控制灰度校正部的灰度校正。
根据本方式，能够根据图像信息是否符合产生减幅振荡的条件来控制灰度校正，能够防止由于复原处理而产生的减幅振荡等副作用通过灰度校正而被过度增强。
优选的是，原图像数据包括亮度数据，复原处理部针对原图像数据的亮度数据进行复原处理。
优选的是，原图像数据包括颜色数据，复原处理部针对原图像数据的颜色数据进行复原处理。
优选的是，处理控制部根据减幅振荡判定部的判定结果，决定针对原图像数据的亮度数据以及颜色数据中的哪一个进行复原处理，复原处理部针对原图像数据的亮度数据以及颜色数据中的由处理控制部决定的数据进行复原处理。
根据本方式，根据图像信息是否符合产生减幅振荡的条件，控制针对原图像数据的亮度数据以及颜色数据中的哪一个进行复原处理。因此，例如，在图像信息符合产生减幅振荡的条件的情况下，从防止产生不需要的着色等不良状况的观点来看，优选针对原图像数据的亮度数据进行复原处理。另外，在图像信息不符合产生减幅振荡的条件的情况下，从使高精度的颜色重现性优先的观点来看，优选针对原图像数据的颜色数据而进行复原处理。
优选的是，光学***具有对相位进行调制而使视野深度扩大的透镜部。
根据本方式，关于经由所谓的EDoF(Extended Depth of Field(Focus))光学***而得到的原图像数据，也能够根据图像信息是否符合产生减幅振荡的条件，来控制图像处理/复原处理。此外，对透镜部的相位进行调制的方法(光学的相位调制单元)没有特别的限定，还能够在透镜之间设置相位调制部，或者，使透镜自身(例如透镜的入射面/输出面)具有相位调制功能。
优选的是，处理控制部针对每个原图像数据，控制图像处理或者复原处理。
优选的是，处理控制部针对构成原图像数据的每个像素数据，控制图像处理或者复原处理。
图像处理或者复原处理既可以针对每个原图像数据来控制，也可以针对每个像素数据来控制。在针对每个原图像数据来控制图像处理或者复原处理的情况下，能够简化处理，在针对每个像素数据来控制图像处理或者复原处理的情况下，能够仅在图像中的必要位置应用处理。
本发明的其他方式涉及一种摄像装置，具备：通过采用光学***的摄影而输出原图像数据的摄像元件和上述图像处理装置。
本发明的其他方式涉及一种图像处理方法，包括：图像信息获取步骤，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个；复原处理步骤，针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；以及减幅振荡判定步骤，判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件，根据减幅振荡判定步骤的判定结果，控制图像处理，针对灰度校正后的原图像数据进行复原处理。
本发明的其他方式涉及一种图像处理方法，包括：图像信息获取步骤，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个；复原处理步骤，针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；灰度校正步骤，进行原图像数据的灰度校正；以及减幅振荡判定步骤，判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件，根据减幅振荡判定步骤的判定结果，控制复原处理，根据减幅振荡判定步骤的判定结果，决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。
本发明的其他方式涉及一种程序，用于使计算机执行以下工序：获取图像信息的工序，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个；针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据的工序；以及判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件的工序，根据图像信息是否符合产生减幅振荡的条件的判定结果，控制图像处理，针对灰度校正后的原图像数据进行复原处理。
本发明的其他方式涉及一种程序，用于使计算机执行以下工序：获取图像信息的工序，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示原图像数据的获取条件的图像获取条件数据中的至少任一个；针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据的工序；进行原图像数据的灰度校正的工序；以及判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件的工序，根据图像信息是否符合产生减幅振荡的条件的判定结果，控制复原处理，根据图像信息是否符合产生减幅振荡的条件的判定结果，决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。
本发明的其他方式涉及一种非暂时性记录介质，记录了上述方式中的程序的计算机可读代码。作为这样的记录介质，能够采用CD(Compact Disk)、DVD(Digital VersatileDisk)、HD(Hard Disk)、SSD(Solid State Drive)、USB存储器等各种光磁记录介质、半导体记录介质。
发明效果
根据本发明的一种方式，根据图像信息(图像解析数据以及/或者图像获取条件数据)是否符合在恢复图像数据中产生减幅振荡的条件来控制图像处理。因此，能够进行与被摄体像的特性相应的复原处理，能够抑制恢复图像中的画质劣化。
根据本发明的其他方式，能够根据这样的图像信息来控制复原处理自身，通过进行与图像信息相应的复原处理，能够有效地除掉恢复图像中的画质劣化。
附图说明
图1是示出与计算机连接的数码相机的概要的框图。
图2是示出相机主体控制器的功能结构例的框图。
图3是示出从图像摄影到点像复原处理的概要的图。
图4是示出点像复原处理的一例的概要的框图。
图5是示出在进行理想的点像复原处理(无像素值的饱和、无裁剪)的情况下的、被摄体像中的边缘部分的对比度变化的一例的图，图5(a)示出被摄体像原来具有的对比度，图5(b)示出点像复原处理前的原图像数据中的对比度，图5(c)示出点像复原处理后的恢复图像数据中的对比度。
图6是示出实际的点像复原处理(有像素值的饱和、有裁剪)中的、被摄体像中的边缘部分的对比度变化的一例的图，图6(a)示出被摄体像原来具有的对比度，图6(b)示出点像复原处理前的原图像数据中的对比度，图6(c)示出点像复原处理后的恢复图像数据中的对比度。
图7A是例示图像处理部(相机主体控制器)中的各种图像处理流程的框图。
图7B是例示图像处理部(相机主体控制器)中的各种图像处理流程的其他框图。
图7C是例示图像处理部(相机主体控制器)中的各种图像处理流程的其他框图。
图7D是例示图像处理部(相机主体控制器)中的各种图像处理流程的其他框图。
图8是示出针对点像复原处理的“灰度校正处理(伽玛校正处理)”以及“颜色数据/亮度数据”的关联的图。
图9是用于说明基于点像复原处理的过冲的产生机制的图。
图10是示出基于伽玛处理(对数化处理)的处理前数据与处理后数据之间的关系的一例的图。
图11是示出第一实施方式的图像处理块的图。
图12是示出基于图11所示的图像处理块的点像复原处理流程的图。
图13是示出第一实施方式的一变形例的图像处理块的图。
图14是示出第一实施方式的其他变形例的图像处理块的图。
图15是示出用于说明针对每个像素数据而判定有无点像复原处理的例子的图像例(原图像数据)的图，示出根据核心(Km、Kn)内的关注像素及其周边像素的图像解析数据(图像信息)来进行判定的例子。
图16是示出第二实施方式的点像复原处理流程的一例的图。
图17是示出第三实施方式的图像处理块的一例的图。
图18A是例示复原滤波器的“空间频率-振幅”的关系的图形，示出通常的点像复原处理中采用的滤波器(滤波器A)的特性的一例。
图18B是例示复原滤波器的“空间频率-振幅”的关系的图形，示出减幅振荡应对复原滤波器(滤波器B)的特性的一例。
图19是示出基于图17所示的图像处理块的点像复原处理流程的图。
图20是示出第四实施方式的图像处理块的一例的图。
图21是示出基于图20所示的图像处理块的点像复原处理流程的图。
图22是示出第四实施方式的图像处理块的一变形例的图。
图23是示出第五实施方式的图像处理块的一例的图。
图24是示出基于图23所示的图像处理块的点像复原处理流程的图。
图25是示出具备EDoF光学***的摄像模块的一种方式的框图。
图26是示出EDoF光学***的一例的图。
图27是示出基于图25所示的复原处理块的复原处理流程的一例的图。
图28是示出经由EDoF光学***而获取到的图像的复原例的图，图28(a)示出复原处理前的模糊的图像，图28(b)示出复原处理后的消除了模糊的图像(点像)。
图29是示出智能手机的外观图。
图30是示出图29所示的智能手机的结构的框图。
具体实施方式
参照附图，说明本发明的实施方式。下面的说明中，作为一例，对将本发明应用于能够与计算机(PC：个人计算机)连接的数码相机(摄像装置)的例子进行说明。
图1是示出与计算机连接的数码相机的概要的框图。
数码相机10具备可更换的镜头单元12和包括摄像元件26的相机主体14，经由镜头单元12的镜头单元输入输出部22和相机主体14的相机主体输入输出部30，将镜头单元12与相机主体14电连接。
镜头单元12具备透镜16、光圈17等光学***以及控制该光学***的光学***操作部18，光学***操作部18包括与镜头单元输入输出部22连接的镜头单元控制器20以及操作光学***的致动器(省略图示)。镜头单元控制器20根据经由镜头单元输入输出部22而从相机主体14送来的控制信号，经由致动器而控制光学***，例如，进行利用透镜移动的聚焦控制、变焦控制、光圈17的光圈量控制等。
相机主体14的摄像元件26具有聚光用微透镜、RGB等彩色滤光片以及图像传感器(光电二极管；CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(Charge Coupled Device，电荷耦合器件)等)，将经由镜头单元12的光学***(透镜16、光圈17等)而照射的被摄体像的光转换成电信号，并将图像信号(原图像数据)送到相机主体控制器28。
这样，本例的摄像元件26通过采用光学***的被摄体像的摄影来输出原图像数据，该原图像数据被发送相机主体控制器28的图像处理装置。
相机主体控制器28集中地控制相机主体14，如图2所示，具有设备控制部34与图像处理部(图像处理装置)35。设备控制部34例如控制来自摄像元件26的图像信号(图像数据)的输出，或者，生成用于控制镜头单元12的控制信号并经由相机主体输入输出部30而发送到镜头单元12(镜头单元控制器20)，或者，向经由输入输出接口32而连接的外部设备(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。另外，设备控制部34适当控制未图示的显示部(EVF：Electronic View Finder，背面液晶显示部)等数码相机10所具备的各种设备。
另一方面，图像处理部35能够针对来自摄像元件26的图像信号，根据需要进行任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克算法(同时化)处理、像素插值处理，颜色校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、伽马变换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理以及图像压缩处理等各种图像处理。此外，本例的图像处理部35包括对图像信号(原图像数据)实施所谓的点像复原处理的点像复原处理部36。关于点像复原处理的详情，将在后面叙述。
如图1所示，在相机主体控制器28中进行了图像处理的图像数据被送到与输入输出接口32连接的计算机60等。对从数码相机10(相机主体控制器28)送到计算机60等的图像数据的格式没有特别的限定，可以设为RAW、JPEG、TIFF等任意的格式。因此，相机主体控制器28也可以如所谓的Exif(Exchangeable Image File Format，可交换图像文件格式)那样，将标头信息(摄影信息(摄影日期时间、机型、像素数量、光圈值等)等)、主图像数据以及缩略图图像数据等多个关联数据相互对应地构成为一个图像文件，并将该图像文件发送到计算机60。
计算机60经由相机主体14的输入输出接口32以及计算机输入输出部62而与数码相机10连接，接收从相机主体14送来的图像数据等数据。计算机控制器64集中地控制计算机60，对来自数码相机10的图像数据进行图像处理，或者，进行与经由因特网70等网络线路而与计算机输入输出部62连接的服务器80等的通信控制。计算机60具有显示器66，根据需要，将计算机控制器64中的处理内容等显示于显示器66。用户能够确认显示器66的显示，同时通过操作键盘等输入单元(省略图示)来对计算机控制器64输入数据、指令，控制计算机60，或者，控制与计算机60连接的设备(数码相机10、服务器80)。
服务器80具有服务器输入输出部82以及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备的收发连接部，经由因特网70等网络线路而与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协作，根据需要，在与计算机控制器64之间进行数据的收发，将数据下载到计算机60，或者，进行运算处理并将该运算结果发送到计算机60。
此外，各控制器(镜头单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具备控制处理所需的电路，例如具备运算处理电路(CPU等)、存储器等。另外，数码相机10、计算机60以及服务器80之间的通信既可以是有线的，也可以是无线的。另外，既可以一体地构成计算机60以及服务器80，或者也可以省略计算机60以及/或者服务器80。另外，也可以使数码相机10具有与服务器80通信的功能，使得在数码相机10与服务器80之间直接地进行数据的收发。
此外，本发明的一实施方式的程序能够记录到在图像处理部35、计算机60、或者后述的智能手机201的存储部250中具备的各种光磁记录介质、半导体记录介质那样的非暂时性记录介质中来使用。
接下来，说明经由摄像元件26而得到的被摄体像的摄像数据(图像数据)的点像复原处理。
在本例中，以在相机主体14(相机主体控制器28)中实施点像复原处理为例来进行说明，但也可以在其他控制器(镜头单元控制器20、计算机控制器64、服务器控制器84等)中实施点像复原处理的全部或者一部分。
点像复原处理是针对通过采用光学***(透镜16、光圈17等)的摄影而从摄像元件26获取的原图像数据，进行采用基于光学***的点扩散函数的复原滤波器的复原处理来获取恢复图像数据的处理。
图3是示出从图像摄影到点像复原处理的概要的图。在将点像作为被摄体来进行摄影的情况下，被摄体像经由光学***(透镜16、光圈17等)而被摄像元件26(图像传感器)接收，从摄像元件26输出原图像数据Do。该原图像数据Do由于源于光学***的特性的点扩散现象，而变成原来的被摄体像模糊了的状态的图像数据。
为了从该模糊图像的原图像数据Do复原原来的被摄体像(点像)，通过针对原图像数据Do而进行采用复原滤波器F的点像复原处理P10，得到表示更接近于原来的被摄体像(点像)的像(恢复图像)的恢复图像数据Dr。
点像复原处理P10中采用的复原滤波器F根据与获取原图像数据Do时的摄影条件相应的光学***的点像信息(点扩散函数)，通过复原滤波器计算算法P20来得到。光学***的点像信息(点扩散函数)不仅根据透镜16的种类而变动，还可能根据光圈量、焦距、变焦量、像高、记录像素数量、像素间距等各种摄影条件而变动，因此，在计算复原滤波器F时，获取这些摄影条件。
图4是示出点像复原处理的一例的概要的框图。
如上所述，点像复原处理P10是通过采用复原滤波器F的滤波处理来根据原图像数据Do制作恢复图像数据Dr的处理，例如由N×M(N和M为2以上的整数)的抽头构成的实际空间上的复原滤波器F被应用于处理对象的图像数据。由此，通过对与被分配给各抽头的滤波器系数对应的像素数据(原图像数据Do的处理对象像素数据以及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算出点像复原处理后的像素数据(恢复图像数据Dr)。通过依次替换对象像素，将采用该复原滤波器F的加权平均处理应用于构成图像数据的所有像素数据，能够进行点像复原处理。
此外，由N×M的抽头构成的实际空间上的复原滤波器能够通过傅立叶逆变换来导出频率空间上的复原滤波器。因此，通过确定成为基础的频率空间上的复原滤波器，并指定实际空间上的复原滤波器的构成抽头数，能够适当计算实际空间上的复原滤波器。
接下来，说明由于点像复原处理而可能产生的画质上的不利影响。
图5以及图6是示出被摄体像中的边缘部分(图像分界部分)的画质变化的一例的图，图5示出进行理想的点像复原处理(无像素值的饱和、无裁剪)的情况，图6示出实际的点像复原处理(有像素值的饱和、有裁剪)的一例。
图5(a)以及图6(a)示出被摄体像原来具有的对比度，图5(b)以及图6(b)示出点像复原处理前的原图像数据Do中的对比度，图5(c)以及图6(c)示出点像复原处理后的恢复图像数据Dr中的对比度。此外，图5以及图6的横向(X方向)表示被摄体像中的位置(一维位置)，纵向(Y方向)表示对比度的强弱。
被摄体像中的“具有对比度高低差的边缘部分”(参照图5(a)、图6(a))如上所述，由于摄影时的光学***的点扩散现象，而在摄影图像(原图像数据Do)中产生图像模糊(参照图5(b)、图6(b))，通过点像复原处理而得到恢复图像数据Dr(参照图5(c)、图6(c))。
在该点像复原处理中，在“实际的图像劣化特性(图像模糊特性)”与“成为所使用的复原滤波器的基础的点扩散函数(PSF等)”相匹配的情况下，图像被适当地复原，能够得到边缘部分等被适当地复原了的恢复图像数据Dr(参照图5)。
然而，在包括像素值饱和了的像素(饱和像素)的原图像数据中，成为在饱和像素部分被裁剪了的状态(参照图6)。尤其是包括饱和像素的边缘部分的原图像数据具有接近于阶跃信号的波形(参照图6(b))，因此对比度变化比较明显，其结果是，成为劣化(图像模糊)较小的数据。这样，在包括饱和像素的原图像数据中，由于像素数据的裁剪，产生了与原来的图像数据(被摄体像)的偏差。如果针对产生了这样的数据偏差的原图像数据进行采用通常的复原滤波器的复原处理，则容易产生减幅振荡，所产生的减幅振荡也容易复杂化(参照图6(c))。另外，高频分量增加，重叠噪声容易被增强。
因此，根据“图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件”，来控制图像处理/复原处理，从而能够有效地抑制恢复图像数据中的减幅振荡。
此外，在将点像复原处理实际设计为图像处理流程的一部分的情况下，可以假定各种变形的图像处理流程。
图7A～7D是例示图像处理部35(相机主体控制器28)中的各种图像处理流程的框图。图7A示出在伽玛校正处理(灰度校正处理)后针对亮度数据(Y)进行点像复原处理的例子，图7B示出在伽玛校正处理后针对RGB的颜色数据进行点像复原处理的例子。另外，图7C示出在伽玛校正处理前针对RGB颜色数据进行点像复原处理的例子，图7D示出在伽玛校正处理前针对亮度数据(Y)而进行点像复原处理的例子。
在图7A的例子中，图像处理部35当输入马赛克算法数据(RAW图像数据；原图像数据)时，依次进行“调整图像的明亮度的偏移校正处理41”、“调整图像的白平衡(WB)的WB校正处理42”、“通过像素插值处理来针对所有像素获取RGB各色的颜色数据的去马赛克算法处理43”、“进行基于对数化处理的灰度校正来调整像素数据的灰度的伽玛校正处理(灰度校正步骤；灰度校正部)44”、“根据RGB颜色数据计算出亮度数据(Y)以及色差数据(Cb/Cr)的亮度/色差转换处理45”以及“针对图像数据(亮度数据)进行采用基于摄影用的光学***的点扩散函数的复原滤波器的点像复原处理的点像复原处理(复原处理步骤)46”。此外，颜色数据与对马赛克算法数据(原图像数据)进行摄影而获取的摄像元件26所具有的彩色滤光片的颜色种类对应，亮度数据以及色差数据能够通过公知的计算式来根据颜色数据计算出。
另一方面，在图7B的例子中，调换了图7A的图像处理例中的亮度/色差转换处理45与点像复原处理46的处理顺序。因此，在图7A的例子中，针对伽玛校正处理(灰度校正)44后的原图像数据的亮度数据进行点像复原处理46，但在图7B的例子中，针对进行了伽玛校正处理(灰度校正)44的原图像数据的RGB颜色数据的点像复原处理46通过点像复原处理部36来进行，然后，计算出亮度数据以及色差数据。
另外，在图7C的例子中，调换了图7B的图像处理例中的伽玛校正处理44与点像复原处理46的处理顺序。因此，在图7B所示的例子中，在伽玛校正处理44后进行点像复原处理46，但在图7C所示的例子中，在伽玛校正处理44前进行点像复原处理46。
另外在图7D的例子中，偏移校正处理41、WB校正处理42以及去马赛克算法处理43与图7A～7D的例子相同，但在去马赛克算法处理43后进行亮度/色差转换处理45a，在针对亮度数据进行点像复原处理46之后，进行根据亮度数据以及色差数据计算RGB颜色数据的颜色信号转换处理47。然后，通过针对该RGB颜色数据依次进行伽玛校正处理44以及亮度/色差转换处理45b，来获取亮度数据以及色差数据。
此外，图7A～7D只不过分别示出处理流程的一例，既可以根据需要在任意的阶段进行其他处理，也可以省略图7A～7D所示的处理的一部分。
在这样一系列的图像处理流程中，存在各种变形，根据例如“作为点像复原处理的顺序，优选在灰度校正(伽玛校正处理)之前还是之后”、“优选设为针对RGB等的颜色数据的点像复原处理，还是优选设为针对亮度数据(Y)的点像复原处理”等的观点，考察在各种图像处理流程之间点像复原处理的效果可以看到什么样的差异，这在以往没有进行过。
本申请发明人着眼于各种图像处理流程之间的点像复原处理效果的不同而进行了深入研究，其结果是，关于“灰度校正处理(伽玛校正处理)、减幅振荡现象、点像复原处理等”的关联得到了新的见解。
图8是示出针对点像复原处理的“灰度校正处理(伽玛校正处理)”以及“颜色数据/亮度数据”的关联的图。
图8的表示“反对数(灰度校正前)”的栏示出在针对灰度校正处理(伽玛校正处理)前的图像数据(反对数图像数据)而进行点像复原处理的情况下的图像特性(参照图7C以及7D)，表示“对数(灰度校正后)”的栏示出在针对灰度校正处理(伽玛校正处理)后的图像数据(对数图像数据)而进行点像复原处理的情况下的图像特性(参照图7A以及7B)。另外，图8的表示“颜色数据(RGB)”的栏示出在针对颜色数据(RGB数据)进行点像复原处理的情况下的图像特性(参照图7B以及7C)，表示“亮度数据(Y)”的栏示出在针对亮度数据而进行点像复原处理的情况下的图像特性(参照图7A以及7D)。
当对反对数的图像数据与对数的图像数据进行比较时，在理想***中，反对数图像数据(灰度校正前图像数据)的点像复原与对数图像数据(灰度校正后图像数据)的点像复原相比，图像复原性更优良(参照图8的“理想***中的复原性”)。
在这里所说的理想***是指充分满足“点像复原处理中使用的复原滤波器的滤波器抽头数足够大”、“计算比特数足够大”、“光学***的实际的模糊特性与图像处理部35保持的光学***模糊特性数据一致”、“输入图像数据(原图像数据)不包含像素值饱和了的饱和像素数据”等用于进行适当的点像复原处理的条件的理想的***。
另一方面，在偏离于理想***的实际的处理***中，本申请发明人通过多次实验确认了：对数图像数据(灰度校正后图像数据)的点像复原与反对数图像数据(灰度校正前图像数据)的点像复原相比，点像复原图像(恢复图像)中的减幅振荡等副作用的出现程度更小(参照图8的“偏离于理想***的***中的亮度***韧性(减幅振荡程度等)”)。
在与理想***不同的现实的处理***中，与“针对反对数图像数据(反对数空间上的图像数据)的点像复原处理”相比，在“针对对数图像数据(对数空间上的图像数据)的点像复原处理”中，减幅振荡等副作用的影响更小的一个原因是，在伽玛校正处理(对数化处理)后的像素数据(图像数据)中，低亮度部的灰度被增强(改进)，高亮度部的灰度不被增强。另外，由于点像复原处理而在图像的边缘(分界部)产生过冲(下冲)，这样的过冲(下冲)通过灰度校正而被增强，这也是减幅振荡等图像劣化变得显著的一个原因。
图9是用于说明基于点像复原处理的过冲的产生机制的图。在图9中，横向(X方向)示出图像中的位置(一维位置)，纵向(Y方向)表示像素值。
由于光学***的点扩散现象而画质劣化了(模糊了)的图像边缘部(参照图9(a))通过点像复原处理而接近于原来的画质(对比度)，但有时产生所谓的过冲(下冲)(参照图9(b))。在由于点像复原处理产生的过冲自身小的情况下，在视觉上并不是特别显著，但在之后进行灰度校正处理(伽玛校正处理)时，有时过冲被过分增强(参照图9(c)的“E1”以及“E2”)。特别是阴影侧的过冲(下冲)部分通过之后的伽玛校正处理而被应用大的增益(放大率)，在图像边缘部，构成较大地偏离于黑区的部分(参照图9(c)的“E2”)。此外，该现象不限于点像复原处理，在进行了针对反对数空间的图像数据的轮廓校正处理之后，在边缘部分产生了过冲的情况下，也是同样的。
另外，“针对颜色数据(RGB数据)的点像复原处理”如果如假定的那样(如所保持的劣化信息(光学***的点扩散函数信息)的那样)，RGB各色的颜色数据(颜色信号)被输入到点像复原处理部36，则能够实现有效的颜色数据校正，与“针对亮度数据(Y数据)的点像复原处理”相比，能够有效地减轻色像差等(参照图8的“理想***中的复原性”、“色彩***校正能力”)。然而，在实际的输入信号的举动并非如假定的那样的情况下，在针对颜色数据(RGB数据)的点像复原处理中，有时引起产生不需要的着色的位置增加而不自然的色调显著等副作用(参照图8的“偏离于理想***的***中的色彩***韧性(着色程度、渗透程度等)”)。
另外，关于处理规模(在使处理***硬件化的情况下的处理电路的规模)，也有图8所示的差异。即，对数图像数据(对数空间上的图像数据)的点像复原处理与反对数图像数据(反对数空间上的图像数据)相比，运算处理更加简单，因此，处理规模更小，是有利的。另外，在针对颜色数据(RGB数据)的点像复原处理中，需要三个频道(3ch)量的处理***，但在针对亮度数据(Y数据)的点像复原处理中，一个频道(1ch)量的处理***就足够了，因此，在亮度数据的点像复原处理中，运算处理变得简单，能够使处理规模紧凑化。
因此，在实际的图像处理***中，优选基于图8所示的上述各种特性来构筑与用户的需求相应的适合的***。例如，在“作为被输入的图像信号(图像数据)而输入各种类型的信号”、“在使处理***硬件化时尽可能设成小规模”、“不确保实际的图像劣化信息与由处理***保持的图像劣化信息完全一致”等处理条件偏离于理想处理***的情况下，针对对数的图像数据的点像复原处理与针对反对数的图像数据的点像复原处理相比，图像韧性(图像非破裂性)更加优良。因此，在实际的图像处理***中，从提高图像韧性的观点来看，优选在灰度校正处理(伽玛校正处理)的后级实施点像复原处理。另外，如果重视图像处理的副作用的抑制、处理***的小规模化，则更优选不针对颜色数据而针对亮度数据实施点像复原处理的图像处理***，而如果重视颜色重现性，则更优选不针对亮度数据而针对颜色数据而实施点像复原处理的图像处理***。
另外，在进行基于对数化处理(伽玛校正处理)的灰度校正的情况下，复原滤波器自身既可以由与对数化处理前的图像数据对应的滤波器系数构成，也可以由与对数化处理后的图像数据对应的滤波器系数构成。
在针对“灰度校正后(对数化处理后)的图像数据的像素值(对数的像素数据)”，特地应用“由与灰度校正前(对数化处理前)的像素值(反对数的像素数据)对应的滤波器系数构成的复原滤波器”来进行恢复处理(点像复原处理)的情况下，能够提高针对在恢复图像(复原图像)中产生的画质劣化(减幅振荡等)的韧性，在恢复图像上使减幅振荡不显著。这是因为，在对数化处理后的像素数据(图像数据)中，低亮度部的灰度被增强(改进)，高亮度部的灰度不被增强。
图10是示出基于伽玛处理(对数化处理)的处理前数据与处理后数据之间的关系的一例的图(图形)。图10的横轴表示处理前数据(伽玛处理输入数据“IN”)，纵轴表示处理后数据(伽玛处理输出数据“OUT”)，图形中的实线表示伽玛处理灰度曲线。
在针对一般的图像数据的点像复原处理中，容易在视觉上识别由点像复原处理得到的效果的是对比度低的区域以及在伽玛处理灰度曲线中能够以直线近似的“像素值的水平差较小的区域”(参照图10的“A”)。另一方面，在对比度高的区域、即在伽玛处理灰度曲线中构成曲线部的“像素值的水平差较大的区域”中，原本的对比度高，模糊也难以识别(参照图10的“B”)。
进一步地，在对比度高的区域中的、包括饱和像素的区域，如果针对像素值为反对数的像素数据(灰度校正前的像素数据)而进行点像复原处理，然后，进行灰度校正(伽玛校正处理、对数化处理)，则下冲/过冲(减幅振荡)容易变得显著。与此相对地，在针对对数化处理后的像素数据进行点像复原处理的情况下，通过对数化处理来压缩高的对比度，由点像复原处理所导致的减幅振荡的强度降低。
即，通过针对对数化处理后的像素数据，使用由与像素值为反对数的像素数据对应的滤波器系数构成的复原滤波器来进行恢复处理(点像复原处理)，能够针对一般容易视觉辨认的低对比度区域而不逊色地实施点像复原处理，另一方面，在由于点像复原处理而容易产生减幅振荡的高对比度区域中，能够降低减幅振荡的增强程度。
特别是，在图像处理装置(摄像装置等)能够执行多个种类的灰度校正(伽玛校正处理)并且保持多个种类的伽玛处理灰度曲线的数据的情况下，在现有技术(参照专利文献3)中，需要针对多个种类的灰度校正的每个计算像素信号值的变化量的极限值。然而，根据本方式，对灰度校正后的像素数据施加点像复原处理，因此，也不需要进行与灰度校正的种类相应的处理的切换。
另外，一般来说，PSF(点扩散函数)以输入是线性的为前提，基于该前提的复原滤波器在由“线性的系数”即“与反对数的像素数据对应的滤波器系数”构成的情况下，生成也更加容易。
这样，本方式在实用上非常有益且有效。
另一方面，通过针对灰度校正后(对数化处理后)的像素值(对数的像素数据)使用由与对数化处理后的像素值(对数的像素数据)对应的滤波器系数构成的复原滤波器来进行恢复处理(点像复原处理)，针对由于点像复原处理而产生的减幅振荡所导致的画质劣化，能够提高韧性，能够使所产生的减幅振荡在图像上不显著。
即，在像素数据是灰度校正(对数化处理)后的像素值(对数的像素数据)的情况下，通过使用由与对数化处理后的像素值(对数的像素数据)对应的滤波器系数构成的复原滤波器来进行点像复原处理，点像复原处理自身能够准确地进行。在这种情况下，通过将点像复原处理的对象图像数据设为“灰度校正后的原图像数据”，能够通过灰度校正(对数化处理)来压缩高的对比度，并降低由于点像复原处理而产生的减幅振荡的强度。
此外，点像复原处理中使用的复原滤波器既可以预先生成，也可以按照点像复原处理的执行来逐次计算生成。从降低点像复原处理时的运算量的观点来看，优选预先生成复原滤波器。另外，从使用适应性优良的复原滤波器的观点来看，优选在执行点像复原处理时逐次计算复原滤波器。
在预先生成复原滤波器的情况下，根据通过针对输入像素值(输入图像数据)的对数化处理(伽玛校正处理)而求出的像素值来进行运算，从而求出复原滤波器的滤波器系数即可。用于复原滤波器的生成的像素值既可以是亮度值，也可以是关于RGB颜色数据中的被代表性地选择的一个频道的像素值(例如G的像素值)。另外，用于复原滤波器的生成的像素值既可以是主要被摄体的像素值，也可以是根据画面整体的平均值求出的像素值。
此外，点像复原处理既可以是仅复原原图像数据的振幅分量而得到恢复图像数据的处理，也可以是复原原图像数据的振幅分量以及相位分量而得到恢复图像数据的处理。即，能够根据光学***的MTF(Modulation Transfer Function，调制传递函数)/PTF(PhaseTransfer Function，相位传递函数)中的至少任一个来计算出复原滤波器。此外，光学***的模糊特性能够通过所谓的光学传递函数(OTF：OpticalTransferFunction)来表述，对OTF进行傅立叶逆变换而得到的函数也被称为点像分布函数(PSF：PointSpreadFunction：点扩散函数)。MTF是OTF的绝对值分量，PTF将相位的偏差表示为空间频率的函数。因此，用于点像复原处理的复原滤波器能够根据光学***的OTF(MTF/PTF)、PSF来适当设计。
在“不伴随相位分量的复原的点像复原处理”的情况下，在恢复图像数据中容易产生减幅振荡，因此优选针对灰度校正后的图像数据(原图像数据)实施这样的“不伴随相位分量的复原的点像复原处理”。另外，即使在针对灰度校正后的图像数据(原图像数据)而进行不伴随相位分量的复原的点像复原处理的情况下，也优选在判断了是否为产生减幅振荡的状况之后，控制图像处理(点像复原处理等)。
另一方面，在“伴随相位分量的复原的点像复原处理”的情况下，在恢复图像数据中能够降低减幅振荡，但通过针对灰度校正后的图像数据(原图像数据)进行这样的“伴随相位分量的复原的点像复原处理”，能够进一步提高图像韧性。然后，即使在针对灰度校正后的图像数据(原图像数据)而进行伴随相位分量的复原的点像复原处理的情况下，也优选在判断了是否为产生减幅振荡的状况之后，控制图像处理(点像复原处理等)。
此外，也可以考虑点像复原处理伴随相位分量的复原还是不伴随，来确定将实施点像复原处理的对象设为“灰度校正前的图像数据”以及“灰度校正后的图像数据”中的哪一个。
基于上述新的见解，在下面，例示本发明的优选的实施方式。
＜第一实施方式＞
在本实施方式中，根据“关于点像复原处理对象的图像(原图像数据)的图像信息”是否符合“由于点像复原处理而在恢复图像数据中产生减幅振荡的条件”，来以“图像”为单位控制图像处理，决定是否执行点像复原处理。
图11是示出第一实施方式的图像处理块的图。
本实施方式的图像处理部35(参照图2)除点像复原处理部(复原处理部)36之外，还具有图像解析部37、减幅振荡判定部38与复原处理判定部(处理控制部)39。此外，图中的图像处理块不一定需要单独地设置，也可以通过一体地构成的硬件/软件来实现多个图像处理块。
图像解析部37解析通过采用光学***的摄影来从摄像元件获取的原图像数据来获取图像解析数据(图像信息)。在本例中，关于原图像数据中是否包括饱和像素，通过图像解析部37中的原图像数据的解析来获取。图像解析部37的图像解析结果作为图像解析数据被送到减幅振荡判定部38。
减幅振荡判定部38判定从图像解析部37送来的图像解析数据是否符合“由于点像复原处理而在恢复图像数据中产生减幅振荡的条件(减幅振荡产生条件)”。具体来说，在图像解析数据表示原图像数据包括饱和像素的情况下，减幅振荡判定部38判定为“图像解析数据符合减幅振荡产生条件”。另一方面，在图像解析数据表示原图像数据不包含饱和像素的情况下，减幅振荡判定部38判定为“图像解析数据不符合减幅振荡产生条件”。这样，在减幅振荡判定部38中，判定恢复图像数据中的减幅振荡的产生可能性，“图像解析数据符合减幅振荡产生条件”的情况是“恢复图像数据中的减幅振荡的产生可能性高”的情况，“图像解析数据不符合减幅振荡产生条件”的情况是“恢复图像数据中的减幅振荡的产生可能性不高(低)”情况。在这里所说的减幅振荡的产生可能性不仅表示“有无减幅振荡”，也可以表示“是否产生通过视觉辨认而显著的减幅振荡”。因此，例如，也可以将减幅振荡完全没产生的情况、不产生通过视觉辨认而显著的减幅振荡的情况作为“减幅振荡的产生可能性不高(低)”，将产生减幅振荡的情况、产生通过视觉辨认而显著的减幅振荡的情况作为“减幅振荡的产生可能性高”。该减幅振荡判定部38中的判定结果作为减幅振荡判定数据被送到复原处理判定部39。
复原处理判定部39根据减幅振荡判定部38的判定结果，来控制图像处理，决定是否执行点像复原处理部36中的点像复原处理。
具体来说，在根据减幅振荡判定数据而判定为“在恢复图像数据中产生减幅振荡的可能性不高(低)(即“图像解析数据不符合减幅振荡产生条件”、“原图像数据不包含饱和像素”)”的情况下，复原处理判定部39将原图像数据送到点像复原处理部36。另一方面，在根据减幅振荡判定数据而判定为“在恢复图像数据中产生减幅振荡的可能性高(即，“图像解析数据符合减幅振荡产生条件”、“图像数据包括饱和像素”)”的情况下，复原处理判定部39跳过点像复原处理部36而将原图像数据送到到后级的处理部。这样，本例的复原处理判定部39针对每个原图像数据来控制点像复原处理(图像处理)。
点像复原处理部36针对原图像数据进行采用基于光学***的点扩散函数的复原滤波器的复原处理来得到恢复图像数据。
此外，复原处理判定部39以及点像复原处理部36设置在伽玛校正处理部(参照图7A～7D的伽玛校正处理44)的后级，点像复原处理部36中的点像复原处理针对伽玛校正处理后(灰度校正后)的原图像数据来进行(参照图7A以及7B)。
另一方面，在图像解析部37中，既可以输入伽玛校正处理前的原图像数据，也可以输入伽玛校正处理后的原图像数据，可以根据伽玛校正处理的前或后的原图像数据来生成图像解析数据。
图12是示出基于图11所示的图像处理块的点像复原处理流程的图。
首先，在图像解析部37中解析原图像数据，检查原图像数据是否包括饱和像素(图12的S1；图像信息获取步骤)。
在原图像数据不包含饱和像素的情况下，在减幅振荡判定部38中判定为在恢复图像数据中产生减幅振荡的可能性不高(低)(S2的“否”；减幅振荡判定步骤)。在这种情况下，将原图像数据从复原处理判定部39送到点像复原处理部36，通过点像复原处理部36进行点像复原处理来获取恢复图像数据(S3)，并将该恢复图像数据送到后级的处理部。
另一方面，在原图像数据包括饱和像素的情况下，在减幅振荡判定部38中判定为在恢复图像数据中产生减幅振荡的可能性高(S2的“是”)，通过复原处理判定部39跳过点像复原处理(点像复原处理部36)(S4)而将原图像数据送到后级的处理部。
这样，核查图像(原图像数据)内有无饱和像素，在存在饱和像素的情况下，针对该图像不进行点像复原处理。由此，能够防止图像数据中的减幅振荡的产生以及增强，使得在被送到后级的图像数据(图像)中由减幅振荡等所导致的图像劣化不显著。
此外，在上述例子中，根据原图像数据中是否包括饱和像素，来决定点像复原处理的执行，但不限定于此。例如，也可以在图像解析部37中制作表示原图像数据的图像解析数据是否包括具有比阈值(例如饱和像素值(摄像元件26的构成像素可容许的最大的像素值)的90％)大的像素值的像素数据。在该实例中，在原图像数据包括“具有比阈值大的像素值的像素数据”的情况下，由减幅振荡判定部38判定为减幅振荡的可能性高，复原处理判定部39跳过点像复原处理(点像复原处理部36)而将原图像数据送到后级的处理部。另一方面，在原图像数据不包含“具有比阈值大的像素值的像素数据”的情况下，由减幅振荡判定部38判定为减幅振荡的可能性不高(低)，复原处理判定部39将原图像数据送到点像复原处理部36，在点像复原处理部36中进行原图像数据的点像复原处理。
另外，也可以根据在原图像数据中是否包括预定像素数量以上的像素值饱和了的像素数据或者具有比阈值大的像素值的像素数据，由减幅振荡判定部38判定减幅振荡的产生可能性。
此外，在上述图11所示的例子中，将“解析原图像数据而获取的图像解析数据”用作成为减幅振荡判定的基础的图像信息，但也可以将“表示原图像数据的获取条件的图像获取条件数据”用作该图像信息。
图13是示出第一实施方式的一变形例的图像处理块的图。本变形例的图像处理部35(参照图2)具有图像获取条件获取部40来代替图11的图像解析部37。
图像获取条件获取部40获取原图像数据的获取条件，将表示该原图像数据获取条件的图像获取条件数据送到减幅振荡判定部38。减幅振荡判定部38判定该图像获取条件数据是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件。
此外，根据减幅振荡判定部38中的判定结果来决定是否执行点像复原处理这一点(复原处理判定部39、点像复原处理部36)与图11所示的例子相同。
本变形例的图像获取条件获取部40所获取的“原图像数据的获取条件(图像获取条件数据)”包括在获取原图像数据的摄影中使用的光学***的信息，对点像复原处理的复原精度、复原处理的副作用(减幅振荡等)可能造成影响的各种要素可以包含于“原图像数据的获取条件(图像获取条件数据)”中。例如，在这里所说的光学***的信息包括在获取原图像数据的摄影中使用的光学***的透镜种类、光圈值、变焦值中的至少任一个。
在本变形例中，在“由于恢复图像数据而产生减幅振荡的可能性高的条件”之下获取到原图像数据的情况下(在条件符合的情况下)，通过跳过点像复原处理，能够防止将产生减幅振荡的/减幅振荡显著的图像数据(恢复图像数据)送到后级。
此外，关于“图像解析部37中的图像获取条件数据的获取方法”、“减幅振荡判定部38中的减幅振荡的判定方法”没有特别限定。
例如，也可以预先设定“恢复图像数据中减幅振荡的产生可能性高的条件”并由减幅振荡判定部38保持，根据图像获取条件数据是否符合该被保持的条件，来判定减幅振荡的产生的可能性。另外，根据实际使用的光学***(透镜等)而减幅振荡的产生可能性有可能变动，因此，也可以针对光学***的每个种类(透镜型号等)而设定“减幅振荡的产生可能性高的条件”。另外，在图像获取条件数据被附加原图像数据的情况下(例如Exif等)，图像获取条件获取部40也可以与原图像数据一起获取图像获取条件数据。另外，在处理对象的原图像数据的图像获取条件数据被存储到存储器等的情况下，图像获取条件获取部40也可以访问该存储器而获取图像获取条件数据。
图14是示出第一实施方式的其他变形例图像处理块的图。本变形例的图像处理部35(参照图2)具有包括图11的图像解析部37以及图13的图像获取条件获取部40的图像信息获取部48。
包括图像解析部37以及图像获取条件获取部40的图像信息获取部48获取包括上述图像解析数据以及图像获取条件数据中的至少任一个的图像信息。该图像信息从图像信息获取部48被作为图像信息数据送到减幅振荡判定部38。减幅振荡判定部38根据该图像信息数据，来判定图像信息是否符合由于复原处理而在恢复图像数据中产生减幅振荡的条件。此外，本变形例的复原处理判定部39以及点像复原处理部36与上述实施方式(参照图11以及图12)以及变形例(参照图13)相同。
在本变形例中，通过基于图像解析数据以及图像获取条件数据的综合判定，能够高精度地推测减幅振荡的产生可能性。另外，即使在图像信息获取部48无法获取图像解析数据以及图像获取条件数据中的任一个的情况下，根据能够获取的数据，也能够推测减幅振荡的产生可能性。
如以上说明的那样，根据上述实施方式以及变形例，能够仅针对需要点像复原的图像进行点像复原处理。即，针对能够期待通过应用点像复原处理来提高画质的图像(图像数据)进行点像复原处理。另一方面，针对被预测为由于点像复原处理而减幅振荡等画质劣化显著的可能性高的图像不进行点像复原处理。这样，通过进行与被摄体像的特性(特征)相应的点像复原处理，避免将包括减幅振荡等的图像数据送到后级，能够防止将画质劣化了的摄影图像(图像数据)提供给用户。
＜第二实施方式＞
在本实施方式中，关于与上述第一实施方式相同的结构以及作用省略说明。
在本实施方式中，根据“关于图像复原处理对象的图像(原图像数据)的图像信息”是否符合“由于点像复原处理而在恢复图像数据中产生减幅振荡的条件”，以“像素”为单位控制图像处理。
即，在第一实施方式中，示出了以“图像”为单位，针对每个原图像数据来控制点像复原处理的例子，但在本实施方式中，以“像素”为单位，针对每个像素数据来控制点像复原处理。
图15是用于说明针对每个像素数据而判定有无点像复原处理的例子的图像例(原图像数据)的图，示出根据核心(Km、Kn)内的关注像素及其周边像素的图像解析数据(图像信息)来进行判定的例子。
本例的图像处理部35(参照图2)具有与图11所示的图像处理块相同的图像处理块，图像解析部37解析原图像数据，获取表示原图像数据的图像解析数据(图像信息)中是否包括饱和像素数据或者具有比阈值大的像素值的像素数据。
减幅振荡判定部38根据从图像解析部37送来的图像解析数据来判定减幅振荡的产生可能性，但是针对原图像数据的每个像素数据而进行判定。减幅振荡判定部38根据原图像数据中的关于关注像素以及该关注像素的周边像素的图像解析数据(图像信息)，来针对构成原图像数据的每个像素数据，判定由于针对关注像素的点像复原处理而产生减幅振荡的可能性是否高。
在本例中，在减幅振荡判定部38中判定在预定尺寸的核心(例如9像素(X方向)×9像素(Y方向)左右的核心(参照图15的“Km”以及“Kn”))内的中央配置的关注像素以及在其周边配置的周边像素中的至少一部分的像素数据是否是像素值饱和了的像素数据(饱和像素数据)或者具有比阈值大的像素值的像素数据。
此外，对核心的尺寸没有特别的限定，优选根据用于点像复原处理的复原滤波器(实际空间上的复原滤波器)的尺寸(参照图4的“实际空间滤波器”的“N抽头”以及“M抽头”)来确定，优选将核心尺寸设定为与用于点像复原处理的实际空间滤波器的尺寸一致或者在其以下的尺寸。
在判定为在核心内的像素数据中包括“饱和像素数据或者具有比阈值大的像素值的像素数据”的情况下(参照图12的“Kn”)，减幅振荡判定部38判定为在关注像素的点像复原处理中减幅振荡的产生可能性高。另一方面，在判定为核心内的像素数据中不包括“饱和像素数据或者具有比阈值大的像素值的像素数据”的情况下(参照图12的“Km”)，减幅振荡判定部38判定为在关注像素的点像复原处理中减幅振荡的产生可能性不高(低)。
这样针对原图像数据的每个像素数据而得到的“减幅振荡的产生可能性的判定结果”作为减幅振荡判定数据，被从减幅振荡判定部38送到复原处理判定部39。
复原处理判定部(处理控制部)39针对构成原图像数据的每个像素数据，控制点像复原处理。即，复原处理判定部39根据减幅振荡判定数据与点像复原处理部36协作，使关注像素在原图像数据内改变，同时，针对每个像素数据执行/不执行点像复原处理。即，以针对“被判定为减幅振荡的产生可能性不高(低)的像素数据”进行点像复原处理，而另一方面，针对“被判定为减幅振荡的产生可能性高的像素数据”不进行点像复原处理的方式，复原处理判定部39控制点像复原处理部36。
图16是示出第二实施方式的点像复原处理流程的一例的图。此外，在图16中，示出了根据有无饱和像素数据来判定是否执行点像复原处理(减幅振荡的产生可能性)的例子。
首先，解析原图像数据，通过图像解析部37获取表示原图像数据的图像解析数据(图像信息)中是否包括饱和像素数据(图16的S11)，图像解析数据被送到减幅振荡判定部38。然后，针对构成原图像数据的每个像素数据，在减幅振荡判定部38中判定“由于点像复原处理而在恢复图像数据中产生减幅振荡的可能性是否高”，将该减幅振荡判定数据送到复原处理判定部39。
然后，在复原处理判定部39中，针对原图像数据的每个像素数据，决定是否执行点像复原处理。即，首先，为了重置对象像素，使“I＝0”(S12)，之后，为了依次改变对象像素，使“I＝I+1”(S13)。
然后，通过复原处理判定部39根据减幅振荡判定数据来判定由于针对第I个像素(关注像素)的点像复原处理而产生减幅振荡的可能性是否高(S14)。在判定为减幅振荡的产生可能性不高(低)的情况下(S14的“否”)，在复原处理判定部39中决定进行该第I个像素的点像复原处理(S15)。另一方面，在判定为减幅振荡的产生可能性高的情况下(S14的“是”)，在复原处理判定部39中决定不进行该第I个像素的点像复原处理(S16)。
然后，在复原处理判定部39中判定关注像素(第I个像素)是否是构成原图像数据的最终像素(第N个像素)。即，根据是否满足“I＜N”，来判定对象像素(关注像素)是否达到原图像数据的最终像素(S17)。在满足“I＜N”的情况下(S17的“是”)，对象像素(关注像素)未达到最终像素，因此，处理返回到上述步骤S13，通过“I＝I+1”来将对象像素(关注像素)变更为下一个像素，重复进行上述步骤S14～S17。
另一方面，在不满足“I＜N”的情况下(S17的“否”)，对象像素(关注像素)达到最终像素，处于针对构成原图像数据的全部的像素而决定了是否执行点像复原处理的状态。因此，根据该决定结果，针对原图像数据的每个像素数据，执行/不执行由点像复原处理部36进行的点像复原处理。
如以上说明的那样，根据本实施方式，针对能够期待通过应用点像复原处理来提高画质的像素(像素数据)实施点像复原处理，针对减幅振荡等副作用看起来显著的像素(像素数据)不实施点像复原处理。这样，以像素为单位对是否执行点像复原处理进行切换，能够仅对能够期待通过点像复原处理来提高画质的像素(像素数据)实施点像复原处理，能够实现以像素为单位的画质提高。
此外，根据本实施方式，在一个恢复图像(恢复图像数据)内，“实施了点像复原处理的像素”与“未实施点像复原处理的像素”混在一起。即使在恢复图像中“进行了点像复原的像素”以及“未进行点像复原的像素”混在一起的情况下，在用户的视觉上，两像素之间的复原重现性方面充分地取得平衡，作为图像整体也具有良好的画质，这由本申请发明人通过实验进行了确认。
在上面，以根据“图像解析数据”来判定是否执行点像复原处理为例来进行了说明，但与上述第一实施方式同样地，在本实施方式中，也可以根据“图像获取条件数据”来针对每个像素数据判定是否执行点像复原处理(图13)，另外也可以根据“包括图像解析数据以及图像获取条件数据中的至少任一个的图像信息”来判定针对每个像素数据是否执行点像复原处理(图14)。另外，在上面，以针对每个“像素数据”判定是否执行点像复原处理为例来进行了说明，但也可以将原图像数据(被摄体像)划分成多个分割区域来针对每个“分割区域”判定是否执行点像复原处理。
＜第三实施方式＞
在本实施方式中，关于与上述实施方式相同的结构以及作用，省略说明。
在本实施方式中，点像复原处理中使用的复原滤波器根据图像解析数据以及图像获取条件数据中的至少任一个来切换/选择。
下面，以根据原图像数据是否包括饱和像素的信息(图像解析数据)来以图像(原图像数据)为单位切换复原滤波器为例，来进行说明。
图17是示出第三实施方式的图像处理块的一例的图。
本实施方式的图像处理部35(参照图2)具有图像解析部37、减幅振荡判定部38、滤波器选择部(处理控制部)55以及点像复原处理部36。
图像解析部37以及减幅振荡判定部38与上述实施方式相同。即，在图像解析部37中解析原图像数据而获取图像解析数据，在减幅振荡判定部38中判定减幅振荡的产生可能性。此外，在本例中，在图像解析部37中对在原图像数据中是否包括饱和像素进行解析，在减幅振荡判定部38中以图像为单位针对每个原图像数据判定减幅振荡的产生可能性。
滤波器选择部55根据减幅振荡判定部38的判定结果(减幅振荡判定数据)，决定点像复原处理部36的点像复原处理中采用的复原滤波器。即，针对被判定为减幅振荡的产生可能性不高(低)的图像(原图像数据)，通过滤波器选择部55来选择通常的复原滤波器。另一方面，针对被判定为减幅振荡的产生可能性高的图像(原图像数据)，通过滤波器选择部55选择抑制减幅振荡的产生/不增强减幅振荡的复原滤波器(减幅振荡应对复原滤波器)，而不选择通常的复原滤波器。
图18A、18B是例示复原滤波器的“空间频率-振幅”的关系的图形。图18A示出通常的点像复原处理中采用的滤波器(滤波器A)的特性的一例，图18B示出减幅振荡应对复原滤波器(滤波器B)的特性的一例。此外，在图18A、18B中，为了容易理解，例示了一维的频率特性。另外图18A、18B所示的各滤波器的纵轴表示响应(振幅)，横轴表示频率，横轴将以采样频率进行了归一化的数值作为基准。
滤波器选择部55(参照图17)针对被判定为减幅振荡的产生可能性不高(低)的图像(原图像数据)，选择图18A所示那样的“高频域中的响应(振幅)较陡峭地变化的通常的复原滤波器”。另外，滤波器选择部55针对被判定为减幅振荡的产生可能性高的图像(原图像数据)，选择图18B所示那样的“减幅振荡显著的频带(在这里假定为高频侧)的响应(振幅)分量小且较平缓地变化的减幅振荡对策用的复原滤波器”。
滤波器选择部55保持着复原滤波器存储部57所存储的复原滤波器的信息，根据减幅振荡判定数据来选择复原滤波器存储部57所存储的复原滤波器中最适合的复原滤波器。此外，图18A、18B所示的复原滤波器只不过是一个例子，滤波器选择部55能够根据目的来选择任意的复原滤波器。例如，也可以将用于轮廓校正的多个种类的校正滤波器设为基底滤波器，并将由这些基底滤波器的线性和构成的复原滤波器选择为减幅振荡对策用的复原滤波器。
由滤波器选择部55针对每个图像(原图像数据)而选择的复原滤波器的信息作为滤波器选择数据被送到点像复原处理部36。
点像复原处理部36具有保持多个复原滤波器(滤波器系数组)的复原滤波器存储部57、以及将从复原滤波器存储部57读取的复原滤波器应用于原图像数据并计算出恢复图像数据的运算处理部56。对运算处理部56输入原图像数据以及来自滤波器选择部55的滤波器选择数据。运算处理部56从复原滤波器存储部57读取与所输入的滤波器选择数据对应的复原滤波器，并应用于所输入的原图像数据。
图19是示出图17所示的图像处理块的点像复原处理流程的图。
首先，在图像解析部37中，解析原图像数据而检查原图像数据是否包括饱和像素(图19的S21)。然后，在原图像数据包括饱和像素的情况下，在减幅振荡判定部38中判定为由于恢复图像数据而产生减幅振荡的可能性高，在原图像数据不包含饱和像素的情况下，判定为由于恢复图像数据而产生减幅振荡的可能性不高(低)。
然后，在判定为由于点像复原处理而产生减幅振荡的可能性不高(低)的情况下(S22的“否”)，在滤波器选择部55中选择通常的复原滤波器(参照图18A)，在点像复原处理部36中，针对原图像数据进行采用该通常的复原滤波器的点像复原处理(S23)。另一方面，在判定为由于点像复原处理而产生减幅振荡的可能性高的情况下(S22的“是”)，在滤波器选择部55中选择减幅振荡应对复原滤波器(参照图18B)，在点像复原处理部36中针对原图像数据进行采用该减幅振荡应对复原滤波器的点像复原处理(S24)。
这样，也可以根据在原图像数据中是否包括饱和像素来变更用于点像复原处理的复原滤波器的特性。例如，可以是如果原图像数据中不包括饱和像素，则使用通常的复原滤波器，如果原图像数据中包括饱和像素，则使用使减幅振荡显著的频带的分量减小的复原滤波器。这样，通过核查在图像(原图像数据)内有无饱和像素，适当变更点像复原处理中使用的复原滤波器的特性，能够有效地防止恢复图像数据中的减幅振荡的产生、增强。
此外，在上面，以根据“图像解析数据”来“针对每个图像(原图像数据)”选择复原滤波器为例进行了说明，但不限定于此。例如，与上述第一实施方式同样地，在本实施方式中既可以根据“图像获取条件数据”来判定减幅振荡的产生可能性(参照图13)，也可以根据“包括图像解析数据以及图像获取条件数据中的至少任一个的图像信息”来判定减幅振荡的产生可能性(参照图14)。另外，也可以如上述第二实施方式那样(参照图15以及图16)，针对图像(原图像数据)的“每个像素(像素数据)”/“每个分割区域”，选择复原滤波器而进行点像复原处理。
＜第四实施方式＞
在本实施方式中，关于与上述实施方式相同的结构以及作用，省略说明。
在本实施方式中，根据图像解析数据以及图像获取条件数据中的至少任一个来决定针对灰度校正(伽玛校正处理)前的原图像数据以及灰度校正后的原图像数据中的哪一个进行点像复原处理。
下面，以根据原图像数据是否包括饱和像素的信息(图像解析数据)以图像(原图像数据)为单位来控制点像复原处理为例，进行说明。
图20是示出第四实施方式的图像处理块的一例的图。
在本实施方式的图像处理部35(参照图2)中，根据减幅振荡的产生可能性，实质上选择在伽玛校正处理后进行点像复原处理的图7B所示的处理***和在伽玛校正处理前进行点像复原处理的图7C所示的处理***中的最适合的处理***。
在图20所示的本例的处理***中，偏移校正处理41、WB校正处理42以及去马赛克算法处理43与上述图7B以及7C相同，但在去马赛克算法处理43的后级设置了复原处理判定部(处理控制部)39。
本例的复原处理判定部39根据减幅振荡判定部38的判定结果(减幅振荡判定数据)来控制点像复原处理以及灰度校正，决定针对灰度校正前的原图像数据以及灰度校正后的原图像数据中的哪一个进行复原处理。即，复原处理判定部39根据来自减幅振荡判定部38的减幅振荡判定数据，选择“在进行原图像数据的灰度校正的伽玛校正处理(灰度校正部)44a的后级进行点像复原处理46a的处理***”与“在伽玛校正处理44b的前级进行点像复原处理46b的处理***”中的任一个。此外，无论选择哪一个处理***，接受了“伽玛校正处理”以及“点像复原处理”的图像数据(RGB颜色数据)都在后级的亮度/色差转换处理45中接受向亮度数据以及色差数据的转换处理。
图21是示出图20所示的图像处理块的点像复原处理流程的图。
在本例中，在图像解析部37中解析原图像数据来检查原图像数据中是否包括饱和像素(图21的S41)。然后，在减幅振荡判定部38中，在原图像数据包括饱和像素的情况下，判定为在恢复图像数据中产生减幅振荡的可能性高，在原图像数据不包含饱和像素的情况下，判定为在恢复图像数据中产生减幅振荡的可能性不高(低)。
然后，在判定为产生减幅振荡的可能性不高(低)的情况下(例如当在原图像数据内没有饱和像素的情况下)(S42的“否”)，通过复原处理判定部39来将RGB颜色数据(去马赛克算法数据)送到“在伽玛校正处理44b的前级进行点像复原处理46b的处理***”中(S43)。另一方面，在判定为由于点像复原处理而产生减幅振荡的可能性高的情况下(例如当在原图像数据内有饱和像素的情况下)(S42的“是”)，通过复原处理判定部39来将RGB颜色数据(去马赛克算法数据)送到“在伽玛校正处理44a的后级进行点像复原处理46a的处理***”中(S44)。
在没有硬件构成的制约的处理环境下，也可以如本实施方式那样，使图像处理部35具有在伽玛校正处理前进行点像复原处理的处理***和在伽玛校正处理后进行点像复原处理的处理***这两者，根据状况(根据减幅振荡的产生状况)来分开使用两个处理***。由此，针对被认为由于点像复原处理可能导致的减幅振荡等副作用不显著的图像，积极地实施精度高的校正(点像复原处理)，针对有可能副作用显著的图像，通过利用韧性优良的处理***，能够在较高的水平上同时实现校正效果与副作用抑制。
此外，在上述例子中，根据减幅振荡判定数据，来选择伽玛校正处理以及点像复原处理的处理顺序不同的处理***，但也可以根据基于点像复原处理的复原分量来选择处理***。
图22是示出第四实施方式的图像处理块的一变形例的图。
本变形例的图像处理部35(参照图2)具有复原处理信息获取部86。该复原处理信息获取部86获取关于点像复原处理46a、46b是仅复原原图像数据的振幅分量而得到恢复图像数据的处理还是复原原图像数据的振幅分量以及相位分量而得到恢复图像数据的处理的复原处理信息。
复原处理判定部(处理控制部)39除减幅振荡判定部38的判定结果之外，还根据复原处理信息获取部86所获取的复原处理信息，决定针对伽玛校正处理(灰度校正)前的原图像数据以及伽玛校正处理后的原图像数据中的哪一个进行点像复原处理。例如，在复原处理信息表示“点像复原处理46a、46b是仅复原原图像数据的振幅分量而得到恢复图像数据的处理”的情况下，复原处理判定部39也可以以将RGB颜色数据(去马赛克算法数据)送到“在伽玛校正处理44a的后级进行点像复原处理46a的处理***”中的方式来控制图像处理。另外，在复原处理信息表示“点像复原处理46a、46b是复原原图像数据的振幅分量以及相位分量而得到恢复图像数据的处理”的情况下，复原处理判定部39也可以以将RGB颜色数据(去马赛克算法数据)送到“在伽玛校正处理44b的前级进行点像复原处理46b的处理***”中的方式来控制图像处理。
一般来说，在“不伴随相位分量的复原的点像复原处理”的情况下，在恢复图像数据中容易产生减幅振荡，在“伴随相位分量的复原的点像复原处理”的情况下，在恢复图像数据中能够降低减幅振荡。因此，如本实施方式那样，在进行“仅复原原图像数据的振幅分量而得到恢复图像数据的点像复原处理46a、46b”、即“不伴随相位分量的复原的点像复原处理”的情况下，在“伽玛校正处理后”进行点像复原处理，从而能够有效地防止“通过伽玛校正处理增强由于点像复原处理而产生的减幅振荡”这样的不利影响。
此外，在上面，以根据“图像解析数据”来针对每个图像(原图像数据)控制伽玛校正处理以及点像复原处理的顺序为例来进行了说明，但不限定于此。例如，与上述第一实施方式同样地，在本实施方式中，既可以根据“图像获取条件数据”来控制伽玛校正处理以及点像复原处理的顺序(参照图13)，也可以根据“包括图像解析数据以及图像获取条件数据中的至少任一个的图像信息”来控制伽玛校正处理以及点像复原处理的顺序(参照图14)。
另外，在上述例子中，针对RGB颜色数据而进行了“伽玛校正处理”以及“点像复原处理”，但在针对亮度数据(Y)而进行“伽玛校正处理”以及“点像复原处理”的图像处理***中，也能够应用本实施方式及其变形例。
＜第五实施方式＞
在本实施方式中，关于与上述实施方式相同的结构以及作用，省略说明。
在本实施方式中，根据图像解析数据以及图像获取条件数据中的至少任一个来决定针对颜色数据(RGB数据)以及亮度数据(Y)中的哪一个进行点像复原处理。
下面，以根据原图像数据是否包括饱和像素的信息(图像解析数据)以图像(原图像数据)为单位控制点像复原处理为例，进行说明。
图23是示出第五实施方式的图像处理块的一例的图。
在本实施方式的图像处理部35(参照图2)中，根据减幅振荡的产生可能性，来实质上选择在伽玛校正处理后进行点像复原处理的图7A所示的处理***和在伽玛校正处理后进行点像复原处理的图7B所示的处理***中的最适合的处理***。
在图23所示的本例的处理***中，偏移校正处理41、WB校正处理42、去马赛克算法处理43以及伽玛校正处理44与上述图7A以及图7B相同，但在伽玛校正处理44的后级设置了复原处理判定部(处理控制部)39。
本例的复原处理判定部39根据减幅振荡判定部38的判定结果(减幅振荡判定数据)，决定针对原图像数据的亮度数据以及颜色数据中的哪一个进行复原处理。然后，点像复原处理46a、46b针对原图像数据的亮度数据以及颜色数据中由复原处理判定部39确定的数据进行点像复原处理。即，复原处理判定部39根据来自减幅振荡判定部38的减幅振荡判定数据，来选择“在亮度/色差转换处理45a的后级进行点像复原处理46a的处理***”与“在点像复原处理46b的后级进行亮度/色差转换处理45b的处理***”中的任一个。
在选择了“在亮度/色差转换处理45a的后级进行点像复原处理46a的处理***”的情况下，作为点像复原处理对象的原图像数据包括亮度数据(Y)，点像复原处理部36针对原图像数据的亮度数据进行点像复原处理46a。另一方面，在选择了“在点像复原处理46b的后级进行亮度/色差转换处理45b的处理***”的情况下，作为点像复原处理对象的原图像数据包括颜色数据(RGB数据)，点像复原处理部36针对原图像数据的颜色数据进行点像复原处理46b。
此外，无论选择哪一个处理***，都在点像复原处理以及亮度/色差转换处理之前，进行偏移校正处理41、WB校正处理42、去马赛克算法处理43以及伽玛校正处理44，因此，针对伽玛校正处理(灰度校正处理)后的图像数据，进行点像复原处理46a、46b。
图24是示出图23所示的图像处理块的点像复原处理流程的图。
在本例中，在图像解析部37中解析原图像数据来检查原图像数据是否包括饱和像素(图24的S51)。然后，在减幅振荡判定部38中，在原图像数据包括饱和像素的情况下，判定为“在恢复图像数据中产生减幅振荡的可能性高”，在原图像数据不包含饱和像素的情况下，判定为“在恢复图像数据中产生减幅振荡的可能性不高(低)”。
然后，在判定为由于点像复原处理而产生减幅振荡的可能性不高(低)的情况下(例如在原图像数据内没有饱和像素的情况下)(S52的“否”)，通过复原处理判定部39将RGB颜色数据(去马赛克算法数据)送到“在点像复原处理46b的后级进行亮度/色差转换处理45b的处理***”中，针对原图像数据的颜色数据(RGB数据)而进行点像复原处理(S53)。另一方面，在判定为由于点像复原处理而产生减幅振荡的可能性高的情况下(例如在原图像数据内有饱和像素的情况下)(S52的“是”)，通过复原处理判定部39将RGB颜色数据(去马赛克算法数据)送到“在亮度/色差转换处理45a的后级进行点像复原处理46a的处理***”中，针对原图像数据的亮度数据(Y)而进行点像复原处理(S54)。
此外，在上面，以根据“图像解析数据”来针对每个图像(原图像数据)控制亮度/色差转换处理以及点像复原处理的顺序为例进行了说明，但不限定于此。例如，与上述第一实施方式同样地，在本实施方式中也既可以根据“图像获取条件数据”来控制亮度/色差转换处理以及点像复原处理的顺序(参照图13)，也可以根据“包括图像解析数据以及图像获取条件数据中的至少任一个的图像信息”来控制亮度/色差转换处理以及点像复原处理的顺序(参照图14)。
＜其他变形例＞
上述数码相机10只不过是示例，对于其他结构也能够应用本发明。各功能结构能够通过任意的硬件、软件、或者两者的组合来适当实现。因此，例如，对于使计算机执行上述各装置以及处理部(相机主体控制器28、设备控制部34、图像处理部35、点像复原处理部36等)中的图像处理方法(图像处理工序)的程序、记录了这样的程序的计算机可读的记录介质、或者能够安装这样的程序的计算机，也能够应用本发明。
＜向EDoF***的应用例＞
上述实施方式中的复原处理是通过根据特定的摄影条件(例如，光圈值、F值、焦距、透镜种类等)来对点扩散(点像模糊)进行恢复修正，从而复原原来的被摄体像的图像处理，但能够应用本发明的图像复原处理不限定于上述实施方式中的复原处理。例如，本发明的复原处理也能够应用于以下的复原处理，该复原处理是针对通过具有扩大了的视野(焦点)深度(EDoF：Extended Depth of Field(Focus))的光学***(摄影透镜等)进行摄影获取的图像数据的复原处理。针对通过EDoF光学***扩大了视野深度(焦点深度)的状态下摄影获取的模糊图像的图像数据而进行复原处理，从而能够复原生成在宽范围内焦点对准了的状态的高分辨率的图像数据。在这种情况下，采用基于EDoF光学***的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器、即具有被设定为在被扩大了的视野深度(焦点深度)的范围内能够实现良好的图像复原的滤波器系数的复原滤波器，来进行复原处理。
下面，说明关于经由EDoF光学***而摄影获取到的图像数据的复原的***(EDoF***)的一例。此外，在下面所示的例子中，以针对从去马赛克算法处理后的图像数据(RGB数据)得到的亮度信号(Y数据)而进行复原处理为例来进行说明，但对进行复原处理的时机没有特别的限定，例如也可以针对“马赛克处理前的图像数据(马赛克算法图像数据)”、“去马赛克算法处理后且亮度信号转换处理前的图像数据(去马赛克算法图像数据)”而进行复原处理。
图25是示出具备EDoF光学***的摄像模块101的一种方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学***(镜头单元；光学***)110、摄像元件112、AD转换部114与复原处理块(图像处理部)120。
图26是示出EDoF光学***110的一例的图。本例的EDoF光学***110具有单焦点被固定了的摄影透镜110A与配置于瞳位置的光学滤波器111。光学滤波器111对相位进行调制，使EDoF光学***110(摄影透镜110A)EDoF化，以便得到被扩大了的视野深度(焦点深度)(EDoF)。这样，摄影透镜110A以及光学滤波器111构成对相位进行调制而使视野深度扩大的透镜部。
此外，根据需要，EDoF光学***110包括其他结构要素，例如在光学滤波器111的附近配设了光圈(省略图示)。另外，光学滤波器111既可以是一个，也可以组合多个而成。另外，光学滤波器111只不过是光学相位调制单元的一个例子，EDoF光学***110(摄影透镜110A)的EDoF化也可以通过其他单元来实现。例如，也可以不设置光学滤波器111，而通过以具有与本例的光学滤波器111同等功能的方式进行了透镜设计的摄影透镜110A来实现EDoF光学***110的EDoF化。
即，能够通过使向摄像元件112的受光面的成像的波阵面变化的各种单元，来实现EDoF光学***110的EDoF化。例如，能够将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波阵面调制透镜等)”、“通过向透镜表面的编码等而厚度、折射率变化的光学元件(波阵面调制混合透镜、在透镜面上作为相位面形成的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”用作EDoF光学***110的EDoF化单元。这样，不仅对于能够通过光波阵面调制元件(光学滤波器111(相位板))来实现规则地分散了的图像形成的实例，对于能够不使用光波阵面调制元件而通过摄影透镜110A自身来形成与采用光波阵面调制元件的情况相同的分散图像的实例，也能够应用本发明。
图26所示的EDoF光学***110能够省略以机械方式进行焦点调节的焦点调节机构，因此能够实现小型化，能够适当搭载带相机的移动电话、便携式信息终端。
通过被EDoF化了的EDoF光学***110后的光学像成像于图25所示的摄像元件112，在这里被转换成电信号。
摄像元件112由以图案阵列(拜耳阵列、G条纹R/B完全方格、X-Trans阵列、蜂窝阵列等)而配置成矩阵状的多个像素构成，各像素构成为包括微透镜、彩色滤光片(本例中是RGB彩色滤光片)以及光电二极管。经由EDoF光学***110而入射到摄像元件112的受光面的光学像通过排列于该受光面的各光电二极管来转换成与入射光量相应的量的信号电荷。然后，各光电二极管中存储的R/G/B的信号电荷作为每个像素的电压信号(图像信号)来依次输出。
AD转换部114将从摄像元件112针对每个像素而输出的模拟的R/G/B图像信号转换成数字的RGB图像信号。通过AD转换部114来转换成数字的图像信号的数字图像信号被添加到复原处理块120。
复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽玛处理部124、去马赛克算法处理部125、RGB/YCrCb转换部126、以及Y信号复原处理部127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。在黑电平调整中，采用公知的方法。例如，在关注于某个有效光电转换元件的情况下，通过求出分别与包括该有效光电转换元件的光电转换元件行中包括的多个OB光电转换元件对应的暗电流量获取用信号的平均，从与该有效光电转换元件对应的暗电流量获取用信号中减去该平均，进行黑电平调整。
白平衡增益部123进行与调整了黑电平数据的数字图像信号中包括的RGB各颜色信号的白平衡增益相应的增益调整。
伽玛处理部124为了使得进行了白平衡调整的R、G、B图像信号达到期望的伽玛特性，执行进行半色调等灰度校正的伽玛校正。
去马赛克算法处理部125对伽玛校正后的R、G、B图像信号实施去马赛克算法处理。具体来说，去马赛克算法处理部125通过对R、G、B的图像信号实施颜色插值处理，生成从摄像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克算法处理之前，来自各受光像素的像素信号是R、G、B的图像信号的任一个，在颜色去马赛克算法处理之后，输出与各受光像素对应的R、G、B信号的三个像素信号的组。
RGB/YCrCb转换部126将进行了去马赛克算法处理的每个像素的R、G、B信号转换成亮度信号Y与色差信号Cr、Cb，输出每个像素的亮度信号Y以及色差信号Cr、Cb。
Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核心尺寸的反卷积核心(对应于M＝7、N＝7的抽头数)以及与该反卷积核心对应的运算系数(对应于复原增益数据、滤波器系数)构成，用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。此外，关于复原滤波器，与光学滤波器111对应的被存储于未图示的存储器(例如附带地设置了Y信号复原处理部127的存储器)。另外，反卷积核心的核心尺寸不限于7×7。
接下来，说明基于复原处理块120的复原处理。图27是示出基于图25所示的复原处理块120的复原处理流程的一例的图。
针对黑电平调整部122的一个输入，从AD转换部114添加了数字图像信号，对其他输入添加黑电平数据，黑电平调整部122从数字图像信号中减去黑电平数据，将减去了黑电平数据的数字图像信号输出到白平衡增益部123(S61)。由此，在数字图像信号中不包括黑电平分量，表示黑电平的数字图像信号为0。
针对黑电平调整后的图像数据依次实施由白平衡增益部123、伽玛处理部124进行的处理(S62以及S63)。
进行了伽玛校正的R、G、B信号在由去马赛克算法处理部125进行去马赛克算法处理之后，在RGB/YCrCb转换部126中转换成亮度信号Y与色度信号Cr、Cb(S64)。
Y信号复原处理部127进行对亮度信号Y施加EDoF光学***110的光学滤波器111的相位调制量的反卷积处理的复原处理(S65)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的预定单位的像素组对应的亮度信号(在这里是7×7像素的亮度信号)以及预先在存储器等中存储的复原滤波器(7×7的反卷积核心及其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127通过以覆盖摄像面的整个区域的方式重复进行该预定单位的像素组的每组的反卷积处理，来进行除掉图像整体的图像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心的位置来确定。即，对相邻的像素组，应用共同的复原滤波器。为了进一步简化复原处理，优选对全部的像素组应用共同的复原滤波器。
如图28(a)所示，通过EDoF光学***110后的亮度信号的点像(光学像)作为大的点像(模糊了的图像)成像于摄像元件112，通过在Y信号复原处理部127中的反卷积处理，如图28(b)所示地复原到小的点像(高分辨率的图像)。
如上所述，通过对去马赛克算法处理后的亮度信号施加复原处理，不需要使RGB分别具有复原处理的参数，能够使复原处理高速化。另外，不是将与处于分散的位置的R/G/B的像素对应的R/G/B的图像信号分别整合成一个单位来进行反卷积处理，而是将相邻的像素的亮度信号彼此整合成预定的单位，对该单位应用共同的复原滤波器来进行反卷积处理，因此，复原处理的精度提高。此外，关于色差信号Cr/Cb，在基于人的眼睛的视觉的特性方面，即使没有通过复原处理提高分辨率，在画质方面也是容许的。另外，在以JPEG这样的压缩形式记录图像的情况下，以比亮度信号高的压缩率来压缩色差信号，因此没有通过复原处理提高分辨率的必要性。这样，能够同时实现复原精度的提高以及处理的简化和高速化。
对于以上说明的那样的EDoF***的复原处理，也能够应用本发明的各实施方式的点像复原处理，特别是，对于EDoF***优选第二实施方式～第五实施方式以及它们的变形例。
此外，在上述各实施方式中，对点像复原处理部36设置在数码相机10的相机主体14(相机主体控制器28)中的方式进行了说明，但也可以在计算机60、服务器80等其他装置中设置点像复原处理部36。
例如，当在计算机60中加工图像数据时，也可以通过计算机60中设置的点像复原处理部来进行该图像数据的点像复原处理。另外，在服务器80具备点像复原处理部的情况下，例如，也可以从数码相机10、计算机60向服务器80发送图像数据，在服务器80的点像复原处理部中，针对该图像数据进行点像复原处理，将点像复原处理后的图像数据(恢复图像数据)发送/提供到发送源。
另外，能够应用本发明的形式不限定于数码相机10、计算机60以及服务器80，除以摄像为主要功能的相机之外，对于在摄像功能之外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备也能够应用。作为能够应用本发明的其他方式，列举例如具有相机功能的移动电话机、智能手机、PDA(Personal Digital Assistants，个人数码助理)、便携型游戏机。下面，说明能够应用本发明的智能手机的一例。
＜智能手机的结构＞
图29示出作为本发明的摄影装置的一实施方式的智能手机201的外观。图29所示的智能手机201具有平板状的框体202，在框体202的一个面具备将作为显示部的显示面板221与作为输入部的操作面板222一体地构成的显示输入部220。另外，上述框体202具备扬声器231、麦克风232、操作部240与相机部241。此外，框体202的结构不限定于此，例如，也能够采用显示部与输入部相独立的结构，或者，采用具有折叠构造、滑动机构的结构。
图30是示出图29所示的智能手机201的结构的框图。如图30所示，作为智能手机的主要结构要素，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System，全球定位***)接收部270、运动传感器部280、电源部290以及主控制部200。另外，作为智能手机201的主要功能，具备经由基站装置BS与移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210依照主控制部200的指示，来对在移动通信网NW中容纳的基站装置BS进行无线通信。使用上述无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部220通过主控制部200的控制，显示图像(静态图像以及动态图像)、文字信息等而在视觉上地向用户传递信息，具备作为检测针对所显示的信息的用户操作的所谓的触摸面板的显示面板221以及操作面板222。
显示面板221将LCD(Liquid Crystal Display，液晶显示器)、OELD(OrganicElectro-Luminescence Display，有机电致发光显示器)等用作显示设备。操作面板222是以可视觉辨认在显示面板221的显示面上显示的图像的方式来装载，检测由用户的手指、笔尖来操作的一或者多个坐标的设备。在由用户的手指、笔尖操作上述设备时，将由于操作而产生的检测信号输出到主控制部200。接下来，主控制部200根据接收到的检测信号，来检测显示面板221上的操作位置(坐标)。
如图29所示，作为本发明的摄影装置的一实施方式而例示的智能手机201的显示面板221与操作面板222一体地构成显示输入部220，操作面板222被配置成完全覆盖显示面板221。在采用上述配置的情况下，操作面板222在显示面板221之外的区域，也可以具备检测用户操作的功能。换言之，操作面板222也可以具备针对与显示面板221重叠的重叠部分的检测区域(下面，称为显示区域)以及针对除此之外的与显示面板221不重叠的外缘部分的检测区域(下面，称为非显示区域)。
此外，也可以使显示区域的大小与显示面板221的大小完全一致，但不一定需要使两者一致。另外，操作面板222也可以具备外缘部分与除此之外的内侧部分这两个感应区域。进一步地，外缘部分的宽度根据框体202的大小等来适当设计。另外，作为由操作面板222采用的位置检测方式，列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式，静电电容方式等，能够采用其中任一个方式。
通话部230具备扬声器231、麦克风232，将通过麦克风232输入的用户的声音转换成能够由主控制部200处理的声音数据并输出到主控制部200，或者，对通过无线通信部210或者外部输入输出部260接收到的声音数据进行解码并从扬声器231到输出。另外，如图29所示，例如，能够将扬声器231搭载于与设置了显示输入部220的面相同的面，将麦克风232搭载于框体202的侧面。
操作部240是采用按键开关等的硬件键，受理来自用户的指示。例如，如图29所示，操作部240搭载于智能手机201的框体202的侧面，是在由手指等按下时接通、当手指离开时通过弹簧等的恢复力而成为切断状态的按压按钮式的开关。
存储部250存储主控制部200的控制程序、控制数据、应用软件、将通信对方的名称、电话号码等对应起来的地址数据、收发的电子邮件的数据、通过Web浏览下载的Web数据、下载的内容数据，另外暂时性地存储流数据等。另外，存储部250由智能手机内置的内部存储部251与装卸自如的具有外部存储器插槽的外部存储部252构成。此外，构成存储部250的各个内部存储部251与外部存储部252采用闪存存储器类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read onlyMemory)等储存介质来实现。
外部输入输出部260起到与连结于智能手机201的全部的外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification，射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)，直接地或者间接地连接到其他外部设备。
作为与智能手机201连结的外部设备，例如，存在经由有/无线头戴式受话器、有/无线外部充电器、有/无线数据端口、卡插槽而连接的存储卡(Memory card)、SIM卡(Subscriber Identity Module Card，客户识别模块卡)/UIM卡(User Identity ModuleCard，用户识别模块卡)、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这样的外部设备接受传送而得到的数据传递到智能手机201的内部的各结构要素、将智能手机201的内部的数据传送到外部设备。
GPS接收部270依照主控制部200的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，检测智能手机201的由纬度、经度、高度构成的位置。GPS接收部270在从无线通信部210、外部输入输出部260(例如，无线LAN)能够获取位置信息时，也能够采用该位置信息来检测位置。
运动传感器部280例如具备3轴的加速度传感器等，依照主控制部200的指示，检测智能手机201的物理的运动。通过检测智能手机201的物理的运动，检测出智能手机201的运动方向、加速度。将上述检测结果输出到主控制部200。
电源部290依照主控制部200的指示，向智能手机201的各部供给在电池(未图示)中储存的电力。
主控制部200具备微处理器，依照存储部250所存储的控制程序、控制数据来动作，集中地控制智能手机201的各部。另外，主控制部200为了通过无线通信部210进行声音通信、数据通信，具备控制通信***的各部的移动通信控制功能与应用处理功能。
应用处理功能依照存储部250所存储的应用软件，通过主控制部200动作来实现。作为应用处理功能，例如，存在控制外部输入输出部260而与对方设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web页面的Web浏览功能等。
另外，主控制部200具备根据接收数据、下载的流数据等图像数据(静态图像、动态图像的数据)，将影像显示到显示输入部220的等图像处理功能。图像处理功能是指，主控制部200对上述图像数据进行解码，对上述解码结果实施图像处理，将图像显示到显示输入部220的功能。
进一步，主控制部200执行针对显示面板221的显示控制、以及检测通过操作部240、操作面板222的用户操作的操作检测控制。
通过显示控制的执行，主控制部200显示用于起动应用软件的图标、滚动条等软件键，或者显示用于制作电子邮件的窗口。此外，滚动条是指，针对无法容纳到显示面板221的显示区域大的图像等，受理用于移动图像的显示部分的指示的软件键。
另外，通过操作检测控制的执行，主控制部200检测通过操作部240的用户操作，或者，通过操作面板222，受理针对上述图标的操作、针对上述窗口的输入栏的文字列的输入，或者，受理通过滚动条的显示图像的滚动请求。
进一步，通过操作检测控制的执行，主控制部200具备判定针对操作面板222的操作位置是与显示面板221重叠的重叠部分(显示区域)，还是除此之外的与显示面板221不重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域、软件键的显示位置的触摸面板控制功能。
另外，主控制部200也能够检测针对操作面板222的手势操作，根据检测到的手势操作来执行预先设定的功能。手势操作不是以往的简单的触摸操作，而是表示通过手指等来描绘轨迹，或者，同时指定多个位置，或者将它们组合，从多个位置中针对至少一个描绘轨迹的操作。
相机部241是采用CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等摄像元件来进行电子摄影的数码相机。另外，相机部241通过主控制部200的控制，能够将通过摄像而得到的图像数据转换成例如JPEG(JointPhotographic coding Experts Group)等压缩的图像数据，并记录到存储部250，或者，通过输入输出部260、无线通信部210而输出。在图29所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置不限于此，既可以搭载于显示输入部220的背面，或者，也可以搭载多个相机部241。此外，在搭载了多个相机部241的情况下，也能够切换供摄影使用的相机部241而单独地进行摄影，或者，同时使用多个相机部241而进行摄影。
另外，相机部241能够用于智能手机201的各种功能。例如，能够在显示面板221上显示由相机部241获取到的图像，或者利用相机部241的图像来作为操作面板222的操作输入的一种。另外，在GPS接收部270检测位置时，也能够参照来自相机部241的图像而检测位置。进一步地，参照来自相机部241的图像，不使用3轴的加速度传感器，或者，与3轴的加速度传感器并用，能够判断智能手机201的相机部241的光轴方向，或者判断当前的使用环境。当然，也能够在应用软件内利用来自相机部241的图像。
其他，也能够在静止图像或者动画的图像数据中附加通过GPS接收部270获取到的位置信息、通过麦克风232获取到的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)、通过运动传感器部280获取到的姿势信息等而记录到存储部250，或者，通过输入输出部260、无线通信部210而输出。
在上述智能手机201中，与点像复原处理关联的上述各处理部例如能够通过主控制部200、存储部250等来适当实现。
本发明不限定于上述实施方式，在不脱离本发明的精神的范围内，当然能够进行各种变形。
标号说明
10…数码相机，12…镜头单元，14…相机主体，16…透镜，17…光圈，18…光学***操作部，20…镜头单元控制器，22…镜头单元输入输出部，26…摄像元件，28…相机主体控制器，30…相机主体输入输出部，32…输入输出接口，34…设备控制部，35…图像处理部，36…点像复原处理部，37…图像解析部，38…减幅振荡判定部，39…复原处理判定部，40…图像获取条件获取部，41…偏移校正处理，42…WB校正处理，43…去马赛克算法处理，44…伽玛校正处理，45…亮度/色差转换处理，46…点像复原处理，47…颜色信号转换处理，48…图像信息获取部，55…滤波器选择部，56…运算处理部，57…复原滤波器存储部，60…计算机，62…计算机输入输出部，64…计算机控制器，66…显示器，70…因特网，80…服务器，82…服务器输入输出部，84…服务器控制器，86…复原处理信息获取部，101…摄像模块，110…EDoF光学***，110A…摄影透镜，111…光学滤波器，112…摄像元件，114…AD转换部，120…复原处理块，122…黑电平调整部，123…白平衡增益部，124…伽玛处理部，125…去马赛克算法处理部，126…RGB/YCrCb转换部，127…Y信号复原处理部，200…主控制部，201…智能手机，202…框体，210…无线通信部，220…显示输入部，221…显示面板，222…操作面板，230…通话部，231…扬声器，232…麦克风，240…操作部，241…相机部，250…存储部，251…内部存储部，252…外部存储部，260…外部输入输出部，270…GPS接收部，280…运动传感器部，290…电源部。
Claims (34)
1.一种图像处理装置，其特征在于，
具备：图像信息获取部，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示所述原图像数据的获取条件的图像获取条件数据中的至少任一个；
复原处理部，针对所述原图像数据进行采用基于所述光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；
减幅振荡判定部，判定所述图像信息是否符合由于所述复原处理而在所述恢复图像数据中产生减幅振荡的条件；以及
处理控制部，根据所述减幅振荡判定部的判定结果，控制图像处理，
针对灰度校正后的所述原图像数据进行所述复原处理，
所述灰度校正是基于对数化处理的灰度校正，
所述复原滤波器由与所述对数化处理前的图像数据对应的滤波器系数构成。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述复原处理是仅复原所述原图像数据的振幅分量而得到所述恢复图像数据的处理。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述复原处理是复原所述原图像数据的振幅分量以及相位分量而得到所述恢复图像数据的处理。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述图像信息获取部获取包括所述图像解析数据的所述图像信息，所述图像解析数据表示所述原图像数据中是否包括像素值饱和了的像素数据或者具有比阈值大的像素值的像素数据。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述图像获取条件数据包括在获取所述原图像数据的摄影中使用的所述光学***的信息。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述光学***的信息包括在获取所述原图像数据的摄影中使用的所述光学***的透镜种类、光圈值、变焦值中的至少任一个。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定是否执行所述复原处理部的所述复原处理。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定在所述复原处理中采用的所述复原滤波器。
9.根据权利要求1所述的图像处理装置，其特征在于，
所述原图像数据包括亮度数据，
所述复原处理部针对所述原图像数据的所述亮度数据进行所述复原处理。
10.根据权利要求1所述的图像处理装置，其特征在于，
所述原图像数据包括颜色数据，
所述复原处理部针对所述原图像数据的所述颜色数据进行所述复原处理。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定针对所述原图像数据的亮度数据以及颜色数据中的哪一个进行所述复原处理，
所述复原处理部针对所述原图像数据的亮度数据以及颜色数据中的由所述处理控制部决定的数据进行所述复原处理。
12.根据权利要求1所述的图像处理装置，其特征在于，
具备进行所述原图像数据的灰度校正的灰度校正部，
所述处理控制部根据所述减幅振荡判定部的判定结果，控制所述灰度校正部的所述灰度校正。
13.根据权利要求1所述的图像处理装置，其特征在于，
所述处理控制部针对每个所述原图像数据，控制所述图像处理或者所述复原处理。
14.根据权利要求1所述的图像处理装置，其特征在于，
所述处理控制部针对构成所述原图像数据的每个像素数据，控制所述图像处理或者所述复原处理。
15.一种图像处理装置，其特征在于，
具备：图像信息获取部，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示所述原图像数据的获取条件的图像获取条件数据中的至少任一个；
复原处理部，针对所述原图像数据进行采用基于所述光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；
灰度校正部，进行所述原图像数据的灰度校正；
减幅振荡判定部，判定所述图像信息是否符合由于所述复原处理而在所述恢复图像数据中产生减幅振荡的条件；以及
处理控制部，根据所述减幅振荡判定部的判定结果，控制所述复原处理，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定针对所述灰度校正前的所述原图像数据以及所述灰度校正后的所述原图像数据中的哪一个进行所述复原处理。
16.根据权利要求15所述的图像处理装置，其特征在于，
所述灰度校正是基于对数化处理的灰度校正，
所述复原滤波器由与所述对数化处理前的图像数据对应的滤波器系数构成。
17.根据权利要求15所述的图像处理装置，其特征在于，
所述灰度校正是基于对数化处理的灰度校正，
所述复原滤波器由与所述对数化处理后的图像数据对应的滤波器系数构成。
18.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述复原处理是仅复原所述原图像数据的振幅分量而得到所述恢复图像数据的处理。
19.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述复原处理是复原所述原图像数据的振幅分量以及相位分量而得到所述恢复图像数据的处理。
20.根据权利要求15所述的图像处理装置，其特征在于，
还具备复原处理信息获取部，该复原处理信息获取部获取复原处理信息，该复原处理信息关于所述复原处理是仅复原所述原图像数据的振幅分量而得到所述恢复图像数据的处理，还是复原所述原图像数据的振幅分量以及相位分量而得到所述恢复图像数据的处理，
所述处理控制部除所述减幅振荡判定部的判定结果之外，还根据所述复原处理信息获取部所获取的所述复原处理信息，决定针对所述灰度校正前的所述原图像数据以及所述灰度校正后的所述原图像数据中的哪一个进行所述复原处理。
21.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述图像信息获取部获取包括所述图像解析数据的所述图像信息，所述图像解析数据表示所述原图像数据中是否包括像素值饱和了的像素数据或者具有比阈值大的像素值的像素数据。
22.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述图像获取条件数据包括在获取所述原图像数据的摄影中使用的所述光学***的信息。
23.根据权利要求22所述的图像处理装置，其特征在于，
所述光学***的信息包括在获取所述原图像数据的摄影中使用的所述光学***的透镜种类、光圈值、变焦值中的至少任一个。
24.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定是否执行所述复原处理部的所述复原处理。
25.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定在所述复原处理中采用的所述复原滤波器。
26.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，控制所述灰度校正部的所述灰度校正。
27.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述原图像数据包括亮度数据，
所述复原处理部针对所述原图像数据的所述亮度数据进行所述复原处理。
28.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述原图像数据包括颜色数据，
所述复原处理部针对所述原图像数据的所述颜色数据进行所述复原处理。
29.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述处理控制部根据所述减幅振荡判定部的判定结果，决定针对所述原图像数据的亮度数据以及颜色数据中的哪一个进行所述复原处理，
所述复原处理部针对所述原图像数据的亮度数据以及颜色数据中的由所述处理控制部决定的数据进行所述复原处理。
30.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述光学***具有对相位进行调制而使视野深度扩大的透镜部。
31.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述处理控制部针对每个所述原图像数据，控制所述复原处理。
32.根据权利要求15至17中的任一项所述的图像处理装置，其特征在于，
所述处理控制部针对构成所述原图像数据的每个像素数据，控制所述复原处理。
33.一种摄像装置，其特征在于，具备：
权利要求1至32中的任一项所述的图像处理装置；和
所述摄像元件，通过采用所述光学***的所述摄影而输出所述原图像数据。
34.一种图像处理方法，其特征在于，包括：
图像信息获取步骤，获取图像信息，该图像信息包括对通过采用光学***的摄影而从摄像元件获取的原图像数据进行解析而获取的图像解析数据以及表示所述原图像数据的获取条件的图像获取条件数据中的至少任一个；
复原处理步骤，针对所述原图像数据进行采用基于所述光学***的点扩散函数的复原滤波器的复原处理，得到恢复图像数据；
灰度校正步骤，进行所述原图像数据的灰度校正；以及
减幅振荡判定步骤，判定所述图像信息是否符合由于所述复原处理而在所述恢复图像数据中产生减幅振荡的条件，
根据所述减幅振荡判定步骤的判定结果，控制所述复原处理，
根据所述减幅振荡判定步骤的判定结果，决定针对所述灰度校正前的所述原图像数据以及所述灰度校正后的所述原图像数据中的哪一个进行所述复原处理。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013069688 | 2013-03-28 | ||
| JP2013-069688 | 2013-03-28 | ||
| PCT/JP2013/062468 WO2014155755A1 (ja) | 2013-03-28 | 2013-04-26 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104704806A CN104704806A (zh) | 2015-06-10 |
| CN104704806B true CN104704806B (zh) | 2017-08-29 |
Family
ID=51622798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380051298.2A Active CN104704806B (zh) | 2013-03-28 | 2013-04-26 | 图像处理装置、摄像装置以及图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9357107B2 (zh) |
| JP (1) | JP5759085B2 (zh) |
| CN (1) | CN104704806B (zh) |
| DE (1) | DE112013004507T5 (zh) |
| WO (1) | WO2014155755A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5864813B2 (ja) * | 2013-03-04 | 2016-02-17 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 |
| JP2015154307A (ja) * | 2014-02-17 | 2015-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN106134177B (zh) * | 2014-03-31 | 2019-05-28 | 富士胶片株式会社 | 图像处理装置、摄影装置、图像处理方法及图像处理程序 |
| US9554121B2 (en) * | 2015-01-30 | 2017-01-24 | Electronics And Telecommunications Research Institute | 3D scanning apparatus and method using lighting based on smart phone |
| JP6512893B2 (ja) * | 2015-03-26 | 2019-05-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム |
| WO2016171091A1 (ja) * | 2015-04-23 | 2016-10-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
| CN107534732B (zh) | 2015-04-23 | 2020-03-06 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及记录介质 |
| JP6247794B2 (ja) * | 2015-04-23 | 2017-12-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
| US10250782B2 (en) * | 2015-10-08 | 2019-04-02 | Samsung Electro-Mechanics Co., Ltd. | Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF) |
| JP6790384B2 (ja) * | 2016-03-10 | 2020-11-25 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| US11602265B2 (en) * | 2016-03-31 | 2023-03-14 | Sony Corporation | Control device, endoscopic imaging device, control method, program, and endoscopic system |
| US10638060B2 (en) * | 2016-06-28 | 2020-04-28 | Intel Corporation | Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels |
| US11645744B2 (en) * | 2016-12-06 | 2023-05-09 | Mitsubishi Electric Corporation | Inspection device and inspection method |
| TWI639135B (zh) | 2017-11-16 | 2018-10-21 | 國立高雄科技大學 | 模糊影像之復原方法 |
| US11575865B2 (en) | 2019-07-26 | 2023-02-07 | Samsung Electronics Co., Ltd. | Processing images captured by a camera behind a display |
| US11721001B2 (en) * | 2021-02-16 | 2023-08-08 | Samsung Electronics Co., Ltd. | Multiple point spread function based image reconstruction for a camera behind a display |
| US11722796B2 (en) | 2021-02-26 | 2023-08-08 | Samsung Electronics Co., Ltd. | Self-regularizing inverse filter for image deblurring |
| CN116485786B (zh) * | 2023-06-15 | 2023-09-01 | 贵州医科大学附属医院 | 一种内分泌试纸智能分析方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101001325A (zh) * | 2006-01-13 | 2007-07-18 | 奥林巴斯映像株式会社 | 数字照相机 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300461A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
| JP2006129236A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP4753856B2 (ja) * | 2006-12-25 | 2011-08-24 | 三洋電機株式会社 | 動き検出装置及び方法並びに撮像装置 |
| JP2011059813A (ja) | 2009-09-07 | 2011-03-24 | Nikon Corp | 画像処理装置、撮影装置及びプログラム |
| JP5534832B2 (ja) | 2010-01-21 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5188651B2 (ja) * | 2010-03-31 | 2013-04-24 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
| JP5514042B2 (ja) * | 2010-08-26 | 2014-06-04 | 富士フイルム株式会社 | 撮像モジュール、画像信号処理方法および撮像装置 |
| JP6045185B2 (ja) | 2011-06-14 | 2016-12-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5818586B2 (ja) | 2011-08-31 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5991749B2 (ja) * | 2011-09-26 | 2016-09-14 | キヤノン株式会社 | 画像処理装置及び方法 |
-
2013
- 2013-04-26 CN CN201380051298.2A patent/CN104704806B/zh active Active
- 2013-04-26 JP JP2015507926A patent/JP5759085B2/ja active Active
- 2013-04-26 WO PCT/JP2013/062468 patent/WO2014155755A1/ja active Application Filing
- 2013-04-26 DE DE112013004507.9T patent/DE112013004507T5/de not_active Ceased
-
2015
- 2015-03-30 US US14/672,877 patent/US9357107B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101001325A (zh) * | 2006-01-13 | 2007-07-18 | 奥林巴斯映像株式会社 | 数字照相机 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5759085B2 (ja) | 2015-08-05 |
| US9357107B2 (en) | 2016-05-31 |
| US20150207962A1 (en) | 2015-07-23 |
| JPWO2014155755A1 (ja) | 2017-02-16 |
| CN104704806A (zh) | 2015-06-10 |
| DE112013004507T5 (de) | 2015-12-31 |
| WO2014155755A1 (ja) | 2014-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104704806B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| CN104995911B (zh) | 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 | |
| CN104704807B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| CN106134178B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| CN105432069B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN104854858B (zh) | 图像处理装置、摄像装置、计算机 | |
| CN105009563B (zh) | 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质 | |
| CN106165390B (zh) | 图像处理装置、摄影装置、图像处理方法 | |
| CN105103534B (zh) | 摄像装置及校准方法 | |
| CN105075239B (zh) | 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质 | |
| CN104969545B (zh) | 图像处理装置、摄像装置、图像处理方法以及程序 | |
| CN105009168B (zh) | 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置 | |
| CN106134177B (zh) | 图像处理装置、摄影装置、图像处理方法及图像处理程序 | |
| CN105453534B (zh) | 图像处理装置及方法 | |
| CN105453539B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| CN105453540B (zh) | 图像处理装置、摄像装置、图像处理方法 | |
| CN105432068A (zh) | 摄像装置、摄像方法及图像处理装置 | |
| CN105165003B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN106165392A (zh) | 图像处理装置、摄影装置、图像处理方法及图像处理程序 | |
| CN107079094A (zh) | 图像处理装置、图像处理方法、程序及记录介质 | |
| CN106416218B (zh) | 图像处理装置、摄像装置、图像处理方法以及存储介质 | |
| CN106464798B (zh) | 图像处理装置、摄像装置、图像处理方法以及记录介质 | |
| CN106664372B (zh) | 图像处理装置、图像处理方法及记录介质 | |
| CN105009579B (zh) | 复原滤波器生成装置和方法、图像处理装置和方法以及摄像装置 | |
| CN108141530A (zh) | 图像处理装置、图像处理方法及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |