CN102422630B - 摄像设备 - Google Patents
摄像设备 Download PDFInfo
- Publication number
- CN102422630B CN102422630B CN201080021293.1A CN201080021293A CN102422630B CN 102422630 B CN102422630 B CN 102422630B CN 201080021293 A CN201080021293 A CN 201080021293A CN 102422630 B CN102422630 B CN 102422630B
- Authority
- CN
- China
- Prior art keywords
- photographic images
- subject
- unit
- distance
- taking lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims abstract description 118
- 238000006243 chemical reaction Methods 0.000 claims abstract description 75
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 60
- 230000003287 optical effect Effects 0.000 claims description 26
- 210000001747 pupil Anatomy 0.000 claims description 24
- 238000012546 transfer Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 55
- 230000006870 function Effects 0.000 description 29
- 238000012790 confirmation Methods 0.000 description 14
- 101000755816 Homo sapiens Inactive rhomboid protein 1 Proteins 0.000 description 13
- 102100022420 Inactive rhomboid protein 1 Human genes 0.000 description 13
- 238000009826 distribution Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 238000004040 coloring Methods 0.000 description 4
- 101150005874 DEF1 gene Proteins 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 229920005591 polysilicon Polymers 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004276 hyalin Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0007—Movement of one or more optical elements for control of motion blur
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种摄像设备,其具有模糊校正单元,模糊校正单元具有使拍摄者容易地确认拍摄图像的显示功能。摄像设备包括:拍摄镜头,用于形成被摄体图像;光电转换单元,其被配置在拍摄镜头的预测成像面上;显示单元,用于显示光电转换单元所获得的拍摄图像;图像显示控制单元,用于在光电转换单元获得拍摄图像之后,利用显示单元显示拍摄图像;距离信息获取单元,用于获得拍摄图像中的距离信息;以及模糊校正单元,用于基于距离信息获取单元所获得的距离信息,对拍摄图像进行模糊校正。图像显示控制单元显示对拍摄图像中的多个距离聚焦的拍摄图像。
Description
技术领域
本发明涉及一种能够基于拍摄图像中包括的被摄体的距离信息进行模糊校正的摄像设备。
背景技术
在相关技术中,日本特开2000-156823公开了一种摄像设备,该摄像设备可以在光电转换单元的像素组之间分散分布焦点检测像素,并且可以基于来自焦点检测像素的信号计算被摄体距离(以下称为“专利文献1”)。如果使用专利文献1所公开的结构,可以获得与拍摄图像中包括的被摄体有关的距离分布。
作为复原模糊图像并生成模糊复原后的图像的方法,例如,使用利用Wiener滤波器、普通逆滤波器或投影滤波器的方法。日本特开2000-20691公开了用于使用上述方法校正模糊的技术(以下称为“专利文献2”)。通过使用专利文献2中所述的技术,可以通过基于拍摄条件的物理分析或者基于来自摄像设备中的测量装置的输出的估计,计算劣化函数,并且可以使用被称为反卷积的图像复原算法复原模糊图像。
通常,可以通过拍摄时的聚焦状态确定要聚焦的被摄体距离。为此,在拍摄之后不能改变要聚焦的被摄体距离。然而,如果使用专利文献1中所述的技术获得拍摄图像中的被摄体距离分布,并且使用专利文献2中所述的模糊校正技术进行模糊校正,则可以在拍摄之后改变要聚焦的被摄体距离。
发明内容
然而,在将专利文献1和专利文献2所述的技术应用于摄像设备时,拍摄者难以确认拍摄图像。
如果使用专利文献1和2所述的技术,则在拍摄之后,根据被摄体距离切换模糊校正,以改变要聚焦的被摄体距离。然而,拍摄镜头的调焦透镜移动范围受限,并且,如果模糊量过大,则在复原模糊图像时执行极端转换处理,并且可能生成噪声。结果,可以校正模糊的被摄体距离范围或者模糊量受到限制。为此,要聚焦的被摄体距离或模糊量也被限制在预定范围内。拍摄者在拍摄之后立即查看确认图像显示,并且估计要聚焦的被摄体距离的范围。然而,根据对特定被摄体距离聚焦的图像,很难掌握要聚焦的被摄体距离的范围。
不管在拍摄之后可以通过模糊校正处理获得要聚焦的图像的区域如何,都假定在没有进行聚焦的状态下显示拍摄之后的拍摄图像确认显示这一情况。在这种情况下,即使在该区域中生成并非拍摄者希望的失败部分,也以模糊状态显示拍摄图像确认显示。结果,拍摄者不能在拍摄之后立即确认失败部分,并且在拍摄之后校正模糊时才初次确认失败部分。
考虑到上述问题做出本发明,并且本发明的目的是提供一种使拍摄者容易地确认拍摄图像的、具有模糊校正单元的摄像设备。
为了实现上述目的,根据本发明的摄像设备包括:拍摄镜头,用于形成被摄体图像;光电转换单元,其被配置在所述拍摄镜头的预测成像面处;显示单元,用于显示所述光电转换单元所获得的拍摄图像;图像显示控制单元,用于在所述光电转换单元获得所述拍摄图像之后,利用所述显示单元显示所述拍摄图像;距离信息获取单元,用于获得所述拍摄图像中的距离信息;以及模糊校正单元,用于基于所述距离信息获取单元所获得的距离信息,对所述拍摄图像进行模糊校正,其中,所述图像显示控制单元显示对拍摄图像中的多个距离聚焦的拍摄图像。
本发明的另一摄像设备包括:拍摄镜头,用于形成被摄体图像;光电转换单元,其被配置在所述拍摄镜头的预测成像面处;显示单元,用于显示所述光电转换单元所获得的拍摄图像;图像显示控制单元,用于在所述光电转换单元获得所述拍摄图像之后,将所述拍摄图像显示在所述显示单元上;距离信息获取单元,用于获得所述拍摄图像中的距离信息;以及模糊校正单元,用于基于所述距离信息获取单元所获得的距离信息,对所述拍摄图像进行模糊校正,其中,所述图像显示控制单元显示能够对模糊进行校正的范围。
本发明的摄像设备可以显示校正了存在于从拍摄图像中的第一距离到第二距离的范围中的多个距离处的被摄体模糊的拍摄图像,作为紧接着拍摄之后的确认图像。也就是说,该摄像设备可以显示对拍摄图像中的多个距离聚焦的模糊校正后的图像,以显示拍摄者可以容易地掌握模糊能校正范围的确认图像。根据本发明的模糊校正后的图像,可以容易地发现可以获得要聚焦的图像的区域中的拍摄的失败部分。通过显示要重叠在模糊校正后的拍摄图像上的所检测到的被摄体的位置和数量,拍摄者可以容易地掌握所检测到的被摄体的位置和数量。如此,根据本发明,可以实现使拍摄者容易地确认拍摄图像的摄像设备。
通过以下参考附图对典型实施例的说明,本发明的其它特征将显而易见。
附图说明
图1是示出根据本发明的照相机的结构的图;
图2是示出根据本发明的照相机中使用的摄像元件的电路的图;
图3是根据本发明的摄像元件的像素部的截面图;
图4A和4B分别是根据本发明的摄像元件的摄像像素的平面图和截面图;
图5A和5B分别是根据本发明的摄像元件的焦点检测像素的平面图和截面图;
图6A和6B分别是根据本发明的摄像元件的另一焦点检测像素的平面图和截面图;
图7是示出根据本发明的摄像元件的光瞳分割状态的概念图;
图8是示出本发明中所获得的距离信息的概念图;
图9是示出本发明中的被摄体距离和模糊能校正距离之间的关系的图;
图10是示出本发明第一实施例中被摄体距离成像面位置和拍摄镜头137的成像面位置之间的关系的图;
图11是示出进行根据本发明的模糊校正之前的拍摄图像的图;
图12A和12B是示出根据本发明的拍摄图像的模糊校正的图;
图13A和13B是示出紧接着拍摄之后所显示的根据本发明的确认图像的图;
图14是示出根据本发明的摄像设备的操作的流程图;
图15是示出被摄体距离映射(distancemap)生成子例程的流程图;
图16是示出拍摄子例程的流程图;
图17是示出拍摄之后的确认图像显示子例程的流程图;
图18是示出模糊校正子例程的流程图;
图19是示出模糊函数生成例程的流程图;
图20是示出本发明第二实施例中被摄体距离成像面位置和拍摄镜头137的成像面位置之间的关系的图。
具体实施方式
下面将参考附图详细说明本发明的典型实施例。
第一实施例
图1~19示出本发明的第一实施例。将使用附图说明本发明的第一实施例的功能。
图1是示出根据本发明的摄像设备的结构的图,其示出电子照相机,其中,该电子照相机包括具有摄像元件的照相机机体138和分离式拍摄镜头137,并且能够对于照相机机体138更换拍摄镜头137。
首先说明拍摄镜头137的结构。保持被配置在拍摄光学***(摄像光学***)前端的第一透镜组101在光轴方向上可前后移动(前进和后退)。光圈102调节光圈直径,并且调节拍摄时的光量。附图标记103表示第二透镜组。光圈102和第二透镜组103相互被集成在一起,并且在光轴方向上前后移动,而且与第一透镜组101的移动操作连动地进行放大操作(变焦功能)。
第三透镜组105在光轴方向上前后移动,并且进行焦点调节。变焦致动器111转动凸轮筒(cambarrel)(未示出),并且在光轴方向上向前移动第一透镜组101和第二透镜组103、或者使第一透镜组101和第二透镜组103返回,并且进行放大操作。光圈致动器112控制光圈102的光圈直径,并且调节拍摄光量。调焦致动器114在光轴方向上向前移动第三透镜组105或使第三透镜组105返回,并且进行焦点调节操作。
照相机通信电路136向照相机发送镜头的信息、或者接收照相机的信息。镜头的信息包括变焦状态、光圈状态、聚焦状态和镜头框信息。照相机通信电路136将该信息发送给设置在照相机侧的镜头通信电路135。
接着说明照相机机体138。光学低通滤波器106是用于缓解拍摄图像的伪色或摩尔纹(moire)的光学元件。摄像元件107包括C-MOS传感器及其***电路。作为摄像元件,使用二维单板彩色传感器(光电转换单元),在其中,在横向和纵向上的m×n光接收像素上形成片上式拜耳阵列的原色彩色马赛克滤波器。
快门单元139在拍摄静止图像时进行曝光时间控制。快门致动器140启动快门139。
作为拍摄时的被摄体照明电子闪光灯115,使用氙管的闪光照明设备是适用的,但是可以使用包括连续发光的LED的照明装置。AF辅助光学单元116通过投影透镜将具有预定开口图案的掩模的图像投影至视野,并且增强针对暗被摄体或具有低对比度的被摄体的焦点检测能力。
CPU121是照相机中内置的CPU,用于对照相机机体进行各种控制操作,CPU121具有操作单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路。CPU121基于存储在ROM中的预定程序驱动照相机的各种电路,并且执行诸如AF、拍摄、图像处理和记录等的一系列操作。
电子闪光灯控制电路122控制与拍摄操作同步接通照明单元115。辅助光驱动电路123控制与焦点检测操作同步接通AF辅助光学单元116。摄像元件驱动电路124控制摄像元件107的摄像操作,对所获得的图像信号进行A/D转换,并且将图像信号发送给CPU121。图像处理电路125对通过摄像元件107所获得的图像执行诸如伽马转换、颜色插值和JPEG压缩等的处理。
调焦驱动电路126基于焦点检测结果控制调焦致动器114的驱动,在光轴方向上向前移动第三透镜组105或使第三透镜组105返回,并且进行焦点调节。光圈驱动电路128控制光圈致动器112的驱动,并且控制光圈102的开口。变焦驱动电路129根据拍摄者的变焦操作驱动变焦致动器111。镜头通信电路135与拍摄镜头137中的照相机通信电路136通信。快门驱动电路145驱动快门致动器140。
作为诸如LCD等的显示装置的显示装置131显示照相机的拍摄模式的信息、拍摄之前的预览图像和拍摄之后的确认图像、以及检测焦点时的聚焦状态显示图像。操作开关组132包括电源开关、释放(拍摄触发器)开关、变焦操作开关和拍摄模式选择开关。可拆卸闪速存储器144记录所拍摄的图像。内置存储器144存储用于由CPU121所进行的操作所需的各种数据。
图2示出根据本发明的摄像元件的示意性电路结构。例如,可以使用本申请所应用的日本特开平9-046596所述的技术来构成摄像元件。为了便于说明,图2仅示出二维C-MOS区域传感器的2列×4行的像素结构。然而,在实际摄像元件中,配置了多个示出的像素30-11~30-42,并且可以获得高清晰度图像。在本实施例中,摄像元件是这样的摄像元件:像素间距为2μm,有效像素数为横向3000列×纵向2000行=6000000,并且摄像画面大小为横向6mm×纵向4mm。
在图2中,附图标记1表示光电转换元件的光电转换单元,其中,光电转换元件包括MOS晶体管栅极和该栅极下面的耗尽层,附图标记2表示光栅(photogate),附图标记3表示转换开关MOS晶体管,附图标记4表示用于复位的MOS晶体管,附图标记5表示源极跟随器放大器MOS晶体管,附图标记6表示水平选择开关MOS晶体管,附图标记7表示源极跟随器的负载MOS晶体管,附图标记8表示暗输出转换MOS晶体管,附图标记9表示光输出转换MOS晶体管,附图标记10表示暗输出累积电容CTN,附图标记11表示光输出累积电容CTN,附图标记12表示水平转换MOS晶体管,附图标记13表示水平输出线复位MOS晶体管,附图标记14表示差动输出放大器,附图标记15表示水平扫描电路,并且附图标记16表示垂直扫描电路。
图3示出光电转换像素的截面图。在图3中,附图标记17表示P型阱,附图标记18表示栅极氧化膜,附图标记19表示第一多晶硅层,附图标记20表示第二多晶硅层,并且附图标记21表示n+浮动扩散单元(FD)。FD单元21通过另一转换MOS晶体管与另一光电转换单元连接。在图3中,两个转换MOS晶体管3和FD单元21共同使用漏极,并且通过FD单元21的电容量的微小化和减小来增强灵敏度。然而,可以通过AL布线来连接FD单元21。
图4A、4B以及图5A和5B示出摄像像素和焦点检测像素的结构。在本实施例中,采用拜耳阵列,其中,在2行×2列的四个像素中,将具有G(绿色)光谱灵敏度的像素配置为对角配置的两个像素,并且将分别具有R(红色)和B(蓝色)光谱灵敏度的像素配置为其它两个像素。在拜耳阵列中,根据预定规则配置焦点检测像素。由于用于在摄像像素间分散配置焦点检测像素的技术是专利文献1中所述的已知技术,所以没有给出对其的说明。
图4A和4B示出摄像像素的配置和结构。图4A是2行×2列的摄像像素的平面图。已知在拜耳阵列中,将G像素配置在对角方向上,并且将R像素和B像素分别配置为其它两个像素。重复配置2行×2列的结构。
图4B示出图4A的截面4B-4B。附图标记ML表示被配置在各像素的最前面的片上微透镜,附图标记CFR表示R(红色)颜色滤波器,并且附图标记CFG表示G(绿色)颜色滤波器。附图标记PD示意性示出图3中示出的C-MOS传感器的光电转换单元,并且附图标记CL表示用于形成信号线以在C-MOS传感器中传送各种信号的布线层。附图标记TL示意性示出拍摄光学***。
在这种情况下,摄像像素的片上微透镜ML和光电转换单元PD用于尽可能有效地接收透过拍摄光学***TL的光束。也就是说,拍摄光学***TL的出射光瞳EP和光电转换单元PD通过微透镜ML处于共轭关系,并且将光电转换单元的有效面积设计为大面积。在图4B中,示出R像素的入射光束。然而,G像素和B(蓝色)像素具有相同结构。
因此,与用于摄像的各个RGB像素相对应的出射光瞳EP具有大的直径,并且有效接收来自被摄体的光束,而且提高图像信号的S/N比。
图5A和5B示出用于在拍摄镜头的水平方向(横向)上进行光瞳分割的焦点检测像素的配置和结构。图5A是包括焦点检测像素的2行×2列的像素的平面图。当获得射线信号时,G像素构成亮度信息的主成分。由于人的图像识别特征是对亮度信息敏感,所以,如果G像素缺陷,则人可能识别到图像质量下降。另外,R像素或B像素是获得颜色信息的像素。然而,由于人对颜色信息不敏感,所以,即使在获得颜色信息的像素中生成微小缺陷,也难以识别到图像质量下降。因此,在本实施例中,在2行×2列的像素中,G像素保持作为摄像像素,而使用R像素和B像素作为图5A中的SHA和SHB所示的焦点检测像素。
图5B示出图5A的截面5B-5B。微透镜ML和光电转换单元PD具有与图4B中所示的摄像像素相同的结构。在本实施例中,由于不使用焦点检测像素的信号作为拍摄图像的信号,所以代替颜色分离的颜色滤波器,配置透明膜CFW(白色)。由于通过摄像元件进行光瞳分割,所以布线层CL的开口的位置相对于微透镜ML的中心线在一个方向上偏离。具体地,由于像素SHA和开口OPHA的位置向右偏离,所以接收透过拍摄镜头TL的左出射光瞳EPHA的光束。同样,由于像素SHB的开口OPHB的位置向左偏离,所以接收透过拍摄镜头TL的右出射光瞳EPHB的光束。
因此,假定通过在水平方向上规则配置像素SHA所获得的被摄体图像为图像A,并且假定在水平方向上规则配置像素SHB所获得的被摄体图像为图像B。在这种情况下,可以通过检测图像A和图像B的相对位置来检测拍摄镜头137的离焦量。
在这种情况下,微透镜ML执行生成一对光学图像的镜头元件的功能,该一对光学图像是由透过拍摄镜头TL的左出射光瞳EPHA的光束所形成的图像A的光学图像和由透过拍摄镜头TL的右出射光瞳EPHB的光束所形成的图像B的光学图像。
在像素SHA和SHB中,对于在拍摄画面的横向上具有亮度分布,例如纵线的被摄体,能够进行焦点检测。然而,对于在纵向上具有亮度分布的横线,不能进行焦点检测。因此,在本实施例中,在拍摄画面的垂直方向(纵向)上也包括进行光瞳分割的像素,使得对于横线能够进行焦点检测。
图6A和6B示出用于在拍摄画面的垂直方向上进行光瞳分割的焦点检测像素的配置和结构。图6A示出包括焦点检测像素的2行×2列的像素的平面图。与图5A相同,G像素保持作为摄像像素,而使用R像素和B像素作为图6A中的SVC和SVD所示的焦点检测像素。
图6B示出图6A的截面6B-6B。除了图5B的像素在横向进行光瞳分割,而图6B的像素的光瞳分割方向变成纵向以外,图5B的像素结构与图6B的像素结构相同。也就是说,由于像素SVC的开口OPVC的位置向下方偏离,所以接收透过拍摄镜头TL的上出射光瞳EPVC的光束。同样,由于像素SVD的开口OPVD的位置向上方偏离,所以接收透过拍摄镜头TL的下出射光瞳EPVD的光束。因此,假定通过在垂直方向上规则配置像素SVC所获得的被摄体图像为图像C,并且通过在垂直方向上规则配置像素SVD所获得的被摄体图像为图像D。在这种情况下,可以通过检测图像C和图像D的相对位置来检测在垂直方向上具有亮度分布的被摄体图像的离焦量。
图7概念性示出根据本发明的摄像元件的光瞳分割状态。附图标记TL表示拍摄镜头,附图标记107表示配置在拍摄镜头的预测成像面上的摄像元件,附图标记OBJ表示被摄体,并且附图标记IMG表示被摄体图像。
如图4A和4B所示,摄像像素接收透过拍摄镜头的整个出射光瞳区域EP的光束。另外,如图5A、5B、6A和6B所示,焦点检测像素具有光瞳分割功能。具体地,在从摄像平面观看镜头的后端时,图5A和5B中示出的焦点检测像素SHA接收透过左光瞳的光束,即,透过图7的光瞳EPHA的光束。同样,焦点检测像素SHB、SVC和SVD接收透过光瞳EPHB、EPVC和EPVD的光束。如果配置焦点检测像素以使得分布在摄像元件107的整个区域,则使得在摄像区域的整个区域上都能够进行焦点检测。用作距离信息获取单元的CPU121基于焦点检测信息和诸如焦距等的镜头信息,计算被摄体距离。
图8示出通过距离信息获取单元所获得的距离信息。在根据本发明的摄像元件107中,由于图5A、5B、6A和6B中示出的焦点检测像素SHA、SHB、SHC和SHD分布在整个区域上,所以可以获得拍摄画面的任意位置处的被摄体距离。如果对在所获得的被摄体距离的分布中、被摄体距离近的区域进行结合和分组,则可以提取拍摄画面中所包括的被摄体的轮廓。Target1、Target2和Target3表示所提取的被摄体区域,并且BackGround1表示背景区域。Dist1、Dist2、Dist3和Dist4表示被摄体距离。Dist1表示被摄体区域Target1中的被摄体距离,Dist2表示被摄体区域Target2中的被摄体距离,Dist3表示被摄体区域Target3中的被摄体距离,并且Dist4表示背景区域Background1中的被摄体距离。Dist1最近,Dist2第二近,并且Dist3第三近。另外,Dist4最远。
CPU121根据从焦点检测像素所获得的被摄体距离的分布提取被摄体,并且获得各被摄体的区域和距离。
在根据本发明的摄像设备中,基于距离信息来校正拍摄图像的模糊。可以根据摄像设备特性或拍摄镜头特性来估计模糊生成过程。定义对模糊生成过程建模的模糊函数,并且利用诸如Wiener滤波等的通常被称为反卷积的图像复原算法来复原模糊图像,从而校正模糊。由于专利文献2中说明了模糊校正方法,所以这里不再给出对其的说明。
图9示出被摄体距离Dist1、Dist2、Dist3和Dist4与模糊能校正距离之间的关系。轴表示被摄体距离Dist。
根据拍摄镜头137覆盖的距离确定要聚焦的被摄体距离。由于难以预测没有聚焦的距离的模糊形状,所以模糊能校正距离也被限制在差不多与该距离相等的距离的范围内。因此,CPU121根据通过拍摄镜头137所覆盖的距离来计算用于校正模糊的距离的范围。将用于校正模糊的最近侧距离的一端称为第一距离Dist11,并且将无限远侧距离的一端称为第二距离Dist12。模糊校正单元可以在第一距离Dist11和第二距离Dist12的范围内对被摄体图像进行模糊校正。基于拍摄镜头137的最近侧距离的一端确定第一距离,并且基于无限远侧距离的一端确定第二距离。在这种情况下,考虑到拍摄镜头137的制造误差、调焦透镜停止精度和模糊校正的差异,以对于拍摄镜头137的最近侧距离一端和无限远侧一端具有微小余量来设置第一距离和第二距离。
在图8中示出的被摄体距离Dist1、Dist2、Dist3和Dist4中,被摄体距离Dist1~3位于第一距离Dist11和第二距离Dist12的范围内,并且被摄体距离Dist4位于该范围外。
图10示出与被摄体距离Dist1、Dist2、Dist3和Dist4相对应的成像面的位置和拍摄镜头137的成像面的位置之间的关系。轴表示从拍摄镜头137的成像面的位置的离焦量Def。在这种情况下,离焦量Def的正方向对应于后聚焦方向。
“0”表示拍摄镜头137的成像面的位置,并且将偏移量表示为“0”。Def1、Def2、Def3和Def4分别表示被摄体距离Dist1、Dist2、Dist3和Dist4的成像面的位置处的离焦量。Def11和Def12表示最近侧的第一距离Dist11和无限远侧的第二距离Dist12的成像面的位置处的离焦量。
另外,Def21和Def22表示与能够进行模糊校正的模糊量相对应的离焦量。当模糊量过大时,在复原模糊图像时执行极端转换处理,并且可能生成噪声。为此,在校正模糊时,模糊量最好包括在Def21和Def22的范围内。在图10中,与最近侧的第一距离Dist11和无限远侧的第二距离Dist12的成像面的位置处的离焦量Def11和Def12相比,与能够进行模糊校正的模糊量相对应的离焦量Def21和Def22更靠近外侧。为此,不更新最近侧的第一距离Dist11和无限远侧的第二距离Dist12。
图11示出在通过模糊校正单元进行模糊校正之前的拍摄图像。图11中的拍摄图像与图8的拍摄图像相同。如下面的操作流程所述,焦点检测位置优先从最近侧开始,并且将所提取的被摄体中位于最近侧的被摄体的位置设置为焦点检测位置。为此,通过模糊校正单元进行模糊校正之前的拍摄图像变成对最近侧的被摄体区域Target1聚焦的状态,如图11所示。不对其它被摄体区域Target2、Target3和Background1聚焦。
图12A和12B示出通过模糊校正单元校正拍摄图像的模糊的情况。图12A和12B中的摄像图像与图8和11中的摄像图像相同。图12A示出基于被摄体区域Target2的被摄体距离Dist2对拍摄图像的整个区域进行模糊校正的图像。根据与被摄体区域Target2中的被摄体距离Dist2相对应的摄像设备特性信息和拍摄镜头信息,定义模糊函数。如果对拍摄图像的整个区域执行基于该模糊函数的校正处理,则校正被摄体区域Target2的模糊,并且相应图像变成要聚焦的图像。另外,如果对除被摄体区域Target2以外的区域执行该图像校正处理,则再现下面的模糊:在对被摄体距离Dist2聚焦的状态下生成拍摄镜头137的焦点位置。这样,可以仅根据被摄体区域Target2获得要聚焦的图像,如图12A所示。
图12B示出基于被摄体区域Target3的被摄体距离Dist3对拍摄图像的整个区域进行模糊校正的图像。根据与被摄体区域Target3中的被摄体距离Dist3相对应的摄像设备特性信息和拍摄镜头信息,定义模糊函数。如果对拍摄图像的整个区域执行基于该模糊函数的校正处理,则校正被摄体区域Target3的模糊,并且相应图像变成要聚焦的图像。另外,如果对除被摄体区域Target3以外的区域执行图像校正处理,则再现下面的模糊:在对被摄体距离Dist3聚焦的状态下生成拍摄镜头137的焦点位置。这样,可以仅根据被摄体区域Target3获得要聚焦的图像,如图12B所示。
如使用图11、12A和12B所述,在能够进行基于被摄体距离信息的模糊校正的摄像设备中,如果基于包括各被摄体的距离和区域的距离信息来进行模糊校正,则可以选择要聚焦的被摄体。
然而,如图11、12A和12B所示,由于对要聚焦的被摄体设置了自由度,所以拍摄者难以确认拍摄的图像。
通过上述模糊校正,可以在拍摄之后改变要聚焦的被摄体的距离。然而,模糊能校正被摄体距离的范围受限。为此,要聚焦的被摄体距离也被限制在预定范围内。拍摄者在拍摄之后立即观察确认图像,并且估计要聚焦的被摄体距离的范围。然而,通过对任意被摄体距离聚焦的图像来掌握要聚焦的范围是非常困难的。
不管在拍摄之后可以通过模糊校正处理获得要聚焦的图像的区域如何,都假定在非聚焦状态下显示拍摄之后的确认图像这一情况。在这种情况下,即使在该区域中生成并非拍摄者想要的失败部分,也以模糊状态显示确认图像。结果,拍摄者在拍摄之后不能立即确认失败部分,并且在拍摄之后校正模糊时才初次确认失败部分。
因此,在根据本发明的摄像设备中,当将可通过模糊校正单元校正模糊的最近侧距离设置为第一距离,并且将可通过模糊校正单元校正模糊的无限远侧距离设置为第二距离时,在紧接着拍摄之后的确认图像显示中,对校正了从第一距离到第二距离的范围的模糊的拍摄图像进行显示。也就是说,显示最大可能地校正了模糊的图像。
图13A和13B示出本发明中紧接着拍摄之后的确认图像显示。图13A和13B中的拍摄图像与图8、11、12A和12B的拍摄图像相同。图13A示出显示聚焦被摄体区域Target1~3的图像的情况。图13B示出聚焦被摄体区域Target1~3、并且以重叠的方式显示所检测到的被摄体的位置和数量的情况。
在图13A中,由于被摄体区域Target1~3的被摄体距离Dist1~3存在于可以校正模糊的第一距离Dist11和第二距离Dist12的范围中,所以能够进行模糊校正。因此,在根据本发明的摄像设备中,在紧接着拍摄之后的确认图像显示中,对被摄体区域Target1~3进行模糊校正。
通过基于与被摄体区域Target1中的被摄体距离Dist1相对应的摄像设备特性信息和拍摄镜头信息来执行校正处理,校正被摄体区域Target1的模糊,并且相应图像变成要聚焦的图像。通过基于与被摄体区域Target2中的被摄体距离Dist2相对应的摄像设备特性信息和拍摄镜头信息来执行校正处理,校正被摄体区域Target2的模糊,并且相应图像变成要聚焦的图像。通过基于与被摄体区域Target3中的被摄体距离Dist3相对应的摄像设备特性信息和拍摄镜头信息来执行校正处理,校正被摄体区域Target3的模糊,并且相应图像变成要聚焦的图像。也就是说,以聚焦状态显示位于能够校正模糊的距离范围中的所有被摄体区域Target1、被摄体区域Target2和被摄体区域Target3。换句话说,显示对多个被摄体距离Dist1、Dist2和Dist3聚焦的图像,作为紧接着拍摄之后的确认图像显示。以模糊状态显示处于能够校正模糊的距离范围外的背景BackGround1。
图13B示出以将其重叠在要聚焦的被摄体区域Target1~3上的方式显示所检测到的被摄体的位置和数量的样子。SI1是表示被摄体区域Target1的位置的被摄***置显示。显示大于被摄体区域Target1的轮廓的轮廓,这表示被摄体区域Target1的位置。同样,SI2是表示被摄体区域Target2的位置的被摄***置显示,并且SI3是表示被摄体区域Target3的位置的被摄***置显示。SI4是表示所检测到的被摄体的数量的被摄体数量显示。因而,当在拍摄之后显示确认图像时,拍摄者可以容易地掌握所检测到的被摄体的位置和数量。
通过将图13A和13B所示的图像显示为拍摄之后的确认图像,可以实现如下具有拍摄图像功能的摄像设备,其中,拍摄者可以容易地确认拍摄的图像。从而,拍摄者可以容易地掌握模糊能校正范围。可以容易地发现可通过模糊校正获得要聚焦的图像的区域中的失败部分。通过显示要重叠在模糊校正后的拍摄图像上的、所检测到的被摄体的位置和数量,在拍摄之后显示确认图像时,拍摄者可以容易地掌握所检测到的被摄体的位置和数量。
图14~19是示出根据本发明的摄像设备的操作的流程图。
图14是示出根据本发明的摄像设备的主流程图。根据该主流程图的操作是CPU121根据存储在ROM中的程序所执行的处理。
如果拍摄者接通照相机的电源开关(S101),则CPU121确认照相机中的各致动器或摄像元件的操作,初始化存储器内容或执行程序,并且执行拍摄准备操作(S102)。在步骤S103,CPU通过镜头通信电路135与拍摄镜头中的照相机通信电路进行镜头通信。CPU通过镜头通信确认镜头的操作,初始化镜头中的存储器内容或执行程序,并且执行准备操作。CPU获得用于焦点检测或摄像所需的镜头的各种属性数据,并且将属性数据保持在内置存储器144中。在步骤S104,CPU开始摄像元件的摄像操作,并且输出用于预览的低分辨率运动图像。在步骤S105,CPU通过设置在照相机背面的显示单元131显示所读取的运动图像,并且拍摄者观察预览图像并判断拍摄时的构图。
在步骤S106,CPU识别在用于预览的运动图像中是否存在面部。通过用于预览的运动图像,CPU检测面部即被摄体的数量、位置和大小,并且将被摄体记录在内置存储器144中。由于日本特开2004-317699公开了用于识别面部的技术,并且该技术众所周知,所以这里没有给出说明。
在步骤S107,当识别出在拍摄区域中存在面部时,处理进入步骤S108,并且将焦点调节模式设置成面部AF模式。在这种情况下,面部AF模式表示这样的AF模式:添加拍摄区域的面部的位置和在步骤S200所生成的被摄体距离映射,并且进行调焦。
另外,在步骤S107,当识别出在拍摄区域中不存在面部时,处理从步骤S107进入步骤S109,并且将焦点调节模式设置为多点AF模式。在这种情况下,多点AF模式表示下面的模式:将拍摄区域分成3×5=15,基于根据被摄体距离映射计算出的各分割区域中的焦点检测结果和被摄体亮度信息,推断主被摄体,并且使相应区域处于聚焦状态。
如果在步骤S108或S109确定了AF模式,则在步骤S110,CPU判断是否接通了拍摄准备开关。当判断为没有接通拍摄准备开关时,处理进入步骤S116,并且判断是否断开了主开关。
在步骤S110,当接通拍摄准备开关时,处理进入步骤S200,并且执行被摄体距离映射生成子例程。
在步骤S111,CPU基于在步骤S200计算出的被摄体距离映射判断焦点检测位置。在这种情况下,在检测位置判断方法中,将最近侧设置为优先,并且将在步骤S200所获得的被摄体中位于最近侧的被摄体的位置设置为焦点检测位置。
在步骤S112,CPU根据在步骤S200所获得的离焦映射计算在步骤S111所确定的焦点检测位置处的离焦量,并且判断所获得的离焦量是否在允许值以下。当离焦量大于允许值时,CPU将判断结果判断为失焦,并且在步骤S113驱动调焦透镜。然后,处理返回到步骤S110,并且判断是否按下了拍摄准备开关。在步骤S112,当判断为状态变成聚焦状态时,CPU在步骤S114进行聚焦显示,并且处理进入步骤S115。
在步骤S115,CPU判断是否接通了拍摄开始开关。当判断为没有接通拍摄开始开关,则在步骤S115保持拍摄等待状态。在步骤S115,当接通拍摄开始开关时,处理进入步骤S300,并且执行拍摄子例程。
当步骤S300的拍摄子例程结束时,处理进入步骤S116,并且判断是否断开了主开关。当判断为没有断开主开关时,处理返回到步骤S103。当判断为断开主开关时,CPU结束这一系列操作。
图15是示出被摄体距离映射生成子例程的流程图。同样通过CPU121执行被摄体距离映射生成子例程的一系列操作(获取距离信息的功能)。
如果处理从主流程的步骤S200跳到相应子例程的步骤S200,CPU在步骤S201设置焦点检测区域。CPU从所有焦点检测区域中判断焦点检测区域,并且执行下面的步骤S202的处理。在步骤S202,CPU读取在步骤S201所设置的焦点检测区域的焦点检测像素的信号。在步骤S203,CPU生成用于相关运算的两个图像。如果排列在步骤S202所读取的各个焦点检测像素的信号,则信号变成用于相关运算的两个图像A和B的信号。
在步骤S204,CPU基于所获得的图像信号进行相关运算,并且计算这两个图像A和B的相位差。在步骤S205,CPU判断相关运算结果的可靠性。在这种情况下,可靠性表示图像A和B的一致度,并且当图像A和B的一致度高时,焦点检测结果的可靠性通常高。因此,CPU可以基于一致度是否超过阈值来判断相位差检测结果的可靠性,并且当选择多个焦点检测区域时,可以优选使用具有高可靠性的信息。在步骤S206,CPU将在步骤S204所获得的图像A和B的相位差乘以转换系数,以将相位差转换成离焦量,从而运算离焦量。
在步骤S207,CPU判断是否对于所有焦点检测区域都完成了离焦量的计算。当判断为没有对于所有焦点检测区域完成该计算时,处理返回到步骤S201,并且从剩余焦点检测区域中选择焦点检测区域,并且设置焦点检测区域。在步骤S207,当判断为对于所有焦点检测区域都完成了该计算时,处理进入步骤S208。
在步骤S208,CPU根据通过重复步骤S201~S207的处理所获得的所有焦点检测区域中的离焦量生成离焦量映射。在这种情况下,离焦量映射是将拍摄画面上的位置和离焦量相互关联的分布数据。
在步骤S209,对于在步骤S208所获得的离焦映射,考虑在步骤S103通过镜头通信从拍摄镜头137所获得的镜头信息,CPU进行从离焦量向被摄体距离的转换。从而,可以获得将拍摄画面上的位置和被摄体距离相互关联的分布数据。
在步骤S210,CPU基于被摄体距离的分布数据提取被摄体。CPU对所获得的被摄体距离的分布中、被摄体距离近的区域进行结合和分组,并且提取拍摄画面中所包括的被摄体的轮廓。从而,获得将各被摄体的区域和被摄体距离相互关联的被摄体距离映射(距离信息)。
如果完成步骤S210的处理,则CPU结束被摄体距离映射生成子例程,并且处理进入主流程的步骤S111。
图16是示出拍摄子例程的流程图。CPU121根据上述程序执行拍摄子例程的一系列操作。
在步骤S301,CPU驱动光量调节光圈,并且对定义曝光时间的机械快门的开口进行控制。
在步骤S302,CPU读取用于拍摄高分辨率静止图像的图像,即读取所有像素的信号。
在步骤S303,CPU对读取的图像信号进行缺陷像素插值。也就是说,焦点检测像素的输出不具有用于拍摄的RGB颜色信息,并且在获得图像时,焦点检测像素对应于缺陷像素。因此,CPU通过插值,根据周围摄像像素的信息生成图像信号。
在步骤S304,CPU对图像执行诸如伽马校正、颜色转换和边缘强调等的图像处理。在步骤S305,CPU将拍摄图像记录在闪速存储器133中。将在步骤S305所记录的拍摄图像设置成没有校正模糊的图像。当再现和显示所记录的图像时,校正模糊并显示图像。从而,减轻了摄像设备的运算负荷。通过CPU121执行步骤S305的记录拍摄的图像的处理。
在步骤S306,与在步骤S305中所记录的拍摄图像相对应,将照相机机体138的特性信息记录在闪速存储器133和内置存储器144中。在这种情况下,照相机机体138的特性信息包括诸如摄像元件107的摄像像素和焦点检测像素的光接收灵敏度分布信息、照相机机体138中的拍摄光束的渐晕信息、从照相机机体138和拍摄镜头137的装配面到摄像元件107的距离信息、以及制造误差信息等的光学特性。由于由片上微透镜ML和光电转换单元PD确定摄像元件107的摄像像素和焦点检测像素的光接收灵敏度分布信息,所以可以记录该信息。
在步骤S307,与在步骤S305所记录的拍摄图像相对应,将拍摄镜头137的特性信息记录在闪速存储器133和内置存储器144中。在这种情况下,拍摄镜头137的特性信息包括诸如出射光瞳EP的信息、框信息、拍摄时的F值信息、像差信息、以及制造误差信息等的光学特性。
在根据本发明的摄像设备中,如步骤S305~S307所示,将没有进行模糊校正的拍摄图像、以及与拍摄图像相对应的拍摄镜头特性信息和摄像设备特性信息记录在闪速存储器133中。从而,在拍摄之后,可以基于拍摄镜头特性信息和摄像设备特性信息来校正拍摄图像的模糊。可以减轻记录拍摄图像时的运算负荷。通过CPU121进行在步骤S305~S307所进行的拍摄图像、拍摄镜头特性信息和摄像设备特性信息的记录。
如果完成步骤S307的处理,则处理进入步骤S400的拍摄后确认图像显示子例程。
如果结束步骤S400的拍摄后确认图像显示子例程,则CPU结束步骤S300的拍摄子例程,并且处理进入主例程的步骤S116。
图17是示出拍摄后确认图像显示子例程的流程图。同样通过CPU121执行拍摄后确认图像显示子例程的一系列操作。权利要求书中的图像显示控制单元对应于CPU121。
在步骤S401,CPU获得在步骤S200所生成的被摄体距离映射。
在步骤S402,CPU设置校正模糊的被摄体区域和被摄体距离。如步骤S200的被摄体距离映射生成子例程所示,从被摄体距离映射获得将被摄体区域和被摄体距离相互关联的信息。如图9所示,通过拍摄镜头137确定模糊能校正距离范围,并且改变作为能够校正模糊的最近侧距离的第一距离Dist11和作为最远侧距离的第二距离Dist12。因此,设置被摄体距离存在于由拍摄镜头137所确定的模糊能校正距离范围(从第一距离Dist11到第二距离Dist12)的被摄体,从而校正模糊。因此可以设置各被摄体区域和校正该区域的模糊时所使用的被摄体距离。
再次设置定义模糊能校正距离范围的第一距离Dist11和第二距离Dist12,使得从拍摄镜头137的成像面位置的偏移量变成预定量以下。从而,可以将模糊量保持在预定量以下,并且可以进行良好的模糊校正。
如果完成步骤S402的模糊校正区域和距离设置,则处理进入步骤S500的模糊校正子例程。
在步骤S403,CPU通过显示单元131将在步骤S500校正了模糊的图像显示持续预定时间。此时,作为所显示的图像,如图13A所示,仅显示模糊校正后的图像,或者如图13B所示,以重叠在模糊校正后的图像上的方式显示被摄体的位置和数量。根据拍摄者通过操作开关132所输入的设置值切换显示。
如果完成步骤S403的处理,则CPU结束拍摄后确认图像显示子例程,并且处理返回到拍摄子例程。
图18是示出模糊校正子例程的流程图。同样通过CPU121进行模糊校正子例程的一系列操作。权利要求书中的模糊校正单元对应于CPU121。
在步骤S501,CPU121获得表示图像处理电路125中的转换处理的内容的转换信息。
在步骤S502,CPU121判断在转换从图像处理电路125所提供的图像信息时所使用的转换方法。具体地,CPU121基于在步骤S501所获得的转换信息(除转换信息以外,如果必要,还有在步骤S306所获得的摄像设备特性信息或在步骤S307所获得的拍摄镜头特性信息)判断转换方法。在这种情况下,所确定的转换方法是转换图像信息使得曝光值和像素值成正比关系、以确保与专利文献2所述的图像复原处理的算法的前提条件相对应的线性关系的方法。
例如,当通过图像处理电路125执行伽马校正时,CPU在步骤S502执行基于伽马校正的转换的逆转换。从而,可以再现转换之前的图像,并且可以获得具有线性关系的图像。同样,当通过图像处理电路125执行颜色转换时,在步骤S502执行基于颜色转换的转换的逆转换。从而,可以获得具有线性关系的图像。如此,在步骤S502,确定与图像处理电路125的转换处理的逆转换相对应的转换方法。
在步骤S503,通过图像处理电路125获得拍摄图像。在步骤S504,根据在步骤S502所确定的转换方法转换所获得的拍摄图像。如果在步骤S504完成转换处理,则处理进入步骤S600,并且生成模糊函数。
在步骤S505,CPU进行在步骤S600所生成的模糊函数的逆转换,并且对在步骤S504转换后的拍摄图像执行模糊校正处理。在这种情况下,利用被称为反卷积处理的图像复原算法执行模糊校正处理。从而,可以获得校正了预定被摄体的模糊的模糊校正后的图像。由于专利文献2说明了通过执行模糊函数的逆转换处理来校正模糊的方法,所以这里没有给出对其的说明。
如果完成步骤S505的处理,则CPU结束模糊校正子例程,并且处理进入拍摄后确认图像显示子例程的步骤S403。
图19是示出模糊函数生成子例程的流程图。同样通过CPU121进行模糊函数生成子例程的一系列操作。
在步骤S601,CPU获得在拍摄时在步骤S306记录在内置存储器144中的照相机机体138的特性信息。
在步骤S602,CPU获得在拍摄时在步骤S307记录在内置存储器144中的拍摄镜头137的特性信息。
在步骤S603,CPU获得在定义模糊函数时所使用的参数。根据拍摄镜头137和摄像元件107之间的光传输特性判断模糊函数。根据诸如照相机机体138的特性信息、拍摄镜头137的特性信息、拍摄图像中的被摄体区域的位置、以及被摄体距离等的因素,改变光传输单元。因此,CPU把将这些因素和定义模糊函数时所使用的参数相互关联的表数据存储在内置存储器144中。如果执行步骤S603的处理,则CPU121基于这些因素,从内置存储器144获得定义模糊函数时所使用的参数。
在步骤S604,CPU基于在步骤S603所获得的模糊参数定义模糊函数。模糊函数的例子包括高斯分布,其中,将模糊现象看作为遵循正态分布法则。如果将从中心像素的距离定义为r,并且将正态分布法则的任意参数定义为σ2,则如下给出模糊函数h(r):
如果完成步骤S604的处理,则CPU结束模糊函数生成子例程,并且处理进入模糊校正子例程的步骤S505。
在根据本发明的摄像设备中,示例性说明可以更换拍摄镜头的照相机,但是本发明可应用于所谓的镜头装配型照相机,其中,将拍摄镜头包括在照相机中。即使在镜头装配型照相机中,也存在过去的问题。如本发明所述,可以通过显示模糊校正后的拍摄图像获得相同效果。
如上所述,根据本发明的摄像设备,可以实现使拍摄者容易地确认拍摄图像的、具有模糊校正单元的摄像设备。
第二实施例
图20示出本发明的第二实施例。下面将使用附图说明本发明第二实施例的处理操作。
在第一实施例中,与最近侧的第一距离Dist11和无限远侧的第二距离Dist12的成像面位置处的离焦量Def11和Def12相比,与能够校正模糊的模糊量相对应的离焦量Def21和Def22更靠近外侧。为此,不更新最近侧的第一距离Dist11和无限远侧的第二距离Dist12。
另外,在第二实施例中,与最近侧的第一距离Dist11和无限远侧的第二距离Dist12的成像面位置处的离焦量Def11和Def12相比,与能够校正模糊的模糊量相对应的离焦量Def21和Def22更靠近内侧。为此,与第一实施例的不同的地方在于,根据离焦量Def21和Def22更新最近侧的第一距离Dist11和无限远侧的第二距离Dist12。
图20示出与被摄体距离Dist1、Dist2、Dist3和Dist4相对应的成像面位置和拍摄镜头137的成像面位置之间的关系。轴表示从拍摄镜头137的成像面位置的离焦量Def。在这种情况下,离焦量Def的正方向对应于后聚焦方向。
“0”表示拍摄镜头137的成像面位置,并且将偏移量表示为“0”。Def1、Def2、Def3和Def4分别表示被摄体距离Dist1、Dist2、Dist3和Dist4的成像面位置处的离焦量。Def11和Def12分别表示最近侧的第一距离Dist11和无限远侧的第二距离Dist12的成像面位置处的离焦量。
另外,Def21和Def22分别表示与能够校正模糊的模糊量相对应的离焦量。当模糊量过大时,在复原模糊图像时执行极端转换处理,并且可能生成噪声。为此,在校正模糊时,优选将模糊量包括在Def21和Def22的范围中。由于Def11和Def12存在于Dif21和Def22外侧,所以不能很好地校正模糊。
因此,校正最近侧的第一距离Dist11,使得最近侧的第一距离Dist11处的离焦量Def11变成与离焦量Def21相对应的离焦量。同样,校正无限远侧的第二距离Dist12,使得无限远侧的第二距离Dist12处的离焦量Def12变成与离焦量Def22相对应的离焦量。从而,可以减轻如下情况时所发生的问题:在模糊量过大的情况下,在复原模糊图像时执行极端转换处理,并生成噪声。也就是说,能够进行良好的模糊校正。
在拍摄后确认图像显示子例程的步骤S402,进行用于根据离焦量Def21和Def22更新最近侧的第一距离Dist11和无限远侧的第二距离Dist12的操作(参考图17)。
在图17的步骤S402,设置校正模糊的被摄体区域和被摄体距离。如步骤S200的被摄体距离映射生成子例程所述,从被摄体距离映射获得将被摄体区域和被摄体距离相互关联的信息。设置被摄体距离存在于由拍摄镜头137所确定的模糊能校正距离范围(从第一距离Dist11到第二距离Dist12)中的被摄体,从而进行模糊校正。再次设置该距离,使得在存在于模糊能校正距离范围中的第一距离Dist11和第二距离Dist12中,从拍摄镜头137的成像面位置的偏移量变成预定量以下。从而,可以将模糊量保持在预定量以下,并且可以进行良好的模糊校正。
由于第二实施例中的摄像设备和摄像元件的结构、以及像素的结构与第一实施例中的相同,所以不再重复对其的说明。另外,由于通过距离信息获取单元所获得的被摄体距离、模糊能校正距离和距离信息与第一实施例中的相同,所以不再重复对其的说明。另外,由于根据第二实施例的摄像设备的操作流程与第一实施例的相同,所以不再重复对其的说明。
如上所述,即使在本发明的第二实施例中,也可以实现使拍摄者容易地确认拍摄图像的、具有模糊校正单元的摄像设备。
已经说明了本发明的优选实施例。然而,本发明不局限于这些实施例,并且可以在不脱离本发明的范围的情况下,做出各种修改和改变。
尽管参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的各方面,其中,利用***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此,例如,通过网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读介质)将该程序提供给计算机。
本申请要求2009年5月12日提交的日本专利申请2009-115592的优先权,其全部内容通过引用包含于此。
Claims (13)
1.一种摄像设备,包括:
拍摄镜头(101、103和105),用于形成被摄体图像;
光电转换单元(107),其被配置在所述拍摄镜头的预测成像面处;
显示单元(131),用于显示所述光电转换单元所获得的拍摄图像;
图像显示控制单元(121),用于在所述光电转换单元获得所述拍摄图像之后,利用所述显示单元显示所述拍摄图像;
距离信息获取单元(121),用于获得所述拍摄图像中的距离信息;
记录单元(121),用于记录所述拍摄图像;以及
模糊校正单元(121),用于基于所述距离信息获取单元所获得的距离信息,对所述拍摄图像进行模糊校正,其中该模糊是由于所述拍摄图像中的对象失焦而引起的,
其特征在于,响应于摄像指示,所述光电转换单元输出所述拍摄图像,所述图像显示控制单元自动显示经过了所述模糊校正单元的不同的模糊校正后的对拍摄图像中的多个距离聚焦的拍摄图像,并且所述记录单元自动记录未被所述模糊校正单元校正模糊的拍摄图像。
2.根据权利要求1所述的摄像设备,其特征在于,还包括:
拍摄镜头特性信息,其包括所述拍摄镜头的光学特性;以及
摄像设备特性信息,其包括所述摄像设备的光学特性,
其中,在所述记录单元中还记录有所述拍摄镜头特性信息和所述摄像设备特性信息。
3.根据权利要求1所述的摄像设备,其特征在于,还包括:
被摄体检测单元(121),用于检测所述拍摄图像中的被摄体;以及
被摄***置显示单元,用于利用所述显示单元以重叠在所述拍摄图像上的方式显示所述被摄体检测单元所检测到的被摄体的位置。
4.根据权利要求1所述的摄像设备,其特征在于,还包括:
被摄体检测单元(121),用于检测所述拍摄图像中的被摄体;以及
被摄体数量显示单元,用于将所述被摄体检测单元所检测到的被摄体的数量显示在所述显示单元上。
5.根据权利要求1所述的摄像设备,其特征在于,
所述模糊校正是基于所述拍摄镜头和所述光电转换单元之间的光传输特性的反卷积处理。
6.根据权利要求1所述的摄像设备,其特征在于,
所述光电转换单元接收来自所述拍摄镜头的光并且包括多个光电转换元件,所述多个光电转换元件包括分别接收透过所述拍摄镜头的不同光瞳区域的光线的第一光电转换元件和第二光电转换元件。
7.一种摄像设备,包括:
拍摄镜头(101、103和105),用于形成被摄体图像;
光电转换单元(107),其被配置在所述拍摄镜头的预测成像面处;
显示单元(131),用于显示所述光电转换单元所获得的拍摄图像;
图像显示控制单元(121),用于在所述光电转换单元获得所述拍摄图像之后,利用所述显示单元显示所述拍摄图像;
距离信息获取单元(121),用于获得所述拍摄图像中的距离信息;
记录单元(121),用于记录所述拍摄图像;以及
模糊校正单元(121),用于基于所述距离信息获取单元所获得的距离信息,对所述拍摄图像进行模糊校正,其中该模糊是由于所述拍摄图像中的对象失焦而引起的,
其特征在于,响应于摄像指示,所述光电转换单元输出所述拍摄图像,所述图像显示控制单元自动显示根据所述拍摄图像中的所述距离信息、在从第一距离到第二距离的范围中利用所述模糊校正单元校正了模糊的拍摄图像,并且所述记录单元自动记录未被所述模糊校正单元校正模糊的拍摄图像,其中所述第一距离处的模糊校正处理与所述第二距离处的模糊校正处理不同。
8.根据权利要求7所述的摄像设备,其特征在于,
所述第一距离是基于所述拍摄镜头的最近侧距离端而确定的,以及所述第二距离是基于所述拍摄镜头的无限远侧距离端而确定的。
9.根据权利要求7或8所述的摄像设备,其特征在于,
所述第一距离和所述第二距离的范围被设置成使得所述第一距离和所述第二距离各自的成像面位置与所述拍摄镜头的成像面位置的差量在预定量以下。
10.根据权利要求7所述的摄像设备,其特征在于,还包括:
被摄体检测单元(121),用于检测所述拍摄图像中的被摄体;以及
被摄***置显示单元,用于利用所述显示单元以重叠在所述拍摄图像上的方式显示所述被摄体检测单元所检测到的被摄体的位置。
11.根据权利要求7所述的摄像设备,其特征在于,还包括:
被摄体检测单元(121),用于检测所述拍摄图像中的被摄体;以及
被摄体数量显示单元,用于将所述被摄体检测单元所检测到的被摄体的数量显示在所述显示单元上。
12.根据权利要求7所述的摄像设备,其特征在于,
所述模糊校正是基于所述拍摄镜头和所述光电转换单元之间的光传输特性的反卷积处理。
13.根据权利要求7所述的摄像设备,其特征在于,
所述光电转换单元接收来自所述拍摄镜头的光并且包括多个光电转换元件,所述多个光电转换元件包括分别接收透过所述拍摄镜头的不同光瞳区域的光线的第一光电转换元件和第二光电转换元件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009115592A JP5478935B2 (ja) | 2009-05-12 | 2009-05-12 | 撮像装置 |
JP2009-115592 | 2009-05-12 | ||
PCT/JP2010/057316 WO2010131561A1 (en) | 2009-05-12 | 2010-04-20 | Image pickup apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102422630A CN102422630A (zh) | 2012-04-18 |
CN102422630B true CN102422630B (zh) | 2015-11-25 |
Family
ID=43084938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080021293.1A Active CN102422630B (zh) | 2009-05-12 | 2010-04-20 | 摄像设备 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9201288B2 (zh) |
EP (2) | EP3110135B1 (zh) |
JP (1) | JP5478935B2 (zh) |
CN (1) | CN102422630B (zh) |
RU (2) | RU2525034C2 (zh) |
WO (1) | WO2010131561A1 (zh) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5783728B2 (ja) * | 2011-01-12 | 2015-09-24 | キヤノン株式会社 | 撮像装置およびその被写体距離分布情報取得方法 |
JP2012191486A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像合成装置と画像合成方法およびプログラム |
JP5850365B2 (ja) * | 2011-12-01 | 2016-02-03 | 国立大学法人電気通信大学 | 画像処理プログラムおよび画像処理装置 |
US20140313362A1 (en) * | 2012-02-22 | 2014-10-23 | Sony Mobile Communications Ab | Method and device relating to image content |
TW201336300A (zh) * | 2012-02-23 | 2013-09-01 | Hon Hai Prec Ind Co Ltd | 自動對焦成像模組 |
JP5963514B2 (ja) * | 2012-04-19 | 2016-08-03 | キヤノン株式会社 | 測距装置、測距方法及び撮像システム |
JP6140935B2 (ja) | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP5910739B2 (ja) | 2012-05-28 | 2016-04-27 | 株式会社ニコン | 撮像装置 |
JP5942697B2 (ja) * | 2012-08-21 | 2016-06-29 | 株式会社ニコン | 焦点検出装置および撮像装置 |
JP5900257B2 (ja) * | 2012-09-11 | 2016-04-06 | ソニー株式会社 | 処理装置、処理方法、及び、プログラム |
US20140184586A1 (en) * | 2013-01-02 | 2014-07-03 | International Business Machines Corporation | Depth of field visualization |
JP6159097B2 (ja) * | 2013-02-07 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
JP6234401B2 (ja) * | 2013-03-05 | 2017-11-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP6214236B2 (ja) * | 2013-03-05 | 2017-10-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP5865299B2 (ja) * | 2013-06-27 | 2016-02-17 | オリンパス株式会社 | 焦点調節装置、カメラシステム、及び焦点調節方法 |
JP6188536B2 (ja) * | 2013-10-31 | 2017-08-30 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
KR102149463B1 (ko) * | 2014-02-19 | 2020-08-28 | 삼성전자주식회사 | 이미지를 처리하기 위한 전자 장치 및 방법 |
US9307166B2 (en) * | 2014-03-26 | 2016-04-05 | Intel Corporation | All-in-focus implementation |
US9449234B2 (en) | 2014-03-31 | 2016-09-20 | International Business Machines Corporation | Displaying relative motion of objects in an image |
US9196027B2 (en) | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Automatic focus stacking of captured images |
US9300857B2 (en) | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
JP6620394B2 (ja) * | 2014-06-17 | 2019-12-18 | ソニー株式会社 | 制御装置、制御方法及びプログラム |
JP6171106B2 (ja) * | 2014-09-11 | 2017-07-26 | 富士フイルム株式会社 | 撮像装置及び合焦制御方法 |
JP6504693B2 (ja) * | 2015-01-06 | 2019-04-24 | オリンパス株式会社 | 撮像装置、操作支援方法及び操作支援プログラム |
CN110769149B (zh) | 2015-04-23 | 2021-05-11 | 苹果公司 | 用于处理来自多相机的内容的方法、电子设备和存储介质 |
US10574884B2 (en) * | 2015-09-18 | 2020-02-25 | Sony Corporation | Image processing apparatus, image processing method, program, and image pickup system |
JP6833461B2 (ja) * | 2015-12-08 | 2021-02-24 | キヤノン株式会社 | 制御装置および制御方法、撮像装置 |
JP6678505B2 (ja) * | 2016-04-22 | 2020-04-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
US10475221B2 (en) * | 2016-05-19 | 2019-11-12 | Canon Kabushiki Kaisha | Image processing device, image processing method and program for detected objects |
JP6778262B2 (ja) * | 2016-06-10 | 2020-10-28 | 富士通フロンテック株式会社 | 撮像装置 |
US10009536B2 (en) * | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
JP7226325B2 (ja) * | 2017-10-13 | 2023-02-21 | ソニーグループ株式会社 | 焦点検出装置および方法、並びにプログラム |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
JP7173841B2 (ja) | 2018-11-14 | 2022-11-16 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
JP7198055B2 (ja) * | 2018-11-16 | 2022-12-28 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
KR102633221B1 (ko) | 2019-01-11 | 2024-02-01 | 엘지전자 주식회사 | 카메라 장치 및 이를 구비하는 전자 장치 |
WO2020195198A1 (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、撮像装置 |
WO2020195246A1 (ja) * | 2019-03-28 | 2020-10-01 | ソニー株式会社 | 撮像装置、撮像方法、及びプログラム |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
JP7293025B2 (ja) * | 2019-07-29 | 2023-06-19 | キヤノン株式会社 | 撮像装置およびその制御方法 |
CN112839161A (zh) * | 2019-11-22 | 2021-05-25 | 北京小米移动软件有限公司 | 拍摄方法及装置 |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11729502B2 (en) * | 2021-04-28 | 2023-08-15 | Canon Kabushiki Kaisha | Apparatus including focusing function and method of the same |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
EP4402892A1 (en) * | 2021-09-14 | 2024-07-24 | Uab "yukon Advanced Optics Worldwide" | Apparatus and method for multispectral fusion of images, combining images from different wavelenghts |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1959468A (zh) * | 2005-05-25 | 2007-05-09 | 豪威科技有限公司 | 多矩阵景深的图像传感器 |
WO2008003348A1 (en) * | 2006-07-07 | 2008-01-10 | Sony Ericsson Mobile Communications Ab | Active autofocus window |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0246596A (ja) | 1988-08-08 | 1990-02-15 | Nec Corp | センスアンプ回路 |
JPH0420941A (ja) * | 1990-05-16 | 1992-01-24 | Canon Inc | 像ブレ補正手段を有した撮影装置 |
JPH08251475A (ja) * | 1995-03-11 | 1996-09-27 | Nissan Motor Co Ltd | 撮影装置用開眼検知装置 |
JP3031606B2 (ja) | 1995-08-02 | 2000-04-10 | キヤノン株式会社 | 固体撮像装置と画像撮像装置 |
JP2000020691A (ja) * | 1998-07-01 | 2000-01-21 | Canon Inc | 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体 |
JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
US20030002870A1 (en) | 2001-06-27 | 2003-01-02 | Baron John M. | System for and method of auto focus indications |
US7262798B2 (en) * | 2001-09-17 | 2007-08-28 | Hewlett-Packard Development Company, L.P. | System and method for simulating fill flash in photography |
JP3675412B2 (ja) * | 2002-02-18 | 2005-07-27 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
JP2004317699A (ja) | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
JP2006019874A (ja) * | 2004-06-30 | 2006-01-19 | Fuji Photo Film Co Ltd | 手ぶれ・ピンボケレベル報知方法および撮像装置 |
JP2006195738A (ja) | 2005-01-13 | 2006-07-27 | Mitsubishi Electric Corp | 電子商取引システム |
JP4693720B2 (ja) * | 2006-07-18 | 2011-06-01 | 京セラ株式会社 | 撮像装置 |
US8559705B2 (en) | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
EP2026567B1 (en) * | 2007-07-31 | 2010-10-06 | Ricoh Company, Ltd. | Imaging device and imaging method |
RU73577U1 (ru) * | 2008-02-14 | 2008-05-20 | Федеральное государственное унитарное предприятие "Производственное объединение "Уральский оптико-механический завод" имени Э.С. Яламова" (ФГУП "ПО "УОМЗ") | Устройство автоматической фокусировки |
-
2009
- 2009-05-12 JP JP2009115592A patent/JP5478935B2/ja not_active Expired - Fee Related
-
2010
- 2010-04-20 RU RU2011150281/07A patent/RU2525034C2/ru not_active IP Right Cessation
- 2010-04-20 RU RU2014119389/07A patent/RU2585235C2/ru not_active IP Right Cessation
- 2010-04-20 WO PCT/JP2010/057316 patent/WO2010131561A1/en active Application Filing
- 2010-04-20 US US13/258,241 patent/US9201288B2/en not_active Expired - Fee Related
- 2010-04-20 EP EP16180519.7A patent/EP3110135B1/en active Active
- 2010-04-20 CN CN201080021293.1A patent/CN102422630B/zh active Active
- 2010-04-20 EP EP10774819.6A patent/EP2430827B1/en active Active
-
2015
- 2015-10-22 US US14/920,371 patent/US9591246B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1959468A (zh) * | 2005-05-25 | 2007-05-09 | 豪威科技有限公司 | 多矩阵景深的图像传感器 |
WO2008003348A1 (en) * | 2006-07-07 | 2008-01-10 | Sony Ericsson Mobile Communications Ab | Active autofocus window |
Also Published As
Publication number | Publication date |
---|---|
RU2525034C2 (ru) | 2014-08-10 |
WO2010131561A1 (en) | 2010-11-18 |
CN102422630A (zh) | 2012-04-18 |
EP2430827B1 (en) | 2016-08-24 |
EP3110135A1 (en) | 2016-12-28 |
US9201288B2 (en) | 2015-12-01 |
EP3110135B1 (en) | 2018-11-14 |
EP2430827A4 (en) | 2013-06-19 |
US20120007997A1 (en) | 2012-01-12 |
US20160044268A1 (en) | 2016-02-11 |
RU2011150281A (ru) | 2013-06-20 |
EP2430827A1 (en) | 2012-03-21 |
RU2585235C2 (ru) | 2016-05-27 |
JP5478935B2 (ja) | 2014-04-23 |
JP2010268052A (ja) | 2010-11-25 |
RU2014119389A (ru) | 2015-09-27 |
US9591246B2 (en) | 2017-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102422630B (zh) | 摄像设备 | |
CN103124332B (zh) | 图像处理设备和图像处理方法 | |
CN102457681B (zh) | 图像处理设备和图像处理方法 | |
CN105049702B (zh) | 焦点调节装置及其控制方法和摄像设备 | |
CN102652432B (zh) | 图像处理设备、图像处理方法 | |
CN102422196B (zh) | 焦点检测设备 | |
JP2012215785A (ja) | 固体撮像素子及び撮像装置 | |
CN102203655A (zh) | 摄像设备 | |
WO2011004686A1 (en) | Focus detection apparatus | |
JP6045214B2 (ja) | 焦点調節装置及びその制御方法 | |
CN110231692A (zh) | 摄像光学***及摄像光学***的控制方法 | |
CN104580851A (zh) | 摄像设备及其控制方法 | |
CN103039066A (zh) | 成像装置、图像处理装置以及图像处理方法 | |
CN109729244A (zh) | 摄像设备、焦点检测方法和存储介质 | |
JP5793210B2 (ja) | 撮像装置 | |
JP5352003B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2020017641A1 (ja) | 焦点検出装置、撮像装置、及び、交換レンズ | |
JP2023137196A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |