CN101605208B - 图像处理设备、成像设备及图像处理方法 - Google Patents

图像处理设备、成像设备及图像处理方法 Download PDF

Info

Publication number
CN101605208B
CN101605208B CN2009101472475A CN200910147247A CN101605208B CN 101605208 B CN101605208 B CN 101605208B CN 2009101472475 A CN2009101472475 A CN 2009101472475A CN 200910147247 A CN200910147247 A CN 200910147247A CN 101605208 B CN101605208 B CN 101605208B
Authority
CN
China
Prior art keywords
image
pixel
images
fiducial value
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101472475A
Other languages
English (en)
Other versions
CN101605208A (zh
Inventor
田丸雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101605208A publication Critical patent/CN101605208A/zh
Application granted granted Critical
Publication of CN101605208B publication Critical patent/CN101605208B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供图像处理设备、成像设备、图像处理方法及程序。在像素的基础上在所有对焦包围图像中计算清晰度。随后，获取图像中每个像素的第一基准值，第一基准值表示多个图像中的相同位置处的像素中清晰度最高的像素属于多个图像的哪个图像，并且根据每个像素上的第一基准值，通过基于相邻像素上的第一基准值对每个像素上的第一基准值进行空间平滑，从而计算第二基准值。根据第二基准值处理对焦包围图像，从而产生全聚焦图像或模糊增强图像。于是，可以将具有较高对比度的区域判断为焦点对准区域，并获取具有平滑灰度合成图像。

Description

图像处理设备、成像设备及图像处理方法
技术领域
本发明涉及图像处理设备、成像设备、以及深度图像产生方法和程序，更具体地说，本发明涉及能够通过对焦包围(focus bracketing)来获取全聚焦(omni-focus)图像或模糊增强(blur-enhanced)图像的图像处理设备、成像设备、以及深度图像产生方法及程序。 
背景技术
作为一种采用由对焦包围(在改变透镜的聚焦位置的同时连续捕捉物像)所获取的多个图像(下文将其称为对焦包围图像)来获取全聚焦图像的技术，日本专利申请公开No.H06-311411公开了一种用于通过下述步骤来产生毫不模糊的合成图像的技术：利用差分滤波器判断对焦包围图像中的每个像素的对比度(参见图17中的SA-SA2)；将对比度等于或大于规定对比度并且“成对”的像素之间的区域确定作为高对比度焦点对准区域(参见图17中的SA3-SE)；以及仅仅合成每个图像中的焦点对准区域中的像素。 
作为一种用于利用对焦包围图像来执行全聚焦处理以便获取图像(全聚焦图像，其中帧中的每个对象都是焦点对准的)、或者执行模糊增强处理以便获取图像(模糊增强图像，其中主要对象是焦点对准的，而其他对象则在远离实际景深度处变得模糊)的方法，采用了一种利用差分滤波器以图像为基础并以像素为基础计算出来的清晰度来以像素为基础判断对焦包围图像中哪个图像是聚焦最好的图像，并且据此计算用于全聚焦处理的合成加权系数或用于模糊增强处理的模糊量。 
发明内容
但是，日本专利申请公开No.H06-311411所公开的发明将对比度等于或大于规定对比度并且“成对”的像素之间的区域用作焦点对准区域，这造成缺乏稳定性的问题。更具体地说，如果由于噪声等原因而检测到其上的信号应该被检测到以成对的像素之外的像素上的信号，而错误判断，则会出现没有将高对比度区域判断为焦点对准区域的问题。 
并且，在日本专利申请公开No.H06-311411所公开的发明中，在焦点对准区域和焦点未对准区域之间的边界处会突然发生像素值的变化，从而造成不连续的灰度级以及不自然的合成图像的问题。 
在利用差分滤波器等以图像为基础或像素为基础计算出来的清晰度来以像素为基础判断对焦包围图像中哪个图像是聚焦最好的图像、并且据此计算用于全聚焦处理的合成加权系数或用于模糊增强处理的模糊量的方法中，仅仅在像素的基础上根据清晰度来获取焦点对准判断结果，这就出现了焦点对准判断容易造成空间不连续的值并且通常不能获取期望值的问题。 
图18是示出了以像素为基础的对焦包围图像中的在边缘聚焦的图像1和未聚焦的图像2之间的变化(注意对象的某一边缘)、通过将差分滤波器[1，-2，1]施加至图像1和图像2的每个像素并计算施加的绝对值作为清晰度而获取的结果、以及通过将像素上的清晰度较高的图像编号判断为焦点对准的而获取的结果(深度图像)的图表。 
由于在图像1中，像素值在边缘的变化点发生突变，所以清晰度变成了较高值“8”。由于在边缘的变化点之外的像素中不会发生变化，所以清晰度变为“0”。另一方面，由于在图2中，像素值在边缘的变化点周围平缓地发生变化，所以像素的清晰度变为“1”。由于像素值中的变化速率在边缘的变化点上是恒定的，所以清晰度变为“0”。 
当然，会作出这样的判断，即，因为在边缘变化点(前一像素和后一像素)周围图像1的清晰度高于图像2的清晰度，所以图像1是聚焦的。但是，虽然可以认为在边缘变化点附近的区域中焦点落在图像1上，但是图像2的清晰度高于图像1的清晰度。因此，不同于 实际情况，可以理解很容易作出认为焦点落在图像2上的错误判断。这是因为，在图像2中，模糊的边缘在空间上延展，从而对其计算清晰度的区域展宽，而在图像1中，对其计算清晰度的像素仅限于突变边缘的变化点的区域内。 
在边缘变化点周围的区域中或者在图像1和图像2中的像素值都不变的区域中，两者的清晰度值都等于“0”。但是，当图像传感器等中的小噪声使得清晰度变成“0”之外的值时，可能作出这样的错误判断，即其清晰度是“0”之外的值的图像是聚焦的。换句话说，由于噪声的影响，出现了不能确定哪张图像是焦点对准的情况。 
如上所述，参考每个像素上的清晰度而作出的焦点对准判断产生了处理在空间上的不连续或者错误判断，并且很容易导致不自然的全聚焦图像或模糊增强图像的问题。 
而且，由于仅仅像素上的清晰度较高的图像的编号被用于聚焦的判断，所以图像1中边缘变化点附近(该像素之前和之后的相邻像素)的高清晰度值“8”不会被反映出来。 
由于上述情况而制作出本发明。本发明旨在提供能稳定地将具有较高对比度的区域判断为焦点对准区域、并且能获取具有平滑的颜色层次的综合图像的图像处理设备、成像设备、以及图像处理方法和程序(以及记录介质)。 
为了实现上述目的，根据本发明第一方面的图像处理设备包括：图像获取装置，其获取在改变透镜的聚焦位置的同时连续拍摄到的多个图像；清晰度计算装置，其计算所述图像获取装置所获取的多个图像的每个像素的清晰度；第一基准值计算装置，其针对图像的每个像素计算第一基准值，该第一基准值表示多个图像中的相同位置处的像素中由清晰度计算装置所计算出来的清晰度最高的像素属于多个图像的哪个图像；第二基准值计算装置，其针对图像的每个像素，通过基于相邻像素上的第一基准值对每个像素上的第一基准值进行空间平滑，从而根据第一基准值计算装置所计算出来的第一基准值来计算第二基准值；以及图像处理装置，其根据第二基准值对多个图像中的至少一个进行图像处理。 
根据本发明的第一方面，在改变透镜的聚焦位置的同时获取了多个图像，并且计算所获取的多个图像的每个像素的清晰度。基于像素计算第一基准值，该第一基准值表示多个图像中的包括清晰度最高的像素的那个图像。通过基于相邻像素上的第一基准值对所计算出来的第一基准值进行空间平滑，来计算第二基准值。根据所计算出来的第二基准值来对多个图像进行图像处理。这使得表示焦点对准分布的第二基准值之间的过渡变得更平滑。换言之，能获得灰度级方向上和/或空间方向上的平滑。因此，可以获取一个经过自然处理的图像。 
在此，图像处理装置可基于第二基准值计算装置所计算出来的第二基准值对图像获取装置所获取的多个图像进行图像处理，以产生其中图像的每个部分都是焦点对准的全聚焦图像。因此，能获得自然的全聚焦图像。“产生其中图像的每个部分都是焦点对准的全聚焦图像”意味着通过将图像获取装置所获取的各个图像中获得聚焦的部分(焦点对准的部分)进行结合来产生合成的图像。在本发明中，不要求对所获取的所有多个图像中都没有获得聚焦的部分(焦点没有对准的部分)进行聚焦。即，当部分A在所有图像中都为焦点没有对准时，即使执行了全聚焦处理，部分A也保持为焦点没有对准。 
另外，图像处理装置可根据第二基准值计算装置所计算出来的第二基准值来对图像获取装置所获取的多个图像中的一个图像进行图像处理，以产生模糊增强图像，在模糊增强图像中，主要对象之外的部分是模糊的。因此，能获取自然的模糊增强图像。 
根据本发明的第二方面，在根据本发明的第一方面的图像处理设备中，第二基准值计算装置包括用于产生图谱的图谱产生装置，在图谱中根据每个像素的位置布置了第一基准值计算装置针对图像的每个像素所计算出来的第一基准值，并且第二基准值计算装置通过对图谱产生装置所产生的图谱进行空间平滑来计算第二基准值。 
在第二方面的图像处理设备中，通过根据每个像素的位置对与图像的每个像素有关的第一基准值进行布置，从而产生了图谱。通过对所产生的图像进行空间平滑来计算第二基准值。因此，可以获得在灰度级方向上和/或空间方向上的第二基准值的平滑。 
根据本发明的第三方面，在根据本发明的第一方面的图像处理设备中，第一基准值包括第一信息和第二信息，第一信息表示清晰度最高的像素属于多个图像中的哪一个图像，第二信息表示清晰度水平。 
在第三方面的图像处理设备中，第一基准值包括第一信息和第二信息，第一信息表示清晰度最高的像素属于多个图像中的哪一个图像，第二信息表示清晰度水平。因此，可以使焦点对准判断反映出清晰度水平。 
根据本发明的第四方面，在根据本发明的第三方面的图像处理设备中，第一基准值被表示为一个二维矢量，其中第一信息是幅角，第二信息是半径。 
在第四方面的图像处理设备中，第一基准值被表示为一个二维矢量，其中表示清晰度最高的像素属于多个图像中的哪一个图像的第一信息是幅角，表示清晰度水平的第二信息是半径。因此，可以使焦点对准判断反映出清晰度水平。 
根据本发明的第五方面，在根据本发明的第四方面的图像处理设备中，第二基准值计算装置包括图谱产生装置，该图谱产生装置将图像中的每个像素上的被表示成二维矢量的第一基准值分成x分量和y分量并产生x分量和y分量的图谱，其中根据每个像素的位置分别布置x分量和y分量，并且第二基准值计算装置对该图谱产生装置所产生的x分量和y分量的图谱进行空间平滑，根据空间平滑后的x分量和y分量来获取幅角，并且将幅角用作第二基准值。 
在第五方面的图像处理设备中，表示为二维矢量的第一基准值被分成x分量和y分量。通过根据每个像素的位置分别布置分离的x分量和y分量来产生x分量和y分量的图谱。根据通过对各个x分量和y分量的图谱进行空间平滑而获取的x分量和y分量来获取二维矢量的幅角。幅角被用作第二基准值。这就实现了空间平滑，其不仅强调了表示清晰度最高的像素属于多个图像中的哪一个图像的信息，而且强调了清晰度水平。因此，能获取更准确的焦点对准分布。 
根据本发明的第六方面，在根据本发明的第二方面或第五方面 的图像处理设备中，所述图谱产生装置对规定区域中的第一基准值进行加权平均，并且产生样本数量少于所述图谱的样本数量的低分辨率图谱。 
在第六方面的图像处理设备中，通过对规定区域中的第一基准值进行加权平均，产生样本数量较少的低分辨率图谱，并且通过对所产生的低分辨率图谱进行空间平滑来计算第二基准值。这使得处理变得很快，并节省了存储器。 
根据本发明的第七方面，根据第一至第六方面之一的图像处理设备进一步包括：根据第二基准值计算装置所计算出来的第二基准值来确定所述多个图像中的相同位置处的每个像素的加权平均系数的装置；以及通过根据所确定的加权平均系数来对所述多个图像中的相同位置处的像素进行加权平均从而产生全聚焦图像的装置。 
在第七方面的图像处理设备中，根据第二基准值确定了多个图像中的相同位置处的每个像素的加权平均系数，并且根据所确定的加权平均系数来对所述多个图像进行加权平均，从而产生全聚焦图像。 
根据本发明的第八方面，根据第一至第七方面之一的图像处理设备进一步包括：确定模糊滤波器的滤波器系数的装置，该滤波器系数用于根据第二基准值计算装置所计算出来的第二基准值来调节所述多个图像中的基准图像的每个像素的模糊水平；以及通过利用具有所确定的滤波器系数的模糊滤波器来对基准图像中的相应像素进行滤波处理以便产生模糊增强图像的装置。 
在第八方面的图像处理设备中，根据第二基准值来确定滤波器系数，该滤波器系数用于调节所述多个图像中的基准图像的每个像素上的模糊水平，并且利用具有所确定的滤波器系数的模糊滤波器来对基准图像中的相应像素进行滤波处理，从而产生模糊增强图像。因此，可以获得模糊增强图像，在该模糊增强图像中焦点仅落在主要对象上而适当的模糊量将其它区域变得模糊。 
一种根据本发明的第九方面的成像设备包括：根据本发明的第一方面至第八方面之一的图像处理设备；成像装置，其包括用于捕捉对象图像的图像传感器以及用于在图像传感器上形成对象图像的成 像光学***；以及控制装置，其控制成像装置以便在图像传感器上形成多个图像。 
一种根据本发明的第十方面的图像处理方法，其包括：获取在改变透镜的聚焦位置的同时连续拍摄到的多个图像的步骤；计算所获取的多个图像的每个像素的清晰度的步骤；针对图像的每个像素计算第一基准值的步骤，该第一基准值表示多个图像中的相同位置处的像素中清晰度最高的像素属于多个图像的哪个图像；通过基于相邻像素上的第一基准值对每个像素上的第一基准值进行空间平滑，从而根据针对图像的每个像素计算出来的第一基准值来计算第二基准值的步骤；以及根据第二基准值对所述多个图像中的至少一个图像进行图像处理的步骤。 
根据本发明的第十一方面，在根据本发明的第十方面的图像处理方法中，图像处理的步骤包括根据第二基准值来对多个图像进行处理，以便产生其中图像的每个部分都是焦点对准的全聚焦图像，或者，根据第二基准值来对多个图像中的一个图像进行处理，以便产生其中主要对象之外的部分是模糊的模糊增强图像。 
一种根据本发明的第十二方面的程序用于使处理器执行根据本发明的第十方面或根据本发明的第十一方面所述的图像处理方法。 
根据本发明，具有较高对比度的区域可稳定地被判断为焦点对准区域，从而可以获得具有平滑灰度的合成图像。 
附图说明
图1是示出了应用了本发明的数码相机1的电子结构的框图； 
图2是示出了数码相机1的全聚焦图像/模糊增强图像拍摄模式下的整个处理流程的流程图； 
图3是示出了基准值计算处理(步骤S20)的整个处理流程的流程图； 
图4是用于计算清晰度的拉普拉斯滤波器的示例； 
图5是针对一个帧的图谱，该图谱示出了通过根据各个像素位置对已经计算出来的各个像素的第一基准值进行布置而形成的第一 基准值的空间分布； 
图6是用户空间平滑的平滑滤波器的示例； 
图7是空间平滑之后的基准值(第二基准值)的图谱的示例； 
图8是示出了全聚焦处理(步骤S22)的处理流程的流程图； 
图9是示出了模糊增强处理(步骤S22)的处理流程的流程图； 
图10示出了用于模糊增强处理的高斯滤波器的示例； 
图11是在第二基准值的图谱中对相邻的四个像素2×2进行平均的低分辨率图谱的示例； 
图12是示意性地示出了根据第二示例实施例而应用了本发明的数码相机2的内部结构的框图； 
图13是示出了数码相机2的全聚焦图像/模糊增强图像拍摄模式中的整个处理流程的流程图； 
图14是示出了计算基准值(步骤S26)的处理流程的流程图； 
图15示出了对焦包围数为5时清晰度矢量的单位矢量； 
图16示出了对清晰度矢量进行空间平滑的概念； 
图17图示了获取焦点对准判断区域的传统方法；以及 
图18图示了传统的焦点对准判断方法。 
具体实施方式
下文将详细描述用于实现应用了本发明的图像处理设备、成像设备、图像处理方法和程序的优选实施例的最佳模式。 
<第一示例实施例> 
图1是示意性地示出了根据第一示例实施例的数码相机1的内部结构的框图。 
如图所示，数码相机1主要包括：CPU110、操作单元(快门释放按钮、电源/模式选择器开关、模式选择器盘、缩放按钮、十字按钮、菜单/确定按钮、显示按钮、返回按钮等)112、可变光圈驱动器114、聚焦透镜驱动器116、图像传感器驱动器118、透镜单元120、光学低通滤波器(LPF)122、图像传感器124、模拟信号处理器(CDS/AMP)126、A/D转换器128、存储器控制器130、主存储器132、 数字信号处理器134、压缩/解压处理器136、积分器138、存储器控制器140、记录介质142、显示控制器144、显示单元146、闪光单元150、光电探测器152、基准值计算单元160、基准值平滑单元162、全聚焦处理器164、以及模糊增强处理器166。 
CPU110根据通过操作单元112输入的操作信号按照规定控制程序来控制数码相机1的整体操作。 
透镜单元120主要包括可变光圈120a和聚焦透镜120b。可变光圈120a由包含电动机和电动机驱动器的可变光圈驱动器114所驱动。可变光圈驱动器114根据从CPU110输出的光圈值数据(f stopnumber，光圈数)来调节光圈孔径。包括电动机和电动机驱动器的聚焦透镜驱动器116沿着光轴方向驱动聚焦透镜120b。聚焦透镜驱动器116根据从CPU110输出的驱动量数据来控制每个透镜的移动。 
图像传感器124包括具有光接收表面的彩色CCD，多个光电二极管(光接收元件)经由根据规定布置结构(例如Bayer、G带等)布置的红色(R)、绿色(G)和蓝色(B)的彩色滤光片而以二维方式布置在光接收表面上。通过透镜单元120和光学LPF122的物体光线被每个光电二极管所检测，并根据入射光的量而被转换成信号电荷。 
根据来自CPU110的指令，图像传感器驱动器118输出用于驱动图像传感器124的定时信号。 
模拟信号处理器126对图像传感器124所输出的图像信号中与每个像素有关的R、G和B信号进行采样保持(相关二次采样处理)，并且将这些信号放大后输出至A/D转换器128。 
A/D转换器128将从模拟信号处理器126输出的模拟R、G和B信号转换成数字R、G和B信号，并将转换后的信号输出。 
存储器控制器130将从A/D转换器128输出的数字R、G和B信号输出至主存储器132。存储在主存储器132中的成像信号经由数据总线140被发送至数字信号处理器134。 
数字信号处理器134包括：同步电路(一种处理电路，其通过将空间偏差插值到由于单个CCD的彩色滤光片布置而引起的彩色信号中来将彩色信号转换成同步信号)、白平衡校正电路、伽玛校正电 路、边缘校正电路、亮度及色差信号产生电路等，数字信号处理器134根据来自CPU110的指令通过对所输入的图像信号执行所需要的信号处理来产生图像数据(YUV数据)，该图像数据包括亮度数据(Y数据)和色差数据(Cr和Cb数据)。 
压缩/解压处理器136根据来自CPU110的指令通过对所输入的图像数据执行规定的一系列压缩处理来产生压缩图像数据，并且根据来自CPU110的指令通过对所输入的压缩图像数据执行规定的一系列解压处理来产生解压图像数据。经由存储器控制器130将压缩/解压处理器136所产生的数据存储在主存储器132中。 
积分器138根据来自CPU110的指令而删剪掉AF区域(例如，帧的中央部分)中的信号，并且对AF区域中的数据的绝对值进行积分。积分器138还根据来自CPU110的指令将帧分成多个区域(例如16×16)，并且计算每个分区中的R、G和B图像信号的积分值来作为AF控制所需的物理量。 
存储器控制器140根据来自CPU110的指令来控制对***介质插槽的记录介质142进行的数据读写。 
显示控制器144根据来自CPU110的指令控制显示单元146上的显示。更具体地说，显示控制器144根据来自CPU110的指令将所输入的图像信号转换成将被显示在显示单元146上的视频信号(例如NTSC(美国国家电视***委员会)信号、PAL(逐行倒相)信号或SECAM(顺序传送与存储)信号)，并且将视频信号输出至显示单元146上。 
闪光单元150配置有(例如)作为光源的氙气管，并且闪光单元150被制作成亮度可调。也可以采用光源为高强度LED而非氙气管的闪光。当光电检测器152所接收的光量达到预定量，则CPU110就关断通向闪光单元150的电流，并终止从闪光单元150发出的发射。 
基准值计算单元160以像素为基础计算第一基准值。第一基准值表示通过对焦包围所获取的多个图像中相同位置处的像素中清晰度最高的像素所属于的图像。基准值计算单元160通过将以像素为基础计算出来的第一基准值布置在像素的各个位置而创建了一个图谱，该图谱示出了第一基准值的空间分布。后面将详细描述基准值计算单 元160。 
基准值平滑单元162通过对基准值计算单元160所创建的图谱执行空间平滑处理(平滑滤波器的应用)来计算第二基准值。后面将详细描述基准值平滑单元162。 
全聚焦处理器164根据基准值平滑单元162所计算出来的第二基准值来执行全聚焦处理。全聚焦处理用于根据对焦包围图像创建一个其中帧中的每个对象均是焦点对准的图像(全聚焦图像)。后面将详细描述全聚焦处理器164。 
模糊增强处理器166执行模糊增强处理以便创建图像(模糊增强图像)，该图像中主要对象是焦点对准的，而其他对象则在远离实际景深处变得模糊。后面将详细描述模糊增强处理器166。 
将对如上配置的根据示例实施例的数码相机1的操作进行描述。首先将描述普通拍摄处理。 
通过将电源/模式选择器开关设置在拍摄位置，来将数码相机1设置成拍摄模式，从而使相机能进行拍摄。拍摄模式的设置使透镜单元120突出，并且相机进入拍摄等待状态。 
在该拍摄模式下，通过透镜单元120的物体光线在图像传感器124的光接收表面形成了图像，并且根据入射光的光量被转换成信号电荷。基于图像传感器驱动器118所提供的驱动脉冲来将每个光电二极管中所积累的信号电荷顺序读出作为根据信号电荷的电压信号(图像信号)，并且将其提供给模拟信号处理器(CDS/AMP)126。 
模拟信号处理器126所输出的模拟R、G和B信号被A/D转换器128转换成数字R、G和B信号，并被提供给存储器控制器130。存储器控制器130将A/D转换器128所输出的数字R、G和B信号输出给存储器132。 
当所拍摄的图像被输出至显示单元146时，数字信号处理器134根据存储器控制器130输出给存储器132的图像信号来产生亮度及色差信号，并且信号被发送至显示控制器144。显示控制器144将输入的亮度及色差信号转换成用于显示的信号***(例如NTSC***的彩色合成视频信号)，并且将所转换而成的信号输出至显示单元146。 因此，图像传感器124所捕获的图像被显示在显示单元146上。 
图像传感器124以规律的时间间隔捕获图像信号，利用根据图像信号产生的亮度及色差信号以规律的时间间隔对主存储器132中的图像数据进行重写，并将其输出至显示单元146，从而实时地显示了图像传感器146所捕获的图像。用户可通过查看实时显示在显示单元146上的图像(直通图像)来识别拍摄视角。 
通过按下快门释放按钮来进行拍摄。快门释放按钮的半按将S1开启信号输入至CPU110。 
首先，经由存储器控制器130从图像传感器124捕获的图像信号进入积分器138。CPU110在根据积分器138所计算出来的AF区域中的绝对值数据控制聚焦透镜驱动器116以使得聚焦透镜120b起动的同时，计算各个AF检测点处的焦点评估值(AF评估值)，并且将使得评估值最大的透镜位置确定为焦点对准位置。聚焦透镜驱动器116被控制成使得聚焦透镜组移动至所获取的焦点对准位置。 
CPU110根据积分器138所计算出来的R、G和B图像信号的积分值检测对象的亮度(对象亮度)，并且计算适合于拍摄的曝光值(拍摄EV)。CPU110随后根据所获取的拍摄EV和规定的程序图来确定光圈孔径和快门速度，据此，CPU110通过控制图像传感器124的电子快门和可变光圈驱动器114来获取合适的曝光值。同时，CPU110根据所检测到的对象亮度来判断是否需要开启闪光。 
CPU110积分器138所计算出来的R的积分值、B的积分值、和G的积分值来以划分区域为基础计算比值R/G和B/G，并且根据所获取的色彩空间中的R/G和B/G值等的分配来确定光源类型。根据适合于所确定的光源类型的白平衡调节值，CPU110控制白平衡校正电路中与R、G和B信号相关的增益值(白平衡校正值)，从而校正每个色彩通道的信号，以便例如使得每个比值均变成约等于1(即，帧中R、G和B的积分比值为R∶G∶B≈1∶1∶1)。 
如上所述，快门释放按钮的半按执行了AE处理、AF处理以及AWB处理，在此期间，用户按需操作缩放按钮以便通过对透镜单元120进行缩放来调节视角，并且CPU110继续执行AE/AF处理和AWB处理。 
此后，快门释放按钮的全按将S2开启信号输入CPU110，并且CPU110开始拍摄和记录处理。更具体地说，利用根据光度计结果所确定的快门速度和光圈孔径来对图像传感器124进行曝光。这时，CPU110可根据需要来开启闪光单元150。 
经由模拟信号处理器126、A/D转换器128和存储器控制器130将从图像传感器124输出的图像信号捕获至存储器132中，并通过数字信号处理器134将其转换成亮度及色差信号，随后存储至存储器132中。 
存储在存储器132中的图像数据被提供给压缩/解压处理器136，以便根据规定的压缩格式(例如JPEG***)进行压缩，随后被存储至存储器132中。所存储的数据随后被转换成规定的图像记录格式(例如Exif***)的图像文件，随后经由存储器控制器140被记录在记录介质142上。 
接下来，下文将描述全聚焦图像或模糊增强图像的拍摄处理。图2是示出了用于拍摄全聚焦图像或模糊增强图像的全聚焦图像/模糊增强图像拍摄模式下的整个处理流程的流程图。在已经利用电源/模式选择器开关设置了拍摄描述的状态下，通过对操作单元112的模式选择器盘进行操作来设置全聚焦图像/模糊增强图像拍摄模式。 
当在全聚焦图像/模糊增强图像拍摄模式下的操作单元112的快门释放按钮的半按将S1开启信号输入CPU110时，CPU在对焦包围之前执行自动聚焦控制(AF)(步骤S10)。 
更具体地说，CPU110在通过控制聚焦透镜驱动器116来对聚焦透镜120b进行致动的同时，使得图像传感器124在各个AF检测点通过图像传感器驱动器118来捕获光学图像。积分器138根据输出信号计算AF评估值(例如带通滤波器的输出值)，并且CPU110将使得AF评估值局部最大的透镜位置点确定为焦点对准位置。 
CPU110对将在对焦包围中设置的多个聚焦位置进行设置，从而使得这些聚焦位置包括了在步骤S10中计算出来的焦点对准位置(步骤S12)。当在步骤S22(后面将对该步骤进行描述)执行全聚焦处理时，聚焦位置被设置成使得至少一副图像中的每个对象都变成是焦 点对准的。这时，更有效的是根据拍摄时的光圈孔径、焦距等来改变聚焦位置。 
接下来，在步骤S12所确定的聚焦位置处执行对焦包围(步骤S14至步骤S18)。首先，CPU110通过聚焦透镜驱动器116将聚焦透镜120b驱动至步骤S12中所确定的多个聚焦位置中的一个期望的聚焦位置处(步骤S14)，并且通过图像传感器驱动器118来控制图像传感器124以便捕获对象图像(步骤S16)。步骤S16中所捕获的图像通过存储器控制器130而被暂时地存储在主存储器132中。 
CPU110判断是否已经在步骤S12中所确定的所有聚焦位置处执行了拍摄，更具体地说，判断是否已经在步骤S12中所确定的所有聚焦位置处执行了步骤S14至步骤S16的处理(步骤S18)。 
如果还未在步骤S12中所确定的所有聚焦位置处执行步骤S14至步骤S16的处理(步骤S18：否)，则聚焦透镜120b被驱动至另一聚焦位置(步骤S14)并且捕获该聚焦位置的对象图像(步骤S16)。 
如果已经在步骤S12中所确定的所有聚焦位置处都执行了步骤S14至步骤S16的处理(步骤S18：是)，则CPU110终止对焦包围。将图像编号赋给对焦包围图像，其中每个图像编号表示在关于聚焦位置来布置对焦包围图像时，对焦包围所获取的图像(下文将其称为对焦包围图像)在序列中所处的位置。例如，就聚焦位置而言，其聚焦位置是最近的那个图像的图像编号被设置为0(第0个图像)，而最远的图像的图像编号被设置为N-1(第N-1个图像)。此处，N表示对焦包围所获取的图像的数量(图像数)。例如，如果N等于5，那么最远图像的图像编号为4。 
在完成了对焦包围(步骤S14至步骤S18)之后，CPU110根据对焦包围图像来确定基准值(步骤S20)。图3是示出了计算第一基准值(步骤S20)的处理的流程的流程图。 
首先，CPU110将存储在主存储器132中的图像输入到基准值计算单元160中，并且基准值计算单元160选择所输入的图像中的目标像素(步骤S30)。例如，基准值计算单元160在图像上建立xy坐标系，其中原点位于图像的左上部，水平方向为x轴方向而垂直方向 为y轴方向，并且基准值计算单元160通过利用xy坐标指定目标像素的位置来选择目标像素。 
基准值计算单元160从对焦包围图像中选择第i个图像(下文将其称为图像i)(步骤S32)。如果对焦包围图像的数量为5，则i为0至4中的一个。 
计算根据步骤S32中所选择的图像i的在步骤S30中选择的目标像素的清晰度(步骤S34)。利用诸如图4所示的拉普拉斯滤波器之类的滤波器来执行清晰度的计算。由于拉普拉斯滤波器的输出值包括正值和负值，所以将通过将拉普拉斯滤波器应用至目标像素而获取的结果的绝对值用作清晰度。如果清晰度较高，则与该像素相对应的对象是焦点对准的可能性较大。该示例不限于使用拉普拉斯滤波器。也可以使用拉普拉斯滤波器之外的其它清晰度计算滤波器。 
基准值计算单元160判断是否已经针对输入的所有对焦包围图像执行了步骤S34所示的清晰度计算处理(步骤S36)。在还未对输入的所有对焦包围图像执行完步骤S34所示的清晰度计算处理时(步骤S36：否)，基准值计算单元160从对焦包围图像中选择另一图像(步骤S32)，并计算目标像素的清晰度(步骤S34)。 
在已经对输入的所有对焦包围图像执行完步骤S34所示的清晰度计算处理时(步骤S36：是)，步骤S34所计算出来的清晰度中清晰度最高的图像的图像编号被输出为目标像素的第一基准值(步骤S38)。例如，对焦包围图像的数量为5，那么第一基准值通常为0至4的五级灰度之一。应该注意的是，在这种情况下，为了便于与后面的部分(步骤S42和S44)进行比较，将0至4的五级灰度值乘以255/4，随后对其进行积分，并将其归一化为0至255中的数值之一。归一化数值被确定为第一基准值。应该注意的是，灰度的级数仍为5级(0，64，128，191，255)。 
基准值计算单元160判断是否已经针对所有像素执行了上述处理，换句话说，判断关于所有像素的第一基准值是否都被输出(步骤S40)。在未输出关于所有像素的第一基准值时(步骤S40：否)，基准值计算单元160选择另一目标像素(步骤S30)，并输出关于该 目标像素的第一基准值(步骤S32至S38)。 
在输出了关于所有像素的第一基准值时(步骤S40：是)，基准值计算单元160于是通过对已经以像素为基础在各个像素位置计算出来的第一基准值进行布置创建一个帧图谱(参见图5)，该图谱示出了第一基准值的空间分布。CPU110通过存储器控制器130将基准值计算单元160所创建的图谱暂时地存储在主存储器132中。CPU110将存储在主存储器132中的图谱输入至基准值平滑单元162中。基准值平滑单元162对图谱执行空间平滑处理，获取经空间平滑过的图谱(步骤S42)。 
通过将例如图6所示平滑滤波器运用到图5所示的图谱来执行空间平滑处理。图6仅仅示出了平滑滤波器的一个元素。由于图6中的总和是16，所以，通过计算图6所示的平滑滤波器的系数与图5所示的图谱的各个数值的乘积，并计算这些乘积相加的总和，之后再用该乘积之和除以16，来获取图7所示的经空间平滑过的图谱。 
将图5与图7进行相互比较，可以理解的是，图7所示的经过平滑处理之后的基准值是通过将图5所示的第一基准值进行逐步地空间平滑处理而产生的。因此，为基准值获取了沿着灰度方向的平滑。并且，平滑处理降低了由于噪声而产生的微小变化，从而获取了沿着空间方向的平滑。 
基准值平滑单元162将平滑之后基准值用作第二基准值，并且将第二基准值的图谱(即表示焦点对准分布的深度图像)输出至CPU110(步骤S44)。 
因此，根据对焦包围图像来确定基准值的处理(步骤S20)完成。CPU110通过存储器控制器130将基准值计算单元160所获取的深度图像暂时地存储在主存储器132中。 
接下来，根据存储在主存储器132中的第二基准值，全聚焦处理器164执行全聚焦处理，而模糊增强处理器166则执行模糊增强处理(步骤S22)。 
图8是示出了全聚焦处理器164执行全聚焦处理的处理流程的流程图。 
首先，全聚焦处理器164选择期望像素(步骤S50)，并且确定所选像素的加权系数，换句话说，确定以何种比例对哪个图像进行加权平均(步骤S52)。更具体地说，全聚焦处理器164参照主存储器132中所存储的图谱，并且获取与步骤S50中所选择的像素有关的第二基准值，将所获取的第二基准值乘以4/255以便使数值回到0至4的范围，并将所返回的值用作加权系数。 
针对步骤S52中所选的像素基于步骤S52所确定的加权系数将对焦包围图像进行加权平均(步骤S54)。例如，步骤S52中所确定的加权系数为1.5，以0.5比0.5的比例对图像1和图像2进行加权平均。步骤S52中所确定的加权系数是2.8，以0.2比0.8的比例对图像2和图像3进行加权平均。 
全聚焦处理器164判断是否针对所有像素执行了对焦包围图像的加权平均(步骤S56)。在还未针对所有像素执行完对焦包围图像的加权平均时(步骤S56：否)，全聚焦处理器164选择另一像素(步骤S50)，确定加权系数(步骤S52)，并且对对焦包围图像进行加权平均(步骤S54)。 
在已经对所有像素执行完对焦包围图像的加权平均时(步骤S56：是)，全聚焦处理完成。因此，产生了图像的每个部分都是焦点对准的全聚焦图像。在此，“产生其中图像的每个部分都是焦点对准的全聚焦图像”意味着通过将图像获取装置所获取的各个图像中获得聚焦的部分(焦点对准的部分)进行结合来产生合成的图像。在这个实施例中，不要求对所获取的所有多个图像中都没有获得聚焦的部分(焦点没有对准的部分)进行聚焦。即，当部分A在所有图像中都为焦点没有对准时，则即使执行了全聚焦处理，部分A也保持为焦点没有对准。 
图9是示出了模糊增强处理器166执行模糊增强处理的处理流程的流程图。 
首先，模糊增强处理器166选择期望像素(步骤S60)，针对所选像素确定用于模糊的滤波器系数(步骤S62)。更具体地说，模糊增强处理器166参照存储在主存储器132中的图谱，并且获取与步骤 S60中所选的像素相关的第二基准值，将所获取的第二基准值乘以4/255以便使该数值回到0至4的范围，并根据通过返回至0至4的范围而从第二基准值获取的数值与步骤S10中从步骤S16所捕获的对焦包围图像中确定的焦点对准位置处捕获的图像(下文将其称为基准图像)的图像编号之差，来确定用于模糊的滤波器系数σ(参见公式1)。 
[公式1] 
σ＝|(通过返回至0至4的范围而从第二基准值获取的数值)-(基准图像的图像编号)| 
当(例如)五个对焦包围图像中的基准图像的图像标号是2并且步骤S62中确定的用于模糊的滤波器系数是1.4时，具有特性σ＝0.6的高斯滤波器被用作用于模糊的滤波器系数。当基准图像的图像编号为2并且步骤S62中确定的用于模糊的滤波器系数是3.5时，具有特性σ＝1.5的高斯滤波器被用作用于模糊的滤波器系数。 
高斯滤波器是具有例如图10所示的滤波器系数的低通滤波器，其具有这样的特性，即滤波器系数σ越大，则模糊量变得越大。滤波器系数σ不限于该示例。相反，可使用根据实际拍摄的模糊量将利用公式1得到的数值乘以一定常数而得到的值。 
采用具有在步骤S62中计算出来的滤波器系数σ的特性的高斯滤波器，对基准图像中在步骤S60中选择出来的像素执行滤波处理(步骤S64)。因此，能以像素为基础根据各自的第二基准值来改变模糊程度。 
模糊增强处理器166判断是否对所有像素执行了滤波处理(步骤S66)。在还未对所有像素执行完滤波处理时(步骤S66：否)，模糊增强处理器166选择另一像素(步骤S60)，确定滤波器系数σ(步骤S62)，并且对所选像素执行滤波处理(步骤S64)。 
在已经针对所有像素执行完滤波处理时(步骤S66：是)，模糊增强处理完成。因此，产生了模糊增强图像。 
因此，完成了执行全聚焦处理或模糊增强处理的步骤(步骤S22)。CPU110将步骤S22中所产生的全聚焦图像和模糊增强图像 提供给压缩/解压处理器136。压缩/解压处理器136根据规定压缩格式(例如JPEG***)来压缩全聚焦图像和模糊增强图像，随后图像被存储至存储器132中。所存储的数据随后被转换成规定图像记录格式(例如，Exif***)的图像文件，并且经由存储器控制器140被记录至记录介质142上(步骤S24)。 
根据该示例实施例，对清晰度最高的图像的图像编号的平滑处理能够获得更加精确且过渡平滑的焦点对准判断。平滑处理缓和了噪声的影响。所以，对基于平滑过的基准值的焦点对准判断的结果进行参考能够执行更加自然的全聚焦处理和模糊增强处理。 
根据该示例实施例，在计算基准值的步骤(步骤S20)中，通过对基于像素计算出来的第一基准值布置在像素的各个位置，创建了表示第一基准值的空间分布的帧图谱，并且对图谱实施了空间平滑处理(步骤S42)。但是，没有必要创建所有像素的图谱。相反，有效的是保持一个至少支持了空间平滑滤波器的抽头数的图谱。当比如利用3×3的滤波器来执行处理时，可利用3×3的存储器(而不是创建所有像素的图谱)来执行空间平滑处理。 
根据该示例实施例，在计算基准值的步骤(步骤S20)中，创建了分辨率与对焦包围图像的分辨率相同的图谱(步骤S42)。图谱没有必要具有与图像相同的分辨率。相反，例如，可以采用图11中所示的在相邻的2×2的四个像素上进行平均的低分辨率图谱。这不仅节省了用于制图的存储器空间，而且提高了空间平滑处理的速度。在这种情况下，在全聚焦处理或模糊增强处理中，有必要参考低分辨率图谱中与原始图像的坐标相对应的基准值(步骤S22)。 
根据该示例实施例，在设置对焦包围时的聚焦位置的步骤(步骤S12)中，将多个位置设置为包括步骤S10中所计算出来的焦点对准位置。但是，可将焦包围曝光时的聚焦位置设置成不包括焦点对准位置。 
根据该示例实施例，在全聚焦处理/模糊增强处理中执行全聚焦处理和模糊增强处理(步骤S22)。这两个处理没有必要都执行。还有效的是仅仅执行全聚焦处理和模糊增强处理之一。 
根据该示例实施例，在焦点对准位置处捕捉到的图像被用作模糊增强处理中的基准图像(步骤S62和S64)。但是，也可以将用户随意设置的一个图像用作基准图像。 
同时，当相机与拍摄对象之间的距离非常近时，可行的是多个图像(对焦包围图像)中的任意一个的任何部分中都没有获得聚焦。在这种情况下，即使没有获得聚焦，也能基于第二基准值来选择各个图像中获得了对拍摄对象更好聚焦的部分，并且所选部分被结合来产生合成的图像。而且，能基于第二基准值对对焦包围图像进行加权平均以获得全聚焦图像，从而全聚焦图像尽可能地接近聚焦。 
<第二示例实施例> 
由于根据第一示例实施例而将清晰度最高的图像编号用作第一基准值，不管清晰度的水平如何(假设该清晰度是最高的)，都获得同样的结果。例如，在图18所示的边界的变化点中，图1的清晰度是8。但是，即使清晰度是16或1，在与图2的清晰度进行比较时，图1的清晰度仍旧是最高的。 
但是，在实际的图像中，边界越强，在像素附件焦点对准的可能性越大。因此，为了执行更精确的焦点对准判断，最好在考虑清晰度水平的情况下进行空间平滑。 
根据第二示例实施例，通过将第一基准值表示为包括清晰度最高的图像编号以及清晰度的二维矢量(清晰度矢量)，而不是表示为清晰度最高的图像编号这一标量，从而在考虑了清晰度水平的情况下进行空间平滑。下文中将描述第二示例实施例。与第一示例实施例相同的部分将标有相同的参考符号，并省略对这些部分的描述。 
图12是示意性地示出了根据第二示例实施例的数码相机2的内部结构的框图。 
如图所示，数码相机2主要包括：：CPU110、操作单元(快门释放按钮、电源/模式选择器开关、模式选择器盘、缩放按钮、十字按钮、菜单/确定按钮、显示按钮、返回按钮等)112、可变光圈驱动器114、聚焦透镜驱动器116、图像传感器驱动器118、透镜单元120、光学低通滤波器(LPF)122、图像传感器124、模拟信号处理器 (CDS/AMP)126、A/D转换器128、存储器控制器130、主存储器132、数字信号处理器134、压缩/解压处理器136、积分器138、存储器控制器140、记录介质142、显示控制器144、显示单元146、闪光单元150、光电探测器152、基准值计算单元160、基准值平滑单元162、全聚焦处理器164、模糊增强处理器166、以及幅角计算单元168。 
幅角计算单元168计算在极坐标***中表示的清晰度矢量的幅角。随后将详细描述清晰度矢量以及幅角的计算方法。 
将描述如上所述进行配置的根据本示例实施例的数码相机2的操作。由于普通拍摄处理等同于第一示例实施例的拍摄处理，所以将描述全聚焦图像或模糊增强图像的拍摄处理。图13是示出了在全聚焦图像/模糊增强图像拍摄模式下拍摄全聚焦图像或模糊增强图像的整个处理流程的流程图。 
当在全聚焦图像/模糊增强图像拍摄模式下对操作单元12的快门释放按钮的半按将S1开启信号输入CPU110时，CPU110在对焦包围之前执行自动聚焦控制(AF)(步骤S10)，并对将在对焦包围中设置的多个聚焦位置进行设置，从而使得这些聚焦位置包括了在步骤S10中计算出来的聚焦位置(步骤S12)。 
接下来，在步骤S12所确定的聚焦位置处执行对焦包围(步骤S14至步骤S18)。首先，CPU110通过聚焦透镜驱动器116将聚焦透镜120b驱动至步骤S12中所确定的多个聚焦位置中的一个期望的聚焦位置处(步骤S14)，并且通过图像传感器驱动器118来控制图像传感器124以便捕获对象图像(步骤S16)。步骤S16中所捕获的图像通过存储器控制器130而被暂时地存储在主存储器132中。 
CPU110判断是否已经在步骤S12中所确定的所有聚焦位置处执行了拍摄，更具体地说，判断是否已经在步骤S12中所确定的所有聚焦位置处执行了步骤S14至步骤S16的处理(步骤S18)。 
在还未在步骤S12中所确定的所有聚焦位置处执行步骤S14至步骤S16的处理时(步骤S18：否)，则聚焦透镜120b被驱动至另一聚焦位置(步骤S14)并且在该聚焦位置捕获对象图像(步骤S16) 
在已经在步骤S12中所确定的所有聚焦位置处都执行了步骤 S14至步骤S16的处理时(步骤S18：是)，则CPU110终止对焦包围，并且根据对焦包围图像来确定基准值(步骤S28)。图14是示出了计算基准值(步骤S26)的处理流程的流程图。 
首先，CPU110将存储在主存储器132中的图像输入到基准值计算单元160中，并且例如，基准值计算单元160通过在图像上建立xy坐标系(其中原点位于图像的左上部，水平方向为x轴方向而垂直方向为y轴方向)并且通过利用xy坐标指定目标像素的位置，从而在所输入的图像中选择目标像素(步骤S30)。从对焦包围图像中选择图像i(步骤S32)。计算步骤S32中所选择的图像i上的在步骤S30中选择的目标像素的清晰度(步骤S34)。 
基准值计算单元160判断是否已经对输入的所有对焦包围图像执行了步骤S34所示的清晰度计算处理(步骤S36)。在还未对输入的所有对焦包围图像执行完步骤S34所示的清晰度计算处理时(步骤S36：否)，基准值计算单元160从对焦包围图像中选择另一图像(步骤S32)，并计算目标像素的清晰度(步骤S34)。 
在已经对输入的所有对焦包围图像执行完步骤S34所示的清晰度计算处理时(步骤S36：是)，步骤S34中所计算出来的清晰度中清晰度最高的图像的图像编号被选择(步骤S38)，根据图像编号和清晰度来获取清晰度矢量，并将其输出为第一基准值(步骤S70)。 
当比如对焦包围图像的数量(图像数)为5时，预先准备与各个图像编号0至4相对应的单位矢量u0至u4，如图15所示。在极坐标表达方式中，每个单位矢量u0至u4的半径r都是1，最近图像(图像0)的单位矢量u0的幅角θ是0[rad]，最远图像(图像4)的单位矢量u4的幅角θ是π[rad]，这两个图像之间的图像(图像1至3)的单位矢量u1至u3的幅角θ是将0至π[rad]的范围进行等分所得到的值，具体地说，图像1的单位矢量u1的幅角θ是π/4[rad]，图像2的单位矢量u2的幅角θ是π/2[rad]，图像3的单位矢量u3的幅角θ是3π/4[rad]。 
清晰度矢量是一个清晰度被赋值为单位矢量半径的单位矢量。例如，如果在某个像素上图像1的清晰度为8(它是所有图像中清晰 度最高的)，那么清晰度矢量的半径r是8而幅角θ是π/4[rad]。 
如上所述获取的每个像素的清晰度矢量被从极坐标表达方式下的清晰度矢量转换成xy坐标表达方式下的清晰度矢量，并被输出为第一基准值，以便执行后面提到的空间平滑处理(步骤S72至S74，这将在后面予以详细描述)。例如，r是8而幅角θ是π/4[rad]的清晰度矢量的第一基准值即等于： ( x , y ) = ( 8 / 2 , 8 / 2 ) .
基准值计算单元160判断是否已经对所有像素执行了上述处理，换句话说，判断关于所有像素的第一基准值是否都被输出(步骤S40)。在未输出关于所有像素的第一基准值时(步骤S40：否)，基准值计算单元160选择另一目标像素(步骤S30)，并输出关于该目标像素的第一基准值(步骤S32至S70)。 
在输出了关于所有像素的第一基准值时(步骤S40：是)，基准值计算单元160于是创建与两个帧相对应的图谱。图谱分别表示x分量和y分量的空间分布。CPU110通过存储器控制器130将基准值计算单元160所创建的图谱暂时地存储在主存储器132中。CPU110将存储在主存储器132中的图谱输入至基准值平滑单元162中。基准值平滑单元162根据几乎等同于第一示例实施例的方法对x分量的图谱执行空间平滑处理(步骤S72)，并且根据几乎等同于第一示例实施例的方法对y分量的图谱执行空间平滑处理(步骤S74)。 
图16示出了在对x分量和y分量分别执行了空间平滑处理之后已经从xy坐标表达方式变回极坐标表达方式的清晰度矢量的示例。如图16所示，以像素为基础执行了空间平滑处理之后的清晰度矢量的方向(幅角)在长矢量的影响下接近半径长的近似矢量的方向。这实现了清晰度矢量之间的平滑过渡。 
这样实施了空间平滑处理之后的清晰度矢量的图谱(空间平滑处理之后x分量和y分量的图谱)通过存储器控制器130被再次存储在主存储器132中，并且被输入至幅角计算单元168。幅角计算单元168根据所输入的图谱按照公式2来计算幅角θ。在公式2中，x和y分别是平滑后的清晰度矢量的x分量和y分量。 
[公式2] 
θ＝arctan(y/x) 
由于幅角θ是与图像编号相对应的度量，所以所计算出来的幅角变为第二基准值。所获取的幅角乘以4/π就能使幅角θ变回0至4的范围内的值(图像的编号)，从而获取了第二基准值的多个灰度级的图谱，即表示焦点对准分布的深度图像，这与第一示例实施例一样(步骤S76)。 
因此，完成了根据对焦包围图像来确定基准值的处理(步骤S26)。CPU110通过存储器控制器130暂时将幅角计算单元168所计算出来的深度图像存入主存储器132。 
接下来，根据存储在主存储器132中的第二基准值，全聚焦处理器164执行全聚焦处理，而模糊增强处理器166则执行模糊增强处理(步骤S22)。CPU110通过存储器控制器140将步骤S22中所产生的全聚焦图像和模糊增强图像记录至记录介质142上(步骤S24)。 
该示例实施例不仅强调了清晰度最高的图像编号，而且强调了清晰度水平(或者清晰边缘的影响)，从而能够获得更精确的深度图像。这使得根据深度图像而合成的全聚焦图像更平滑自然。此外，由于获得了更精确的焦点对准判断结果，所以可以产生具有更精确的模糊量的模糊增强图像。 
本发明的应用不限于数码相机。相反，本发明可以应用至诸如照相手机或摄影机之类的成像设备，并且可应用至诸如PC(个人计算机)之类的对成像设备所获取的图像进行处理的图像处理设备。本发明可被提供为可在诸如PC之类的设备上实施的程序。 

Claims (10)

1.一种图像处理设备，其包括：
图像获取装置，其获取在改变透镜的聚焦位置的同时连续拍摄到的多个图像；
清晰度计算装置(160)，其计算所述图像获取装置所获取的多个图像的每个像素的清晰度；
第一基准值计算装置(160)，其针对图像的每个像素计算第一基准值，该第一基准值表示多个图像中的相同位置处的像素中由清晰度计算装置所计算出来的清晰度最高的像素属于多个图像中的哪个图像，第一基准值包括第一信息和第二信息，第一信息表示清晰度最高的像素属于多个图像中的哪个图像，第二信息表示清晰度水平；
第二基准值计算装置(162)，其针对图像的每个像素，通过基于相邻像素上的第一基准值对每个像素上的第一基准值进行空间平滑，从而根据第一基准值计算装置所计算出来的第一基准值来计算第二基准值；以及
图像处理装置(164，166)，其根据由第二基准值计算装置算出的第二基准值对由图像获取装置获取的多个图像进行图像处理，以便产生其中图像的每个部分都是焦点对准的全聚焦图像，图像处理装置还根据由第二基准值计算装置算出的第二基准值对由图像获取装置获取的多个图像中的至少一个图像进行图像处理，以便产生模糊增强图像，在模糊增强图像中，主要对象之外的部分是模糊的；
其特征在于，第一基准值被表示为一个二维矢量，其中第一信息是幅角，第二信息是半径；
其特征还在于，第二基准值计算装置(162)将图像中的每个像素上的被表示成二维矢量的第一基准值分成x分量和y分量；对x分量和y分量进行空间平滑，并且将根据空间平滑后的x分量和y分量来获取的幅角用作第二基准值。
2.如权利要求1所述的图像处理设备，其中第二基准值计算装置(162)包括用于产生图谱的图谱产生装置，在该图谱中根据每个像素的位置来布置第一基准值计算装置针对图像的每个像素所计算出来的第一基准值，并且第二基准值计算装置(162)通过对图谱产生装置所产生的图谱进行空间平滑来计算第二基准值。
3.如权利要求1所述的图像处理设备，其中第二基准值计算装置(162)包括图谱产生装置(168)，该图谱产生装置将图像中的每个像素上的被表示成二维矢量的第一基准值分成x分量和y分量并产生x分量和y分量的图谱，在该图谱中根据每个像素的位置分别布置x分量和y分量，并且第二基准值计算装置(162)对该图谱产生装置所产生的x分量和y分量的图谱进行空间平滑，根据空间平滑后的x分量和y分量来获取幅角，并且将该幅角用作第二基准值。
4.如权利要求2或3所述的图像处理设备，其中所述图谱产生装置对规定区域中的第一基准值进行加权平均，并且产生样本数量少于所述图谱的样本数量的低分辨率图谱。
5.如权利要求1至3之一所述的图像处理设备，进一步包括：
根据第二基准值计算装置所计算出来的第二基准值来确定所述多个图像中的相同位置处的每个像素的加权平均系数的装置；以及
通过根据所确定的加权平均系数来对所述多个图像中的相同位置处的像素进行加权平均从而产生全聚焦图像的装置(164)。
6.如权利要求1至3之一所述的图像处理设备，进一步包括：
确定模糊滤波器的滤波器系数的装置，该滤波器系数用于根据第二基准值计算装置所计算出来的第二基准值来调节所述多个图像中的基准图像的每个像素的模糊水平；以及
通过利用具有所确定的滤波器系数的模糊滤波器来对基准图像中的相应像素进行滤波处理来产生模糊增强图像的装置(166)。
7.如权利要求1至3之一所述的图像处理设备，其中
图像处理装置(164，166)基于第二基准值计算装置所计算出来的第二基准值来对图像获取装置所获取的多个图像进行图像处理，以产生其中图像的每个部分都是焦点对准的全聚焦图像。
8.如权利要求1至3之一所述的图像处理设备，其中
图像处理装置(164，166)基于第二基准值计算装置所计算出来的第二基准值来对图像获取装置所获取的多个图像之一进行图像处理，以产生其中除了主要对象之外的部分是模糊的模糊增强图像。
9.一种成像设备(1，2)，其包括：
根据权利要求1至8之一所述的图像处理设备；
成像装置，其包括用于捕捉对象图像的图像传感器(124)以及用于在图像传感器上形成对象图像的成像光学***(120)；以及
控制装置(114，116，118)，其对成像装置进行控制，使得在图像传感器上形成多个图像。
10.一种图像处理方法，其包括：
获取在改变透镜的聚焦位置的同时连续拍摄(S14，S15，S16)到的多个图像的步骤(S30，S38，S40)；
计算所获取的多个图像的每个像素的清晰度的步骤(S34)；
针对图像的每个像素计算第一基准值的步骤(S38)，该第一基准值表示多个图像中的相同位置处的像素中所计算出来的清晰度最高的像素属于多个图像的哪个图像，第一基准值包括第一信息和第二信息，第一信息表示清晰度最高的像素属于多个图像中的哪个图像，第二信息表示清晰度水平；
通过基于相邻像素上的第一基准值对每个像素上的第一基准值进行空间平滑，从而根据针对图像的每个像素所计算出来的第一基准值来计算第二基准值的步骤(S42)；以及
根据第二基准值对所述多个图像中的至少一个图像进行图像处理的步骤(S22)，该步骤包括根据第二基准值对多个图像进行处理，以便产生其中图像的每个部分都是焦点对准的全聚焦图像，或者根据第二基准值对多个图像中的一个图像进行处理，以便产生模糊增强图像，在模糊增强图像中，主要对象之外的部分是模糊的；
其特征在于，第一基准值被表示为一个二维矢量，其中第一信息是幅角，第二信息是半径；
其特征还在于，计算第二基准值的步骤包括将图像中的每个像素上的被表示成二维矢量的第一基准值分成x分量和y分量；对x分量和y分量进行空间平滑，并且将根据空间平滑后的x分量和y分量来获取的幅角用作第二基准值。
CN2009101472475A 2008-06-13 2009-06-12 图像处理设备、成像设备及图像处理方法 Expired - Fee Related CN101605208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008155460 2008-06-13
JP2008155460 2008-06-13
JP2008-155460 2008-06-13

Publications (2)

Publication Number Publication Date
CN101605208A CN101605208A (zh) 2009-12-16
CN101605208B true CN101605208B (zh) 2013-08-21

Family

ID=40982551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101472475A Expired - Fee Related CN101605208B (zh) 2008-06-13 2009-06-12 图像处理设备、成像设备及图像处理方法

Country Status (4)

Country Link
US (1) US8311362B2 (zh)
EP (1) EP2134079B1 (zh)
JP (1) JP4524717B2 (zh)
CN (1) CN101605208B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105193A (zh) * 2014-03-13 2016-11-09 三星电子株式会社 用于产生具有深度信息的图像的图像拾取设备和方法

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
JP5653104B2 (ja) * 2010-07-16 2015-01-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
CN102696219B (zh) * 2010-11-08 2016-03-23 松下电器产业株式会社 摄像装置、摄像方法及集成电路
US8648959B2 (en) * 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8659697B2 (en) * 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
CN103348667A (zh) * 2011-03-31 2013-10-09 富士胶片株式会社 摄像装置、摄像方法及程序
US8704916B2 (en) 2011-04-11 2014-04-22 Canon Kabushiki Kaisha Systems and methods for focus transition
KR101940481B1 (ko) * 2011-05-18 2019-04-10 엘지이노텍 주식회사 카메라 모듈 및 그의 구동 방법
JP5800187B2 (ja) * 2011-08-16 2015-10-28 リコーイメージング株式会社 撮像装置および距離情報取得方法
CN103098480B (zh) * 2011-08-25 2018-08-28 松下电器（美国）知识产权公司 图像处理装置及方法、三维摄像装置
WO2013047405A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 画像処理装置及び方法、並びにプログラム
US8929607B2 (en) * 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
US20130308874A1 (en) * 2012-05-18 2013-11-21 Kasah Technology Systems and methods for providing improved data communication
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP6074926B2 (ja) * 2012-07-05 2017-02-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR101952684B1 (ko) * 2012-08-16 2019-02-27 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
JP5664626B2 (ja) * 2012-10-12 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
CN103198475B (zh) * 2013-03-08 2016-01-13 西北工业大学 基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
KR102068748B1 (ko) * 2013-07-31 2020-02-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
US9888163B2 (en) 2013-08-07 2018-02-06 Sharp Kabushiki Kaisha Imaging device
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
WO2015137635A1 (en) 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
CN105208259B (zh) * 2014-06-17 2019-12-03 中兴通讯股份有限公司 相机自动对焦优化的方法及相机
WO2016002258A1 (ja) * 2014-06-30 2016-01-07 富士フイルム株式会社 光音響画像生成装置、信号処理装置、及び光音響画像生成方法
JP6290038B2 (ja) 2014-08-20 2018-03-07 株式会社東芝 電子機器、方法及びプログラム
JP6205067B2 (ja) * 2014-09-05 2017-09-27 富士フイルム株式会社 パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
CN104680563B (zh) * 2015-02-15 2018-06-01 青岛海信移动通信技术股份有限公司 一种图像数据的生成方法和装置
CN104754227A (zh) * 2015-03-26 2015-07-01 广东欧珀移动通信有限公司 一种拍摄视频的方法及装置
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
CN106303044B (zh) * 2016-08-18 2019-08-16 努比亚技术有限公司 一种移动终端和获取对焦值的方法
JP6301416B2 (ja) 2016-09-05 2018-03-28 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置、および撮像装置
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
WO2018181156A1 (ja) * 2017-03-31 2018-10-04 Hoya株式会社 電子内視鏡システム
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CN107481213A (zh) * 2017-08-28 2017-12-15 湖南友哲科技有限公司 显微镜下图像多层聚焦融合方法
CN107395991B (zh) * 2017-08-31 2020-01-10 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
JP7051373B2 (ja) * 2017-11-02 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP7214368B2 (ja) * 2018-05-31 2023-01-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7262940B2 (ja) * 2018-07-30 2023-04-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
CN113826376B (zh) * 2019-05-24 2023-08-15 Oppo广东移动通信有限公司 用户设备和斜视校正方法
CN113114947B (zh) * 2021-04-20 2022-11-01 重庆紫光华山智安科技有限公司 对焦调节方法和装置、电子设备及存储介质
CN113298764B (zh) * 2021-05-11 2022-06-14 合肥富煌君达高科信息技术有限公司 基于图像噪声分析的高速相机成像质量分析方法
EP4138384A3 (en) * 2021-08-16 2023-04-19 Canon Kabushiki Kaisha Imaging apparatus, imaging method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744702A (zh) * 2004-09-03 2006-03-08 乐金电子(中国)研究开发中心有限公司 移动终端的画面清晰度调整装置及其方法
US7058233B2 (en) * 2001-05-30 2006-06-06 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
CN1860777A (zh) * 2003-09-29 2006-11-08 Vixs***公司 用于在图像中降噪的方法和***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311411A (ja) * 1993-03-15 1994-11-04 Toshiba Corp 画像処理装置
JPH10190988A (ja) * 1996-12-26 1998-07-21 Canon Inc 画像読み取り装置
JP4136044B2 (ja) * 1997-12-24 2008-08-20 オリンパス株式会社 画像処理装置及びその画像処理方法
US7369161B2 (en) * 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
JP3956584B2 (ja) * 2000-06-02 2007-08-08 株式会社日立製作所 全焦点画像合成方法及び装置
SE518050C2 (sv) * 2000-12-22 2002-08-20 Afsenius Sven Aake Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
JP2005038083A (ja) * 2003-07-17 2005-02-10 Seiko Epson Corp 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ
JP2005141477A (ja) * 2003-11-06 2005-06-02 Noritsu Koki Co Ltd 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
JP2006140594A (ja) * 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
JP5012333B2 (ja) 2007-08-30 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
JP5115138B2 (ja) 2007-10-17 2013-01-09 株式会社ニコン 合焦測定装置、合焦測定方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058233B2 (en) * 2001-05-30 2006-06-06 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
CN1860777A (zh) * 2003-09-29 2006-11-08 Vixs***公司 用于在图像中降噪的方法和***
CN1744702A (zh) * 2004-09-03 2006-03-08 乐金电子(中国)研究开发中心有限公司 移动终端的画面清晰度调整装置及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105193A (zh) * 2014-03-13 2016-11-09 三星电子株式会社 用于产生具有深度信息的图像的图像拾取设备和方法
CN106105193B (zh) * 2014-03-13 2019-01-11 三星电子株式会社 用于产生具有深度信息的图像的图像拾取设备和方法

Also Published As

Publication number Publication date
EP2134079B1 (en) 2012-11-14
JP2010020758A (ja) 2010-01-28
EP2134079A1 (en) 2009-12-16
CN101605208A (zh) 2009-12-16
JP4524717B2 (ja) 2010-08-18
US20090310885A1 (en) 2009-12-17
US8311362B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
CN101605208B (zh) 图像处理设备、成像设备及图像处理方法
CN103971090B (zh) 图像处理装置、图像捕获装置及图像处理方法
EP2760209B1 (en) Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device
CN103782586B (zh) 成像设备
CN105323474B (zh) 摄像设备及其控制方法
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
CN101212571B (zh) 图像捕捉设备和对焦方法
CN103733607B (zh) 用于检测运动物体的装置和方法
CN101305398B (zh) 基于多个图像帧形成合成图像的方法
CN101390381B (zh) 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
CN103563350A (zh) 图像处理装置、图像处理方法以及数码相机
JP2013029656A (ja) 撮像装置
CN106063249A (zh) 摄像装置及其控制方法以及计算机可读记录介质
JP2012049773A (ja) 撮像装置および方法、並びにプログラム
WO2007043325A1 (ja) 画像処理システム、画像処理プログラム
CN101115139A (zh) 拍摄装置和曝光控制方法
CN103370943A (zh) 成像装置和成像方法
US9124875B2 (en) Stereoscopic imaging apparatus
JP2011124712A (ja) 画像処理装置、方法およびプログラム
JP2012120132A (ja) 撮像装置およびプログラム
CN101715065B (zh) 补正摄影时的光源影响的图像补正装置及其图像补正方法
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法
JP4617870B2 (ja) 撮像装置および方法、並びにプログラム
KR101613617B1 (ko) 디지털 영상 촬영 장치 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130821

Termination date: 20210612

CF01 Termination of patent right due to non-payment of annual fee