CN105934940B - 图像处理装置、方法与程序 - Google Patents

图像处理装置、方法与程序 Download PDF

Info

Publication number
CN105934940B
CN105934940B CN201580004045.9A CN201580004045A CN105934940B CN 105934940 B CN105934940 B CN 105934940B CN 201580004045 A CN201580004045 A CN 201580004045A CN 105934940 B CN105934940 B CN 105934940B
Authority
CN
China
Prior art keywords
focus
warning
region
image
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580004045.9A
Other languages
English (en)
Other versions
CN105934940A (zh
Inventor
木下雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105934940A publication Critical patent/CN105934940A/zh
Application granted granted Critical
Publication of CN105934940B publication Critical patent/CN105934940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本技术涉及一种用于使得能够在照相之后更容易辨识图像的聚焦度的图像处理装置和方法与程序。聚焦区域确定单元基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度。警告控制单元根据各个区域的聚焦得分来确定所摄图像中的预定区域的聚焦度,且根据确定的结果来发布警告指令。举例来说,通过显示警告、输出警告音、振动或发射光来发布警告。当根据聚焦得分来确定聚焦度时,模糊和离焦两者都不是原因,且可以提示使用者检查聚焦度。本技术可以应用于数字静态相机。

Description

图像处理装置、方法与程序
技术领域
本技术涉及一种图像处理装置和方法与程序,且更特定而言涉及一种用于使得能够在照相之后更容易辨识图像的聚焦度的图像处理装置和方法与程序。
背景技术
在新近的数字相机和装备有数字相机的移动电话中,成像装置具有更多数量的像素或记录像素,且所安装用于检查所摄图像的显示装置已在尺寸方面变得更小并且在像素数目方面变得更大。
但是,与成像装置中的像素(记录像素)数目的增加程度相比,通常安装的显示装置的像素数目是不足的。
正因如此,即使在照相之后立即检查用重现功能获得的图像并确认聚焦,使用者仍常常(例如)在将图像显示于家中电视接收器或个人计算机的大型监控器上时或在将图像放大尺寸并用打印机打印出来时对离焦感到失望。
为了应对这一问题,已建议数几种技术,通过这些技术来测量在照相时装置的状态(例如,相机抖动或运动的痕迹),并在照相结果很可能受到此类状态的不利影响的情况下向照相师显示警告(见专利文献1至3)。已将这些技术投入使用。
引用列表
专利文献
专利文献1:JP 3402774 B2
专利文献2:JP 3144469 B2
专利文献3:JP 5163409 B2
发明内容
待由本发明解决的问题
但是,就以上技术而言,预测警告是根据照相时的状态来发布,且关于实际拍摄和记录的图像的任何警告则不发布。即使在使用者无忧地(因为不存在对警告的显示)执行照相的情况下,实际拍摄和记录的图像的聚焦度仍常常是不足的。
而且,专利文献1和2中所公开的技术被设计成用于仅校正造成照相失败的原因的相机抖动。因此,就那些技术而言,当聚焦度由于光学离焦等等而变得不足时并不显示任何警告,且照相师无法注意到照相失败。
同样地,专利文献3中所公开的技术被设计成仅用于校正在全景照相时所产生的造成照相失败的原因的不一致。因此,就这种技术而言,当聚焦度由于(例如)光学离焦或相机抖动而变得不足时并不显示任何警告,且照相师无法注意到照相失败。
已考虑到所述情况发展了本技术,且本技术将使得能够在照相之后更容易辨识图像的聚焦度。
问题的解决方案
本技术的一个方面的图像处理装置包含:聚焦区域确定单元,其基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度;警告确定单元,其根据聚焦得分来确定所摄图像中的预定区域中的聚焦度;以及警告单元,其根据聚焦确定的结果来发布警告。
警告确定单元可通过将预定区域中的各个区域的聚焦得分的平均值与阈值相比较来确定聚焦度。
所述预定区域可为在拍摄所摄图像的时候进行聚焦的聚焦区域。
聚焦区域确定单元可仅计算所摄图像中的预定区域的聚焦得分。
预定区域可为所摄图像中的由使用者指定的区域。
预定区域可为从所摄图像检测到的脸部区域。
警告单元可通过显示叠映在所摄图像上的警告来发布警告。
警告单元可通过输出警告音来发布警告。
警告单元可通过振动来发布警告。
警告单元可通过发射光来发布警告。
警告单元可根据聚焦得分的平均值来改变警告。
本技术的一个方面的图像处理方法或程序包含以下步骤:基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度;根据聚焦得分来确定所摄图像中的预定区域中的聚焦度;以及根据聚焦确定的结果来发布警告。
在本技术的所述方面中,基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度。根据聚焦得分来确定所摄图像中的预定区域中的聚焦度。根据聚焦确定的结果来发布警告。
本发明的效果
根据本技术的一个方面,可以在照相之后更容易地辨识图像的聚焦度。
本技术的效果并不限于本文中所描述的效果,且可包含本公开中所描述的任何一个效果。
附图说明
图1是示出成像设备的外部的示例结构的图式。
图2是示出成像设备的示例功能结构的图式。
图3是用于解释照相过程的图式。
图4是用于解释警告过程的图式。
图5是示出警告显示的另一示例的图式。
图6是用于解释照相过程的流程图。
图7是用于解释警告过程的流程图。
图8是用于解释警告过程的流程图。
图9是用于解释警告过程的图式。
图10是用于解释警告过程的流程图。
图11是用于解释照相过程的图式。
图12是用于解释警告过程的图式。
图13是示出警告显示的另一示例的图式。
图14是用于解释照相过程的流程图。
图15是用于解释警告过程的流程图。
图16是用于解释警告过程的流程图。
图17是用于解释警告过程的流程图。
图18是用于解释警告过程的流程图。
图19是用于解释警告过程的流程图。
图20是用于解释警告过程的流程图。
图21是用于解释警告过程的流程图。
图22是用于解释警告过程的流程图。
图23是用于解释警告过程的流程图。
图24是用于解释警告过程的流程图。
图25是用于解释警告过程的流程图。
图26是用于解释警告过程的流程图。
图27是用于解释警告过程的流程图。
图28是示出多功能便携式电话装置的外部的示例结构的图式。
图29是示出多功能便携式电话装置的示例功能结构的图式。
图30是用于解释照相过程的流程图。
图31是用于解释警告过程的流程图。
图32是示出穿戴式相机的外部的示例结构的图式。
图33是示出穿戴式相机的示例功能结构的图式。
图34是用于解释照相过程的流程图。
图35是用于解释警告确定过程的流程图。
图36是用于解释显示过程的流程图。
图37是示出计算机的示例配置的图式。
具体实施方式
下文是参考诸图对应用了本技术的实施例的描述。
<第一实施例>
<成像设备的外部的示例结构>
首先,描述本技术的概述。
本技术使得作为照相师的使用者能够在拍照之后更容易地和直观地辨识由于相机抖动或光学离焦而变得模糊的图像的聚焦度,尽管显示屏幕是小的。
举例来说,如果使用者能够更容易地和直观地注意到聚焦度,那么即使在其中由于图像被显示于小型显示装置上而导致使用者无法注意到聚焦度不足的常规情形中,仍可以防止使用者由于他/她未意识到照相失败而错过拍照的机会。特定而言,通过本技术,并不从照相之前的状态来预测聚焦度,而是发布关于实际所摄图像的聚焦度的警告。因此,使用者可以在必要时再次迅速地执行照相。
可以将本技术应用于能够拍摄图像的任何装置,例如数字静态相机、数字摄像机、具有相机功能的多功能便携式电话装置和穿戴式相机。在以下描述中,首先描述其中将本技术应用于数字静态相机的示例。
图1是示出应用了本技术的成像设备的外部的示例结构的图式。
成像设备11是由数字静态相机形成。在图1中,由箭头A11指示的图是成像设备11的正视图,且由箭头A12指示的图是成像设备11的背视图。
将从物体进入的光引导朝向成像器(未示出)的光学***21提供于成像设备11的表面上,且使用者将光学***21导引朝向所要物体,以对所述物体照相。
快门按钮22和拨盘23提供于成像设备11的上表面上,且重现按钮24和拨盘25提供于成像设备11的背表面上。使用者通过操作这些零件(包含快门按钮和拨盘22至25)来执行例如照相和重现的操作。
此外,由液晶面板等等形成的显示单元26提供于成像设备11的背表面上,且使用者可以通过查看显示于显示单元26上的图像等等来检查所摄图像、图像的聚焦度等等。
<成像设备的示例功能结构>
图1中所示的成像设备11的功能结构与(例如)图2中所示的结构相似。在图2中,与图1中所示的部件等效的部件由与图1中所使用的参考数字相同的参考数字来指示,且将不必重复对其的解释。
图2中的成像设备11包含光学***21、成像器51、数字信号处理大规模集成电路(LSI)52、使用者界面53、控制单元54、用于驱动透镜的驱动器集成电路(IC)55、相机抖动传感器56、记录单元57、显示单元26、振动单元58、扬声器59和发光装置60。
光学***21由透镜(例如,变焦透镜和聚焦透镜)和光圈形成。光学***21将从物体进入的光聚集到成像器51的光接收表面上。
成像器51由成像装置(例如,电荷耦合装置(CCD)或互补金氧半导体(CMOS))形成。成像器51接收从光学***21进入的光,且对光执行光电转换。成像器51接着将由此产生的所摄图像(或更具体而言,所摄图像的图像数据)供应到数字信号处理LSI 52。
数字信号处理LSI 52对从成像器51供应的所摄图像执行各种信号处理。数字信号处理LSI 52包含预处理单元71、同步单元72、YC产生单元73、分辨率转换单元74、编码解码器(CODEC)75、自动聚焦(AF)检测单元76、聚焦区域确定单元77、脸部检测单元78、存储器79、显示器的处理单元80、振动器驱动单元81、扬声器驱动单元82和发光装置驱动单元83。
预处理单元71对所摄图像执行箝位过程、缺陷像素校正过程等等。同步单元72对所摄图像执行去马赛克过程,使得进行缺陷像素校正过程等等的所摄图像的每个像素具有相应色彩分量R、G和B。
YC产生单元73从进行去马赛克过程的所摄图像产生亮度信号和色彩信号。分辨率转换单元74对所摄图像执行分辨率转换。CODEC 75对进行分辨率转换的所摄图像进行编码,或对已编码的所摄图像进行解码。
AF检测单元76在执行自动聚焦操作时使用所摄图像等等来计算指示自动聚焦状态的估计值。聚焦区域确定单元77基于进行去马赛克过程的所摄图像来执行聚焦区域确定过程,且计算指示所摄图像中的各个区域中的聚焦度的聚焦得分。
脸部检测单元78从所摄图像来检测人脸部。存储器79暂时存储由来自预处理单元71到分辨率转换单元74的一些或所有处理器处理的所摄图像(下文中也将所摄图像称为经处理的所摄图像)等等。显示器的处理单元80将所摄图像转换成呈可以显示于显示单元26上的格式的图像,且接着将所述图像供应到显示单元26。
振动器驱动单元81驱动振动单元58并使其振动。扬声器驱动单元82将音频信号供应到扬声器59,并使扬声器59重现声音。发光装置驱动单元83驱动发光装置60以发射光。
使用者界面53由来自图1中所示的快门按钮22到拨盘25的部件以及(例如)放置于显示单元26上的触控面板形成。使用者界面53将根据使用者操作的信号供应到控制单元54。
控制单元54控制整个成像设备11的操作。举例来说,控制单元54控制(例如)由成像器51来形成所摄图像。控制单元54通过控制透镜驱动器IC 55并根据来自相机抖动传感器56的输出移动光学***21的透镜来执行光学图像稳定化,或通过控制透镜驱动器IC 55来驱动光学***21的光圈。
控制单元54进一步包含聚焦透镜控制单元84和警告控制单元85。聚焦透镜控制单元84根据从AF检测单元76供应的估计值来控制透镜驱动器IC 55,并使透镜驱动器IC 55执行聚焦操作。警告控制单元85命令数字信号处理LSI 52的相应部件针对关于所摄图像的聚焦度的警告来执行处理。
在控制单元54的控制下,透镜驱动器IC 55通过移动光学***21的聚焦透镜等等来执行聚焦操作,驱动光圈,或执行光学图像稳定化。相机抖动传感器56由(例如)陀螺仪传感器形成。相机抖动传感器56检测成像设备11的运动,并将检测到的结果供应到控制单元54。
记录单元57由(例如)可以可拆卸地附接到成像设备11的可移除式媒体形成。记录单元57记录从数字信号处理LSI 52供应的数据(例如,所摄图像),或将所记录的数据供应到数字信号处理LSI 52。
在振动器驱动单元81的控制下,振动单元58以预定模式振动,以使成像设备11振动。扬声器59根据从扬声器驱动单元82供应的音频信号来重现声音。发光装置60由发光二极管(LED)等等形成,并在发光装置驱动单元83的控制下以预定模式发射光。
<待由成像设备执行的处理的概述>
现参考图3和图4,描述待由成像设备11执行的处理的概述。在这个示例中,执行自动聚焦照相。
如图3中所示,例如,当开始照相操作时,成像器51接收经由光学***21进入的光,并执行光电装换。结果,获得了在相应时间的所摄图像F11至F16或相应画面的所摄图像F11至F16。
在所摄图像F11至F16之中,更靠近图中前侧的图像是更新的图像或是在更接近当前时间的时间所拍摄的图像。在这个示例中,首先拍摄的图像是所摄图像F11,且最后拍摄的图像是所摄图像F16。
当拍摄相应画面的此类所摄图像时,AF检测单元76基于相应画面的所摄图像来计算指示自动聚焦状态的估计值,并将估计值供应到控制单元54。控制单元54的聚焦透镜控制单元84根据从AF检测单元76供应的估计值来控制透镜驱动器IC 55,并使透镜驱动器IC55执行聚焦操作。
在这种情况下,由透镜驱动器IC 55来驱动光学***21的聚焦透镜等等,以聚焦于物体。
在获得了相应画面的所摄图像F11至F16之后,顺序地对这些所摄图像执行处理,且顺序地将由此产生的所摄图像R11至R16作为在照相时的通过透镜图像(through-the-lens images)而显示于显示单元26上。
使用者通过查看显示于显示单元26上的通过透镜图像来检查物体,并通过操作快门按钮22等等来执行照相。
在这个示例中,如由箭头Q11所指示,使用者在提取所摄图像F13时(在照相时)将快门按钮22按下一半。结果,自动聚焦目标画面FR11被显示于所摄图像R13(其是对应于所摄图像F13的通过透镜图像)上和在接下来的画面的所摄图像R14和R15中。
这个画面FR11是示出聚焦透镜控制单元84将聚焦于其上的区域的画面图像,并且画面FR11的尺寸取决于所摄图像中的物体尺寸而在相应画面当中变化。
当确定画面FR11中的物体已对好焦距时,使用者完全按下快门按钮22或将快门按钮22推动得比在半按时更深,且因此发布拍摄图像的指令。
在这个示例中,如箭头Q12中所示,当提取所摄图像F16时,完全按下快门按钮22。结果,通过处理所摄图像F16获得的所摄图像R16被捕获作为通过照相获得的图像。
以此方式获得的所摄图像R16被存储到存储器79中,如在图中的右侧中所示。所摄图像R16接着被记录到记录单元57中,且作为在照相之后的预览图像而显示于显示单元26上。预览图像是在照相之后立即显示的图像,使得使用者可以检查所摄图像。
在成像设备11中,在将所摄图像R16存储到存储器79中的同一时间,指示AF目标区域或在拍摄所摄图像F16的时候在自动聚焦中对好焦距的区域的信息也作为AF区域信息被存储到存储器79中。
在其中通过对比法来执行聚焦操作的情况下,例如,AF区域信息是指示由聚焦透镜控制单元84确定的AF目标区域或自动聚焦目标画面FR11的信息。
在其中通过相位差式传感器法来执行聚焦操作的情况下,例如,AF区域信息是指示在预定AF点当中的被选择为待在对所摄图像F16照相时对好焦距的位置的AF点的信息。
在图3中所示的示例中,存储器79不仅存储AF区域信息,而且存储含有AF区域信息的可交换图像文件格式(EXIF)数据。EXIF数据是待作为元数据而附加到所摄图像R16的数据,且AF区域信息被记录到例如EXIF数据的自由区域中。
在按以上方式将所摄图像R16、AF区域信息和EXIF数据存储到存储器79中之后,将EXIF数据附加到所摄图像R16,且将随附EXIF数据的所摄图像R16记录到记录单元57中。所摄图像R16也作为在照相之后的预览图像而显示于显示单元26上。
当所摄图像R16被显示为预览图像时,使用者进一步操作使用者界面53以发布检查聚焦度的指令,例如,如由位于图4中的左下部分中的箭头Q21所指示。
成像设备11接着检查所摄图像R16的聚焦度是否足够,且实施警告过程以在必要时发布警告。
警告过程可在发布来自使用者的指令时开始,或可根据菜单设定来自动地开始。在后一种情况下,在自显示预览图像起经过预定的时间之后,例如,自动地开始警告过程。
当警告过程开始时,在必要时首先从记录单元57读取所摄图像R16以作为当前目标,且接着将其供应到存储器79。如果在照相之后立即执行警告过程,那么所摄图像R16已经存储在存储器79中且因此不必加载所摄图像R16。在此类情况下,AF区域信息和EXIF数据也存储在存储器79中。
控制单元54的警告控制单元85接着命令聚焦区域确定单元77执行聚焦区域确定过程。
聚焦区域确定单元77转而从存储器79读取所摄图像R16,且对所摄图像R16执行聚焦区域确定过程。
在聚焦区域确定过程中,所摄图像R16被分成水平方向上的M个区域和垂直方向上的N个区域,例如,如由图中的箭头Q22所指示。也就是说,整个所摄图像R16被分成(M×N)个区域。计算(M×N)个区域中的每一者的指示聚焦度的聚焦得分,且将各个区域的聚焦得分作为聚焦区域确定过程的结果供应到警告控制单元85。
如由箭头Q23所指示,警告控制单元85接着根据存储在存储器79中的AF区域信息或EXIF数据来设定待进行关于所摄图像R16中的聚焦度是否足够的确定的当前确定目标区域。
在这个示例中,由AF区域信息指示的自动聚焦目标画面FR11的整个区域是当前确定目标区域。这个当前确定目标区域可具有任何尺寸和形状,只要其包含由AF区域信息指示的区域即可。
在设定了当前确定目标区域之后,警告控制单元85根据当前确定目标区域中的各个区域的聚焦得分来计算指示当前确定目标区域的聚焦得分的平均得分,如由箭头Q24所指示。
在这个示例中,作为当前确定目标区域的画面FR11区域由(M’×N’)个划分区域形成,且每一个正方形表示划分区域。每个正方形中的数值指示聚焦得分。
特定而言,在画面FR11的区域中,具有最高聚焦得分的区域是最聚焦区域。在这个示例中,最聚焦区域的聚焦得分是85。警告控制单元85计算指示在靠近最聚焦区域的区域中或包围在聚焦操作中对好焦距的区域的区域中的聚焦度的平均得分。
具体而言,警告控制单元85通过用构成当前确定目标区域的区域的数目除当前确定目标区域中的各个区域的聚焦得分的和或通过(M’×N’)来计算平均得分。也就是说,平均得分是当前确定目标区域中的区域的聚焦得分的平均值。
在其中所计算的平均得分小于预定阈值th的情况下,警告控制单元85确定在通过照相获得的所摄图像R16中的对好焦距的部分中聚焦度不足,且命令显示器的处理单元80显示警告。
当平均得分小于阈值th时,包围对好焦距的部分的区域平均来说焦距没有对准,所摄图像R16极有可能由于相机抖动而变得模糊或光学离焦。
根据来自警告控制单元85的指令,显示器的处理单元80酌情将指示关于聚焦度的警告的信息叠映在进行由分辨率转换单元74执行的分辨率转换的所摄图像R16上,且接着使显示单元26显示叠映的图像。
结果,得以显示叠映在所摄图像R16上的警告图标AC11并且还显示警告文字消息“建议您检查焦距。”,例如,如由箭头Q25所指示。当显示警告图标AC11和指示关于聚焦度的警告的文字消息时,使用者可以容易地和直观地确定是否检查图像的模糊或检查聚焦度。在见到这种显示之后,使用者通过(例如)放大所摄图像R16来严密地检查聚焦度。
在图4中所示的示例中,警告图标AC11和文字消息被显示于显示屏幕上的预定位置中,使得容易看到所摄图像R16。也就是说,警告图标AC11在图中显示于显示屏幕上的左上部分中,且文字消息在图中显示于显示屏幕上的下部分中。
警告图标AC11不必显示于左上部分中,而是可显示于显示屏幕上的任何其它部分中。举例来说,警告图标AC11可显示于当前确定目标区域附近,如图5中所示。在那种情况下,使用者可以容易地和直观地确定所摄图像R16的哪一部分是离焦的。在图5中,与图4中所示的部件等效的部件由与图4中所使用的参考数字相同的参考数字来指示,且本文中不重复对其的解释。
在其中平均得分等于或大于阈值th的情况下,所摄图像R16的聚焦度是足够的,且带有那类意思的文字消息或图标等等可显示于显示单元26上。
<照相过程的描述>
接下来,描述当执行以上所描述的处理时待由成像设备11实施的特定操作。
首先参考图6中的流程图,描述待由成像设备11执行的照相过程。
在步骤S11中,成像器51形成所摄图像。
具体而言,成像器51接收从物体经由光学***21进入的光,且对光执行光电转换。成像器51接着将由此产生的所摄图像供应到数字信号处理LSI 52。构成数字信号处理LSI52的相应部件(例如,预处理单元71和同步单元72)对从成像器51供应的所摄图像执行各种过程,以处理所摄图像。
由显示器的处理单元80将经处理的所摄图像供应到显示单元26,且接着显示其。也就是说,经处理的所摄图像被显示为通过透镜图像。此外,AF检测单元76基于所摄图像和由成像器51获取的与聚焦操作有关的信息等等(在必要时)来计算指示自动聚焦状态的估计值,并将估计值供应到聚焦透镜控制单元84。
在步骤S12中,聚焦透镜控制单元84根据从AF检测单元76供应的估计值来控制透镜驱动器IC 55,且使透镜驱动器IC 55执行聚焦操作。
在步骤S13中,控制单元54根据从充当使用者界面53的快门按钮22供应的信号来确定是否已按下快门按钮22。举例来说,在完全按下快门按钮22且发布照相命令之后,控制单元54立即确定快门按钮22已按下。
如果在步骤S13中确定快门按钮22还没有按下,那么过程返回到步骤S11且重复上文所描述的程序。
另一方面,如果在步骤S13中确定快门按钮22已按下,那么在步骤S14中数字信号处理LSI 52在控制单元54的控制下捕获经处理的所摄图像。
也就是说,数字信号处理LSI 52将经处理的所摄图像作为通过照相获得的所摄图像来供应并存储到用于存储的存储器79中。
在步骤S15中,聚焦透镜控制单元84在照相时根据聚焦操作中所使用的信息来产生AF区域信息,且将AF区域信息供应并存储到数字信号处理LSI 52中。
数字信号处理LSI 52将从聚焦透镜控制单元84供应的AF区域信息供应到存储器79,且使存储器79存储与所摄图像相关联的AF区域信息。AF区域信息可在必要时合并到EXIF数据中,且EXIF数据可存储到存储器79中。含有AF区域信息的EXIF数据可附加到所摄图像。
当AF区域信息被存储时,照相过程结束。
在按以上方式获得所摄图像之后,将获得的所摄图像从显示器的处理单元80供应到显示单元26,且接着将其显示为预览图像。所摄图像也由CODEC 75以适当方式进行编码,且在适当时间被记录到记录单元57中。
<警告过程的描述>
在其中使用者通过在显示预览图像时操作使用者界面53来发布显示警告的指令的情况下,或在其中显示预览图像历时预定的一段时间的情况下(例如,在其中警告过程将自动开始的设定中),开始警告过程。参考图7中的流程图,下文描述待由成像设备11执行的警告过程。
在步骤S41中,警告控制单元85从存储器79获取AF区域信息。替代地,可从附加到存储在存储器79中的所摄图像的EXIF数据来读取AF区域信息。
在步骤S42中,警告控制单元85命令聚焦区域确定单元77执行聚焦区域确定过程。
在步骤S43中,根据来自警告控制单元85的指令,聚焦区域确定单元77从存储器79读取所摄图像,且执行聚焦区域确定过程。
举例来说,聚焦区域确定单元77将所摄图像分成(M×N)个区域,且产生每个所述划分区域中的相应像素的亮度信号。亮度信号可由(例如)YC产生单元73产生。
聚焦区域确定单元77还通过使用高通滤波器等等对每个划分区域中的相应像素的亮度信号执行滤波来提取高通分量。聚焦区域确定单元77接着获得高通分量的绝对值。聚焦区域确定单元77进一步对从每个划分区域中的相应像素获得的高通分量的绝对值执行高通分量噪音移除和限幅过程。聚焦区域确定单元77接着通过综合所述划分区域中的相应像素的高通分量的绝对值来计算所述区域的聚焦得分。也就是说,划分区域中的相应像素的高通分量的绝对值的和是所述区域的聚焦得分。
在所摄图像中,更聚焦区域或具有更高聚焦度的区域具有更多边缘分量。考虑到此,更聚焦区域具有更大的值以作为其聚焦得分,所述值是高通分量的综合值。
聚焦区域确定单元77将所摄图像中的各个区域的聚焦得分供应到警告控制单元85,所述聚焦得分经获得作为如上文所描述的聚焦区域确定过程的结果。
聚焦区域确定过程不必是上文所描述的过程,而是可为用于确定所摄图像中的各个区域的聚焦度的任何其它过程。
举例来说,经由使用焦距对准测试图像和离焦或模糊测试图像进行机器学习所获得的鉴别器(字典)可用来确定所摄图像中的各个区域的聚焦得分。在此类情况下,聚焦区域确定单元77从所摄图像中的各个区域提取特征数量,且通过将各个区域的特征数量指派给鉴别器来执行计算。经获得作为计算结果的值被用作聚焦得分。
在步骤S44中,警告控制单元85从聚焦区域确定单元77获得所摄图像中的各个区域的聚焦得分以作为聚焦区域确定过程的结果。
在步骤S45中,警告控制单元85从(M×N)个区域的所获得的聚焦得分来提取构成由AF区域信息限定的当前确定目标区域的(M’×N’)个区域的聚焦得分。举例来说,由AF区域信息指示的区域变成当前确定目标区域。
在步骤S46中,警告控制单元85根据构成当前确定目标区域的(M’×N’)个区域的聚焦得分来计算当前确定目标区域的平均得分。
在本文中所描述的示例中,当前确定目标区域的平均得分被用作用于确定在形成所摄图像时对好焦距的部分是否充分焦距对准的信息。但是,可使用任何其它信息。
举例来说,可使用当前确定目标区域中的具有高聚焦得分的区域的平均得分,或可使用当前确定目标区域中的最高聚焦得分。但是,比起通过使用一个区域的聚焦得分,可以通过使用平均得分(其为数个区域的平均得分的平均值)来更准确地确定聚焦度。
在步骤S47中,警告控制单元85将所计算的平均得分与阈值th相比较,以确定平均得分是否小于阈值th。
如果在步骤S47中确定平均得分不小于阈值th,那么当前确定目标区域的平均得分足够高,且对于当前确定目标区域来说焦距合理地对准。因此,确定已获得美观的所摄图像,或不必重新拍摄所摄图像。因此,警告过程结束。在此类情况下,如果根据来自使用者的指令来开始警告过程,那么可通知使用者不必重新拍摄。
另一方面,如果在步骤S47中确定平均得分小于阈值th,那么过程转向步骤S48。在这种情况下,当前确定目标区域的平均得分是小的,且对于当前确定目标区域来说焦距没有对准。因此,应在必要时重新拍摄所摄图像。
在步骤S48中,警告控制单元85在必要时将指示当前确定目标区域的位置的信息供应到显示器的处理单元80,且命令显示器的处理单元80显示警告。
在步骤S49中,显示器的处理单元80根据来自警告控制单元85的指令来产生用于显示警告(例如,警告图标)的图像和文字消息,且接着将所述图像和文字消息供应到显示单元26,所述显示单元接着将图像和文字消息显示为警告。显示单元26根据从显示器的处理单元80供应的图像等等来显示警告。
结果,得以显示叠映在所摄图像上的警告图标和文字消息,如图4和图5中所示。在显示了警告之后,警告过程结束。
如上文所描述,成像设备11计算指示在通过照相获得的所摄图像中的待对好焦距的区域附近的聚焦度的平均得分,且根据所述平均得分来显示警告。
检查一下以从如上文所描述的通过照相获得的所摄图像来确定所摄图像的聚焦度是否足够,且根据所述确定的结果来显示警告。在警告的情况下,可以提示使用者检查聚焦度,而不管离焦是由相机抖动使还是由于光学的原因。因此,使用者可以更容易地和直观地辨识通过照相获得的图像的聚焦度。
即使用于显示所摄图像的屏幕太小以至于使用者无法注意到图像中的离焦或模糊,使用者仍可以在照相之后立即确定是否有必要重新拍摄。因此,可以防止错过拍摄图像的机会。
<第一实施例的第一修改>
<警告过程的描述>
在上文所描述的第一实施例中,对整个所摄图像执行聚焦区域确定过程。但是,可仅对当前确定目标区域执行聚焦区域确定过程。
在此类情况下,在执行了上文参考图6所描述的照相过程之后,执行图8中所示的警告过程。参考图8中的流程图,下文描述待由成像设备11执行的警告过程。
步骤S71中的程序与图7中的步骤S41中的程序相同,且因此本文中不重复对其的解释。
在步骤S72中,警告控制单元85将指示由AF区域信息限定的当前确定目标区域的信息供应到聚焦区域确定单元77,且命令聚焦区域确定单元77仅对当前确定目标区域执行聚焦区域确定过程。
在步骤S73中,根据来自警告控制单元85的指令,聚焦区域确定单元77从存储器79读取所摄图像中的当前确定目标区域,且执行聚焦区域确定过程。结果,获得了构成当前确定目标区域的(M’×N’)个区域的聚焦得分。
在步骤S74中,警告控制单元85从聚焦区域确定单元77获得构成当前确定目标区域的(M’×N’)个区域的聚焦得分以作为聚焦区域确定过程的结果。
在步骤S75中,警告控制单元85根据构成当前确定目标区域的(M’×N’)个区域的聚焦得分来计算当前确定目标区域的平均得分。
在计算出平均得分之后,实施步骤S76至S78中的程序,且警告过程接着结束。但是,这些程序与图7中的步骤S47至S49中的程序相同,且因此本文中不重复对其的解释。
按以上方式,成像设备11仅对所摄图像中的当前确定目标区域执行聚焦区域确定过程,计算当前确定目标区域的平均得分,且根据平均得分来显示警告。
当根据当前确定目标区域的平均得分来显示警告时,可以提示使用者检查聚焦度,而不管离焦是由相机抖动导致还是由于光学的原因。因此,使用者可以更容易地和直观地辨识通过照相获得的图像的聚焦度。
而且,由于仅对当前确定目标区域执行聚焦区域确定过程,所以可以使聚焦区域确定过程所需的时间短于在参考图7所描述的示例案例中的时间。此外,由于需要从存储器79读取所摄图像的更少的区(区域),所以可以更快速地执行处理且可以减少功率消耗。
<第二实施例>
<待由成像设备执行的处理的概述>
在上文所描述的情况下,当前确定目标区域由AF区域信息来限定。但是,可将具有待由使用者检查的聚焦度的区域(位置)指定为当前确定目标区域。
在此类情况下,在执行了上文参考图3所描述的照相过程之后,执行(例如)图9中所示的警告过程。在图9中,与图4中所示的部件等效的部件由与图4中所使用的参考数字相同的参考数字来指示,且将不必重复对其的解释。
当警告过程开始时,在必要时首先从记录单元57读取所摄图像R16以作为图中左上部分中的当前目标,且接着将其供应到存储器79。如果在照相之后立即执行警告过程,那么所摄图像R16已经存储在存储器79中且因此不必加载所摄图像R16。在这种情况下,AF区域信息和EXIF数据被存储在存储器79中。
当所摄图像R16被显示为预览图像时,使用者操作使用者界面53(例如,如由箭头Q31所指示),以指定待检查其聚焦度的区域(下文中也将所述区域称为指定区域)。
在这个示例中,使用者直接触摸放置于显示单元26上并充当使用者界面53的触控面板,且因此指定所摄图像R16中的指定区域,所述指定区域是待检查其聚焦度的位置。所述指定区域可通过使用者操作充当使用者界面53的拨盘等等来指定,或可指定所摄图像R16中的具有预定尺寸的区域。
在由使用者如上指定所述指定区域之后,警告控制单元85基于指定区域来设定当前确定目标区域DR11(如由箭头Q32所指示),且命令聚焦区域确定单元77仅对当前确定目标区域DR11执行聚焦区域确定过程。当前确定目标区域DR11是使指定区域位于其中心处的区域,且包含整个指定区域。
根据来自警告控制单元85的指令,聚焦区域确定单元77从存储器79读取所摄图像R16的当前确定目标区域DR11,且执行聚焦区域确定过程。
在聚焦区域确定过程中,所摄图像R16被分成(M×N)个区域,例如,如由箭头Q22所指示。仅(M×N)个区域当中的当前确定目标区域DR11被选择为当前处理目标,如由箭头Q33所指示。计算构成当前确定目标区域DR11的(M’×N’)个区域的聚焦得分,且接着将其供应到警告控制单元85。
警告控制单元85根据从聚焦区域确定单元77供应的当前确定目标区域DR11中的各个区域的聚焦得分来计算平均得分。如果平均得分小于阈值th,那么警告控制单元85命令显示器的处理单元80显示警告。
根据来自警告控制单元85的指令,显示器的处理单元80酌情将指示关于聚焦度的警告的信息叠映在进行由分辨率转换单元74执行的分辨率转换的所摄图像R16上,且接着使显示单元26显示叠映的图像。
结果,得以显示叠映在所摄图像R16上的警告图标AC11并且还显示警告文字消息“建议您检查焦距。”,例如,如由箭头Q34所指示。当显示警告图标ACll和文字消息时,使用者可以容易地和直观地确定是否检查聚焦度。
在图9中所示的示例中,警告图标AC11在图中显示于显示屏幕上的左上部分中,且文字消息在图中显示于显示屏幕上的下部分中。
警告图标AC11不必显示于左上部分中,而是可显示于显示屏幕上的任何其它部分中。举例来说,警告图标AC11可显示于当前确定目标区域DR11附近,如在图5中所示的示例中。
<警告过程的描述>
接下来,更详细地描述图9中所示的警告过程中的程序。参考图10中的流程图,下文描述待由成像设备11执行的警告过程。
在步骤S101中,警告控制单元85从使用者界面53获取指示指定区域的信息。
举例来说,使用者通过触摸充当使用者界面53的触控面板来指定所述指定区域,或通过操作充当使用者界面53的拨盘等等来指定所述指定区域。警告控制单元85根据由使用者执行的操作来获取从使用者界面53输出的信息以作为指示所述指定区域的信息。
在步骤S102中,警告控制单元85将指示由指定区域限定的当前确定目标区域的信息供应到聚焦区域确定单元77,且命令聚焦区域确定单元77仅对当前确定目标区域执行聚焦区域确定过程。举例来说,当前确定目标区域是使指定区域位于其中心处的区域,且具有预定尺寸。
在步骤S103中,根据来自警告控制单元85的指令,聚焦区域确定单元77从存储器79读取所摄图像中的当前确定目标区域,且执行聚焦区域确定过程。结果,获得了构成当前确定目标区域的(M’×N’)个区域的聚焦得分。
在步骤S104中,警告控制单元85从聚焦区域确定单元77获得构成当前确定目标区域的(M’×N’)个区域的聚焦得分以作为聚焦区域确定过程的结果。
在步骤S105中,警告控制单元85根据构成当前确定目标区域的(M’×N’)个区域的聚焦得分来计算当前确定目标区域的平均得分。
在计算出平均得分之后,实施步骤S106至S108中的程序,且警告过程接着结束。但是,这些程序与图7中的步骤S47至S49中的程序相同,且因此本文中不重复对其的解释。
按以上方式,成像设备11仅对包含由使用者指定的区域的当前确定目标区域执行聚焦区域确定过程,计算当前确定目标区域的平均得分,且根据平均得分来显示警告。
当根据当前确定目标区域的平均得分来显示警告时,可以提示使用者检查聚焦度,而不管离焦是由相机抖动导致还是由于光学的原因。因此,使用者可以更容易地和直观地辨识通过照相获得的图像的聚焦度。
特定而言,由于仅将包含由使用者指定的区域的当前确定目标区域选择为当前处理目标,所以可以更快速地执行处理,且可以减少功率消耗。而且,使用者可以准确地检查所要区域的聚焦度。
<第三实施例>
<待由成像设备执行的处理的概述>
当拍摄作为目标的人脸部的所摄图像时,使用者将人脸部对好焦距,且在照相之后使用者一定想要检查脸部部分的聚焦度。考虑到此,可从所摄图像检测脸部区域,且可将脸部区域指定为待进行聚焦区域确定过程的当前确定目标区域。
在此类情况下,例如,执行图11中所示的照相过程和图12中所示的警告过程。
如图11中所示,当开始照相操作时,成像器51接收经由光学***21进入的光,并执行光电装换。结果,获得了相应画面的所摄图像F31至F36。在所摄图像F31至F36之中,更靠近图中前侧的图像是更新的图像或是在更接近当前时间的时间所拍摄的图像。
当拍摄相应画面的此类所摄图像时,脸部检测单元78从所摄图像检测人的脸部区域。而且,AF检测单元76基于相应画面的所摄图像来计算指示自动聚焦状态的估计值,并将估计值供应到控制单元54。控制单元54的聚焦透镜控制单元84根据从AF检测单元76供应的估计值来控制透镜驱动器IC 55,并使透镜驱动器IC 55执行聚焦操作。
在这种情况下,由透镜驱动器IC 55来驱动光学***21的聚焦透镜等等,以聚焦于物体。特定而言,当从所摄图像检测到脸部区域时,执行聚焦操作以聚焦于脸部区域。
在获得了相应画面的所摄图像F31至F36之后,对这些所摄图像执行处理,且顺序地将由此产生的所摄图像R31至R36作为在照相时的通过透镜图像而显示于显示单元26上。
使用者通过查看显示于显示单元26上的通过透镜图像来检查物体,并通过操作快门按钮22等等来执行照相。
在这个示例中,从所摄图像F31至F33检测脸部区域,将指示所检测到的脸部区域的画面FC11显示于通过处理那些所摄图像获得的所摄图像R31至R33上。
此外,当使用者将快门按钮22按下一半以提取所摄图像F33时(如由箭头Q41所指示),自动聚焦目标画面FR31被显示于接下来的画面的所摄图像R34至R36上。在这个示例中,指示脸部区域的画面FC11区域变成目标画面FR31。
当确定画面FR31中的物体已对好焦距时,使用者完全按下快门按钮22以发布拍摄图像的指令。
在这个示例中,如箭头Q42中所示,当提取所摄图像F36时,完全按下快门按钮22。结果,通过处理所摄图像F36获得的所摄图像R36被捕获作为通过照相获得的图像。
以此方式获得的所摄图像R36被存储到存储器79中,如在图中的右侧中所示。所摄图像R36接着被记录到记录单元57中,且作为在照相之后的预览图像而显示于显示单元26上。
在成像设备11中,在将所摄图像R36存储到存储器79中的同一时间,指示在拍摄所摄图像F36的时候在自动聚焦中对好焦距的脸部区域的信息也作为脸部区域信息被存储到存储器79中。
此外,在图11中所示的示例中,存储器79不仅存储脸部区域信息,而且存储含有脸部区域信息的EXIF数据。EXIF数据是待作为元数据而附加到所摄图像R36的数据,且脸部区域信息被记录到例如EXIF数据的自由区域中。如果未从所摄图像检测到任何脸部,那么不记录脸部区域信息。
在按以上方式将所摄图像R36、脸部区域信息和EXIF数据存储到存储器79中之后,将EXIF数据附加到所摄图像R36,且将随附EXIF数据的所摄图像R36记录到记录单元57中。所摄图像R36也作为在照相之后的预览图像而显示于显示单元26上。
当所摄图像R36被显示为预览图像时,使用者进一步操作使用者界面53以发布检查聚焦度的指令,例如,如由位于图12中的左下部分中的箭头Q51所指示。
成像设备11接着检查所摄图像R36的聚焦度是否足够,且实施警告过程以在必要时发布警告。替代地,可自动地开始警告过程,如上文所描述。
当警告过程开始时,在必要时首先从记录单元57读取所摄图像R36,且接着将其供应到存储器79。如果在照相之后立即执行警告过程,那么所摄图像R36已经存储在存储器79中且因此不必加载所摄图像R36。在这种情况下,脸部区域信息和EXIF数据被存储在存储器79中。
警告控制单元85接着命令聚焦区域确定单元77仅对所摄图箱R36中的画面FR31执行聚焦区域确定过程,所述画面FR31为由存储在存储器79中的脸部区域信息所指示的脸部区域。
聚焦区域确定单元77转而从存储器79读取所摄图像R36中的脸部区域,且对脸部区域执行聚焦区域确定过程。
在聚焦区域确定过程中,所摄图像R36被分成(M×N)个区域,例如,如由箭头Q52所指示。仅(M×N)个区域当中的为脸部区域的画面FR31区域被选择为当前处理目标,如由箭头Q53所指示。计算构成所述画面FR31区域的(M’×N’)个区域的聚焦得分,且接着将其供应到警告控制单元85。
警告控制单元85根据从聚焦区域确定单元77供应的脸部区域中的各个区域的聚焦得分来计算平均得分。如果平均得分小于阈值th,那么警告控制单元85命令显示器的处理单元80显示警告。
根据来自警告控制单元85的指令,显示器的处理单元80酌情将指示关于聚焦度的警告的信息叠映在进行由分辨率转换单元74执行的分辨率转换的所摄图像R36上,且接着使显示单元26显示叠映的图像。
结果,得以显示叠映在所摄图像R36上的警告图标AC31并且还显示警告文字消息“建议您检查焦距。”,例如,如由箭头Q54所指示。当显示警告图标AC31和文字消息时,使用者可以容易地和直观地确定是否检查聚焦度。
在图12中所示的示例中,警告图标AC31在图中显示于显示屏幕上的右上部分中,且文字消息在图中显示于显示屏幕上的下部分中。指示脸部区域的画面FR31也显示于所摄图像R36上。
警告图标AC31不必显示于右上部分中,而是可显示于显示屏幕上的任何其它部分中。举例来说,警告图标AC31可显示于脸部区域附近,如图13中所示。在那种情况下,使用者可以容易地和直观地确定所摄图像R36的哪一部分是离焦的。此外,警告图标AC31不遮住脸部。在图13中,与图12中所示的部件等效的部件由与图12中所使用的参考数字相同的参考数字来指示,且本文中不重复对其的解释。
<照相过程的描述>
接下来,描述当执行如上文参考图11和图12所描述的处理时待由成像设备11实施的特定操作。
首先参考图14中的流程图,描述待由成像设备11执行的照相过程。步骤S131中的程序与图6中的步骤S11中的程序相同,且因此本文中不重复对其的解释。
在步骤S132中,脸部检测单元78对通过照相或的所摄图像执行脸部检测,并检测人的脸部区域。在脸部检测中,根据从所摄图像提取的特征数量来检测脸部区域。脸部检测单元78将脸部区域检测的结果供应到控制单元54。
在步骤S133中,聚焦透镜控制单元84根据从AF检测单元76供应的估计值来控制透镜驱动器IC 55,且使透镜驱动器IC 55执行聚焦操作。此时,从所摄图像检测到的脸部区域是(例如)待对好焦距的区域。
在执行了聚焦操作之后,实施步骤S134和S135中的程序,且捕获所摄图像。但是,这些程序与图6中的步骤S13和S14中的程序相同,且因此本文中不重复对其的解释。
在步骤S136中,聚焦透镜控制单元84将指示由脸部检测单元78检测到的脸部区域的脸部区域信息供应并存储到数字信号处理LSI 52中。
数字信号处理LSI 52将从聚焦透镜控制单元84供应的脸部区域信息供应到存储器79,且使存储器79存储与所摄图像相关联的脸部区域信息。脸部区域信息可在必要时合并到EXIF数据中,且EXIF数据可存储到存储器79中。含有脸部区域信息的EXIF数据可附加到所摄图像。
当脸部区域信息被存储时,照相过程结束。如果未从所摄图像检测到任何脸部区域,那么不记录脸部区域信息。
在按以上方式获得所摄图像之后,将获得的所摄图像作为预览图像而显示于显示单元26上。所摄图像也由CODEC 75以适当方式进行编码,且在适当时间被记录到记录单元57中。
<警告过程的描述>
在其中使用者通过在显示预览图像时操作使用者界面53来发布显示警告的指令的情况下,或在其中显示预览图像历时预定的一段时间的情况下(例如,在其中警告过程将自动开始的设定中),开始警告过程。参考图15中的流程图,下文描述待由成像设备11执行的警告过程。
在步骤S161中,警告控制单元85从存储器79获取脸部区域信息。替代地,可从附加到存储在存储器79中的所摄图像的EXIF数据来读取脸部区域信息。
在步骤S162中,警告控制单元85确定是否已在拍摄所摄图像的时候检测到脸部。举例来说,如果脸部区域信息被存储在存储器79中或被包含于EXIF数据中,那么确定已检测到脸部。
如果在步骤S162中确定还没有检测到任何脸部,那么无法确定脸部部分上的聚焦度,且因此警告过程结束。
另一方面,如果在步骤S162中确定已检测到脸部,那么在步骤S163中警告控制单元85将脸部区域信息供应到聚焦区域确定单元77,且命令聚焦区域确定单元77仅对脸部区域执行聚焦区域确定过程。
在步骤S164中,根据来自警告控制单元85的指令,聚焦区域确定单元77从存储器79读取所摄图像中的脸部区域,且执行聚焦区域确定过程。结果,获得了构成脸部区域的(M’×N’)个区域的聚焦得分。
在步骤S165中,警告控制单元85从聚焦区域确定单元77获得构成脸部区域的(M’×N’)个区域的聚焦得分以作为聚焦区域确定过程的结果。
在步骤S166中,警告控制单元85根据构成脸部区域的(M’×N’)个区域的聚焦得分来计算脸部区域的平均得分。
在计算出平均得分之后,实施步骤S167至S169中的程序,且警告过程接着结束。但是,这些程序与图7中的步骤S47至S49中的程序相同,且因此本文中不重复对其的解释。
按以上方式,成像设备11仅对所摄图像中的脸部区域执行聚焦区域确定过程,计算脸部区域的平均得分,且根据平均得分来显示警告。
当根据脸部区域的平均得分来显示警告时,可以提示使用者检查聚焦度,而不管离焦是由相机抖动导致还是由于光学的原因。因此,使用者可以更容易地和直观地辨识通过照相获得的图像的聚焦度。
而且,由于仅对脸部区域执行聚焦区域确定过程,所以可以使聚焦区域确定过程所需的时间甚至更短,且可以减少功率消耗。
<第四实施例>
<警告过程的描述>
在上文所描述的实施例中,已将显示警告描述为一种向使用者发布警告的方法。但是,可通过输出警告音来向使用者发布警告。
在此类情况下,将图16至图19中所示的过程作为对应于上文参考图7、图8、图10和图15所描述的相应警告过程的过程来执行。参考图16至图19中的流程图,下文将描述使用警告音的警告过程。
首先参考图16中的流程图,描述对应于图7中所示的警告过程的警告过程。步骤S191至S197中的程序与图7中的步骤S41至S47中的程序相同,且因此本文中不重复对其的解释。
在步骤S198中,警告控制单元85命令扬声器驱动单元82发布警告。
在步骤S199中,扬声器驱动单元82根据来自警告控制单元85的指令将警告音的音频信号供应到扬声器59,且使扬声器59输出警告音。扬声器59通过根据从扬声器驱动单元82供应的音频信号重现警告音来发布警告,且警告过程接着结束。
警告音可为音频消息或呈预定模式的声音。
按以上方式,成像设备11以警告音的形式发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
现参考图17中的流程图,描述对应于图8中所示的警告过程的警告过程。步骤S221至S226中的程序与图8中的步骤S71至S76中的程序相同,且因此本文中不重复对其的解释。
在步骤S227中,警告控制单元85命令扬声器驱动单元82发布警告。在步骤S228中,扬声器驱动单元82根据来自警告控制单元85的指令将警告音的音频信号供应到扬声器59,且使扬声器59输出警告音。扬声器59通过根据来自扬声器驱动单元82的音频信号重现警告音来发布警告,且警告过程接着结束。
按以上方式,成像设备11以警告音的形式发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
现参考图18中的流程图,描述对应于图10中所示的警告过程的警告过程。步骤S251至S256中的程序与图10中的步骤S101至S106中的程序相同,且因此本文中不重复对其的解释。
在步骤S257中,警告控制单元85命令扬声器驱动单元82发布警告。在步骤S258中,扬声器驱动单元82根据来自警告控制单元85的指令将警告音的音频信号供应到扬声器59,且使扬声器59输出警告音。扬声器59通过根据来自扬声器驱动单元82的音频信号重现警告音来发布警告,且警告过程接着结束。
按以上方式,成像设备11以警告音的形式发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
进一步参考图19中的流程图,描述对应于图15中所示的警告过程的警告过程。步骤S281至S287中的程序与图15中的步骤S161至S167中的程序相同,且因此本文中不重复对其的解释。
在步骤S288中,警告控制单元85命令扬声器驱动单元82发布警告。在步骤S289中,扬声器驱动单元82根据来自警告控制单元85的指令将警告音的音频信号供应到扬声器59,且使扬声器59输出警告音。扬声器59通过根据来自扬声器驱动单元82的音频信号重现警告音来发布警告,且警告过程接着结束。
按以上方式,成像设备11以警告音的形式发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
<第五实施例>
<警告过程的描述>
在以上实施例中,已将用声音来发布警告描述为向使用者发布警告的另一种方法,但是可使用光来向使用者发布警告。
在此类情况下,将图20至图23中所示的过程作为对应于上文参考图7、图8、图10和图15所描述的相应警告过程的过程来执行。参考图20至图23中的流程图,下文将描述通过光发射进行的警告过程。
首先参考图20中的流程图,描述对应于图7中所示的警告过程的警告过程。步骤S311至S317中的程序与图7中的步骤S41至S47中的程序相同,且因此本文中不重复对其的解释。
在步骤S318中,警告控制单元85命令发光装置驱动单元83发布警告。
在步骤S319中,发光装置驱动单元83根据来自警告控制单元85的指令来驱动发光装置60,且使发光装置60通过发射光来发布警告。在由发光装置驱动单元83驱动的情况下,发光装置60通过以预定模式发射光(照明)来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过光发射来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
现参考图21中的流程图,描述对应于图8中所示的警告过程的警告过程。步骤S341至S346中的程序与图8中的步骤S71至S76中的程序相同,且因此本文中不重复对其的解释。
在步骤S347中,警告控制单元85命令发光装置驱动单元83发布警告。在步骤S348中,发光装置驱动单元83根据来自警告控制单元85的指令来驱动发光装置60,且使发光装置60通过发射光来发布警告。在由发光装置驱动单元83驱动的情况下,发光装置60通过以预定模式发射光来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过光发射来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
现参考图22中的流程图,描述对应于图10中所示的警告过程的警告过程。步骤S371至S376中的程序与图10中的步骤S101至S106中的程序相同,且因此本文中不重复对其的解释。
在步骤S377中,警告控制单元85命令发光装置驱动单元83发布警告。在步骤S378中,发光装置驱动单元83根据来自警告控制单元85的指令来驱动发光装置60,且使发光装置60通过发射光来发布警告。在由发光装置驱动单元83驱动的情况下,发光装置60通过以预定模式发射光来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过光发射来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
进一步参考图23中的流程图,描述对应于图15中所示的警告过程的警告过程。步骤S401至S407中的程序与图15中的步骤S161至S167中的程序相同,且因此本文中不重复对其的解释。
在步骤S408中,警告控制单元85命令发光装置驱动单元83发布警告。在步骤S409中,发光装置驱动单元83根据来自警告控制单元85的指令来驱动发光装置60,且使发光装置60通过发射光来发布警告。在由发光装置驱动单元83驱动的情况下,发光装置60通过以预定模式发射光来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过光发射来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
<第六实施例>
<警告过程的描述>
此外,根据向使用者发布警告的另一种方法,可通过振动来发布警告。
在此类情况下,将图24至图27中所示的过程作为对应于上文参考图7、图8、图10和图15所描述的相应警告过程的过程来执行。参考图24至图27中的流程图,下文将描述通过振动进行的警告过程。
首先参考图24中的流程图,描述对应于图7中所示的警告过程的警告过程。步骤S431至S437中的程序与图7中的步骤S41至S47中的程序相同,且因此本文中不重复对其的解释。
在步骤S438中,警告控制单元85命令振动器驱动单元81发布警告。在步骤S439中,振动器驱动单元81根据来自警告控制单元85的指令来驱动振动单元58,且使振动单元58通过振动来发布警告。在由振动器驱动单元81驱动的情况下,振动单元58通过以预定模式振动来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过振动来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
现参考图25中的流程图,描述对应于图8中所示的警告过程的警告过程。步骤S461至S466中的程序与图8中的步骤S71至S76中的程序相同,且因此本文中不重复对其的解释。
在步骤S467中,警告控制单元85命令振动器驱动单元81发布警告。在步骤S468中,振动器驱动单元81根据来自警告控制单元85的指令来驱动振动单元58,且使振动单元58通过振动来发布警告。在由振动器驱动单元81驱动的情况下,振动单元58通过以预定模式振动来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过振动来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
现参考图26中的流程图,描述对应于图10中所示的警告过程的警告过程。步骤S491至S496中的程序与图10中的步骤S101至S106中的程序相同,且因此本文中不重复对其的解释。
在步骤S497中,警告控制单元85命令振动器驱动单元81发布警告。在步骤S498中,振动器驱动单元81根据来自警告控制单元85的指令来驱动振动单元58,且使振动单元58通过振动来发布警告。在由振动器驱动单元81驱动的情况下,振动单元58通过以预定模式振动来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过振动来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
进一步参考图27中的流程图,描述对应于图15中所示的警告过程的警告过程。步骤S521至S527中的程序与图15中的步骤S161至S167中的程序相同,且因此本文中不重复对其的解释。
在步骤S528中,警告控制单元85命令振动器驱动单元81发布警告。在步骤S529中,振动器驱动单元81根据来自警告控制单元85的指令来驱动振动单元58,且使振动单元58通过振动来发布警告。在由振动器驱动单元81驱动的情况下,振动单元58通过以预定模式振动来发布警告,且警告过程接着结束。
按以上方式,成像设备11通过振动来发布警告以提示对聚焦度进行检查。在这种情况下,即使当没有查看显示单元26时,使用者仍可以容易地和直观地辨识是否需要对聚焦度进行检查。
在上文所描述的示例中,警告方法是一种通过显示警告来发布警告的方法、一种通过声音来发布警告的方法、一种通过发射光(照明)来发布警告的方法和一种通过振动来发布警告的方法。但是,当然,有可能通过涉及显示、声音、光发射和振动的以上方法中的一些或全部的适当组合来发布警告。
而且,可使警告显示的色彩或浓度、音量、光强度、振动时间等等随平均得分的值而逐步地或线性地变化。也就是说,可发布呈某种色彩、处于某种浓度、处于某种音量、处于某种光强度等等的警告,所述色彩、浓度、音量、光强度等等是由平均得分的值来确定。可使显示的闪烁模式或声音、光发射或振动的模式随平均得分而变化。
<第七实施例>
<多功能便携式电话装置的外部的示例结构>
在上文所描述的实施例中,本技术被应用于为数字静态相机等等的成像设备11。但是,也可以将本技术应用于如上文所描述的多功能便携式电话装置。在以下描述中,描述其中将本技术应用于多功能便携式电话装置的示例案例。
图28是示出应用了本技术的多功能便携式电话装置的外部的示例结构的图式。
多功能便携式电话装置121由具有相机功能的便携式电话装置形成。在图28中,由箭头A41所指示的图是多功能便携式电话装置121的正视图,且由箭头A42所指示的图是多功能便携式电话装置121的背视图。
由液晶面板等等形成的显示单元131提供于多功能便携式电话装置121的前表面上,且触控面板(未示出)放置于显示单元131上。举例来说,使用者查看显示于显示单元131上的图像等等,或操作显示于显示单元131上的图标等等。
而且,各种按钮(例如,在使用相机功能照相时充当快门按钮的快门按钮132,以及用于调节音量的按钮133)提供于多功能便携式电话装置121的侧表面上。
此外,将从物体进入的光引导朝向成像器(未示出)的光学***134提供于多功能便携式电话装置121的背表面上,且使用者将光学***134导引朝向所要物体,以对所述物体照相。
<多功能便携式电话装置的示例功能结构>
图28中所示的多功能便携式电话装置121的功能结构与(例如)图29中所示的结构相似。在图29中,与图28或图2中所示的部件等效的部件由与图28或图2中所使用的参考数字相同的参考数字来指示,且将不必重复对其的解释。
多功能便携式电话装置121包含光学***134、成像器161、数字信号处理LSI 162、使用者界面163、控制单元164、相机抖动传感器165、记录单元166、显示单元131、振动单元167、扬声器168、发光装置169、麦克风170和无线通信单元171。
光学***134、从成像器161到记录单元166的部件、显示单元131和从振动单元167到发光装置169的部件与成像设备11的光学***21、从成像器51到控制单元54的部件、相机抖动传感器56、记录单元57、显示单元26和从振动单元58到发光装置60相同,且因此本文中不重复对其的解释。
在这个示例中,控制单元164包含聚焦透镜控制单元84和警告控制单元85。使用者界面163由放置于显示单元131上的触控面板、快门按钮132、按钮133等等形成。
数字信号处理LSI 162根据来自相机抖动传感器165的输出以电子方式对所摄图像执行图像稳定化。此外,数字信号处理LSI 162包含预处理单元71、同步单元72、YC产生单元73、分辨率转换单元74、CODEC 75、AF检测单元76、聚焦区域确定单元77、脸部检测单元78、存储器79、显示器的处理单元80、振动器驱动单元81、扬声器驱动单元82、发光装置驱动单元83和呼叫处理单元181。
呼叫处理单元181执行与由使用者针对另一个电话装置进行的呼叫有关的处理。举例来说,呼叫处理单元181将由聚集使用者语音的麦克风170获得的音频信号供应到无线通信单元171,且使无线通信单元171经由基地台等等将音频信号传输到另一端的电话装置。而且,呼叫处理单元181经由扬声器驱动单元82将传输自另一端的电话装置并被无线通信单元171所接收的音频信号供应到扬声器168,且使扬声器168重现音频信号。
无线通信单元171在控制单元164的控制下执行无线通信。举例来说,无线通信单元171经由基地台等等与另一端交换音频信号,并通过相对近场无线通信(例如,Wi-Fi(注册商标))来交换信息。
<照相过程和警告过程的描述>
接下来,描述上文所描述的多功能便携式电话装置121的特定操作。首先参考图30中的流程图,描述待由多功能便携式电话装置121执行的照相过程。在照相过程中,实施步骤S551至S555中的程序。但是,这些程序与图6中的步骤S11至S15中的程序相同,且因此本文中不重复对其的解释。
在执行了照相过程之后,在其中使用者通过在显示预览图像时操作使用者界面163来发布显示警告的指令的情况下,或在其中显示预览图像历时预定的一段时间的情况下(例如,在其中警告过程将自动开始的设定中),多功能便携式电话装置121执行警告过程。
参考图31中的流程图,下文描述待由多功能便携式电话装置121执行的警告过程。在图31中所示的警告过程中,实施步骤S581至S589中的程序。但是,这些程序与图7中的步骤S41至S49中的程序相同,且因此本文中不重复对其的解释。
而且,多功能便携式电话装置121可执行与图14中所示的照相过程相同的过程以及与图8、图10和图15至图27中所示的任一警告过程相同的过程。
<第八实施例>
<穿戴式相机的外部的示例结构>
此外,可以将本技术应用于使用者可以戴在他/她的头上等等的小型数字摄像机(称为穿戴式相机)。在以下描述中,描述其中将本技术应用于穿戴式相机的示例案例。
图32是示出应用了本技术的穿戴式相机的外部的示例结构的图式。
将从物体进入的光引导朝向成像器(未示出)的光学***221提供于穿戴式相机211的前表面上,且使用者将光学***221导引朝向所要物体,以记录所述物体。
各种按钮(例如,记录按钮(未示出))提供于穿戴式相机211的背表面上,且使用者操作那些按钮以发布用于记录和重现的指令。此外,穿戴式相机211被设计成经由无线通信与另一个装置(例如,图28中所示的多功能便携式电话装置121)交换信息。
<穿戴式相机的示例功能结构>
图32中所示的穿戴式相机211的功能结构与(例如)图33中所示的结构相似。在图33中,与图32或图2中所示的部件等效的部件由与图32或图2中所使用的参考数字相同的参考数字来指示,且将不必重复对其的解释。
穿戴式相机211包含光学***221、成像器251、数字信号处理LSI 252、使用者界面253、控制单元254、用于驱动透镜的驱动器IC 255、相机抖动传感器256、记录单元257和无线通信单元258。
光学***221和从成像器251到记录单元257的部件与图2中所示的光学***21和从成像器51到记录单元57的部件相同,且因此本文中不重复对其的解释。
在这个示例中,控制单元254包含聚焦透镜控制单元84和警告控制单元85。数字信号处理LSI 252包含预处理单元71、同步单元72、YC产生单元73、分辨率转换单元74、CODEC75、AF检测单元76、聚焦区域确定单元77、脸部检测单元78、存储器79和显示器的处理单元80。
无线通信单元258在数字信号处理LSI 252的控制下执行无线通信。举例来说,无线通信单元258经由相对近场无线通信(例如,Wi-Fi(注册商标))来传输和接收信息。
<照相过程的描述>
接下来,描述上文所描述的穿戴式相机211的特定操作。首先参考图34中的流程图,描述待由穿戴式相机211执行的照相过程。
步骤S611至S615中的程序与图6中的步骤S11至S15中的程序相同,且因此本文中不重复对其的解释。
显示器的处理单元80将所摄图像供应到无线通信单元258,且命令无线通信单元258将所摄图像传输到多功能便携式电话装置121。
在步骤S616中,无线通信单元258经由无线通信将从显示器的处理单元80供应的所摄图像传输到多功能便携式电话装置121。照相过程接着结束。
<警告确定过程的描述>
在执行了照相过程和捕获了所摄图像之后,穿戴式相机211执行警告确定过程。在警告确定过程中,穿戴式相机211(例如)确定是否发布关于聚焦度的警告,且命令多功能便携式电话装置121根据确定的结果来显示警告。这个警告确定过程可在发布来自使用者的指令时开始,或根据设定自动地开始。
现参考图35中的流程图,描述待由穿戴式相机211执行的警告确定过程。
步骤S641至S647中的程序与图7中的步骤S41至S47中的程序相同,且因此本文中不重复对其的解释。
在步骤S648中,警告控制单元85命令显示器的处理单元80显示警告。显示器的处理单元80转而产生为指示将显示警告的信息的警告指令,且将所述警告指令供应到无线通信单元258。
在步骤S649中,无线通信单元258经由无线通信将从显示器的处理单元80供应的警告指令传输到多功能便携式电话装置121。警告确定过程接着结束。
按以上方式,穿戴式相机211通过对经由记录获得的所摄图像执行聚焦区域确定过程来确定是否显示警告,且根据确定的结果将警告显示指令传输到多功能便携式电话装置121。
由于警告显示指令是在必要时才传输,所以使用者可以在记录之后更容易地和直观地在多功能便携式电话装置121上检查所摄图像的聚焦度。
<显示过程的描述>
当从穿戴式相机211传输所摄图像时,多功能便携式电话装置121开始显示过程以接收并显示所摄图像。现参考图36中的流程图,描述待由多功能便携式电话装置121执行的显示过程。
在步骤S671中,无线通信单元171经由无线通信来接收从穿戴式相机211传输的所摄图像,且将所摄图像供应到数字信号处理LSI 162。
在步骤S672中,显示器的处理单元80将从无线通信单元171供应的所摄图像供应到显示单元131,且使显示单元131显示所摄图像。因此,所摄图像被显示为预览图像。
在步骤S673中,警告控制单元85确定是否已从穿戴式相机211传输警告指令。
如果在步骤S673中确定还没有传输任何警告指令,那么不显示任何警告,且显示过程结束。
另一方面,如果在步骤S673中确定已传输警告指令,那么在步骤S674中无线通信单元171接收从穿戴式相机211传输的警告指令,且经由数字信号处理LSI 162将警告指令供应到控制单元164。
在步骤S675中,警告控制单元85根据从数字信号处理LSI 162供应的警告指令来执行警告显示。显示过程接着结束。
具体而言,警告控制单元85命令显示器的处理单元80显示警告。显示器的处理单元80根据来自警告控制单元85的指令来产生用于显示警告(例如,警告图标)的图像和文字消息,且接着将所述图像和文字消息供应到显示单元131,所述显示单元接着将图像和文字消息显示为警告。
按以上方式,多功能便携式电话装置121根据来自穿戴式相机211的指令来执行警告显示。在这种情况下,使用者可以更容易地和直观地在更大屏幕上辨识是否需要对所摄图像的聚焦度进行检查。
而且,穿戴式相机211可执行与图14中所示的照相过程相同的过程以及与图8、图10和图15至图27中所示的任一警告过程相同的过程。
<第九实施例>
当然,上文所描述的本技术不仅可以应用于静态图像而且可以应用于活动图像。
举例来说,在拍摄了作为所摄图像的活动图像之后,可以在重现通过记录获得的活动图像时将与聚焦度有关的信息供应到使用者。
具体而言,在其中指示聚焦度的图像(图标)等等被显示为与聚焦度有关的信息的情况下,例如,执行与图7中所示的警告过程相同的过程。在这个过程中,从记录单元57酌情读取通过照相获得的所摄图像,且由警告控制单元85来计算作为所摄图像的活动图像的每个画面的平均得分。
在对应于步骤S48的程序中,警告控制单元85命令显示器的处理单元80控制显示单元26,使得(例如)针对每个画面在显示单元26上显示呈某种色彩或处于某种浓度(所述色彩或浓度对应于平均得分的值)的图像等等。也就是说,呈某种色彩或处于某种浓度(所述色彩或浓度事先已针对平均得分的值被确定)的图像等等被作为指示聚焦度的图像等等而叠映在重现的活动图像上。
因此,当重现作为所摄图像的活动图像时,连续地显示指示聚焦度的图像等等,且所述图像等等的色彩或浓度取决于每个画面的平均得分的值随时间的推移而变化。
由于平均得分随时间的推移而变化,所以显示于显示单元26上且指示聚焦度的图像等等的色彩或浓度变得随时间的推移而变化,如上文所描述。在这种情况下,使用者可以容易地辨识聚焦度的变化(例如,聚焦度增加)。因此,使用者可以在照相之后容易地辨识所摄图像的聚焦度。
在其中针对每个画面显示指示聚焦度的图像等等的情况下,优选地显示所述图像等等使得查看所显示的图像等等的使用者可以直观地并且立即地确定聚焦度是否足够。待显示的信息不必呈图像的形式,而是可显示指示聚焦度的数值或文字消息。
考虑到上述情况,可以说显示聚焦度是显示关于聚焦度的警告。
上文所描述的用于通知使用者活动图像的聚焦度的过程被应用于第一实施例中所描述的过程。但是,当然,这个过程可以应用于第一实施例的第一修改和上文所描述的第二至第八实施例。
<第十实施例>
在上文所描述的示例中,从重现作为所摄图像的活动图像的开始到结束,连续地显示与聚焦度有关的信息。但是,可仅针对其中聚焦度不足的区来显示关于聚焦度的警告。
在此类情况下,在图7中所示的警告过程中,例如,从记录单元57酌情读取通过照相获得的所摄图像,且由警告控制单元85来计算作为所摄图像的活动图像的每个画面的平均得分。在步骤S47中,警告控制单元85对每个画面的平均得分执行阈值过程。
警告控制单元85接着选择将显示警告所针对的区。所述区由一或多个连续画面形成,这些连续画面的平均得分已被确定为小于阈值。
当重现所摄图像时,警告控制单元85命令显示器的处理单元80针对按以上方式选择的每个区显示警告,且显示器的处理单元80使显示单元26根据指令来显示警告。
具体而言,警告控制单元85计算当前区的平均得分的代表值,且执行控制使得得以显示呈某种色彩或处于某种浓度(所述色彩或浓度对于所述代表值而言是预定的)的图像等等。此处,代表值是(例如)当前区中的相应画面的平均得分的平均值。
因此,在这个示例中,当确定聚焦度足够时,不显示任何警告。警告被显示于由其中聚焦度被确定为不足的画面形成的区中。当显示警告时,在由其中聚焦度被确定为不足或平均得分被确定为小于阈值的画面形成的区中连续地显示呈同种色彩或处于同种浓度的警告。
此外,当重现所摄图像时,显示指示从所摄图像的顶部到端部的每个重现位置的时间条,且聚焦度可显示于时间条上。举例来说,显示时间条中的呈某些色彩或处于某些浓度的相应位置,所述色彩或浓度对于所摄图像中的对应画面的平均得分而言是预定的。在这种情况下,使用者可以通过查看时间条来容易地确定整个活动图像的哪一部分在聚焦度方面是不足的。
在上文所描述的示例中,即使当仅一个画面的平均得分小于阈值时,仍显示警告。但是,如果聚焦度不足的情形仅持续预定的时间(例如,几秒)或如果仅预定数目的连续画面的平均得分小于阈值,那么可针对所述区显示警告。
上文所描述的用于发布关于活动图像的聚焦度的警告的过程被应用于第一实施例中所描述的过程。但是,当然,这个过程可以应用于第一实施例的第一修改和上文所描述的第二至第八实施例。
<第十一实施例>
此外,也可以在其中拍摄活动图像作为所摄图像的情况下应用本技术。
在此类情况下,作为所摄图像的活动图像被用作当前处理目标,且执行对应于参考图7所描述的警告过程的过程。也就是说,比当前拍摄的所摄图像久几个画面的所摄图像或比当前画面久的画面的所摄图像被用作当前处理目标,且执行与第九实施例中所描述的过程相同的过程。
具体而言,在对应于步骤S46的程序中,例如,警告控制单元85计算过去画面的图像的平均得分,所述过去画面被选择为作为所摄图像的活动图像中的当前处理目标。在对应于步骤S48的程序中,警告控制单元85命令显示器的处理单元80控制显示单元26,使得(例如)在显示单元26上显示呈某种色彩或处于某种浓度(所述色彩或浓度对应于针对过去画面所计算的平均得分的值)的图像等等。也就是说,呈某种色彩或处于某种浓度(所述色彩或浓度事先已针对平均得分的值被确定)的图像等等被显示为指示聚焦度的图像等等。
考虑到此,在这个示例中,当拍摄活动图像作为所摄图像时,对应于针对比当前拍摄的画面久几个画面的画面所计算的平均得分的图像等等被显示为指示聚焦度的信息。
在这个实施例中,根据过去画面来显示指示聚焦度的图像等等,因为通常很少发生在照相期间聚焦度在几个画面中快速改变。即使根据久了几个画面的画面来显示聚焦度,当前聚焦度和所显示的聚焦度之间仍几乎不产生大的差异。
当在重现作为所摄图像的活动图像时连续地显示指示聚焦度的图像等等时,所述图像等等的色彩或浓度取决于每个画面的平均得分的值随时间的推移而变化。
由于平均得分随时间的推移而变化,所以显示于显示单元26上且指示聚焦度的图像等等的色彩或浓度变得随时间的推移而变化,如上文所描述。在这种情况下,使用者可以容易地辨识聚焦度的变化(例如,聚焦度增加)。因此,使用者可以在照相期间容易地辨识所摄图像的聚焦度。
在以上示例中,在照相期间连续地显示聚焦度。但是,可仅当聚焦度不足时才显示关于聚焦度不足的警告。
在此类情况下,例如,当拍摄所摄图像时,执行图7中所示的警告过程。在这个警告过程中,在步骤S46中,警告控制单元85计算比此刻拍摄的当前画面久几个画面的过去画面的所摄图像的平均得分。在步骤S47中,警告控制单元85对所计算的平均得分执行阈值过程。根据阈值过程的结果,警告控制单元85命令显示器的处理单元80显示警告。根据所述指令,显示器的处理单元80使显示单元26显示警告。此时,警告控制单元85执行控制,使得显示呈某种色彩或处于某种浓度的图像等等,所述色彩或浓度对于平均得分的值而言是预定的。
考虑到此,在这个示例中,当拍摄活动图像作为所摄图像时,检查一下以根据比当前拍摄的画面久几个画面的画面来确定是否需要显示警告,且根据检查的结果来显示警告。
在其中按以上方式执行警告显示的情况下,当确定聚焦度足够时不显示任何警告,且当确定聚焦度不足时显示警告。而且,被显示为警告的图像等等的色彩或浓度取决于聚焦度或平均得分的值随时间的推移而变化。
上文所描述的用于在照相期间显示指示聚焦度的图像等等和警告的过程被应用于第一实施例中所描述的过程。但是,当然,这个过程可以应用于第一实施例的第一修改和上文所描述的第二至第八实施例。
上文所描述的一系列过程可由硬件来执行或可由软件来执行。当将由软件来执行所述一系列过程时,将形成软件的程序安装到计算机中。此处,计算机可为合并到专用硬件中的计算机,或可为在各种程序被安装到其中时可以执行各种功能的通用计算机。
图37是示出计算机的硬件的示例结构的图式,所述计算机根据程序来执行上述一系列过程。
在计算机中,中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504彼此连接。
输入/输出界面505进一步连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出界面505。
输入单元506由键盘、鼠标、麦克风、成像装置等等形成。输出单元507由显示器、扬声器等等形成。记录单元508由硬盘、非易失性存储器等等形成。通信单元509由网络界面等等形成。驱动器510驱动可移除式媒体511(例如,磁盘、光盘、磁光光盘或半导体存储器)。
在具有上文所描述的结构的计算机中,CPU 501(例如)经由输入/输出界面505和总线504将记录单元508中所记录的程序加载到RAM 503中,且执行所述程序使得执行上文所描述的一系列过程。
待由计算机(CPU 501)执行的程序可记录于(例如)可移除式媒体511上以作为待提供的封装式媒体。替代地,可以经由有线或无线转移媒体(例如,局域网、因特网或数字卫星广播)来提供程序。
在计算机中,当将可移除式媒体511安装于驱动器510上时,可以经由输入/输出界面505将程序安装到记录单元508中。程序也可以由通信单元509经由有线或线传输媒体来接收,且被安装到记录单元508中。替代地,可事先将程序安装到ROM 502或记录单元508中。
待由计算机执行的程序可为用于根据本说明书中所描述的序列以时间先后次序来执行过程的程序,或可为用于并行地执行过程或在必要时(例如,当存在呼叫时)执行过程的程序。
应注意,本技术的实施例并不限于上文所描述的实施例,且可在不脱离本技术的范围的情况下对所述实施例做出各种修改。
举例来说,可以在其中经由网络在装置当中共享一个功能的云计算结构中体现本技术,且由彼此合作的装置来执行处理。
参考上文所描述的流程图来描述的相应步骤可以由一个装置来实施或可以在装置当中共享。
在其中一个以上的过程被包含于一个步骤中的情况下,被包含于所述步骤中的过程可以由一个装置来执行或可以在装置当中共享。
本说明书中所描述的有利效果仅为示例,且本技术的有利效果并不限于其而是可包含其它效果。
此外,本技术可采用以下形式。
(1)一种图像处理装置,其包含:
聚焦区域确定单元,其基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度;
警告确定单元,其根据聚焦得分来确定所摄图像中的预定区域中的聚焦度;以及
警告单元,其根据聚焦确定的结果来发布警告。
(2)根据(1)所述的图像处理装置,其中,警告确定单元通过将预定区域中的各个区域的聚焦得分的平均值与阈值相比较来确定聚焦度。
(3)根据(1)或(2)所述的图像处理装置,其中,预定区域是在拍摄所摄图像的时候进行聚焦的聚焦区域。
(4)根据(3)所述的图像处理装置,其中,聚焦区域确定单元仅计算所摄图像中的预定区域的聚焦得分。
(5)根据(1)或(2)所述的图像处理装置,其中,预定区域是所摄图像中的由使用者指定的区域。
(6)根据(1)或(2)所述的图像处理装置,其中,预定区域是从所摄图像检测到的脸部区域。
(7)根据(1)至(6)中的任一者所述的图像处理装置,其中,警告单元通过显示叠映在所摄图像上的警告来发布警告。
(8)根据(1)至(6)中的任一者所述的图像处理装置,其中,警告单元通过输出警告音来发布警告。
(9)根据(1)至(6)中的任一者所述的图像处理装置,其中,警告单元通过振动来发布警告。
(10)根据(1)至(6)中的任一者所述的图像处理装置,其中,警告单元通过发射光来发布警告。
(11)根据(1)至(10)中的任一者所述的图像处理装置,其中,所述警告单元根据聚焦得分的平均值来改变警告。
(12)一种图像处理方法,其包含以下步骤:
基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度;
根据聚焦得分来确定所摄图像中的预定区域中的聚焦度;以及
根据聚焦确定的结果来发布警告。
(13)一种程序,用于使计算机执行过程,所述过程包含以下步骤:
基于所摄图像来计算聚焦得分,所述聚焦得分指示所摄图像中的各个区域的聚焦度;
根据聚焦得分来确定所摄图像中的预定区域中的聚焦度;以及
根据聚焦确定的结果来发布警告。
参考符号列表
11 成像设备
26 显示单元
53 使用者界面
58 振动单元
59 扬声器
60 发光装置
77 聚焦区域确定单元
78 脸部检测单元
79 存储器
80 显示器的处理单元
81 振动器驱动单元
82 扬声器驱动单元
83 发光装置驱动单元
84 聚焦透镜控制单元
85 警告控制单元
121 多功能便携式电话装置
211 穿戴式相机。

Claims (18)

1.一种图像处理装置,其包括:
聚焦区域确定单元,其被配置成计算所摄图像的第一区域中多个不同区域的多个聚焦得分,所述多个聚焦得分指示所述所摄图像的所述第一区域中所述多个不同区域的聚焦度;
警告确定单元,其被配置成基于所述所摄图像的所述第一区域中所述多个不同区域的多个聚焦得分来确定所述第一区域的聚焦度;以及
警告单元,其被配置成根据所确定的聚焦度来发布警告通知。
2.根据权利要求1所述的图像处理装置,还包括面部检测单元,所述面部检测单元被配置成在聚焦操作过程中检测被摄体的面部区域,其中所述第一区域为所检测的面部区域。
3.根据权利要求2所述的图像处理装置,其中,所述聚焦区域确定单元还被配置成针对所检测的面部区域计算所述多个聚焦得分。
4.根据权利要求2所述的图像处理装置,还包括存储器,所述存储器被配置成存储含有所检测的面部区域的面部区域信息的可交换图像文件格式数据。
5.根据权利要求2所述的图像处理装置,其中,所述多个聚焦得分的计算的平均值指示靠近所述第一区域的最聚焦区域的第二区域中的聚焦度,并且其中所述第一区域的最聚焦区域具有最高聚焦得分。
6.根据权利要求5所述的图像处理装置,其中,所述计算的平均值是所述多个聚焦得分的平均值,并且在所检测的面部区域中所述计算的平均值大于阈值得分。
7.根据权利要求1所述的图像处理装置,其中,所述第一区域由用户输入指定。
8.根据权利要求1所述的图像处理装置,其中,所述警告单元通过显示叠映在所述所摄图像上的所述警告来发布所述警告通知。
9.根据权利要求1所述的图像处理装置,其中,所述警告单元通过输出警告音来发布所述警告通知。
10.根据权利要求1所述的图像处理装置,其中,所述警告单元通过振动来发布所述警告通知。
11.根据权利要求1所述的图像处理装置,其中,所述警告单元通过发射光来发布所述警告通知。
12.根据权利要求1所述的图像处理装置,其中,所述警告单元根据所述多个聚焦得分的平均值来改变所述警告通知。
13.根据权利要求1所述的图像处理装置,其中,所述聚焦度为所述多个不同区域中相应像素的高通分量的绝对值之和。
14.根据权利要求1所述的图像处理装置,其中,所述聚焦区域确定单元还被配置成基于通过机器学习技术获得的鉴别器计算所述多个聚焦得分。
15.根据权利要求1所述的图像处理装置,其中,所述警告确定单元被配置成基于所述第一区域中所述多个不同区域的多个聚焦得分的平均值与阈值的比较来确定所述第一区域中的所述聚焦度。
16.一种图像处理方法,其包括以下步骤:
通过聚焦区域确定单元计算所摄图像的第一区域中多个不同区域的多个聚焦得分,所述多个聚焦得分指示所述所摄图像的所述第一区域中所述多个不同区域的聚焦度;
通过警告确定单元基于所述所摄图像的所述第一区域中所述多个不同区域的多个聚焦得分来确定所述第一区域的聚焦度;以及
通过警告单元根据所确定的聚焦度来发布警告通知。
17.一种存储程序的非易失性计算机可读存储介质,所述程序用于使计算机执行过程,所述过程包含以下步骤:
计算所摄图像的第一区域中多个不同区域的多个聚焦得分,所述多个聚焦得分指示所述所摄图像的所述第一区域中所述多个不同区域的聚焦度;
基于所述所摄图像的所述第一区域中所述多个不同区域的多个聚焦得分来确定所述第一区域的聚焦度;以及
根据所确定的聚焦度来发布警告通知。
18.一种图像处理装置,其包括:
聚焦区域确定单元,其被配置成计算所摄图像的区域中多个不同区域的多个聚焦得分,所述多个聚焦得分指示所述所摄图像的所述区域中所述多个不同区域的聚焦度;
警告确定单元,其被配置成基于所述所摄图像的所述区域中所述多个不同区域的多个聚焦得分来确定所述区域的聚焦度;以及
警告单元,其被配置成根据所确定的聚焦度来发布警告通知。
CN201580004045.9A 2014-01-17 2015-01-06 图像处理装置、方法与程序 Active CN105934940B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014006724 2014-01-17
JP2014-006724 2014-01-17
PCT/JP2015/050093 WO2015107927A1 (ja) 2014-01-17 2015-01-06 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN105934940A CN105934940A (zh) 2016-09-07
CN105934940B true CN105934940B (zh) 2019-12-24

Family

ID=53542818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580004045.9A Active CN105934940B (zh) 2014-01-17 2015-01-06 图像处理装置、方法与程序

Country Status (3)

Country Link
US (1) US10237466B2 (zh)
CN (1) CN105934940B (zh)
WO (1) WO2015107927A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015107928A1 (ja) * 2014-01-17 2017-03-23 ソニー株式会社 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
JP6634298B2 (ja) * 2016-01-23 2020-01-22 オリンパス株式会社 撮像装置および撮像方法
DK3466068T3 (da) * 2016-06-03 2021-02-15 Utku Buyuksahin Et system og en metode til at tage og generere 3d-billeder
CN107295252B (zh) * 2017-06-16 2020-06-05 Oppo广东移动通信有限公司 对焦区域显示方法、装置及终端设备
JP7020822B2 (ja) * 2017-09-01 2022-02-16 キヤノン株式会社 システム、撮像装置、情報処理装置、制御方法、及び、プログラム
EP3770666A4 (en) * 2018-03-22 2021-05-05 FUJIFILM Corporation DEVICE, PROCESS AND PROGRAM FOR MEASURING THE QUANTITY OF DEFOCATION AND DISCRIMINATOR
JP7309346B2 (ja) * 2018-11-29 2023-07-18 キヤノン株式会社 撮像装置、その制御方法、およびそのプログラム
CN110062166A (zh) * 2019-04-25 2019-07-26 努比亚技术有限公司 提高人脸自动对焦的方法、装置、移动终端及存储介质
US20240160089A1 (en) * 2021-07-19 2024-05-16 Hamamatsu Photonics K.K. Focal position estimation system, focal position estimation method, focal position estimation program, semiconductor inspection system and biological observation system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003262909A (ja) * 2002-03-07 2003-09-19 Sharp Corp 電子カメラ
JP2005062469A (ja) * 2003-08-12 2005-03-10 Fuji Photo Film Co Ltd デジタルカメラ
JP2010286791A (ja) * 2009-06-15 2010-12-24 Fujifilm Corp 撮影装置および撮影制御方法
CN103220465A (zh) * 2013-03-21 2013-07-24 广东欧珀移动通信有限公司 一种使用手机拍照时进行精确定位人脸图像的方法、装置及移动终端
CN103310179A (zh) * 2012-03-06 2013-09-18 上海骏聿数码科技有限公司 一种基于人脸识别技术的最优姿态检测方法及***
JP2013210572A (ja) * 2012-03-30 2013-10-10 Nikon Corp 撮像装置および撮像装置の制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4352916B2 (ja) * 2004-02-04 2009-10-28 ソニー株式会社 撮像装置及び撮像方法
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
JP2007256907A (ja) * 2006-02-10 2007-10-04 Fujifilm Corp デジタルカメラ
JP2009258690A (ja) * 2008-03-25 2009-11-05 Kyocera Corp オートフォーカスカメラ機能を備える電子機器
US8570402B2 (en) * 2010-02-05 2013-10-29 Canon Kabushiki Kaisha Imaging apparatus for obtaining a user-intended image when orientation of the imaging apparatus changes in applying a special effect that changes the image quality in a set direction
KR101721226B1 (ko) * 2010-12-23 2017-04-10 삼성전자주식회사 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
JP2014126710A (ja) * 2012-12-26 2014-07-07 Canon Inc 自動焦点検出装置およびその制御方法、撮像装置
JP6239855B2 (ja) * 2013-05-08 2017-11-29 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003262909A (ja) * 2002-03-07 2003-09-19 Sharp Corp 電子カメラ
JP2005062469A (ja) * 2003-08-12 2005-03-10 Fuji Photo Film Co Ltd デジタルカメラ
JP2010286791A (ja) * 2009-06-15 2010-12-24 Fujifilm Corp 撮影装置および撮影制御方法
CN103310179A (zh) * 2012-03-06 2013-09-18 上海骏聿数码科技有限公司 一种基于人脸识别技术的最优姿态检测方法及***
JP2013210572A (ja) * 2012-03-30 2013-10-10 Nikon Corp 撮像装置および撮像装置の制御プログラム
CN103220465A (zh) * 2013-03-21 2013-07-24 广东欧珀移动通信有限公司 一种使用手机拍照时进行精确定位人脸图像的方法、装置及移动终端

Also Published As

Publication number Publication date
US10237466B2 (en) 2019-03-19
CN105934940A (zh) 2016-09-07
US20160330366A1 (en) 2016-11-10
WO2015107927A1 (ja) 2015-07-23

Similar Documents

Publication Publication Date Title
CN105934940B (zh) 图像处理装置、方法与程序
CN100591099C (zh) 摄像装置
US8111321B2 (en) Imaging device and method for its image processing, with face region and focus degree information
US20050134719A1 (en) Display device with automatic area of importance display
JP2023095973A (ja) 撮影装置、撮影方法、およびプログラム
JP2006174105A (ja) 電子カメラ及びプログラム
JP2008236534A (ja) デジタルカメラ、及び情報表示方法、情報表示制御プログラム
JP2007310813A (ja) 画像検索装置およびカメラ
JP2009094946A (ja) 撮像装置及び撮像装置における肖像権保護方法
US10477113B2 (en) Imaging device and control method therefor
JP2014077994A (ja) 画像表示装置、その制御方法および制御プログラム並びに撮像装置
JP2008252711A (ja) ディジタルカメラ
JP2006019874A (ja) 手ぶれ・ピンボケレベル報知方法および撮像装置
JP5322817B2 (ja) 3次元画像撮像装置及び3次元画像表示方法
JP5181841B2 (ja) 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム
JP4334179B2 (ja) 電子カメラ
JP4371219B2 (ja) デジタルカメラ
JP4269344B2 (ja) 電子カメラ
JP2010074415A (ja) 撮像装置、画像表示方法および画像表示プログラム
JP2014220618A (ja) 画像処理装置
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置
JP6645612B1 (ja) 撮像装置及び電子機器
JP6645614B2 (ja) 撮像装置及び電子機器
JP2012010358A (ja) 3次元画像撮像装置及び3次元画像表示方法
JP2010028370A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant