CN104702824B - 摄像装置及摄像装置的控制方法 - Google Patents

摄像装置及摄像装置的控制方法 Download PDF

Info

Publication number
CN104702824B
CN104702824B CN201410743607.9A CN201410743607A CN104702824B CN 104702824 B CN104702824 B CN 104702824B CN 201410743607 A CN201410743607 A CN 201410743607A CN 104702824 B CN104702824 B CN 104702824B
Authority
CN
China
Prior art keywords
image
shooting
subject
exposure
encirclement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410743607.9A
Other languages
English (en)
Other versions
CN104702824A (zh
Inventor
大泽新之介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104702824A publication Critical patent/CN104702824A/zh
Application granted granted Critical
Publication of CN104702824B publication Critical patent/CN104702824B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像装置及摄像装置的控制方法。所述摄像装置分析由拍摄单元拍摄的图像并且基于分析结果处理所述图像。所述装置分析在拍摄指令之前的拍摄待机期间生成的待机图像,以从所述待机图像中检测被摄体,并且根据拍摄指令使用针对各个被摄体设置的拍摄条件,对检测到的被摄体进行包围曝光拍摄。所述装置还分析多个包围曝光图像,以从所述多个包围曝光图像的各个中检测包括所述被摄体的被摄体区域、针对检测到的各个被摄体区域通过与所述拍摄条件的关联进行确定、以及根据确定的结果,针对各个被摄体区域选择所述多个包围曝光图像中的至少一个包围曝光图像。所述装置对针对各个被摄体区域选择的包围曝光图像执行图像处理。

Description

摄像装置及摄像装置的控制方法
技术领域
本发明涉及一种摄像装置及摄像装置的控制方法。
背景技术
已知使用多个曝光值进行包围曝光(bracket)拍摄的自动包围曝光(AE Bracket)功能以及在多个聚焦位置处进行包围曝光拍摄的AF(Autofocus)包围曝光功能。日本特开第2012-119788号公报公开了如下技术:通过分析在拍摄待机期间的实时取景图像的场景、决定多个目标被摄体以调整曝光以及根据该目标被摄体设置多个曝光值,来进行AE包围曝光拍摄。
通常还已知通过进行诸如模糊处理、滤色处理(color filter processing)和修剪处理等的图像处理来生成不同品味的图像的技术。
假设如下布置,即,在将上述技术进行组合的情况下,根据被摄体,对通过包围曝光拍摄的各个图像进行图像处理。在这种情况下,如果仅简单组合这些技术,则出现以下问题。例如,根据日本特开第2012-119788号公报,通过基于在拍摄待机期间检测到的多个面部等的被摄体信息获得用于包围曝光的曝光值,来进行拍摄。此时,如果在从拍摄待机时到实际拍摄期间被摄体的位置或亮度改变,则具有针对在拍摄待机期间的被摄体调整的曝光的包围曝光图像不适合于该被摄体。为此,当通过基于被摄体信息进行图像处理而由包围曝光图像生成图像时,例如,可能生成了在不适当曝光下在从被摄体偏移的位置处提取的图像。
发明内容
本发明能够在针对包围曝光图像根据被摄体进行图像处理时生成更合适的图像。
本发明的实施例的一方面涉及一种摄像装置,该摄像装置包括:拍摄单元;分析单元,其被构造为分析由所述拍摄单元拍摄的图像;以及图像处理单元,其被构造为基于所述分析单元的分析结果处理所述图像,其中,所述分析单元进一步被构造为分析所述拍摄单元在拍摄指令之前的拍摄待机期间生成的待机图像,以从所述待机图像中检测被摄体,并且所述拍摄单元被构造为根据拍摄指令,使用针对各个被摄体设置的拍摄条件,对检测到的被摄体进行包围曝光拍摄,所述分析单元进一步被构造为分析通过所述包围曝光拍摄生成的多个包围曝光图像,以从所述多个包围曝光图像中检测包括所述被摄体的被摄体区域、针对各个检测到的被摄体区域通过与所述拍摄条件相关联地进行确定、以及根据确定的结果针对各个被摄体区域选择多个包围曝光图像中的至少一个包围曝光图像,并且所述图像处理单元进一步被构造为对针对各个被摄体区域选择的包围曝光图像执行图像处理。
本发明的实施例的另一方面涉及一种摄像装置的控制方法,所述摄像装置包括拍摄单元、被构造为分析由所述拍摄单元拍摄的图像的分析单元、以及被构造为基于所述分析单元的分析结果处理所述图像的图像处理单元,所述控制方法包括以下步骤:使所述分析单元分析所述拍摄单元在拍摄指令之前的拍摄待机期间生成的待机图像,并且从所述待机图像中检测被摄体;使所述拍摄单元根据拍摄指令,使用针对各个检测到的被摄体设置的拍摄条件来进行包围曝光拍摄;使所述分析单元分析由所述包围曝光拍摄生成的多个包围曝光图像,并且从所述多个包围曝光图像中检测包括所述被摄体的被摄体区域;使所述分析单元针对各个检测到的被摄体区域通过与所述拍摄条件相关联地进行确定,并且根据确定的结果,针对各个被摄体区域选择所述多个包围曝光图像中的至少一个包围曝光图像,以及使所述图像处理单元对针对各个被摄体区域选择的包围曝光图像执行图像处理。
根据以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
被包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例,并且与文字说明一起用来解释本发明的原理。
图1是示出根据本发明的实施例的摄像装置的布置的示例的框图;
图2是示出根据本发明的实施例的拍摄处理的示例的流程图;
图3是示出根据本发明的实施例的场景分析处理的示例的流程图;
图4是用于说明根据本发明的实施例的拍摄处理的示例的视图;
图5A和图5B是用于说明根据本发明的实施例的场景分析结果整合的示例的视图;
图6是示出根据本发明的实施例的针对各个拍摄图像的图像处理的方法的示例的流程图;以及
图7是示出根据本发明的实施例的修剪处理的结果的示例的视图。
具体实施方式
现在,将参照附图详细说明本发明的实施例。这里,所谓的数字照相机将被例示为根据本发明的实施例的摄像装置、信息处理装置或图像处理装置。然而,本发明不限于此。可以将本发明实施为具有拍摄功能的任何其他装置,例如,数字摄像机、便携式电话、智能手机或其他便携式电子设备。
[第一实施例]
<数字照相机的布置>
图1是示出根据本发明的实施例的数字照相机的布置的框图。图1例示了数字照相机的硬件布置。然而,这里所示的布置仅仅是示例,可以添加除了图1中示出的这些构成部件以外的部件。在图1中所示的数字照相机中,可以使用除了诸如图像传感器、显示单元、操作单元和开关等的物理设备以外的专用逻辑电路或存储器来将块构造为硬件。另选地,可以通过使诸如CPU等的计算机执行存储器中存储的处理程序来将块构造为软件。以下将描述数字照相机的构成要素及其功能。
摄像透镜101包括变焦机构。光阑和快门102根据来自AE处理单元103的指令,控制至图像传感器106的入射光的量以及电荷累积时间,该入射光为从被摄体反射的光。AE处理单元103控制光阑和快门102的操作,并且还控制稍后要描述的A/D转换单元107。聚焦透镜104根据来自AF处理单元105的控制信号,将图像传感器106的光接收表面设置为对焦,并且形成光学图像。
图像传感器106通过诸如CCD传感器或CMOS传感器等的光电转换设备将在光接收表面上形成的光学图像转换为电信号,并且将该信号输出到A/D转换单元107。A/D转换单元107将接收的电信号(模拟信号)转换为数字信号。A/D转换单元107包括CDS电路和非线性放大电路,CDS电路用于从接收的电信号中去除噪声,非线性放大电路在向数字信号转换之前对接收的电信号进行非线性地放大。
图像处理单元108对从A/D转换单元107输出的数字信号进行诸如预定像素插值或图像缩小等的调整大小处理和颜色转换处理,并且输出图像数据。格式转换单元109对由图像处理单元108生成的图像数据进行格式转换,以将图像数据存储在DRAM 110中。DRAM 110是高速内部存储器的示例,并且用作用于临时存储图像数据的高速缓冲器或图像数据压缩/解压处理中的工作存储器。
图像记录单元111包括记录拍摄的图像(静止图像或运动图像)的记录介质(例如存储卡)及其接口。***控制单元112包括CPU、ROM和RAM,并且通过使CPU将存储在ROM中的程序加载到RAM的工作区域并执行该程序来控制数字照相机的总体操作。***控制单元112还进行控制以决定要使用图像传感器106的多个拍摄驱动模式中的哪一个模式。VRAM 113是用于图像显示的存储器。显示单元114是例如LCD,并且进行图像显示、用于操作帮助的显示、或照相机状态的显示。在拍摄时,显示单元114显示拍摄画面和距离测量区域。
用户操作操作单元115,从而从外部操作数字照相机。操作单元115包括例如菜单开关、变焦杆(zoom lever)和在拍摄模式与再现模式之间切换的操作模式选择器,菜单开关进行诸如曝光校正和光圈数(f-number)的设定以及用于图像再现的设定等的各种设定,变焦杆指示摄像透镜的变焦操作。主开关116是用于对数字照相机的***通电的开关。第一开关117是用于进行诸如AE处理或AF处理的预拍摄操作的开关。在下文中,将通过操作第一开关(SW1)进行的诸如AE处理或AF处理的预拍摄操作称为SW1处理。第二开关118是用于在第一开关117的操作之后向***控制单元112输入拍摄指令的开关。在下文中,将通过操作第二开关(SW2)进行的拍摄指令处理称为SW2处理。注意,可以将SW1和SW2实施为单个快门按钮。例如,当半按下快门按钮时,操作SW1。当全按下快门按钮时,操作SW2。
<总体流程图>
下面,将参照图2描述在根据本发明的实施例的数字照相机中的处理的流程。在本实施例中,将例示进行AE包围曝光处理、然后进行图像处理的方法。图2是示出进行AE包围曝光处理以及图像处理的方法的示例的流程图。可以通过例如在***控制单元112中使CPU将存储在ROM中的相应程序加载到RAM的工作区域并且执行该程序,来实现与流程图对应的处理。
在步骤S201中,分析在拍摄待机期间实时取景图像的场景。例如,这里使用检测图像中的蓝天区域的特征区域检测技术或检测人面部的被摄体检测技术。将该结果称为场景分析结果。对此可以使用各种已知的方法。注意,实时取景图像是无需SW2的拍摄指令而由图像传感器拍摄的并且被显示在显示单元114上的图像。
在步骤S202中,进行曝光控制。基于步骤S201的场景分析结果等,考虑到作为拍摄待机期间的实时取景图像所优选的整个场景的平衡,来进行曝光控制。例如,可以使用已知曝光控制方法,例如通过使用针对各个测光区域具有权重的模板权重(template weight)获得在画面的宽范围内的平均亮度来测光的评估计量方法。
在步骤S203中,确定是否进行AE包围曝光拍摄。可以基于步骤S201的场景分析结果,来决定作为AE包围曝光的目标的被摄体(AE包围曝光目标被摄体),并且可以基于AE包围曝光目标被摄体区域的亮度值进行AE包围曝光确定。当在实时取景图像中存在经历曝光不足或曝光过度的多个被摄体或者特征区域时,确定进行AE包围曝光拍摄。此时,将要进行的包围曝光拍摄的次数设置为与AE包围曝光目标被摄体的数量一样多。
在步骤S204中,确定是否进行了SW1处理。如果进行了SW1处理(步骤S204中“是”),则处理进行到步骤S205。否则(步骤S204中“否”),处理返回到步骤S201,周期地重复步骤S201至步骤S204的处理。在步骤S205中,当在步骤S203中确定进行AE包围曝光时,基于AE包围曝光目标被摄体的亮度值,来针对各个包围曝光处理决定曝光值。在确定不进行AE包围曝光时,决定针对一个拍摄处理的曝光值。例如,可以使用日本特开第2012-119788号公报中的方法。
在步骤S206中,确定是否进行了SW2处理。如果进行了SW2处理(步骤S206中“是”),则处理进行到步骤S207。在步骤S207中,确定是否在步骤S203中进行了AE包围曝光确定。在确定进行AE包围曝光时,处理进行到步骤S208。在确定不进行AE包围曝光时,处理进行到步骤S209。在步骤S208中,基于步骤S205中决定的曝光值进行AE包围曝光拍摄。将各个拍摄图像与对应的AE包围曝光目标被摄体相关联地存储。
在步骤S209中,进行正常拍摄。同样在正常拍摄中,将拍摄图像与在拍摄时调整了曝光的被摄体相关联地存储。在步骤S210中,使用步骤S208或步骤S209中拍摄的图像进行场景分析。将参照图3描述场景分析方法。在步骤S211中,基于步骤S210的使用拍摄图像的场景分析结果,对各个图像进行图像处理。将参照图6描述图像处理方法。
<使用拍摄图像的场景分析>
接下来,将描述使用拍摄图像的场景分析方法。图3是示出进行使用拍摄图像的场景分析的处理的示例的流程图。也可以通过例如在***控制单元112中使CPU将存储在ROM中的相应程序加载到RAM的工作区域并且执行该程序,来实现与流程图对应的处理。
图4示出了根据本实施例的基于通过拍摄示例性场景获得的实时取景图像而获取的AE包围曝光图像的示例。在图4中,在拍摄待机期间获取的图像401包括作为被摄体A的人、作为被摄体B的植物以及作为被摄体C的云。将使用图像401作为示例描述场景分析处理的流程。
在步骤S301中,获取在图2的步骤S201中的拍摄待机期间的场景分析结果。在图4中的待机图像401的拍摄待机期间,例如,在具有中等亮度的图像的中心区域存在作为被摄体A的人。在步骤S302中,使用循环处理对通过包围曝光拍摄而获得的各个图像进行场景分析。对于场景分析处理,可以使用与图2的步骤S201中相同的已知方法。从第一个拍摄图像顺次进行处理。当对所有拍摄图像的处理结束时,处理从循环中退出并进行到步骤S303。在图4的示例中,三个被摄体和特征区域被确定为步骤S203中的AE包围曝光目标被摄体。因此,针对第一个拍摄图像设置与被摄体A(人)对应的曝光值,针对第二个拍摄图像设置与被摄体B(植物)对应的曝光值,并且针对第三个拍摄图像设置与被摄体C(云)对应的曝光值。拍摄三个包围曝光图像403至405。对三个图像顺次进行场景分析。在进行第三个包围曝光图像之后,处理从循环中退出。
在步骤S303中,整合在步骤S301中获取的拍摄待机场景的分析结果以及在步骤S302中获取的使用拍摄图像的场景分析结果。首先,针对拍摄待机期间的场景分析结果和使用拍摄图像的场景分析结果中的各个,创建被摄体的位置、大小、亮度值等的列表。接下来,确定通过拍摄待机图像401的场景分析处理检测到的各个被摄体是否与通过使用由包围曝光拍摄获得的包围曝光图像403至405的场景分析处理检测到的被摄体匹配。可以根据例如被摄体大小或位置之间的差是否落入预定范围内,来进行匹配确定。当被摄体是面部时,可以使用已知的面部认证方法来确定匹配。
针对确定为匹配的被摄体,测量在包围曝光图像中的匹配被摄体区域的亮度值。从AE包围曝光目标被摄体中选择关注被摄体,将关注被摄体的区域的亮度值(平均亮度值)与预定值(适当值:适当亮度值CL)比较。再次选择亮度值和适当值之差最小(即,亮度值最接近适当值)的包围曝光图像,作为与关注被摄体对应的适当包围曝光图像。在将各个AE包围曝光目标被摄体设置为关注被摄体的同时执行该处理。
可以确定在包围曝光图像之间拍摄环境或拍摄情形(场景)是否改变,并且在确定场景改变时,可以创建场景分析整合结果。另选地,可以确定在从SW1处理之前的最后场景分析的时刻起到包围曝光拍摄的结束期间获得的多个图像之间、拍摄环境或拍摄情形(场景)是否改变。关于场景改变确定,例如,当在上述期间获得的图像之间满足相同被摄体的移动量等于或大于预定量的条件、视角的改变量等于或大于预定量的条件以及亮度值的改变量等于或大于预定量的条件中的至少一者时,可以确定场景改变。注意,亮度值的改变量等于或大于预定量的条件意味着,例如,全部或部分图像的平均亮度值的改变量大于通过AE包围曝光应该生成的亮度改变量。如果在从SW1处理之前的最后场景分析的时刻起到包围曝光拍摄的结束期间场景未改变,则认为基于在拍摄待机期间获得的场景分析结果获得了各个关注被摄体具有适当值的包围曝光图像。为此,不需要进行场景分析整合。第一图像被确定为针对被摄体A具有适当亮度的图像,第二图像被确定为针对被摄体B具有适当亮度的图像,并且第三图像被确定为针对被摄体C具有适当亮度的图像。利用该布置,由于不进行非必要的场景分析整合,因此能够获得缩短处理时间的效果。
将使用图4作为示例描述实际的处理。如由附图标记402指示的相图中所示,在拍摄时,被摄体A从拍摄待机图像401中所示的画面的中心运动到画面的左侧。为此,亮度值降低,并且被摄体A不再具有适当的亮度值。因此,在由待机图像401指示的拍摄待机的条件下设置了与被摄体A对应的曝光值的第一包围曝光图像403针对被摄体A不具有适当曝光。然而,利用上述处理,可以再次选择被摄体A的亮度值最接近适当值的第二包围曝光图像404,作为与被摄体A对应的包围曝光图像。
图5A和图5B是示出场景分析结果的整合处理的示例的视图。参照图5A和图5B,作为场景分析整合结果,针对各个包围曝光图像将对应的被摄体以及被摄体的位置、大小、亮度值等保持在表中。在图5A中所示的表中,与第一至第三包围曝光图像403至405中的各个对应地登记被摄体A至C的数据。作为亮度值,基于与适当亮度值比较的结果登记低、高和适当三个等级的指标。然而,可以登记实际值。登记的值可以是被摄体区域中的平均亮度值。
图5B中所示的表代表整合后的数据。在这种情况下,在包围曝光图像之间重复的被摄体的数据被删除,与一个被摄体对应地形成一个条目。在图5B的表中登记的被摄体的所有亮度值是“适当”。注意,尽管针对图5A和图5B中的各个被摄体仅存在一个具有适当亮度值的图像,但是也可以存在多个图像。在这种情况下,可以选择被摄体区域的亮度值和适当亮度值之差最小的图像。
<图像处理>
接下来,将参照图6的流程图描述图2中的步骤S211的图像处理的详情。图6是示出进行图像处理的方法的示例的流程图。这里将例示作为图像处理,进行滤色处理和修剪处理的方法。然而,处理不限于此,可以进行诸如模糊处理等的任何其他已知的图像处理。也可以通过例如,在***控制单元112中使CPU将存储在ROM中的相应程序加载到RAM的工作区域并执行该程序来实施与该流程图对应的处理。
在步骤S601中,获取在步骤S303中生成的场景分析整合结果。在步骤S602中,基于步骤S601中获取的场景分析整合结果来决定要生成的图像的数量。针对各个包围曝光图像决定要生成的图像的数量。例如,不从图像403生成图像,从图像404要生成两个图像,并且从图像405要生成一个图像。此时,可以基于在场景分析整合结果的表(图5B)中登记的被摄体的数量,决定从各个包围曝光图像要生成的图像的数量。
在步骤S603中,决定要经历后续处理的包围曝光图像。因为根据步骤S303中要生成的图像的数量的决定结果,不从第一图像403生成图像,所以可以将初始值设置给第二图像404。在步骤S604中,决定处理目标被摄体。可以根据场景分析整合结果将初始值设置给被摄体A。
在步骤S605中,执行滤色处理。在滤色处理中,可以根据场景分析整合结果中包括的被摄体的类型,决定要应用的滤波器。例如,当被摄体包括面部时,可以应用软焦点滤波器(soft focus filter)或提供高调效果的滤波器。可以应用边缘失光的滤波器以不降低面部区域的亮度值。对于诸如花或植物等的风景被摄体,可以应用增强边缘的边缘增强滤波器。对于云或天空,可以应用低通滤波器以去除噪声。
在步骤S606中,执行修剪处理。通过基于场景分析整合结果中包括的各个被摄体的位置和大小设定修剪区域来执行修剪处理,使得将步骤S603中决定的目标被摄体布置在修剪图像中的适当位置。可以基于例如,诸如在图像的中心处布置被摄体的中心构图或以将图像在水平和垂直方向上划分为三部分的线的分区布置被摄体的三分法规则等的已知惯用的构图,来决定适当位置。此时,可以基于场景分析整合结果中包括的各个被摄体区域的位置信息,设置修剪区域,同时避开其他被摄体区域。当进行该处理时,能够针对图4中所示的场景生成满意的修剪图像。
在步骤S607中,确定是否存在要由处理目标包围曝光图像生成图像的未处理的被摄体。如果存在未处理的被摄体(步骤S607中“是”),则处理返回到步骤S604以选择未处理的被摄体,并且继续处理。如果不存在未处理的被摄体(步骤S607中“否”),则处理进行到步骤S608以确定是否存在未处理的包围曝光图像。如果存在未处理的包围曝光图像(步骤S608中“是”),则处理返回到步骤S603以选择未处理的包围曝光图像,并且继续处理。如果不存在未处理的包围曝光图像(步骤S608中“否”),则处理结束。
图7是示出图6中所示的处理的修剪结果的示例的视图。要经历修剪处理的图像是第二包围曝光图像404和第三包围曝光图像405。不从第一包围曝光图像403中修剪图像。另一方面,根据场景分析整合结果,从包围曝光图像404中生成被摄体A的修剪图像701和被摄体B的修剪图像702。此外,从包围曝光图像405中生成被摄体C的修剪图像703。
如上所述,即使在从拍摄待机时到实际拍摄期间被摄体的明度或位置改变时,可以通过整合使用拍摄图像的场景分析结果来辨别目标被摄体具有适当曝光的包围曝光图像。为此,因为可以基于来自包围曝光图像的适当被摄体信息进行图像处理,所以能够生成满意的处理图像。
以上描述了本发明的实施例。然而,本发明不限于这些实施例,可以在本发明的主旨和范围内进行各种改变和变型。例如,可以根据在本发明的主旨和范围内的实施例,将实施例中例示的各种参数值改变为期望的值。例如,在本实施例中,将包围曝光拍摄的次数设置为与场景分析中检测到的被摄体的数量一样多。然而,根据实施例可以设置任何期望的次数。可以设置预定的固定次数或用户可选择的次数。
在本实施例中,以AE包围曝光作为示例进行了说明。然而,本发明不限定仅被应用于AE包围曝光,并且可以被应用于任何其他包围曝光拍摄方法。作为本发明的基本技术思想,通过在针对从拍摄待机期间获得的图像中检测到的被摄体给出不同拍摄条件的同时进行的包围曝光拍摄,来获得多个包围曝光图像。之后,再次对各个包围曝光图像进行场景分析,以新检测被摄体,并确定检测到的被摄体区域的图像是否是适当图像。对于包括适当被摄体区域的包围曝光图像,进行针对被摄体区域的图像处理。在被摄体之间改变的拍摄条件不仅可以包括曝光条件,也可以包括关于聚焦位置的条件、关于闪光灯的强度的条件以及关于ISO速度的条件。闪光灯和ISO速度是与拍摄图像的亮度相关联的拍摄条件。为此,可以基于像例如曝光条件的亮度值来确定适当图像。以下将详细描述聚焦位置。
例如,这里将描述通过针对场景中存在的多个被摄体设置不同的聚焦位置来拍摄图像的AF包围曝光拍摄。在AF包围曝光中,将具有不同距离的各个被摄体设置为AF包围曝光目标被摄体,并且进行包围曝光拍摄。将通过包围曝光拍摄的图像与对焦的AF包围曝光目标被摄体相关联地存储。之后,对通过包围曝光拍摄的各个图像进行针对关联的目标被摄体的预定图像处理以生成图像。然而,当被摄体在从拍摄待机时至包围曝光拍摄的期间移动时,可以生成关联的目标被摄体是散焦的图像,作为通过包围曝光拍摄的图像。然而,在本发明中,在步骤S303中,在各个包围曝光图像中测量被摄体区域的各个像素值的清晰度(sharpness),并且可以再次选择具有最高清晰度的包围曝光图像,作为与目标被摄体对应的包围曝光图像。
注意,可以通过例如,比较由被摄体区域的像素值获得的高频分量的平均强度来进行清晰度确定。然而,可以使用任何其他已知的方法。这使得即使在包围曝光拍摄时被摄体的环境或状态改变时,也能够重新选择适于目标被摄体的包围曝光图像,并且基于目标被摄体生成处理的图像。如上所述,即使在AF包围曝光的示例中,也能够获取满意的处理图像。
已经使用滤色作为示例描述了图像处理。另选地,例如,可以使用背景模糊处理。在背景模糊处理中,可以对未包括在被摄体区域中的区域(称为背景区域)进行模糊处理。此时,在本发明中,即使在从拍摄待机时到实际拍摄的期间场景改变时,也能够遮蔽背景区域以不引起位置偏移。
此外,在滤色处理中,仅在光晕滤波器(vignetting filter)的处理区域具有不与被摄体区域重叠的位置关系时,可以应用产生使图像的周边区域变暗的效果的光晕滤波器。作为光晕滤波器,例如,可以使用诸如随着距图像的中心的距离的增大而降低亮度值的算术处理等的各种已知方法。当仅在光晕滤波器的处理区域具有不与被摄体区域重叠的位置关系时应用光晕滤波器时,能够获得防止生成包括暗被摄体区域的不方便图像的效果。
其他实施例
本发明的实施例还可以通过读出并执行记录在存储介质(还可以全称为“非暂时性计算机可读存储介质”)上的用于执行一个或多个上述实施例的功能的计算机可执行指令(例如,一个或多个程序)、和/或包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如,专用集成电路(ASIC))的***或装置的计算机来实现,以及通过由***或装置的计算机例如从存储介质读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令、和/或控制一个或多个电路来执行一个或多个上述实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括读出并执行计算机可执行指令的独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置,该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使其涵盖所有这些变型以及等同的结构和功能。

Claims (9)

1.一种摄像装置,所述摄像装置包括:
拍摄单元;
分析单元,其被构造为分析由所述拍摄单元拍摄的图像;以及
图像处理单元,其被构造为基于所述分析单元的分析结果来处理所述图像,
其中,所述分析单元进一步被构造为对所述拍摄单元在拍摄指令之前的拍摄待机期间生成的待机图像进行分析,以从所述待机图像中检测被摄体,并且所述拍摄单元根据所述拍摄指令,使用针对各个被摄体设置的拍摄条件,对所检测到的被摄体进行包围曝光拍摄,
所述分析单元进一步被构造为对通过所述包围曝光拍摄生成的多个包围曝光图像进行分析,以从所述多个包围曝光图像中检测包括所述被摄体的被摄体区域,针对检测到的各个被摄体区域通过与所述拍摄条件的关联进行确定,并根据确定的结果,针对各个被摄体区域选择所述多个包围曝光图像中的至少一个包围曝光图像,并且
所述图像处理单元进一步被构造为,对针对各个被摄体区域选择的包围曝光图像,执行图像处理。
2.根据权利要求1所述的摄像装置,其中,所述拍摄条件是曝光条件、关于闪光灯的强度的条件以及关于ISO速度的条件中的一者,并且
所述分析单元进一步被构造为,基于各个被摄体区域的亮度值与预定值之差,选择包括具有最小差值的所述被摄体区域的包围曝光图像,作为所述至少一个包围曝光图像。
3.根据权利要求1所述的摄像装置,其中,所述拍摄条件是关于聚焦位置的条件,并且
所述分析单元进一步被构造为,基于所述被摄体区域中包括的像素的清晰度,选择包括具有最高清晰度的所述被摄体区域的包围曝光图像,作为所述至少一个包围曝光图像。
4.根据权利要求1至3中的任一项所述的摄像装置,其中,所述图像处理单元进一步被构造为,从所述至少一个包围曝光图像中,对与所述包围曝光图像相关联的所述被摄体进行修剪处理。
5.根据权利要求1至3中的任一项所述的摄像装置,其中,所述分析单元进一步被构造为,在确定在至少多个包围曝光图像之间拍摄环境未改变的情况下,从所述多个包围曝光图像中选择所述至少一个包围曝光图像。
6.根据权利要求5所述的摄像装置,其中,在针对所述多个包围曝光图像的各个中检测到的相同被摄体满足以下条件中的至少一个的情况下,所述分析单元确定在所述多个包围曝光图像之间所述拍摄环境未改变,所述条件为:
所述被摄体的移动量不超过预定移动量,
在所述多个包围曝光图像之间视角的改变量不超过预定改变量,以及
在所述多个包围曝光图像之间亮度值的改变量不超过预定亮度改变量。
7.根据权利要求1至3中的任一项所述的摄像装置,其中,所述图像处理包括,使用与所述被摄体区域中包括的所述被摄体的类型相对应的滤波器的滤色处理。
8.根据权利要求1至3中的任一项所述的摄像装置,其中,所述拍摄单元进一步被构造为,进行与从所述待机图像中检测到的被摄体的数量一样多的次数或预定次数的所述包围曝光拍摄。
9.一种摄像装置的控制方法,所述摄像装置包括拍摄单元、被构造为分析由所述拍摄单元拍摄的图像的分析单元以及被构造为基于所述分析单元的分析结果处理所述图像的图像处理单元,所述控制方法包括以下步骤:
使所述分析单元分析所述拍摄单元在拍摄指令之前的拍摄待机期间生成的待机图像,并且从所述待机图像中检测被摄体;
使所述拍摄单元根据所述拍摄指令,使用针对各个检测到的被摄体设置的拍摄条件来进行包围曝光拍摄;
使所述分析单元分析通过所述包围曝光拍摄生成的多个包围曝光图像,并且从所述多个包围曝光图像中检测包括所述被摄体的被摄体区域;
使所述分析单元针对检测到的各个被摄体区域通过与所述拍摄条件的关联进行确定,并且根据确定的结果,针对各个被摄体区域选择所述多个包围曝光图像中的至少一个包围曝光图像;以及
使所述图像处理单元对针对各个被摄体区域选择的包围曝光图像执行图像处理。
CN201410743607.9A 2013-12-10 2014-12-08 摄像装置及摄像装置的控制方法 Expired - Fee Related CN104702824B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-255373 2013-12-10
JP2013255373A JP6267502B2 (ja) 2013-12-10 2013-12-10 撮像装置、撮像装置の制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN104702824A CN104702824A (zh) 2015-06-10
CN104702824B true CN104702824B (zh) 2017-12-15

Family

ID=53272397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410743607.9A Expired - Fee Related CN104702824B (zh) 2013-12-10 2014-12-08 摄像装置及摄像装置的控制方法

Country Status (3)

Country Link
US (1) US20150163391A1 (zh)
JP (1) JP6267502B2 (zh)
CN (1) CN104702824B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10230888B2 (en) * 2015-07-31 2019-03-12 Qualcomm Incorporated Sensor-based camera initialization
CN105898151A (zh) * 2015-11-15 2016-08-24 乐视移动智能信息技术(北京)有限公司 图像处理方法及装置
JP2017142753A (ja) * 2016-02-12 2017-08-17 キヤノン株式会社 情報処理装置、方法、プログラム、および記憶媒体
WO2017216933A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN106357987B (zh) * 2016-10-19 2018-08-07 浙江大华技术股份有限公司 一种曝光方法和装置
JP6942472B2 (ja) * 2017-01-13 2021-09-29 キヤノン株式会社 映像認識装置、映像認識方法及びプログラム
CN107370940B (zh) * 2017-06-16 2019-08-02 Oppo广东移动通信有限公司 图像获取方法、装置及终端设备
CN107749952B (zh) * 2017-11-09 2020-04-10 睿魔智能科技(东莞)有限公司 一种基于深度学习的智能无人摄影方法和***
JP7197981B2 (ja) * 2018-01-24 2022-12-28 キヤノン株式会社 カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
US11727538B2 (en) * 2019-10-22 2023-08-15 Canon U.S.A., Inc. Apparatus and method for determining sharpness
CN111050069B (zh) * 2019-12-12 2021-11-23 维沃移动通信有限公司 一种拍摄方法及电子设备
JP7471832B2 (ja) * 2020-01-23 2024-04-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4422667B2 (ja) * 2005-10-18 2010-02-24 富士フイルム株式会社 撮影装置および撮影方法
JP2007259004A (ja) * 2006-03-23 2007-10-04 Nikon Corp デジタルカメラ、画像処理装置及び画像処理プログラム
JP4750063B2 (ja) * 2007-03-28 2011-08-17 富士フイルム株式会社 撮像装置および撮像方法
JP4848569B2 (ja) * 2007-06-14 2011-12-28 シャープ株式会社 デジタルカメラ、カメラ付き携帯電話
JP4666179B2 (ja) * 2007-07-13 2011-04-06 富士フイルム株式会社 画像処理方法および画像処理装置
JP5083090B2 (ja) * 2007-09-18 2012-11-28 ソニー株式会社 表示制御装置、撮像装置、表示制御方法およびプログラム
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP4850818B2 (ja) * 2007-11-30 2012-01-11 キヤノン株式会社 画像処理装置およびその方法
JP5381060B2 (ja) * 2008-02-05 2014-01-08 株式会社リコー 撮像装置およびその画像処理方法
KR20090113076A (ko) * 2008-04-25 2009-10-29 삼성디지털이미징 주식회사 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법
JP5224955B2 (ja) * 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2012119788A (ja) * 2010-11-29 2012-06-21 Fujifilm Corp 撮影装置、画像処理装置、撮影方法及び画像処理方法
US9019400B2 (en) * 2011-05-31 2015-04-28 Olympus Imaging Corp. Imaging apparatus, imaging method and computer-readable storage medium
JP5240349B2 (ja) * 2011-11-14 2013-07-17 カシオ計算機株式会社 画像合成装置、及びプログラム
US20150085159A1 (en) * 2013-09-20 2015-03-26 Nvidia Corporation Multiple image capture and processing

Also Published As

Publication number Publication date
CN104702824A (zh) 2015-06-10
JP2015115714A (ja) 2015-06-22
JP6267502B2 (ja) 2018-01-24
US20150163391A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
CN104702824B (zh) 摄像装置及摄像装置的控制方法
US8106995B2 (en) Image-taking method and apparatus
US9288391B2 (en) Image pickup apparatus, image pickup system, and method of controlling image pickup apparatus
JP6259185B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP4923005B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP5395512B2 (ja) 撮影装置
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
JP2017220892A (ja) 画像処理装置及び画像処理方法
JP2006211416A (ja) 画像処理装置及び方法
US11245852B2 (en) Capturing apparatus for generating two types of images for display from an obtained captured image based on scene luminance and exposure
US8570394B1 (en) Systems, methods, and mediums for adjusting an exposure of an image using a histogram
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP4760496B2 (ja) 画像データ生成装置、画像データ生成方法
JP5029765B2 (ja) 画像データ生成装置、画像データ生成方法
JP5403087B2 (ja) 画像処理装置
KR20110090080A (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP5111023B2 (ja) 撮像装置及びその制御方法
JP6271985B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2010032669A (ja) ディジタル・スチル・カメラおよびその制御方法
JP5855624B2 (ja) 撮影装置、撮影方法、およびプログラム
JP2017069673A (ja) 撮像装置、撮像方法および撮像プログラム
JP2017033274A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009017368A (ja) デジタルカメラ
JP2013183220A (ja) カメラ、画像処理装置
JP2009071407A (ja) 撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171215

Termination date: 20201208