CN108289170B - 能够检测计量区域的拍照装置、方法及计算机可读介质 - Google Patents

Abstract

本发明提出一种能够检测计量区域的拍照装置，包括：处理器和存储器,所述存储器包括可被所述处理器执行的指令,所述指令包括以下操作：采集包含深度信息的图像；分析所述深度信息以确定计量区域。本发明还提出一种能够检测计量区域的拍照方法。本发明的能够检测计量区域的拍照装置及方法，利用深度信息来自动确定计量区域，从而在背光光强不合适或者相机视场中仅存在部分人脸时，也能够自动识别出人脸区域，所拍摄的照片清晰度、曝光度、色彩饱和度均能够满足用户的一般要求，极大地提升了用户的拍照体验。

Description

能够检测计量区域的拍照装置、方法及计算机可读介质

技术领域

本发明相机设备领域，特别涉及一种能够检测计量区域的拍照装置及方法。

背景技术

自拍已成为人们生活中比较常见的活动之一，在手机、电脑、平板等计算设备上配备摄像头，并通过在设备中配置用于控制摄像头的软硬件来控制拍摄从而完成自拍，大部分的设备中还配有显示屏实时显示被拍摄对象的状态。照片的质量取决于多种因素，比如相机的对焦、曝光等，有经验的拍照人员可以通过调整这些因素的参数从而拍照出高质量的照片，然而并非所有用户都具备这一能力。

对此，越来越多的相机或者相关的拍照装置都具备自动调整能力，比如自动对焦(AF)技术、自动曝光(AE)技术等。随着人脸检测技术的发展，自动人脸检测技术还可以实现全自动快速对人脸进行自动对焦、自动曝光，以实现高质量的自拍。

然而，在一些条件下，这些技术难以得到应用。比如在背光光强太强时，导致人脸区域强度太弱，使得无法检测人脸；另外，对于相机视场中仅存在部分人脸，或者人脸部分区域被遮挡时也无法自动检测人脸。这些条件降低了用户的拍照体验。

发明内容

本发明的目的是为了解决现有技术中背光光强不合适或者相机视场中仅存在部分人脸时用户的拍照体验差的问题，提出一种能够检测计量区域的拍照装置及方法。

本发明的能够检测计量区域的拍照装置，包括：处理器和存储器,所述存储器包括可被所述处理器执行的指令,所述指令包括以下操作：采集包含深度信息的图像；分析所述深度信息以确定计量区域。

在优选的实施方式中，所述指令还包括以下操作：计算所述计量区域的计量值并与预设阈值进行比较，基于比较结果调整相机的参数。在更优选的实施方式中，所述计量值包括反映光强的像素值，所述参数包含快门速度、光圈大小、感光度中的一种或多种；或者在更优选的实施方式中，所述计量值包括距离，所述参数包含所述相机的镜头焦距。

在优选的实施方式中，所述包含深度信息的图像包括深度图像与二维图像，所述二维图像包括彩色图像、灰度图像中的一种或多种。

在优选的实施方式中，所述分析所述深度信息以确定计量区域还包括以下子步骤：获取所述深度信息中的最近点；根据最近点确定所述计量区域。或者在优选的实施方式中，所述分析所述深度信息以确定计量区域还包括以下子步骤：分析所述深度信息以确定目标轮廓；根据所述目标轮廓计算计量区域。

本发明还提出一种包含计算机程序的计算机可读介质，所述计算机程序可***作来使计算机执行以下操作：利用相机采集包含深度信息的图像；分析所述深度信息以确定计量区域；计算所述计量区域的计量值以调整所述相机的参数；根据调整后的参数采集图像。

本发明还提出一种能够检测计量区域的拍照方法，包括以下步骤：利用相机采集包含深度信息的图像；分析所述深度信息以确定计量区域；计算所述计量区域的计量值以调整所述相机的参数；根据调整后的参数采集图像。

在优选的实施方式中，在所述利用相机采集包含深度信息的图像之前还包括以下步骤：利用相机采集图像；分析所述图像以判断是否有目标存在，如果没有目标存在时，进行如上所述的能够检测计量区域的拍照方法。

与现有技术相比，本发明的有益效果有：

本发明的能够检测计量区域的拍照装置及方法，利用深度信息来自动确定计量区域，进而自动调整相机参数，从而在背光光强不合适或者相机视场中仅存在部分人脸时，也能够自动识别出人脸区域，所拍摄的照片清晰度、曝光度、色彩饱和度均能够满足用户的一般要求，极大地提升了用户的拍照体验。

附图说明

图1是本发明一个实施例中用户拍照示意图。

图2是本发明一个实施例中能够检测计量区域的拍照装置结构示意图。

图3是本发明一个实施例中相机参数自动调整流程图。

图4是本发明一个实施例中利用深度图像确定计量区域的流程图。

图5是本发明一个实施例中计量区域确定流程图。

图6是本发明一个实施例中拍照装置及拍照示意图。

图7是本发明一个实施例中不完全人脸计量区域示意图。

图8是本发明一个实施例中部分人脸被遮挡的计量区域示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

图1是根据本发明一个实施例的用户拍照示意图。用户10手持拍照装置11对自己进行拍照以获取图像，在拍照时将拍照装置11的相机111对准用户脸部101以采集脸部图像。这一拍照方式一般称为自拍，在一些实施例中，拍照装置11也可以由其他用户控制或者自动对用户进行拍照。拍照装置11中设置有用于拍照的相机111，相机可以分布在装置的不同位置，比如装置的前后表面均设置有拍照相机；相机111可以是彩色相机、灰度相机、广角相机、长焦相机、光场相机、深度相机、双摄相机等任何合适的相机类型，所拍摄的图像相应的可以包括彩色(如RGB图像)、灰度等二维图像，也可以包括深度图像等三维图像。

在对人像特别是人脸进行拍照时，往往需要对人脸区域进行对焦以实现对人脸清晰成像。除了焦距，影响成像质量的还有快门、光圈、感光度等，这些在后面统称为曝光参数，合理地设置曝光参数将会使得人脸区域以合理的亮度呈现，以避免少量曝光或过量曝光的情形。

本发明将提供一种能够检测计量区域的拍照装置，在拍照过程中能够自动调整相机参数，在后面的说明中将以彩色相机、所拍摄的图像为RGB图像为例进行说明。可以理解的是，本发明的方案也适用于其他相机。

图2是根据本发明一个实施例的拍照装置结构示意图。拍照装置包括相机处理器20、相机21、存储器24，在一些实施例中还可以包括显示器22、深度相机23。

相机21包括透镜210、光圈211、图像传感器212、快门(图中未示出)以及镜头调整***213等。透镜210用于将目标光线聚集在图像传感器212上，图像传感器212接收光线并将光信号转换成电信号，电信号被图像处理器(图中未示出)处理后以输出目标的图像。在拍照过程中，镜头调整***213用于控制镜头进行调整，其包括实现调整的机械驱动，比如快门马达、音圈马达等。

相机21与处理器20连接，处理器20用于接收由相机21传输来的图像数据，图像可以进一步被传输至显示器22进行显示。同时，处理器20还可以用于控制相机的调整，比如发出控制信号至镜头调整***以实现焦距、曝光参数的调整。

对于具备自动调整能力的拍照装置而言，其含有自动调整的相关程序，比如自动对焦程序240、自动曝光程序241等，其被存储在存储器24内，在激活相应自动调整功能时，处理器20将会从存储器24中调用相应的自动调整程序并执行。存储器24可以是任何类型的存储介质，比如ROM、RAM、FLASH等。存储器24还可以包括计量区域检测程序242、RGBD配准程序243，还可以包括在程序执行过程中产生的临时数据等。

处理器20可以由单个或多个处理器单元组成。显示器22也可以包括触摸功能以实现与用户的交互。

深度相机23用于采集深度图像，在本发明中将采用主动光照明的深度相机，比如红外结构光深度相机、TOF深度相机等。在采集深度图像时，首先利用主动光照明器提供主动光照明，比如泛光、结构光照明等。深度相机23与相机21可以是集成的单一相机也可以是独立的相机。当为独立的相机时，由于二者在空间中位置的不同导致有视差，在一些应用中需要将二者的图像进行配准。在一个实施例中，相机21为RGB相机，配准程序为RGBD配准程序243。当相机21与深度相机23获取了RGB图像与深度图像后，由处理器20执行RGBD配准程序243，实现RGB图像与深度图像的对齐。当是一体化集成的相机时，可以理解该相机用于获取包含深度信息的图像，例如RGBD图像等。

图3是根据本发明一个实施例的相机参数自动调整的流程图。以自动曝光功能为例，当程序开始后，进行步骤S301,处理器控制相机对目标进行成像并采集目标图像，接着进行步骤S302,确定图像中的测光计量区域，测光计量区域即为图像中需要清晰成像的区域，例如人脸区域。测光计量区域的确定也可以在本发明的自动调整程序执行过程中调用计量区域检测程序来确定，比如基于人脸检测的计量区域检测程序，通过该程序自动检测到人脸区域，将人脸区域作为测光计量区域。在一些实施例中，测光计量区域也可以由用户手动确定，比如通过触摸交互来指定测光计量区域。然后进行步骤S303,计算计量区域中的计量值，计量值可以是该区域中反映光线强度的像素值(平均值或加权平均值等)，也可以是其他方式定义的反映图像清晰度或亮度的数值。接下来执行步骤S304，即根据计量值调整相机参数，更具体地，在一个实施例中将计量值与预设的阈值进行比较，比如对于计量值是平均像素值的情形下，将阈值设置为像素值最大值的18％，即对于8位的像素格式，像素值位于0～255之间，则将阈值选取为46。当计量值小于46时，调整曝光参数如降低快门速度、提高光圈值、提高图像传感器的感光度(ISO)等，反之则往相反的方向调整曝光参数。最后，处理器根据调整后的参数通过镜头调整***213对相机21进行调整，并基于调整后的参数采集图像(305)。需要说明的是，在步骤S301中，处理器控制相机进行采集的目标图像是预览图像，一般图像显示效果不佳，而步骤S305中，基于调整后的参数采集图像，曝光度和清晰度已经被调到了较佳的状态，一般能够满足用户的拍照要求。

对于自动对焦程序，其原理与自动曝光程序类似，不同的是，计量区域可以是面区域也可以是单个点，计量区域的计量值是对焦区域/点的距离信息，所调整的相机参数为镜头的焦距。

自动调整程序中的核心环节为计量区域的确定，基于传统人脸识别的计量区域检测方式有缺陷，即当背光太强或者人脸区域不全时，难以检测到人脸区域，从而无法实现自动调整。

图4是根据本发明一个实施例的利用深度图像确定计量区域的流程图。该流程图反映的指令程序可以是自动调整程序如自动对焦程序240、自动曝光程序241中的一部分，也可以是其他程序，比如计量区域检测程序242或者是计量区域检测程序242中的一部分。程序开始后，进行步骤S401，处理器将调用深度相机采集深度图像，然后进行步骤S402，分析该深度图像，基于分析结果判断是否有人脸存在，当有人脸存在时，则进行步骤S403，即根据人脸确定计量区域；当未检测到人脸时，则进行步骤S404，获取深度图像中的最近点，然后进行步骤S405，根据最近点所在的区域确定计量区域。在步骤S402中，利用深度图像进行人脸检测的方法可以采用任意合适的方法，比如模板匹配法、特征提取等。由于深度图像的获取往往基于主动光照明，比如红外光，因此基于深度图像的人脸检测所受到的背光影响较小，从而解决了传统由背光强度不合适导致人脸检测失败的问题。

在一些实施例中，当仅有部分人脸在深度图像中时，基于模板匹配、特征提取等的人脸检测算法将难以检测到人脸区域。考虑到在拍照时，人脸是离相机最近的区域，因此在一个实施例中可以通过在深度图像中搜寻最近点来确定人脸区域。在步骤S404中首先获取深度图像中的最近点，需要注意的是这里的最近点并非就指单个像素点，也可以指多个像素组成的区域，其次在步骤S405中根据最近点确定计量区域，比如利用区域生长法由最近点生长出人脸区域；在一些实施例中，也可以通过图像分割算法分割出图像的各个部分，含有最近点的部分即为人脸区域；在一些实施例中，可以利用基于最近点的测地距离计算法分割出人脸区域。

在图4所示的实施例中，在步骤S403或者步骤S405中利用深度图像获取到计量区域后，也可以将该计量区域应用图3所示实施例自动调整流程中的步骤S302中。当深度相机23与相机21为独立的相机时，由于相互之间有视差存在，因此这一步骤还需要调用RGBD配准程序243以实现深度图像与RGB图像的对齐，从而可以根据深度图像中的计量区域获取RGB图像中的计量区域。在一些实施例中，深度相机23与相机21集成在一起，由此可以同时获取没有视差的深度图像与RGB图像，换句话说，获取含有深度信息的RGB图像。

可以理解的是，在一些实施例中，也可以去掉步骤S402和步骤S403，即在步骤S401中采集完深度图像后，直接进行步骤S404和S405，即获取深度图像中的最近点，并根据该最近点来获取计量区域，由此可以快速进行计量区域的定位，从而跳过图像分析、人脸检测的复杂且耗时的过程。

在一些实施例中，也可以结合基于RGB图像与深度图像来确定计量区域。图5是根据本发明一个实施例的计量区域确定流程图。在程序开始后，首先进行步骤S501，即采集RGB图像，然后进行步骤S502，分析该RGB图像以判断是否有人脸存在，当有人脸存在时，则进行步骤S503，即根据人脸确定计量区域，若未检测到人脸(即出现背光过强、人脸不全等条件时)时，则采用如图4所示的基于深度图像的计量区域确定流程，在图5所示的实施例中，具体包括步骤S504和步骤S505,即采集和分析深度相机视场中的深度图像，基于分析结果判断是否有人脸存在，当有人脸存在时，则进行步骤S506，即根据人脸确定计量区域；当未检测到人脸时，则进行步骤S507，获取深度图像中的最近点，然后进行步骤S508，根据最近点所在的区域确定计量区域。同样可以理解的是，如上所述，在一些实施例中，可以去掉步骤S505和步骤S506，即在步骤S504中采集完深度图像后，直接进行步骤S507和S508，即获取深度图像中的最近点，并根据该最近点来获取计量区域，由此快速进行计量区域的定位，从而跳过图像分析、人脸检测的复杂且耗时的过程。

图6是根据本发明一个实施例的拍照装置及拍照示意图。装置60包括用于采集RGB图像的前置相机602、用于采集深度图像的结构光深度相机(包括红外结构光投影模组604、红外相机601)、显示器605、处理器(图中未示出)以及其他传感器603。用户在利用装置60进行自拍时，处理器开启前置相机602以采集当前人脸的RGB图像并将该人脸图像61实时显示在显示器605上，随后处理器将调用并执行自动调整程序(如自动对焦程序、自动曝光程序等)以实现自动对焦与曝光。具体方法可参见上述结合图3至图5所描述实施例。

在图4和图5所示的实施例中，在步骤S403、步骤S405、步骤S506和步骤S508中均涉及到基于人脸确定计量区域的算法。一般地，传统的二维人脸检测算法输出的是包含人脸的方形区域。考虑到一些曝光不正常情形下人脸边缘的强度相对于中间区域的强度有明显的变化，若将计量区域设置过大包含了人脸边缘区域时，在进行计量值计算时将会不准确(计量值需要准确反映人脸区域的强度，若包含边缘或人脸外部区域，则计量值将不能准确反映人脸区域的强度)，因此，方形区域一般被设置为小于人脸区域，仅包含人脸主要特征的区域，如人眼、鼻子、嘴巴等，比如图6中的计量区域62。

当计量区域小于人脸时，又会出现计量值不能完整反映整体人脸强度的情形。在本发明中，利用深度图像进行人脸检测时，例如以上所述的基于最近点的人脸检测方法中，可以检测出人脸的边缘轮廓(比如图像分割法、区域生长法等)，如图6中所示的人脸轮廓63，也可以检测出包含人脸主要部位的近椭圆形区域(比如测地距离法等)，由于人脸的轮廓本身就是近似于椭圆形，因此为了便于说明起见，将测地距离法等所检测到的近椭圆形区域也看成是人脸轮廓。随后对该计量区域进行计量值计算将可以准确反映人脸强度值(强度值反映图像的清晰度、曝光度等)。在一些实施例中，也可以将计量区域进行一定的缩减，比如将轮廓区域缩减几个像素值，以避免边缘区域强度变化明显的问题。在此需要说明的是,基于测地距离法等检测近椭圆形区域,可以根据上述深度图像中确定的最近点来进行检测,也可以采用其他方法,例如通过分析深度图像中的点阵信息来检测包含人脸主要部位的近椭圆形区域。

在一些实施例中，前置相机602也可以包括多个相机，比如双摄相机。此时可以利用深度相机获取深度图像后分别与两个相机的图像进行RGBD配准，以将深度图像获取的计量区域应用于双摄相机以进一步进行自动对焦、自动曝光等。

图7是根据本发明一个实施例的不完全人脸计量区域示意图。图8是根据本发明一个实施例的遮挡人脸计量区域示意图。图7、图8与图6所示实施例不同的是，当前人脸由于部分出现在相机视场内或者被遮挡，所拍摄的图像中仅包括部分人脸，由于人脸信息不全，已有技术中的人脸检测算法难以识别出人脸位置。在本发明中将利用深度图像进行计量区域检测，比如基于以上所述的基于最近点的人脸检测方法，即可以在图7中获取人脸区域的轮廓70，在图8中获取人脸区域的轮廓80，并进一步基于该轮廓确定计量区域。

可以理解的是，以上各实施例所示的方法或装置可以用于除了人脸拍照之外的其他物体拍照，比如人体全身拍照、动物拍照等。在此可以将人脸轮廓、全身轮廓、动物轮廓等被拍照物体统称为目标轮廓，当该目标轮廓由于部分出现在相机视场内或者被遮挡时，可以通过本发明的计量区域检测装置，分析深度图像来确定该目标轮廓，然后再根据该目标轮廓计算计量区域。本发明通过分析深度图像来确定目标轮廓时，可以基于上述深度信息中的最近点，比如图像分割法、区域生长法等，也可以通过分析深度图像中的点阵信息来检测包含被拍照物体主要部位的区域，并以此来确定目标轮廓。

需要指出，根据实施的需要，可将本发明中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的，均属于对本案的简单变形或变换，落入本案的保护范围。

本发明上述通过分析深度图像以获取计量区域的流程方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种能够检测计量区域的拍照装置，其特征在于，包括：

处理器和存储器,所述存储器包括可被所述处理器执行的指令,所述指令包括以下操作；

在对用户进行拍照时，采集包含深度信息的图像；

分析所述深度信息以确定计量区域，通过在深度图像中搜寻最近点来确定人脸区域，其中，获取所述深度信息中的最近点，根据所述最近点确定所述计量区域；

计算所述计量区域的计量值并根据计量值调整相机参数。

2.根据权利要求1所述的能够检测计量区域的拍照装置，其特征在于，所述指令还包括以下操作：

计算所述计量区域的计量值并与预设阈值进行比较，基于比较结果调整相机的参数。

3.根据权利要求2所述的能够检测计量区域的拍照装置，其特征在于，所述计量值包括反映光强的像素值，所述参数包含快门速度、光圈大小、感光度中的一种或多种。

4.根据权利要求2所述的能够检测计量区域的拍照装置，其特征在于，所述计量值包括距离，所述参数包含所述相机的镜头焦距。

5.根据权利要求1所述的能够检测计量区域的拍照装置，其特征在于，所述包含深度信息的图像包括深度图像与二维图像，所述二维图像包括彩色图像、灰度图像中的一种或多种。

6.根据权利要求1-5任一所述的能够检测计量区域的拍照装置，其特征在于，所述分析所述深度信息以确定计量区域还包括以下步骤：

分析所述深度信息以确定目标轮廓；

根据所述目标轮廓计算计量区域。

7.一种包含计算机程序的计算机可读介质，其特征在于，所述计算机程序可***作来使计算机执行以下操作：

利用相机在对用户进行拍照时采集包含深度信息的图像；分析所述深度信息以确定计量区域，通过在深度图像中搜寻最近点来确定人脸区域，其中，获取所述深度信息中的最近点，根据所述最近点确定所述计量区域；计算所述计量区域的计量值以调整所述相机的参数；

根据调整后的参数采集图像。

8.一种能够检测计量区域的拍照方法，其特征在于，包括以下步骤：

利用相机在对用户进行拍照时采集包含深度信息的图像；

分析所述深度信息以确定计量区域，通过在深度图像中搜寻最近点来确定人脸区域，其中，获取所述深度信息中的最近点，根据所述最近点确定所述计量区域；

计算所述计量区域的计量值以调整所述相机的参数；

根据调整后的参数采集图像。

9.根据权利要求8所述的能够检测计量区域的拍照方法，其特征在于，在所述利用相机采集包含深度信息的图像之前还包括以下步骤：

利用相机采集图像；

分析所述图像以判断是否有目标存在，如果没有目标存在时，进行如权利要求8所述的能够检测计量区域的拍照方法。

Images