CN108111768A - 控制对焦的方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及一种控制对焦的方法、装置、电子设备及计算机可读存储介质。上述方法，包括：采集待拍摄图像；通过卷积神经网络对所述待拍摄图像进行人脸检测，提取所述待拍摄图像的人脸特征，所述卷积神经网络为根据人脸数据集训练得到；根据所述人脸特征构建人脸曲面图；确定所述人脸曲面图的对焦点，并根据所述对焦点对所述待拍摄图像进行对焦。上述控制对焦的方法、装置、电子设备及计算机可读存储介质，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

Description

控制对焦的方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种控制对焦的方法、装置、电子设备及计算机可读存储介质。

背景技术

随着智能移动终端的高速发展，用户使用具备摄像功能的移动终端进行拍照也越来越频繁。拍摄的图像可包括人物图像及风景图像，当需要拍摄人物图像时，通常需要对人脸进行对焦，将人脸作为最佳清晰点进行拍照。

发明内容

本申请实施例提供一种控制对焦的方法、装置、电子设备及计算机可读存储介质，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

一种控制对焦的方法，包括：

采集待拍摄图像；

通过卷积神经网络对所述待拍摄图像进行人脸检测，提取所述待拍摄图像的人脸特征，所述卷积神经网络为根据人脸数据集训练得到；

根据所述人脸特征构建人脸曲面图；

确定所述人脸曲面图的对焦点，并根据所述对焦点对所述待拍摄图像进行对焦。

一种控制对焦的装置，包括：

图像采集模块，用于采集待拍摄图像；

特征提取模块，用于通过卷积神经网络对所述待拍摄图像进行人脸检测，提取所述待拍摄图像的人脸特征，所述卷积神经网络为根据人脸数据集训练得到；

构建模块，用于根据所述人脸特征构建人脸曲面图；

对焦模块，用于确定所述人脸曲面图的对焦点，并根据所述对焦点对所述待拍摄图像进行对焦。

一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

上述控制对焦的方法、装置、电子设备及计算机可读存储介质，通过卷积神经网络对待拍摄图像进行人脸检测，提高待拍摄图像的人脸特征，根据人脸特征构建人脸曲面脸，确定人脸曲面图像对焦点，并根据对焦点对待拍摄图像进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

附图说明

图1为一个实施例中电子设备的框图；

图2为一个实施例中控制对焦的方法的流程示意图；

图3为一个实施例中人脸曲面图的示意图；

图4为一个实施例中构建人脸曲面图的示意图；

图5为一个实施例中由控制点组成的几何立体图形的示意图；

图6为一个实施例中选取人脸进行构建人脸曲面图的流程示意图；

图7为另一个实施例中选取人脸进行构建人脸曲面图的流程示意图；

图8为又一个实施例中选取人脸进行构建人脸曲面图的流程示意图；

图9为一个实施例中控制对焦的装置的框图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中电子设备的框图。如图1所示，该电子设备包括通过***总线连接的处理器、存储器、显示屏和输入装置。其中，存储器可包括计算机可读存储介质及处理器。电子设备的计算机可读存储介质存储有操作***及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种控制对焦的方法。该处理器用于提供计算和控制能力，支撑整个电子设备的运行。电子设备中的内存储器为计算机可读存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图2所示，在一个实施例中，提供一种控制对焦的方法，包括以下步骤：

步骤210，采集待拍摄图像。

电子设备可通过摄像头等成像装置拍摄图像，当电子设备接收到摄像头等的开启操作时，可根据开启操作生成开启指令，并根据开启指令启动摄像头等实时采集待拍摄图像，其中，待拍摄图像可指的是摄像头采集的预览图像。若电子设备检测到用户对拍照控件的触控操作，则可对采集的待拍摄图像进行拍摄，生成照片并进行存储。

步骤220，通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征，卷积神经网络为根据人脸数据集训练得到。

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，是通过机器学习建立的一种可用于图像识别等处理的数据模型。前馈神经网络可采用单向多层结构，每一层中可包括有若干个神经元，同一层的神经元之间可没有互相连接，层间信息的传送只沿一个方向进行，其中第一层称为输入层。最后一层为输出层.中间为隐含层。各个神经元从输入层开始，接收前一级输入，并输出到下一级直至输出层。

电子设备可通过卷积神经网络对采集的待拍摄图像进行人脸检测，并提取待拍摄图像的人脸特征。人脸特征可包括但不限于，用于描述人脸五官轮廓及形状的特征点、各个人脸部位的位置坐标等，人脸部位可包括眼睛、鼻子、嘴巴及皮肤等部位。电子设备通过卷积神经网络提取的每个特征点可包含有坐标值，特征点的坐标值可用特征点对应的像素位置进行表示，例如特征点的坐标值为对应的像素位置第X行第Y列等。可选地，各个人脸部位的位置坐标可根据组成人脸部位的特征点的坐标值进行确定，人脸部位的位置坐标可以是组成该人脸部位的各个特征点的坐标值集合，也可以根据成人脸部位的特征点的坐标值求取中间坐标，并将中间坐标作为该人脸部位的位置坐标等。

可选地，电子设备通过卷积神经网络对采集的待拍摄图像进行人脸检测，可通过卷积神经网络中的多层结构，逐层深入提取待拍摄图像的人脸特征。卷积神经网络可包含有两级数据模型，第一级卷积神经网络可用于检测待拍摄图像中是否包含人脸，第二级卷积神经网络可用于在检测到待拍摄图像中包含人脸时提取对应的人脸特征。电子设备可先通过第一级卷积神经网络粗略判断待拍摄图像中是否包含人脸，若包含，则再通过第二级卷积神经网络精确提取待拍摄图像的人脸特征。

在一个实施例中，电子设备可预先对卷积神经网络进行训练，可获取包含有一张或多张人脸图像的人脸数据集，并将获取的人脸数据集作为样本输入卷积神经网络，对卷积神经网络进行训练。可选地，电子设备可根据第一人脸数据集训练得到第一级卷积神经网络，根据第二人脸数据集训练得到第二级卷积神经网络。第一人脸数据集中可包含一张或多张人脸图像及无人图像，可根据第一人脸数据集中包含的各个图像中是否包含人脸对图像进行标记，比如，可将人脸图像标记为1，无人图像标记为0等，但不限于此。电子设备可将第一人脸数据集中包含的各个携带有人脸标记的图像作为样本输入第一级卷积神经网络，第一级卷积神经网络可对输入的第一人脸数据集进行学习训练。第二人脸数据集中可包含有一张或多张人脸图像，每张人脸图像中可对人脸的特征点进行标记。电子设备可将第二人脸数据集中包含的各个携带有特征点标记的图像作为样本输入第二卷积神经网络，第二级卷积神经网络可对输入的第二人脸数据集进行学习训练。

步骤230，根据人脸特征构建人脸曲面图。

电子设备提取待拍摄图像的人脸特征后，可根据人脸特征构建人脸曲面图，人脸曲面图可采用三维的方式描述人脸形状、五官分布及轮廓等。可选地，电子设备可获取各个人脸部位的位置坐标，人脸部位的位置坐标可以由组成该人脸部位的各个特征点的坐标值组成。电子设备获取各个人脸部位的位置坐标后，可计算各个人脸部位的高度信息，可选地，可计算各个特征点的高度信息及高度变化方向等，从而根据各个特征点的高度信息及高度变化方向等构建人脸曲面图。

图3为一个实施例中人脸曲面图的示意图。如图3所示，电子设备提取待拍摄图像的人脸特征后，可根据各个人脸部位的特征点302的坐标值构建人脸五官的轮廓形状。电子设备可计算各个特征点302的高度信息及高度变化方向等，并根据各个特征点302的高度信息及高度变化方向等构建人脸曲面，从而得到三维的人脸曲面图310。人脸曲面图310中包含的各个特征点302可用于描述人脸五官的轮廓形状及曲面高度变化等。

步骤240，确定人脸曲面图的对焦点，并根据对焦点对待拍摄图像进行对焦。

电子设备构建人脸曲面图后，可确定人脸曲面图的对焦点，对焦点可以是一个或多个，当根据对焦点待拍摄图像进行对焦后，选取的对焦点可以是对焦后全张图像中最清晰的点。可选地，人脸曲面图的对焦点可以是人脸曲面图的几何中心点，也可以是预先选择的人脸部位的中心位置点等，比如，可以是眼睛部位的中心位置点等但不限于此。

在一个实施例中，电子设备确定人脸曲面图的对焦点后，可控制摄像头等的马达驱动摄像头到达对焦点，并进行待拍摄图像进行自动对焦，生成照片后可进行存储。

在本实施例中，通过卷积神经网络对待拍摄图像进行人脸检测，提高待拍摄图像的人脸特征，根据人脸特征构建人脸曲面脸，确定人脸曲面图像对焦点，并根据对焦点对待拍摄图像进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

如图4所示，在一个实施例中，步骤230根据人脸特征构建人脸曲面图，包括以下步骤：

步骤402，根据人脸部位的位置坐标标记控制点。

电子设备可获取待拍摄图像中各个人脸部位的位置坐标，人脸部位的位置坐标可以由组成该人脸部位的各个特征点的坐标值组成。电子设备可根据各个特征点的坐标值，将人脸部位中包含的各个特征点标记为控制点，控制点可用于定位人脸五官的轮廓形状及位置分布等。

步骤404，计算人脸部位的梯度信息，并根据梯度信息确定人脸部位的高度信息。

电子设备可计算各个人脸部位的梯度信息，梯度信息可反映像素点信息变化幅度的大小及方向。可选地，电子设备可将采集的待拍摄图像转化为灰度图像，并计算各个人脸部位中包含的特征点在灰度图像的一阶或二阶导数，得到各个特征点的梯度信息，梯度信息可包括梯度方向及梯度大小等。电子设备可对人脸部位的各个特征点的梯度信息进行积分，计算得到特征点的高度信息，高度信息可用于描述特征点在人脸曲面图中相对于基础平面的高度。

步骤406，根据控制点及与控制点对应的高度信息构建人脸曲面图。

电子设备可被标为控制点的特征点的坐标值及高度信息等构建人脸曲面图，人脸曲面图中除了可反映人脸五官的轮廓形状及位置分布外，还可体现人脸的在曲面上的凹凸变化，贴近真实的人脸。

在其他的实施例中，电子设备也可采用其他方式获取人脸部位的高度信息。例如，电子设备可获取被标记来控制点的特征点的深度信息，并将控制点的深度信息作为高度信息构建人脸曲面图，其中，深度信息可指的是像素点在三维坐标(X，Y，Z)中的深度Z的值，可采用双目测距、结构光或TOF(Time of flight，飞行时间测距法)等方式计算待拍摄图像中各个像素点的深度信息。

在一个实施例中，电子设备可采用体积分确定人脸曲面图的几何中心点，并将几何中心点作为对焦点。电子设备可根据人脸曲面图中各个控制点的坐标值及高度信息得到由控制点组成的几何立体图形，并根据体积分计算几何立体图形的几何中心点，几何中心点指的是将几何立体图形分成矩相等的两部分的所有超平面的交点。体积分是根据X、Y、Z三个方向上的变化率求沿三个方向上的体分布函数，体积分的计算公式可如式(1)所示：

∫∫∫f(x,y,z)dxdydz (1)；

其中，x、y可表示控制点的在待拍摄图像中的像素值，z可表示控制点的高度信息。

图5为一个实施例中由控制点组成的几何立体图形的示意图。如图5所示，人脸曲面图310中可包括被标记为控制点502的特征点，电子设备可根据各个控制点502的坐标值及高度信息组成立体几何图形510。电子设备可采用体积分等方式计算立体几何图形510的几何中心点，并将该几何中心点确定为对焦点。电子设备可控制摄像头对准该对焦点，对待拍摄图像中包含的人脸进行自动对焦。

在本实施例中，可根据人脸特征构建人脸曲面图，并根据人脸曲面图快速找到对焦点，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

如图6所示，在一个实施例中，在步骤220通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征之后，还包括以下步骤：

步骤602，若检测到待拍摄图像中包含至少两张人脸，则计算每张人脸的人脸面积。

电子设备通过卷积神经网络对待拍摄图像进行人脸检测，若检测到待拍摄像图像中包含至少两张人脸，则电子设备可从待拍摄像图像包含的至少两张人脸中选取一张人脸构建人脸曲面图，并进行自动对焦。电子设备可划分每张人脸对应的人脸区域，人脸区域可以采用正方形、矩形等各种形状进行划分。电子设备可根据每张人脸的人脸区域确定每张人脸的人脸面积。可选地，电子设备可统计每张人脸的人脸区域中包含的像素点数量，并将该像素点数量作为人脸面积，也可根据划分的人脸区域的长、宽等值确定人脸面积。

步骤604，选取人脸面积大于第一阈值的人脸。

电子设备可将每张人脸的人脸面积与第一阈值进行比较，并选取人脸面积大于第一阈值人脸。可选地，第一阈值可以是提前进行设置的固定值，也可根据待拍摄图像中包含的人脸面积进行调整。电子设备可获取待拍摄图像中包含的最大的人脸面积，将最大的人脸面积乘以预设比率，得到第一阈值，例如，第一阈值可以是待拍摄图像中包含的最大的人脸面积的20％、35％等，但不限于此。

步骤606，从选取的人脸中确定亮度值最大的人脸，并根据确定的人脸对应的人脸特征构建人脸曲面图。

电子设备选取待拍摄图像中人脸面积大于第一阈值的人脸后，若人脸面积大于第一阈值的人脸数量为一，则直接根据选取的人脸对应的人脸特征构建人脸曲面图，并确定人脸曲面图的对焦点，对该选取的人脸进行自动对焦。若人脸面积大于第一阈值的人脸数量大于一，电子设备可获取各个选取的人脸对应的人脸区域的亮度值，并从中获取亮度值最大的人脸。电子设备可根据亮度值最大的人脸对应的人脸特征构建人脸曲面图，并确定人脸曲面图的对焦点，对该亮度值最大的人脸进行自动对焦。

在本实施例中，当待拍摄图像中包含至少两张人脸时，可根据人脸面积及亮度值等确定进行对焦的人脸，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

如图7所示，在一个实施例中，在步骤220通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征之后，还包括以下步骤：

步骤702，若检测到待拍摄图像中包含至少两张人脸，则对至少两张人脸进行红外热量检测。

电子设备通过卷积神经网络对待拍摄图像进行人脸检测，若检测到待拍摄像图像中包含至少两张人脸，电子设备可对待拍摄图像中包含的每张人脸进行红外热量检测。可选地，电子设备可通过红外探测器对待拍摄图像中的人脸对应的人体进行红外热量检测。根据热辐射原理，人体由于具有温度而向周围空间不断辐射能量。其中，人体温度越高，人体向周围空间辐射的能量越多。

步骤704，获取每张人脸的热量辐射值。

电子设备可通过红外探测器接收人体辐射的能量，并根据接收到辐射能量确定人体的温度。可选地，由于人体恒定温度为37℃，人体会辐射特定波长的红外线，如波长为10μm的红外线。红外探测器可根据接收到的波长为10μm的红外线，将红外线具有的辐射能转化为电信号，从而获取人脸的热量辐射值和人脸对应的人体温度。当人体温度越高，人体向外辐射的能量越多，红外探测器接收到的波长为10μm的红外线越多，即人脸的热量辐射值越高。

步骤706，选取热量辐射值大于第二阈值的人脸，并根据选取的人脸对应的人脸特征构建人脸曲面图。

电子设备可获取待拍摄图像中包含的各张人脸热量辐射值，以及每张人脸对应的人体温度。电子设备可将各张人脸热量辐射值与第二阈值进行比较，并选取热量辐射值大于第二阈值的人脸，其中，热量辐射值大于第二阈值的人脸可判定为活体人脸，热量辐射值小于或等于第二阈值的人脸可判定为非活体人脸，例如雕塑人脸、海报上的人脸等。第二阈值可预先进行设置，例如温度为20℃对应的热量辐射值等，但不限于此。

电子设备选取热量辐射值大于第二阈值的人脸，可根据选取的人脸对应的人脸特征构建人脸曲面图，并确定人脸曲面图的对焦点，对该热量辐射值大于第二阈值的人脸进行自动对焦。可选地，若待拍摄图像中包含至少两张热量辐射值大于第二阈值的人脸，则可从中选取亮度值最大或是人脸面积最大的人脸进行对焦，但不限于此。

在本实施例中，当待拍摄图像中包含至少两张人脸时，可从中选取活体人脸进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

如图8所示，在一个实施例中，在步骤220通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征之后，还包括以下步骤：

步骤802，若检测到待拍摄图像中包含至少两张人脸，则获取每张人脸的深度信息及抖动量。

电子设备通过卷积神经网络对待拍摄图像进行人脸检测，若检测到待拍摄像图像中包含至少两张人脸，电子设备可获取每张人脸的深度信息及抖动量。可选地，电子设备划分每张人脸对应的人脸区域后，可获取人脸区域中包含的各个像素点的深度信息，并计算人脸区域中包含的各个像素点的深度信息的平均值得到人脸的深度信息。

可选地，电子设备可连续采集多帧待拍摄图像，可根据相领帧待拍摄图像中相同人脸包含的像素点的坐标值，计算相邻帧待拍摄图像中相同人脸的位置偏移量，并根据该位置偏移量确定人脸的抖动量。人脸的在相邻帧待拍摄图像中的位置偏移量最大，抖动量可越大。

步骤804，选取抖动量小于第三阈值的人脸。

电子设备可将待拍摄图像中各张人脸的抖动量与第三阈值进行比较，并选取抖动量小于第三阈值的人脸。抖动量小于第三阈值可说明人脸较为稳定，比较不容易出现对焦点跑动的情况。可选地，第三阈值可预先进行设置，也可根据待拍摄图像中包含的人脸的人脸面积进行调整，例如，待拍摄图像中包含的各张人脸的人脸面积均较大时，第三阈值可较大，各张人脸的人脸面积较小时，第三阈值可较小。

步骤806，从抖动量小于第三阈值的人脸中获取深度信息最小的人脸，并根据深度信息最小的人脸对应的人脸特征构建人脸曲面图。

电子设备选取抖动量小于第三阈值的人脸后，可从抖动量小于第三阈值的人脸中获取深度信息最小的人脸。深度信息最小的人脸，说明该人脸对应的人体距离电子设备最近，电子设备可根据深度信息最小的人脸对应的人脸特征构建人脸曲面图，并确定人脸曲面图的对焦点，对该深度信息最小的人脸进行自动对焦。

在本实施例中，当待拍摄图像中包含至少两张人脸时，可根据人脸的抖动量及深度信息等选取人脸进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

在一个实施例中，提供一种控制对焦的方法，包括以下步骤：

步骤(1)，采集待拍摄图像。

步骤(2)，通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征，卷积神经网络为根据人脸数据集训练得到。

可选地，步骤(2)，包括：通过第一级卷积神经网络检测待拍摄图像中是否包含人脸，若包含，则通过第二级卷积神经网络提取待拍摄图像的人脸特征。

步骤(3)，根据人脸特征构建人脸曲面图。

可选地，步骤(3)，包括：根据人脸部位的位置坐标标记控制点；计算人脸部位的梯度信息，并根据梯度信息确定人脸部位的高度信息；根据控制点及与控制点对应的高度信息构建人脸曲面图。

可选地，在步骤(2)之后，还包括：若检测到待拍摄图像中包含至少两张人脸，则计算每张人脸的人脸面积；选取人脸面积大于第一阈值的人脸；步骤(3)，包括：从选取的人脸中确定亮度值最大的人脸，并根据确定的人脸对应的人脸特征构建人脸曲面图。

可选地，在步骤(2)之后，还包括：若检测到待拍摄图像中包含至少两张人脸，则对至少两张人脸进行红外热量检测；步骤(3)，包括：获取每张人脸的热量辐射值；选取热量辐射值大于第二阈值的人脸，并根据选取的人脸对应的人脸特征构建人脸曲面图。

可选地，在步骤(2)之后，还包括：若检测到待拍摄图像中包含至少两张人脸，则获取每张人脸的深度信息及抖动量；选取抖动量小于第三阈值的人脸；步骤(3)，包括：从抖动量小于第三阈值的人脸中获取深度信息最小的人脸，并根据深度信息最小的人脸对应的人脸特征构建人脸曲面图。

步骤(4)，确定人脸曲面图的对焦点，并根据对焦点对待拍摄图像进行对焦。

可选地，步骤(4)，包括：采用体积分确定人脸曲面图的几何中心点，并将几何中心点作为对焦点。

在本实施例中，通过卷积神经网络对待拍摄图像进行人脸检测，提高待拍摄图像的人脸特征，根据人脸特征构建人脸曲面脸，确定人脸曲面图像对焦点，并根据对焦点对待拍摄图像进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

应该理解的是，上述的流程示意图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述的流程示意图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图9所示，在一个实施例中，提供一种控制对焦的装置900，包括图像采集模块910、特征提取模块920、构建模块930及对焦模块940。

图像采集模块910，用于采集待拍摄图像。

特征提取模块920，用于通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征，卷积神经网络为根据人脸数据集训练得到。

可选地，特征提取模块920，还用于通过第一级卷积神经网络检测待拍摄图像中是否包含人脸，若包含，则通过第二级卷积神经网络提取待拍摄图像的人脸特征。

构建模块930，用于根据人脸特征构建人脸曲面图。

对焦模块940，用于确定人脸曲面图的对焦点，并根据对焦点对待拍摄图像进行对焦。

在本实施例中，通过卷积神经网络对待拍摄图像进行人脸检测，提高待拍摄图像的人脸特征，根据人脸特征构建人脸曲面脸，确定人脸曲面图像对焦点，并根据对焦点对待拍摄图像进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

在一个实施例中，人脸特征包括人脸部位的位置坐标。

构建模块930，包括标记单元、梯度计算单元及构建单元。

标记单元，用于根据人脸部位的位置坐标标记控制点。

梯度计算单元，用于计算人脸部位的梯度信息，并根据梯度信息确定人脸部位的高度信息。

构建单元，用于根据控制点及与控制点对应的高度信息构建人脸曲面图。

可选地，对焦模块940，还用于采用体积分确定人脸曲面图的几何中心点，并将几何中心点作为对焦点。

在本实施例中，可根据人脸特征构建人脸曲面图，并根据人脸曲面图快速找到对焦点，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

在一个实施例中，上述控制对焦的装置900，除了包括图像采集模块910、特征提取模块920、构建模块930及对焦模块940，还包括面积计算模块及选取模块。

面积计算模块，用于若检测到待拍摄图像中包含至少两张人脸，则计算每张人脸的人脸面积。

选取模块，用于选取人脸面积大于第一阈值的人脸。

构建模块930，还用于从选取的人脸中确定亮度值最大的人脸，并根据确定的人脸对应的人脸特征构建人脸曲面图。

在本实施例中，当待拍摄图像中包含至少两张人脸时，可根据人脸面积及亮度值等确定进行对焦的人脸，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

在一个实施例中，上述控制对焦的装置900，除了包括图像采集模块910、特征提取模块920、构建模块930、对焦模块940、面积计算模块及选取模块，还包括红外检测模块。

红外检测模块，用于若检测到待拍摄图像中包含至少两张人脸，则对至少两张人脸进行红外热量检测。

构建模块930，还用于获取每张人脸的热量辐射值，选取热量辐射值大于第二阈值的人脸，并根据选取的人脸对应的人脸特征构建人脸曲面图。

在本实施例中，当待拍摄图像中包含至少两张人脸时，可从中选取活体人脸进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

在一个实施例中，上述控制对焦的装置900，除了包括图像采集模块910、特征提取模块920、构建模块930、对焦模块940、面积计算模块、选取模块，及红外检测模块，还包括。

信息获取模块，用于若检测到待拍摄图像中包含至少两张人脸，则获取每张人脸的深度信息及抖动量。

选取模块，还用于选取抖动量小于第三阈值的人脸。

构建模块930，还用于从抖动量小于第三阈值的人脸中获取深度信息最小的人脸，并根据深度信息最小的人脸对应的人脸特征构建人脸曲面图。

在本实施例中，当待拍摄图像中包含至少两张人脸时，可根据人脸的抖动量及深度信息等选取人脸进行对焦，可以提高对图像中的人脸进行对焦时的准确度，并加快对焦速度。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040还可从图像存储器1030接收处理数据，对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。

ISP处理器1040处理图像数据的步骤包括：对图像数据进行VFE(Video FrontEnd，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。

ISP处理器1040处理后的数据可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。上述编码器/解码器1060可为电子设备中CPU、GPU或协处理器等。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数以及ISP处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)，或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

在本实施例中，运用图10中图像处理技术可实现上述的控制对焦的方法。

在一个实施例中，提供一种电子设备，包括存储器及处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

采集待拍摄图像；

通过卷积神经网络对待拍摄图像进行人脸检测，提取待拍摄图像的人脸特征，卷积神经网络为根据人脸数据集训练得到；

根据人脸特征构建人脸曲面图；

确定人脸曲面图的对焦点，并根据对焦点对待拍摄图像进行对焦。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的控制对焦的方法。

在一个实施例中，提供一种包含计算机程序的计算机程序产品，当其在电子设备上运行时，使得电子设备执行时实现上述的控制对焦的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种控制对焦的方法，其特征在于，包括：

采集待拍摄图像；

通过卷积神经网络对所述待拍摄图像进行人脸检测，提取所述待拍摄图像的人脸特征，所述卷积神经网络为根据人脸数据集训练得到；

根据所述人脸特征构建人脸曲面图；

确定所述人脸曲面图的对焦点，并根据所述对焦点对所述待拍摄图像进行对焦。

2.根据权利要求1所述的方法，其特征在于，所述人脸特征包括人脸部位的位置坐标；

所述根据所述人脸特征构建人脸曲面图，包括：

根据人脸部位的位置坐标标记控制点；

计算所述人脸部位的梯度信息，并根据所述梯度信息确定所述人脸部位的高度信息；

根据所述控制点及与控制点对应的高度信息构建人脸曲面图。

3.根据权利要求2所述的方法，其特征在于，所述确定所述人脸曲面图的对焦点，包括：

采用体积分确定所述人脸曲面图的几何中心点，并将所述几何中心点作为对焦点。

4.根据权利要求1所述的方法，其特征在于，在所述提取所述待拍摄图像的人脸特征之后，所述方法还包括：

若检测到所述待拍摄图像中包含至少两张人脸，则计算每张人脸的人脸面积；

选取人脸面积大于第一阈值的人脸；

所述根据所述人脸特征构建人脸曲面图，包括：

从选取的人脸中确定亮度值最大的人脸，并根据确定的人脸对应的人脸特征构建人脸曲面图。

5.根据权利要求1所述的方法，其特征在于，在所述提取所述待拍摄图像的人脸特征之后，所述方法还包括：

若检测到所述待拍摄图像中包含至少两张人脸，则对所述至少两张人脸进行红外热量检测；

所述根据所述人脸特征构建人脸曲面图，包括：

获取每张人脸的热量辐射值；

选取热量辐射值大于第二阈值的人脸，并根据选取的人脸对应的人脸特征构建人脸曲面图。

6.根据权利要求1所述的方法，其特征在于，在所述提取所述待拍摄图像的人脸特征之后，所述方法还包括：

若检测到所述待拍摄图像中包含至少两张人脸，则获取每张人脸的深度信息及抖动量；

选取抖动量小于第三阈值的人脸；

所述根据所述人脸特征构建人脸曲面图，包括：

从所述抖动量小于第三阈值的人脸中获取深度信息最小的人脸，并根据所述深度信息最小的人脸对应的人脸特征构建人脸曲面图。

7.根据权利要求1至6任一所述的方法，其特征在于，所述通过卷积神经网络对所述待拍摄图像进行人脸检测，提取所述待拍摄图像的人脸特征，包括：

通过第一级卷积神经网络检测所述待拍摄图像中是否包含人脸，若包含，则通过第二级卷积神经网络提取所述待拍摄图像的人脸特征。

8.一种控制对焦的装置，其特征在于，包括：

图像采集模块，用于采集待拍摄图像；

特征提取模块，用于通过卷积神经网络对所述待拍摄图像进行人脸检测，提取所述待拍摄图像的人脸特征，所述卷积神经网络为根据人脸数据集训练得到；

构建模块，用于根据所述人脸特征构建人脸曲面图；

对焦模块，用于确定所述人脸曲面图的对焦点，并根据所述对焦点对所述待拍摄图像进行对焦。

9.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。