CN110197149A

CN110197149A - 耳部关键点检测方法、装置、存储介质及电子设备

Info

Publication number: CN110197149A
Application number: CN201910435868.7A
Authority: CN
Inventors: 马里千
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2019-09-03
Anticipated expiration: 2039-05-23
Also published as: CN110197149B

Abstract

本公开提供一种耳部关键点检测方法、装置、存储介质及电子设备，用以解决相关技术中耳部被遮挡时难以检测到耳部关键点的问题，该耳部关键点检测方法，包括：从视频流的当前帧图像中识别出第一人脸区域；通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

Description

耳部关键点检测方法、装置、存储介质及电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种耳部关键点检测方法、装置、存储介质及电子设备。

背景技术

近年来，随着短视频、自拍美颜等应用的普及，耳部特效作为人脸美颜的一部分也得到了广泛的应用。相关技术中，通常采用二维耳部关键点检测算法(例如卷积神经网络(CNN))确定人脸图像中的耳部关键点，即耳上点、耳结节点、耳屏点、耳下基点、耳下点，在耳部可见的情况下，采用此方法检测到的耳部关键点的位置通常比较准确。但耳部不同于人脸上的其他器官，比如嘴唇，在侧脸的时候耳部会被遮挡，被遮挡耳部的图像信息是缺失的，因此采用现有检测算法难以检测到耳部关键点的正确位置，从而导致难以实现耳部特效。

发明内容

本公开提供一种耳部关键点检测方法、装置、存储介质及电子设备，以至少解决相关技术中耳部被遮挡时难以检测到耳部关键点的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种耳部关键点检测方法，包括：

从视频流的当前帧图像中识别出第一人脸区域；

通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；

通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。在一可能的实现方式中，所述二维属性包括：二维位置；

所述通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性，包括：

通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维位置。

在一可能的实现方式中，所述二维属性还包括：可见性标识；

所述通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性还包括：

通过所述二维检测算法获得所述第一人脸区域中的耳部关键点的可见性标识，所述可见性标识包括表示耳部关键点可见的第一标识和表示耳部关键点不可见的第二标识。

在一可能的实现方式中，所述通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度，包括：

采用标准三维人头网格模型对所述第一人脸区域进行三维重建，获得标准人头空间到屏幕空间的变换矩阵，所述标准人头空间为创建所述标准三维人头网格模型时所建立的坐标系；

根据所述变换矩阵和所述模型中的耳部关键点在所述标准人头空间的第一位置，确定所述模型中的耳部关键点在所述屏幕空间的深度。

在一可能的实现方式中，所述通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，包括：

根据所述变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置；

基于所述变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

在一可能的实现方式中，所述二维属性包括：二维位置；

所述根据所述变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置，包括：

在所述第一人脸区域中的耳部关键点可见，或者所述第一人脸区域中的左右耳部关键点均不可见且所述当前帧图像的前一帧图像中不存在第二人脸区域时，所述第二人脸区域与所述第一人脸区域属于同一人脸，根据所述变换矩阵的逆矩阵、所述深度和所述二维位置确定所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置。

在一可能的实现方式中，在所述第一人脸区域中的一边耳部关键点不可见时，该方法还包括：

利用左右耳部关键点在所述标准人头空间中的对称性，根据可见的一边耳部关键点的第二位置，确定不可见的另一边耳部关键点的第二位置。

在一可能的实现方式中，在所述第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中存在所述第二人脸区域时，该方法还包括：

将所述第二人脸区域中的耳部关键点在所述标准人头空间的第三位置，作为所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置。

在一可能的实现方式中，在确定了所述第二位置之后，该方法还包括：

若所述当前帧图像的前一帧图像中存在第二人脸区域，所述第二人脸区域与所述第一人脸区域属于同一人脸，则基于所述第二位置和所述第二人脸区域中的耳部关键点在所述标准人头空间的第三位置，采用滤波算法计算所述第一人脸区域中的耳部关键点在所述标准人头空间的第四位置；

所述基于所述变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，包括：

基于所述变换矩阵和所述第四位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

根据本公开实施例的第二方面，提供一种耳部关键点检测装置，包括用于执行第一方面或第一方面的任意可能的实现方式中的耳部关键点检测方法的模块。

根据本公开实施例的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第一方面的任意可能的实现方式中的耳部关键点检测方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面的任意可能的实现方式中的耳部关键点检测方法的步骤。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现第一方面或第一方面的任意可能的实现方式中的耳部关键点检测方法的步骤。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过二维检测算法获得视频流的当前帧图像中的第一人脸区域中的耳部关键点在屏幕平面的二维属性，以及通过标准三维人头网格模型对第一人脸区域进行三维重建，获得标准三维人头网格模型中的耳部关键点在屏幕空间的深度，然后通过深度和二维属性确定第一人脸区域中的耳部关键点在屏幕空间的三维位置，这样确定的耳部关键点的三维位置，既保留了三维人脸重建获得的耳部关键点的鲁棒性，稳定性和抗遮挡性，又保留了采用二维检测算法检测到的耳部关键点在耳部可见状态下的准确性，因此有利于提升耳部特效。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种耳部关键点检测方法的流程图；

图2是根据一示例性实施例示出的一种耳部关键点检测装置的结构示意图；

图3是根据一示例性实施例示出的耳部关键点检测装置中第二处理模块的第一种结构示意图；

图4是根据一示例性实施例示出的耳部关键点检测装置中第二处理模块的第二种结构示意图；

图5是根据一示例性实施例示出的耳部关键点检测装置中第二处理模块的第三种结构示意图；

图6是根据一示例性实施例示出的耳部关键点检测装置中第二处理模块的第四种结构示意图；

图7是根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，通常采用二维耳部关键点检测算法确定人脸图像中的耳部关键点，在耳部可见的情况下，采用此方法检测到的耳部关键点的位置通常比较准确，但在耳部被遮挡时耳部关键点的正确位置难以检测到，而且在可见不可见的过渡状态下检测到的耳部关键点的位置抖动性比较大。如果采用三维人脸重建获得耳部关键点，虽然得到的耳部关键点稳定，抗遮挡，但是对于不同的人，很难保证耳部关键点的位置准确，因而无法保证在耳部可见的情况下耳部特效和耳部完美贴合，进而使得耳部特效的效果不佳。

基于此，本公开提供了一种耳部关键点检测方法、装置、存储介质及电子设备。

图1是根据一示例性实施例示出的一种耳部关键点检测方法的流程图，如图1所示，该耳部关键点检测方法用于带图像处理功能的电子设备中，该电子设备可以为手机、计算机、服务器、摄像头、监控设备等，该方法包括以下步骤。

S101、从视频流的当前帧图像中识别出第一人脸区域。

其中，第一人脸区域指需要做耳部特效的人脸(例如需要叠加耳部装饰物的人脸)。

在步骤S101中，可以根据人脸的脸部特征识别人脸区域。例如，可以通过颜色分类、局部特征比对等方法来实现。具体的，人脸识别算法可以采用基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法。

S102、通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度。

其中，标准三维人头网格模型可以是预先建立的，也可以是实时建立的，该标准三维人头网格模型需要对人脸的轮廓关键点进行标定。

在一些实施例中，步骤S102中通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度，可以包括：

在一些实施例中，电子设备可以预先存储有标准三维人头网格模型，提取第一人脸区域的人脸轮廓关键点，基于第一人脸区域的人脸轮廓关键点对标准三维人头网格模型进行缩放、平移、旋转，使得第一人脸区域的人脸轮廓关键点和标准三维人头网格模型中的人脸轮廓关键点在屏幕平面上的投影初步重合，由此获得标准人头空间到屏幕空间的变换矩阵M。

变换矩阵M是一个4*4的矩阵，假设标准三维人头网格模型中的人脸轮廓关键点(例如鼻尖点)在标准人头空间的位置为A＝(x，y，z)，对应的第一人脸区域的人脸轮廓关键点(例如鼻尖点)在屏幕平面的位置为B＝(a，b)，该点在屏幕空间的深度为c，则M*(x，y，z，1)^T＝(a，b，c，1)^T，T表示转置，可以简记为B＝f(M，A)，c＝g(M，A)，f，g分别表示坐标转换的函数。

例如：标准三维人头网格模型中的左右耳部关键点在标准人头空间的第一位置分别为A₁，A₂，则左耳部关键点在屏幕空间的深度为c₁＝g(M，A₁)，右耳部关键点在屏幕空间中的深度为c₂＝g(M，A₂)。

在一些实施例中，二维属性包括：二维位置，步骤S102中通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性，可以包括：

其中，二维检测算法例如可以为卷积神经网络算法、决策树算法、人工神经网络算法等。

例如：第一人脸区域中的左耳部关键点在屏幕平面的二维位置为B₁＝(a₁，b₁)，第一人脸区域中的右耳部关键点在屏幕平面的二维位置为B₂＝(a₂，b₂)。

需要指出的是，二维位置和深度的计算没有先后顺序之分，也就是说，可以先计算二维位置再计算深度，也可以先计算深度在计算二维位置，或者可以二维位置和深度同时计算，本公开实施例对此并不进行限定。

在另一些实施例中，二维属性包括：二维位置和可见性标识，步骤S102中通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性，可以包括：

通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维位置和其可见性标识，其中，可见性标识包括表示耳部关键点可见的第一标识(例如1)和表示耳部关键点不可见的第二标识(例如0)。

比方说，若第一人脸区域中的左耳部关键点不可见，则该左耳部关键点的可见性标识v₁＝0，否则v₁＝1；若第一人脸区域中的右耳部关键点不可见，则该右耳部关键点的可见性标识v₂＝0，否则v₂＝1。

S103、通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

在一些实施例中，步骤S103中通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，可以包括：

根据变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置；

在一些实施例中，上述根据变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置，可以包括：

在所述第一人脸区域中的耳部关键点可见(或者说耳部关键点的可见性标识为第一标识)，或者所述第一人脸区域中的左右耳部关键点均不可见且所述当前帧图像的前一帧图像中不存在第二人脸区域时，所述第二人脸区域与所述第一人脸区域属于同一人脸，根据所述变换矩阵的逆矩阵、所述深度和所述二维位置确定所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置。

例如：若第一人脸区域中的左耳部关键点的可见性标识为第一标识(v₁＝1)，第一人脸区域中的左耳部关键点在标准人头空间中的第二位置为则

若第一人脸区域中的右耳部关键点的可见性标识为第一标识(v₂＝1)，第一人脸区域中的右耳部关键点在标准人头空间中的第二位置为则

若第一人脸区域中的左耳部关键点的可见性标识为第二标识(v₁＝0)，第一人脸区域中的右耳部关键点的可见性标识为第二标识(v₂＝0)，且视频流的当前帧图像的前一帧图像中不存在与第一人脸区域属于同一人脸的第二人脸区域(即前一帧图像中不存在同一人脸)，则通过确定第一人脸区域中的左耳部关键点在标准人头空间中的第二位置通过确定第一人脸区域中的右耳部关键点在标准人头空间中的第二位置

在一些实施例中，在所述第一人脸区域中的一边耳部关键点不可见(或者说耳部关键点的可见性标识为第二标识)时，该方法还可以包括：

例如：若第一人脸区域中的右耳部关键点的可见性标识为第二标识(v₂＝0)，第一人脸区域中的左耳部关键点的可见性标识为第一标识(v₁＝1)，则通过左耳部关键点的第二位置计算右耳部关键点的第二位置，即

若第一人脸区域中的左耳部关键点的可见性标识为第二标识(v₁＝0)，第一人脸区域中的右耳部关键点的可见性标识为第一标识(v₂＝1)，则通过右耳部关键点的第二位置计算左耳部关键点的第二位置，即

在一些实施例中，在所述第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中存在所述第二人脸区域时，该方法还可以包括：

在一些实施例中，在确定了所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置之后，可以直接根据变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

例如：第一人脸区域中的左耳部关键点在屏幕空间的三维位置可以通过来确定，第一人脸区域中的右耳部关键点在屏幕空间的三维位置可以通过来确定。

在一可能的实现方式中，为了降低耳部关键点的位置的抖动性，在确定了所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置之后，该方法还可以包括：

若所述当前帧图像的前一帧图像中存在第二人脸区域，所述第二人脸区域与所述第一人脸区域属于同一人脸，则基于所述第二位置和所述第二人脸区域中的耳部关键点在所述标准人头空间的第三位置，采用滤波算法计算所述第一人脸区域中的耳部关键点在所述标准人头空间的第四位置。

其中，滤波算法例如可以为高斯滤波算法、中值滤波算法、one-euro滤波算法等。

例如：前一帧图像中的第二人脸区域中的左耳部关键点在标准人头空间的第三位置为前一帧图像中的第二人脸区域中的右耳部关键点在标准人头空间的第三位置为可以采用高斯滤波算法获得第一人脸区域中的左耳部关键点在标准人头空间的第四位置第一人脸区域中的右耳部关键点在标准人头空间的第四位置

于是，上述基于所述变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，可以包括：

例如，第一人脸区域中的左耳部关键点在屏幕空间的三维位置可以通过来确定，第一人脸区域中的右耳部关键点在屏幕空间的三维位置可以通过来确定。

需要指出的是，在确定了所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置之后，若所述当前帧图像的前一帧图像中不存在第二人脸区域，也可以直接根据变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

在一些实施例中，所述二维属性包括：二维位置；

所述通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，包括：

若所述第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中不存在所述第二人脸区域，所述第二人脸区域与所述第一人脸区域属于同一人脸，则将所述深度和所述二维位置作为所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置；

否则，根据所述变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置；

例如：第一人脸区域中的左耳部关键点在屏幕空间的三维位置第一人脸区域中的右耳部关键点在屏幕空间的三维位置

需要说明的是，在第一人脸区域中的耳部关键点可见、第一人脸区域中的一边耳部关键点不可见、第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中存在所述第二人脸区域时，可以通过上述方式确定第一人脸区域中的耳部关键点在标准人头空间的第二位置，在此不再赘述。

通过上述方法实现耳部关键点的检测之后，即可基于检测到的耳部关键点进行多种操作，例如，在进行视频直播的过程中，可以确定视频流的当前帧图像中耳部关键点在屏幕空间的三维位置，然后在该位置可以添加虚拟装饰品、贴纸、发光特效等，提升直播效果。

基于同一发明构思，本公开实施例还提供了一种耳部关键点检测装置，图2是根据一示例性实施例示出的一种耳部关键点检测装置框图。参照图2，该耳部关键点检测装置包括人脸识别模块11，第一处理模块12和第二处理模块13。

其中，人脸识别模块11被配置为从视频流的当前帧图像中识别出第一人脸区域；

第一处理模块12被配置为通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；

第二处理模块13被配置为通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

在一可能的实现方式中，第一处理模块12被配置为：

在一可能的实现方式中，二维属性包括：二维位置；

第一处理模块12被配置为：

在一可能的实现方式中，二维属性还包括：可见性标识；

第一处理模块12还被配置为：

通过二维检测算法获得所述第一人脸区域中的耳部关键点的可见性标识，所述可见性标识包括表示耳部关键点可见的第一标识和表示耳部关键点不可见的第二标识。

在一可能的实现方式中，如图3所示，第二处理模块13可以包括：

第一确定子模块131，被配置为根据变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置；

第二确定子模块132，被配置为基于所述变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

在一可能的实现方式中，所述二维属性包括：二维位置；

第一确定子模块131被配置为：

在一可能的实现方式中，第一确定子模块131还被配置为：

在所述第一人脸区域中的一边耳部关键点不可见时，利用左右耳部关键点在所述标准人头空间中的对称性，根据可见的一边耳部关键点的第二位置，确定不可见的另一边耳部关键点的第二位置。

在一可能的实现方式中，第一确定子模块131还被配置为：

在所述第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中存在所述第二人脸区域时，将所述第二人脸区域中的耳部关键点在所述标准人头空间的第三位置，作为所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置。

在另一可能的实现方式中，如图4所示，上述第二处理模块13还可以包括：

滤波模块133，被配置为在确定了所述第二位置之后，若所述当前帧图像的前一帧图像中存在第二人脸区域，所述第二人脸区域与所述第一人脸区域属于同一人脸，则基于所述第二位置和所述第二人脸区域中的耳部关键点在所述标准人头空间的第三位置，采用滤波算法计算所述第一人脸区域中的耳部关键点在所述标准人头空间的第四位置；

第二确定子模块132被配置为：

在一可能的实现方式中，如图5所示，第二处理模块13可以包括：

第三确定子模块134，被配置为若所述第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中不存在所述第二人脸区域，所述第二人脸区域与所述第一人脸区域属于同一人脸，则将所述深度和所述二维位置作为所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置；

第四确定子模块135，被配置为若所述第一人脸区域中的左右耳部关键点并非均不可见，或者所述第一人脸区域中的左右耳部关键点均不可见且所述前一帧图像中存在所述第二人脸区域，根据所述变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置；

第五确定子模块136，被配置为基于所述变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

在一可能的实现方式中，二维属性包括：二维位置；

第四确定子模块135被配置为：

在所述第一人脸区域中的耳部关键点可见时，根据所述变换矩阵的逆矩阵、所述深度和所述二维位置确定所述第一人脸区域中的耳部关键点在所述标准人头空间的第二位置。

在一可能的实现方式中，第四确定子模块135还被配置为：

在另一可能的实现方式中，如图6所示，上述第二处理模块13还可以包括：

第五确定子模块136被配置为：

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

基于同一发明构思，本公开实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意可能的实现方式中的耳部关键点检测方法的步骤。

可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

基于同一发明构思，本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现上述任意可能的实现方式中的耳部关键点检测方法的步骤。

基于同一发明构思，参见图7，本公开实施例还提供了一种电子设备，包括存储器71(例如非易失性存储器)、处理器72及存储在存储器71上并可在处理器72上运行的计算机程序，处理器72执行所述程序时实现上述任意可能的实现方式中的耳部关键点检测方法的步骤。该电子设备例如可以为手机、计算机、服务器、摄像头、监控设备等。

如图7所示，该电子设备一般还可以包括：内存73、网络接口74、以及内部总线75。除了这些部件外，还可以包括其他硬件，对此不再赘述。

需要指出的是，上述耳部关键点检测装置可以通过软件实现，其作为一个逻辑意义上的装置，是通过其所在的电子设备的处理器72将非易失性存储器中存储的计算机程序指令读取到内存73中运行形成的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种耳部关键点检测方法，其特征在于，包括：

从视频流的当前帧图像中识别出第一人脸区域；

通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

2.根据权利要求1所述的方法，其特征在于，所述二维属性包括：二维位置；

3.根据权利要求2所述的方法，其特征在于，所述二维属性还包括：可见性标识；

4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度，包括：

5.根据权利要求4所述的方法，其特征在于，所述通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，包括：

6.根据权利要求5所述的方法，其特征在于，所述二维属性包括：二维位置；

7.根据权利要求5所述的方法，其特征在于，在确定了所述第二位置之后，该方法还包括：

8.一种耳部关键点检测装置，其特征在于，包括：

人脸识别模块，被配置为从视频流的当前帧图像中识别出第一人脸区域；

第一处理模块，被配置为通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；

第二处理模块，被配置为通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。