CN107644228B - 图像处理方法 - Google Patents

Abstract

本公开提供了一种图像处理方法，对佩戴有眼镜的人脸的拍摄图像进行处理，包括：特征点获取操作，获取所述眼镜的镜框的镜框特征点以及所述人脸的人脸特征点；偏差确定操作，根据所述镜框特征点以及所述人脸特征点，确定所述镜框内的所述人脸的畸变边界与所述镜框外的所述人脸的实际边界的偏差；偏差消除操作，根据所述偏差，将所述畸变边界调整至所述实际边界。

Description

图像处理方法

技术领域

本公开涉及一种图像处理方法、图像处理装置及记录介质。

背景技术

随着带摄像功能的便携式设备的快速发展，尤其例如带自拍功能的手机等便携式设备的大量普及，针对人脸拍照而生成的以人脸为主的拍摄图像也越来越多。这样，对于这种以人脸为主的拍摄图像中人脸部位细节画质的要求也越来越高，如何提高人脸部位细节画质就成为本领域技术人员的主要课题。

发明内容

本公开的一个方面提供了一种图像处理方法，对佩戴有眼镜的人脸的拍摄图像进行处理，包括：特征点获取操作，获取所述眼镜的镜框的镜框特征点以及所述人脸的人脸特征点；偏差确定操作，根据所述镜框特征点以及所述人脸特征点，确定所述镜框内的所述人脸的畸变边界与所述镜框外的所述人脸的实际边界的偏差；偏差消除操作，根据所述偏差，将所述畸变边界调整至所述实际边界。

可选地，所述特征点获取操作包括：通过机器学习分别训练所述镜框特征点的模型和所述人脸特征点的模型来获取所述镜框特征点以及所述人脸特征点。

可选地，所述偏差确定操作包括：畸变边界确定操作，根据所述镜框特征点以及所述镜框内的所述人脸特征点之中的框内人脸外侧特征点，来确定所述畸变边界；实际边界确定操作，根据所述镜框特征点以及所述镜框外的所述人脸特征点之中的框外人脸外侧特征点，来确定所述实际边界。

可选地，所述畸变边界确定操作包括：连接所述镜框特征点，并且连接所述框内人脸外侧特征点，形成框内交界点来确定所述畸变边界，所述实际边界确定操作包括：连接所述镜框特征点，并且连接所述框外人脸外侧特征点，从而形成框外交界点来确定所述实际边界。

可选地，所述偏差消除操作包括：人眼区域确定操作，获取所述人脸特征点之中的人眼特征点，根据所述人眼特征点来确定人眼区域；关心区域确定操作，根据所述人眼区域和所述畸变边界来确定关心区域；调整操作，针对所述关心区域，以靠近所述人眼区域尽可能不调整而越远离所述人眼区域调整幅度越大的方式，将所述畸变边界调整至所述实际边界。

可选地，所述关心区域确定操作中，将所述人眼区域的人眼外侧至所述畸变边界的区域确定为所述关心区域。

可选地，所述调整操作中，针对所述关心区域，以靠近所述人眼区域调整权值趋近于0、靠近所述畸变边界调整权值趋近于1的方式，将所述畸变边界调整至所述实际边界。

可选地，所述调整操作中，若所述畸变边界调整至与连接所述镜框特征点形成的镜框边界有交点，则停止该调整操作。

可选地，所述拍摄图像是所述人脸的图像占比例大于50％的图像。

可选地，所述眼镜是近视眼镜。

本公开的另一个方面提供了一种图像处理装置，包括：特征点获取单元，获取所述眼镜的镜框的镜框特征点以及所述人脸的人脸特征点；偏差确定单元，根据所述镜框特征点以及所述人脸特征点，确定所述镜框内的所述人脸的畸变边界与所述镜框外的所述人脸的实际边界的偏差；偏差消除单元，根据所述偏差，将所述畸变边界调整至所述实际边界。

本公开的另一方面提供了一种图像处理设备，包括：处理器、输入/输出装置、存储器，该存储器存储有计算机程序，该计算机程序使所述处理器执行上述一个方面的图像处理方法。

本公开的另一方面提供了一种计算机可读记录介质，存储有计算机程序，该计算机程序使计算机执行上述一个方面的图像处理方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了本公开实施例的图像处理方法所要解决的技术问题(即，技术应用场景)的图，其中，图1(a)示出人脸图像占比较大的图像的示例，图1(b)示出对图1(a)中的由虚线框起的部分进行放大而得到的放大图；

图2示意性示出了本公开实施例的图像处理方法的简要流程图；

图3示意性示出了用于说明本公开实施例的图像处理方法的图像示例图；

图4示意性示出了本公开实施例的图像处理方法中的偏差消除操作的简要流程图；

图5示意性示出了使用本公开实施例的图像处理方法前后的图像对比示例图，其中，图5(a)示意性示出了使用本公开实施例的图像处理方法前的示例图，图5(b)示意性示出了使用本公开实施例的图像处理方法后的示例图；

图6示意性示出了本公开另一实施例的与上述实施例的图像处理方法相对应的图像处理装置的简要结构图；

图7示意性示出了本公开另一实施例的与上述实施例的图像处理方法相对应的具有硬件和软件结构的图像处理设备的简要结构图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

本公开实施例提供了一种图像处理方法。

首先，利用图1来说明本公开实施例的图像处理方法所要解决的技术问题，也即其应用场景。

图1示意性示出了本公开实施例的图像处理方法所要解决的技术问题(即，技术应用场景)的图，其中，图1(a)示出人脸图像占比较大的图像的示例，图1(b)示出对图1(a)中的由虚线框起的部分进行放大而得到的放大图。

近年，随着带摄像功能的便携式设备的快速发展，尤其例如带自拍功能的手机等便携式设备的大量普及，针对人脸拍照而生成的以人脸为主的拍摄图像也越来越多，例如，图1(a)所示的图像就是人脸F的图像占比较大的图像的一个示例，其中所谓“人脸的图像占比较大的图像”一般可以认为是如图1(a)所示那样的人脸F的图像占整体图像的比例大于50％的图像。而且，如图1(b)所示，本发明人发现，对于佩戴眼镜的人群(例如，佩戴有平光眼镜、远视/近视眼镜等)，尤其是佩戴近视度数高的眼镜的人群，在拍照(例如，自拍)后的上述拍摄图像中会发现这样一种现象：由于镜片的折射，如图1(b)所示，在人的眼镜区域(即，在镜框GF内)会产生明显的畸变D而影响拍摄图像的美观。其中，所谓“畸变”现象就是如图1(b)所示出的在镜框GF内的人脸边界与在镜框GF外的实际人脸边界不一致的现象。这样，如何消除上述这种畸变就成为提高人脸部位细节画质的重要一环。

本公开实施例所提供的图像处理方法，就是针对解决上述这种畸变而做出的。

下面，利用图2、图3来具体说明本公开实施例的图像处理方法。

图2示意性示出了本公开实施例的图像处理方法的简要流程图。

图3示意性示出了用于说明本公开实施例的图像处理方法的图像示例图。

如图2并结合图3所示，本公开实施例的图像处理方法包括：特征点获取操作S1、偏差确定操作S2和偏差消除操作S3。

首先，在上述特征点获取操作S1中，获取人脸F的人脸特征点Pf以及眼镜镜框GF的镜框特征点Pg。

接着，在上述偏差确定操作S2中，根据上述镜框特征点Pg以及上述人脸特征点Pf来确定上述镜框GF内的人脸F的畸变边界与上述镜框GF外的上述人脸F的实际边界的偏差。

然后，在上述偏差消除操作S3中，根据上述偏差确定操作S2所得到的上述偏差，将上述畸变边界调整至上述实际边界，以实现图像的补正，从而消除上述畸变。

下面，参照图3来具体说明本公开实施例的图像处理方法的操作过程。

首先，在上述特征点获取操作S1中，可以利用一般常用的例如深度学习法、随机森林法、回归树法等机器学习方法来生成上述镜框GF的镜框特征点检测模型、以及上述人脸F的人脸特征点检测模型进行训练，从而得到如图3所示的多个上述人脸特征点Pf和多个上述镜框特征点Pg。其中，上述人脸特征点Pf以白色圆点表示，上述镜框特征点Pg以灰黑色圆点表示。

此外，在上述偏差确定操作S2中，上述畸变边界是根据上述镜框特征点Pg和上述镜框GF内的上述人脸特征点Pf中的框内人脸外侧特征点Pfi来确定的。具体而言，例如，通过连接上述镜框特征点Pg形成镜框特征点连线，并通过连接上述框内人脸外侧特征点Pfi形成框内人脸外侧特征点连线，从而在上述镜框特征点连线与上述框内人脸外侧特征点连线之间形成交点即框内交界点Pr。在此，上述框内交界点Pr以白色五星表示。将上述框内交界点Pr所连成的虚拟线段确定为上述畸变边界。

此外，在上述偏差确定操作S2中，上述实际边界是根据上述镜框特征点Pg和上述镜框GF外的上述人脸特征点Pf中的框外人脸外侧特征点Pfo来确定的。具体而言，例如，通过连接上述镜框特征点Pg形成镜框特征点连线，并通过连接上述框外人脸外侧特征点Pfo形成框外人脸外侧特征点连线，从而在上述镜框特征点连线与上述框外人脸外侧特征点连线之间形成交点即框外交界点Pd。在此，上述框内交界点Pd以白色十字表示。将上述框内交界点Pd所连成的虚拟线段确定为上述实际边界。

此外，在上述偏差消除操作S3中，如图4所示，可以具体包括人眼区域确定操作S3-1、关心区域确定操作S3-2和调整操作S3-3。

下面，参照图4并结合图3来具体说明偏差消除操作S3。

图4是意性示出了本公开实施例的图像处理方法中的偏差消除操作的简要流程图。

如图4并结合图3所示，首先，在人眼区域确定操作S3-1中，获取上述人脸特征点Pf之中的人眼特征点Pe，并根据人眼特征点Pe来确定出人眼区域。

接着，在关心区域确定操作S3-2中，根据由上述人眼区域确定操作S3-1所确定出的上述人眼区域、以及由上述偏差确定操作S2所确定出的上述畸变边界来确定出关心区域。在此，所谓关心区域(ROI，即Region Of Interest)是指要进行图像像素调整(例如，图像像素拉伸变换)这样的图像处理的调整对象区域。至于该关心区域(ROI)的确定。

具体而言，例如，可以将上述人眼区域的人眼外侧至上述畸变边界的区域确定为关心区域。更具体而言，例如，可以将上述人眼特征点Pe之中的外眼角处的至少1个人眼特征点(或多个眼特征点的连线)至上述畸变边界的区域确定为关心区域(ROI)。

然后，在调整操作S3-3中，针对由上述关心区域确定操作S3-2所确定的上述关心区域(ROI)，以靠近上述人眼区域(例如，人眼外侧区域)尽可能不调整而越远离上述人眼区域(例如，人眼外侧区域)调整幅度越大的方式，通过进行例如像素拉伸变换这样的像素调整处理，将上述畸变边界向上述实际边界进行调整(例如，像素拉伸变换)。

具体而言，例如，以靠近上述人眼区域使调整权值(例如，拉伸变换权值)趋近于0、靠近所述畸变边界使调整权值(例如，拉伸变换权值)趋近于1的方式，通过进行例如像素拉伸变换这样的像素调整处理，将上述畸变边界向上述实际边界进行调整(例如，像素拉伸变换)。

这样，可以在不使图像中人眼轮廓变形(即，保持人脸图像眼角部细节轮廓)的情况下，实现本发明的图像处理方法的图像调整即图像畸变的消除。

这里所述的畸变边界向实际边界的调整(例如，像素拉伸变换)，如图3所示，是指例如通过像素拉伸变换等调整处理而将包含以白色五星表示的上述框内交界点Pr在内的上述畸变边界向包含以白色十字表示的上述框外交界点Pd在内的上述实际边界进行调整(例如，像素拉伸变换)。具体的图像调整后的结果，如图5(b)所示。

图5示意性示出了使用本公开实施例的图像处理方法前后的图像对比示例图。其中，图5(a)示意性示出了使用本公开实施例的图像处理方法前的示例图，图5(b)示意性示出了使用本公开实施例的图像处理方法后的示例图。其中，图中的方框仅是为了示出图像处理的主要关注部分，而并不起其他作用。

如图5(a)、(b)所示，经本公开实施例的上述图像处理方法后的畸变的明显消失的情况。即由图5可见，图5(a)的畸变D1十分明显，而图5(b)的畸变D2几乎消失。也就是说，通过本公开实施例的上述图像处理方法，图像中的眼镜框内的人脸畸变被明显消除。解决了本发明所要解决的眼镜框内的人脸畸变这一技术问题，实现了提高拍摄(例如，自拍)图像的人脸部位细节的画质这一显著有益技术效果。

此外，在上述调整操作S3-3中，还优选包括如下操作：若上述畸变边界被调整至与连接上述镜框特征点Pg而形成的上述镜框边界有交点，则停止该调整操作。也就是说，一旦图像的调整(例如，像素拉伸)使人脸轮廓要超出镜框，则调整(例如，像素拉伸)停止。由此，可以确保图像的调整(例如，像素拉伸)不会超越镜框，从而在调整(补偿)上述畸变的同时，又不会产生“过调整”(即，因超出到镜框外的多余调整(补偿)而产生图像失真)。

由此，本公开的上述实施例的图像处理方法，解决了眼镜框内的人脸畸变的技术问题，实现了提高拍摄(例如，自拍)图像的人脸部位细节的画质这样的有益技术效果。

以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了本公开的图像处理方法的实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机***上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

下面，以图6为例，说明一种以硬件方式实现了上述图像处理方法的图像处理装置。

图6示意性示出了本公开另一实施例的与上述实施例的图像处理方法相对应的图像处理装置的简要结构图。

如图6并参照图3所示，图像处理装置400可以包括特征点获取单元410、偏差确定单元420和偏差消除单元430。

在上述特征点获取单元410中，获取人脸F的人脸特征点Pf以及眼镜镜框GF的镜框特征点Pg。在上述偏差确定单元420中，根据上述镜框特征点Pg以及上述人脸特征点Pf来确定上述镜框GF内的人脸F的畸变边界与上述镜框GF外的上述人脸F的实际边界的偏差。在上述偏差消除单元430中，根据由上述偏差确定单元420所得到的上述偏差，将上述畸变边界调整至上述实际边界，以实现图像的补正，从而消除上述畸变。

下面，参照图3来具体说明上述图像处理装置400的工作。

在上述特征点获取单元410中，可以利用一般常用的例如深度学习法、随机森林法、回归树法等机器学习方法来生成上述镜框GF的镜框特征点检测模型、以及上述人脸F的人脸特征点检测模型进行训练，从而得到如图3所示的多个上述人脸特征点Pf和多个上述镜框特征点Pg。其中，上述人脸特征点Pf以白色圆点表示，上述镜框特征点Pg以灰黑色圆点表示。

此外，在上述偏差确定单元420中，上述畸变边界是根据上述镜框特征点Pg和上述镜框GF内的上述人脸特征点Pf中的框内人脸外侧特征点Pfi来确定的。具体而言，例如，通过连接上述镜框特征点Pg形成镜框特征点连线，并通过连接上述框内人脸外侧特征点Pfi形成框内人脸外侧特征点连线，从而在上述镜框特征点连线与上述框内人脸外侧特征点连线之间形成交点即框内交界点Pr。在此，上述框内交界点Pr以白色五星表示。将上述框内交界点Pr所连成的虚拟线段确定为上述畸变边界。

此外，在上述偏差确定单元420中，上述实际边界是根据上述镜框特征点Pg和上述镜框GF外的上述人脸特征点Pf中的框外人脸外侧特征点Pfo来确定的。具体而言，例如，通过连接上述镜框特征点Pg形成镜框特征点连线，并通过连接上述框外人脸外侧特征点Pfo形成框外人脸外侧特征点连线，从而在上述镜框特征点连线与上述框外人脸外侧特征点连线之间形成交点即框外交界点Pd。在此，上述框内交界点Pd以白色十字表示。将上述框内交界点Pd所连成的虚拟线段确定为上述实际边界。

此外，在上述偏差消除单元430中，可以具体包括人眼区域确定单元、关心区域确定单元和调整单元。

在上述人眼区域确定单元中，获取上述人脸特征点Pf之中的人眼特征点Pe，并根据人眼特征点Pe来确定出人眼区域。在上述关心区域确定中，根据由上述人眼区域确定单元所确定出的上述人眼区域、以及由上述偏差确定单元所确定出的上述畸变边界来确定出关心区域。在此，所谓关心区域(ROI，即Region Of Interest)是指要进行图像像素调整(例如，图像像素拉伸)这样的图像处理的调整对象区域。至于该关心区域(ROI)的确定。

具体而言，例如，可以将上述人眼区域的人眼外侧至上述畸变边界的区域确定为关心区域。更具体而言，例如，可以将上述人眼特征点Pe之中的外眼角处的至少1个人眼特征点(或多个眼特征点的连线)至上述畸变边界的区域确定为关心区域(ROI)。

上述调整单元中，针对由上述关心区域确定单元所确定的上述关心区域(ROI)，以靠近上述人眼区域(例如，人眼外侧区域)尽可能不调整而越远离上述人眼区域(例如，人眼外侧区域)调整幅度越大的方式，通过进行例如像素拉伸变换这样的像素调整处理，将上述畸变边界向上述实际边界进行调整(例如，像素拉伸变换)。

具体而言，例如，以靠近上述人眼区域使调整权值(例如，拉伸变换权值)趋近于0、靠近所述畸变边界使调整权值(例如，拉伸变换权值)趋近于1的方式，通过进行例如像素拉伸变换这样的像素调整处理，将上述畸变边界向上述实际边界进行调整(例如，像素拉伸变换)。

这样，可以在不使图像中人眼轮廓变形(即，保持人脸图像眼角部细节轮廓)的情况下，实现本发明的图像处理方法的图像调整即图像畸变的消除。

这里所述的畸变边界向实际边界的调整(例如，像素拉伸变换)，如图3所示，是指例如通过像素拉伸变换等调整处理而将包含以白色五星表示的上述框内交界点Pr在内的上述畸变边界向包含以白色十字表示的上述框外交界点Pd在内的上述实际边界进行调整(例如，像素拉伸变换)。

此外，在上述调整单元中，还优选包括如下功能：若上述畸变边界被调整至与连接上述镜框特征点Pg而形成的上述镜框边界有交点，则停止该调整操作。也就是说，一旦图像的调整(例如，像素拉伸)使人脸轮廓要超出镜框，则调整(例如，像素拉伸)停止。由此，可以确保图像的调整(例如，像素拉伸)不会超越镜框，从而在补偿上述畸变的同时，又不会产生过调整(即，因超出到镜框外的多余补偿而产生图像失真)。

由此，本公开的上述实施例的图像处理装置，同样解决了眼镜框内的人脸畸变的技术问题，实现了提高拍摄(例如，自拍)图像的人脸部位细节的画质这样的有益技术效果。

下面，以图7为例，说明另一种以硬件方式实现了上述图像处理方法的图像处理设备。

图7示意性示出了本公开另一实施例的与上述实施例的图像处理方法相对应的具有硬件和软件结构的图像处理设备的简要结构图。

如图7所示，图像处理设备500可以包括输入装置530(例如，键盘、鼠标、操作杆等)、输出装置540(例如，显示器等)、处理器510(例如，CPU等)、和存储器520(例如，硬盘HDD、只读存储器ROM等)。此外，还可以包括用虚线表示的可读存储介质521(例如，磁盘、光盘CD-ROM、USB等)。

此外，该图7仅是一个示例，并不限定本公开的技术方案。其中，图像处理设备500中的各个部分均可以是一个或多个，例如，处理器510既可以是一个也可以是多个处理器。

这样，不言而喻，本公开实施例的上述图像处理方法的上文参考流程图(图2、图4等)描述的过程可以被实现为计算机软件程序。在此，该计算机软件程序也可以为一个或多个。

于是，例如，上述计算机软件程序存储于上述图像处理设备500的作为存储装置的存储器520中，通过执行该计算机软件程序，从而使上述图像处理设备500的一个或多个处理器510执行本公开的图2、图4等流程图所示的上述图像处理方法。由此，同样解决眼镜框内的人脸畸变的技术问题，实现提高拍摄(例如，自拍)图像的人脸部位细节的画质这样的有益技术效果。

此外，不言而喻，上述图像处理方法同样可以作为计算机程序而存储于计算机可读存储介质(例如，图7所示的可读存储介质521)中，该计算机程序可以包括代码/计算机可执行指令，使计算机执行例如本公开的图2、图4等流程图所示的上述图像处理方法及其变形。

此外，计算机可读存储介质，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

另外，计算机程序可被配置为具有例如包括计算机程序模块的计算机程序代码。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被计算机(或处理器)执行时，使得计算机可以执行例如上面结合图2、图4所描述的图像处理方法的流程及其变形。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (9)

1.一种图像处理方法，对佩戴有眼镜的人脸的拍摄图像进行处理，包括：

特征点获取操作，获取所述眼镜的镜框的镜框特征点以及所述人脸的人脸特征点，其中所述人脸特征点包括所述镜框内的所述人脸特征点之中的框内人脸外侧特征点、和所述镜框外的所述人脸特征点之中的框外人脸外侧特征点；

偏差确定操作，根据所述镜框特征点、以及所述框内人脸外侧特征点和所述框外人脸外侧特征点，确定所述镜框内的所述人脸的畸变边界与所述镜框外的所述人脸的实际边界的偏差；

偏差消除操作，根据所述偏差，将所述畸变边界调整至所述实际边界，

其中，

所述偏差消除操作包括：

人眼区域确定操作，获取所述人脸特征点之中的人眼特征点，根据所述人眼特征点来确定人眼区域；

关心区域确定操作，根据所述人眼区域和所述畸变边界来确定关心区域；

调整操作，针对所述关心区域，以靠近所述人眼区域尽可能不调整而越远离所述人眼区域调整幅度越大的方式，将所述畸变边界调整至所述实际边界。

2.根据权利要求1所述的图像处理方法，其中：

所述特征点获取操作包括：

通过机器学习分别训练所述镜框特征点的模型和所述人脸特征点的模型来获取所述镜框特征点以及所述人脸特征点。

3.根据权利要求1所述的图像处理方法，其中：

所述偏差确定操作包括：

畸变边界确定操作，根据所述镜框特征点以及所述框内人脸外侧特征点，来确定所述畸变边界；

实际边界确定操作，根据所述镜框特征点以及所述框外人脸外侧特征点，来确定所述实际边界。

4.根据权利要求3所述的图像处理方法，其中：

所述畸变边界确定操作包括：

连接所述镜框特征点，并且连接所述框内人脸外侧特征点，形成框内交界点来确定所述畸变边界，

所述实际边界确定操作包括：

连接所述镜框特征点，并且连接所述框外人脸外侧特征点，从而形成框外交界点来确定所述实际边界。

5.根据权利要求4所述的图像处理方法，其中：

所述关心区域确定操作中，将所述人眼区域的人眼外侧至所述畸变边界的区域确定为所述关心区域。

6.根据权利要求4所述的图像处理方法，其中：

所述调整操作中，针对所述关心区域，以靠近所述人眼区域调整权值趋近于0、靠近所述畸变边界调整权值趋近于1的方式，将所述畸变边界调整至所述实际边界。

7.根据权利要求4所述的图像处理方法，其中：

所述调整操作中，若所述畸变边界调整至与连接所述镜框特征点形成的镜框边界有交点，则停止该调整操作。

8.根据权利要求1-7中任一项所述的图像处理方法，其中：

所述拍摄图像是所述人脸的图像占比例大于50％的图像。

9.根据权利要求1-7中任一项所述的图像处理方法，其中：

所述眼镜是近视眼镜。

Images