CN108830901B - 一种图像处理方法和电子设备 - Google Patents
一种图像处理方法和电子设备 Download PDFInfo
- Publication number
- CN108830901B CN108830901B CN201810651981.4A CN201810651981A CN108830901B CN 108830901 B CN108830901 B CN 108830901B CN 201810651981 A CN201810651981 A CN 201810651981A CN 108830901 B CN108830901 B CN 108830901B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- eye
- eye model
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims description 43
- 239000011521 glass Substances 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 230000007704 transition Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001417519 Priacanthidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像处理方法和电子设备。该方法包括：从待处理图像中获取眼部位置信息；根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；根据所述眼部深度特征构建第一三维眼部模型；对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；对所述第二三维眼部模型进行降维变换，得到处理后的图像。本发明实施例使得拍照时照片的眼部过渡协调性较好，美颜效果佳。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种图像处理方法和电子设备。
背景技术
随着通信技术的快速发展，电子设备得到前所未有的普及，电子设备已经成为人们生活中不可或缺的一部分。随着电子设备拍照功能的完善，越来越多的用户希望用电子设备拍出真实美丽的自我，因此美颜成为电子设备上的一种潮流。由于眼睛体现了人的精神面貌，因此大部分用户都希望在拍照时拍出一双美丽的眼睛，而现有电子设备主要通过大眼等方式来实现眼部美颜功能，经这种眼部美颜眼功能处理后的照片能够在视觉上感知到眼部得到局部放大的效果。然而经这种眼部美颜功能处理后，拍出的照片眼部过渡协调性较差，导致美颜效果差。
发明内容
本发明涉及一种图像处理方法和电子设备，以解决电子设备拍照时照片的眼部过渡协调性较差导致美颜效果差的问题。
为了解决上述技术问题，本发明是这样实现的：一种图像处理方法，应用于电子设备，包括：
从待处理图像中获取眼部位置信息；
根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
根据所述眼部深度特征构建第一三维眼部模型；
对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
对所述第二三维眼部模型进行降维变换，得到处理后的图像。
第一方面，本发明实施例提供了一种图像处理方法，包括：
从待处理图像中获取眼部位置信息；
根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
根据所述眼部深度特征构建第一三维眼部模型；
对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
对所述第二三维眼部模型进行降维变换，得到处理后的图像。
第二方面，本发明实施例还提供了一种电子设备，包括：
获取模块，用于从待处理图像中获取眼部位置信息；
提取模块，用于根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
构建模块，根据所述眼部深度特征构建第一三维眼部模型；
优化模块，用于对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
变换模块，用于对所述第二三维眼部模型进行降维变换，得到处理后的图像。
第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的所述的图像处理方法中的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的图像处理方法中的步骤。
本发明实施例，从待处理图像中获取眼部位置信息；根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；根据所述眼部深度特征构建第一三维眼部模型；对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；对所述第二三维眼部模型进行降维变换，得到处理后的图像，使得拍照时照片的眼部过渡协调性较好，美颜效果佳。
附图说明
图1表示本发明例实施例提供的一种图像处理方法的流程图；
图2表示本发明例实施例提供的另一种图像处理方法的流程图；
图3表示本发明例实施例提供的另一种图像处理方法的流程图；
图4表示本发明例实施例提供的另一种眼镜图像去除方法的流程图；
图5表示本发明例实施例提供的另一种图像处理方法的流程图；
图6表示本发明实施例提供的一种电子设备的结构图；
图7表示本发明实施例提供的另一种电子设备的结构图；
图8表示本发明实施例提供的另一种电子设备的结构图；
图9表示本发明实施例提供的另一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种图像处理方法的流程图，该方法应用于电子设备，如图1所示，包括以下步骤：
步骤101,从待处理图像中获取眼部位置信息。
其中，从待处理图像中获取眼部位置信息包括：使用电子设备拍摄一张原始图像以及对应的深度图，使用脸部检测方法得到原始图像中的脸部位置，根据脸部位置使用眼部检测方法得到眼部位置信息。
脸部检测方法可以使用基于模板匹配的方法、基于奇异值特征的方法、基于特征脸法、基于积分图像特征法等，本发明实施例对此不作限定。
眼部检测方法可以使用基于Hough变换圆检测的方法、基于相关滤波器组的方法、基于模板匹配的方法等，本发明实施例对此不作限定。
可以选用带有双目摄像头的电子设备拍摄原始图像以及对应的深度图，也可以使用带有其它带能够拍摄原图像以及对应的深度图的摄像头的电子设备，本发明对此不作限定。
步骤102,根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征。
在步骤101中得到眼部位置信息后，然后根据眼部位置信息提取深度图的眼部图像，从而得到眼部深度特征。
步骤103，根据所述眼部深度特征构建第一三维眼部模型。
深度图中的每一个像素点表示当前物体离镜头的距离，其中深度图里每个像素点可以表示为p(x，y，z)，其中x，y表示像素点横坐标、纵坐标的二维空间信息，z表示物体的深度信息。使用所述眼部深度信息构建第一三维眼部模型可以包括：使用深度图的眼部图像中的每个像素点的空间信息，依次在三维空间描点形成所述第一三维眼部模型。
步骤104，对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型。
使用步骤103中获得的第一三维眼部模型进行优化处理，例如使用机器学习方式、支持向量机等对所述第一三维眼部模型进行优化处理，从而获得第二三维眼部模型，本发明实施例对此不作限定。
步骤105，对所述第二三维眼部模型进行降维变换，得到处理后的图像。
对所述第二三维眼部模型进行降维变换，得到处理后的图像可以包括：将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述目标图像的眼部图像进行调整，本发明实施例对此不作限定。
通过上述的步骤可以实现利用眼部图像的深度特征对眼部图像进行优化，相比现有技术使用眼部图像二维特征对眼部图像进行美颜，本发明实施例利用眼部图像的三维特征对眼部图像进行优化后，眼部图像过渡协调自然，美颜效果更佳。
另外，上述电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)、可穿戴式设备(Wearable Device)、计算机或笔记本电脑等。
本发明实施例，从待处理图像中获取眼部位置信息；根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；根据所述眼部深度特征构建第一三维眼部模型；对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；对所述第二三维眼部模型进行降维变换，得到处理后的图本发明实施例使得拍照时照片的眼部过渡协调性较好，美颜效果佳。
请参见图2，图2是本发明实施例提供的一种眼部图像处理方法的流程图，该方法应用于电子设备，如图2所示，包括以下步骤：
步骤201，从待处理图像中获取眼部位置信息。
本实施例中步骤201与本发明第一实施例中的步骤101相同，在此不做赘述。
步骤202，根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征。
本实施例中步骤202与本发明第一实施例中的步骤102相同，在此不做赘述。
步骤203，根据所述眼部深度特征构建第一三维眼部模型。
本实施例中步骤203与本发明第一实施例中的步骤103相同，在此不做赘述。
步骤204，检测所述第一三维眼部模型的三维关键点特征，并采用预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型。
通过所述预设神经网络对所述三维关键点特征进行机器学习，得到优化眼部特征；根据所述三维关键点特征和所述优化眼部特征对所述第一三维眼部模型进行调整，得到所述第二三维眼部模型。
根据所述三维关键点特征和所述优化眼部特征，采用调整方法，对所述第一三维眼部模型进行优化，从而得到所述第二三维眼部模型。所述调整方法可以是warp(三角变换)方法等，本发明对此不作具体限定。
可选的，所述预设神经网络可以由这种方式获得：建立神经网络，采用训练样本集对所述神经网络进行优化训练，得到用于对所述第一三维眼部模型的三维关键点特征进行优化的所述预设神经网络。
神经网络是机器学习的一个重要分支，神经网络拥具有拥有输入层、输出层和隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。目前机器学习中常见的神经网络包括深度神经网络、卷积神经网络、循环神经网络等。
以深度神经网络为例，所述训练样本集包括第一训练样本子集和第二训练样本子集，其中第一训练样本子集包括眼部变形或扭曲等的图像集，第二训练样本子集包括经过人工修复过眼部的图像集。使用深度神经网络作为训练模型，将第一训练样本子集和第二训练样本子集输入至深度神经网络，深度神经网络提取图像的眼部三维关键信息进行训练，得到眼部变形或扭曲的图像与人工修复过眼部的图像之间的映射关系，即完成深度神经网络的优化训练。将待测试的眼部扭曲图像输入至训练好的深度神经网络，即可得到优化后的眼部图像。
本发明实施例以深度神经网络为例，其它的神经网络也适用本发明实施例，本发明实施例对此不作具体限定。
所述预设神经网络可以由上述方式获得，也可以直接由云端或者服务器获得，本发明实施例对此不作具体限定。
可选的，通过所述预设神经网络对所述三维关键点特征进行机器学习，得到优化眼部特征可以包括：将三维关键点特征输入至训练好的预设神经网络，根据训练得到的映射关系，得到优化的眼部特征。
可选的，所述三维关键点特征可以是角点特征，所述检测所述第一三维眼部模型的三维关键点特征的方法是可以基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测等，本发明实施例对此不作具体限定。
步骤205，将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述待处理图像的眼部图像进行调整。
可选的，如图3中所示的一种图像处理方法，首先获取待处理图像以及对应的深度图，利用人脸检测方法检测目标图像中的脸部位置，然后利用眼部位置检测方法定位脸部中的眼部位置。根据眼部位置信息提取深度图中对应的眼部深度特征，进而构建三维眼部模型。对三维眼部模型进行优化处理，将优化处理后的三维眼部模型转化为二维眼部模型，利用二维眼部模型对待处理图像中的眼部图像进行调整。本实施例中的具体步骤的实现与前述实施例中对应步骤相同，这里不再一一赘述。
其中，如图3所示的利用二维眼部模型对待处理图像的眼部图像进行调整，具体包括：根据所述优化眼部特征和所述三维关键点特征对所述二维眼部模型进行优化处理，得到第二二维眼部模型；使用所述第二二维眼部模型对所述待处理图像的眼部图像进行调整。
根据所述优化眼部特征和所述三维关键点特征对所述二维眼部模型进行优化处理，得到第二二维眼部模型可以包括：将所述优化眼部特征和所述三维关键点特征转化为相应的二维特征，根据相应的二维信息，采用调整方法对所述二维眼部模型进行调整，得到所述第二二维眼部模型。所述调整方法可以是warp(三角变换)方法等，本发明对此不作具体限定。
可选的，所述待处理图像包括眼镜图像，在所述获取待处理图像的眼部深度信息之前，所述方法还包括：识别所述眼镜图像在所述待处理图像中的分布位置。本实施方式能够为佩戴眼镜的用户提供去除眼镜的方法，从而满足了不同用户的个性化需求。
实现上述步骤的具体方法可以是如图4的流程图所示。在实现如图4所示方法流程之前，首先构建包含眼镜的大量训练样本集，提取角点特征训练分类器，所述分类器可以是Haar分类器。在训练好Haar分类器后，开始如图4所示的流程：获取待处理图像，使用训练好的Haar分类器提取所述待处理图像中的眼镜图像的角点特征，对眼镜图像的眼镜框进行检测。根据分类器判别角点特征中的眼镜框拐点，根据眼镜框拐点得到眼镜框的位置。然后根据眼镜框的位置估算眼镜图像大致的分布位置。将所述分布位置对应的图像输入肤色分割模型，对于非肤色区域的像素标记为眼镜区域，由此得到眼镜的第二分布位置，输出眼镜图像。最后根据第二分布位置调用修复方法即可完成眼镜图像的去除。
可选的，提取大量的场景下不同人种的肤色信息，利用所述肤色信息构建肤色分割模型。将任意图像像素输入到肤色分割模型能够得到每个像素属于肤色的概率值p，p越大表示该像素为人的肤色区域，p越低表示该像素为非肤色区域。而眼镜属于非肤色区域，将眼镜分布位置对应的图像像素输入到肤色分割模型，获取眼镜分布位置的图像像素对应的概率值p，根据概率值p的大小即可判断是否属于肤色区域，对于不属于肤色区域的像素，将其标记为眼镜区域。
可选的，当用户佩戴眼镜时进行眼部图像处理方法的具体流程如图5所示，首先获取待处理图像和对应的深度图，采用如图4所示的眼镜去除方法去除待处理图像中的眼镜图像，然后利用上述实施例中的眼部图像处理方法对去除了眼镜图像的待处理图像以及深度图进行优化处理，即可实现对佩戴眼镜的用户进行眼部美颜。
本发明实施例，通过预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型，将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述待处理图像的眼部图像进行调整，使得拍照时照片的眼部过渡协调自然，美颜效果更佳。
请参见图6，图6是本发明实施例提供的一种电子设备的结构图，如图6所示，所述电子设备300包括：
获取模块301，用于从待处理图像中获取眼部位置信息；
提取模块302，用于根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
构建模块303，根据所述眼部深度特征构建第一三维眼部模型；
优化模块304，用于对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
变换模块305，用于对所述第二三维眼部模型进行降维变换，得到处理后的图像。
如图7所示，所述电子设备300还包括：
训练模块306，用于建立神经网络，采用训练样本集对所述神经网络进行优化训练，得到用于对所述第一三维眼部模型的三维关键点特征进行优化的所述预设神经网络。
可选的，所述优化模块304用于检测所述第一三维眼部模型的三维关键点特征，并采用预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型。
可选的，所述变换模块305用于将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述待处理图像的眼部图像进行调整。
可选的，所述优化模块304用于通过所述预设神经网络对所述三维关键点特征进行机器学习，得到优化眼部特征；根据所述三维关键点特征和所述优化眼部特征对所述第一三维眼部模型进行调整，得到所述第二三维眼部模型；
可选的，所述变换模块305用于根据所述优化眼部特征和所述三维关键点特征对所述二维眼部模型进行优化处理，得到第二二维眼部模型；使用所述第二二维眼部模型对所述待处理图像的眼部图像进行调整。
可选的，所述待处理图像包括眼镜图像，如图8所述，所述电子设备还包括：
眼镜去除模块307，用于识别所述眼镜图像在所述待处理图像中的分布位置；根据所述分布位置去掉所述待处理图像中的眼镜。
本发明实施例提供的电子设备能够实现图1至图5的方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。且电子设备能够使得拍照时照片的眼部过渡协调性较好，美颜效果佳。
图9为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、计步器、计算机以及笔记本电脑等。
其中，处理器910，用于从待处理图像中获取眼部位置信息；
根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
根据所述眼部深度特征构建第一三维眼部模型；
对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
对所述第二三维眼部模型进行降维变换，得到处理后的图像。
可选的，处理器910执行检测所述第一三维眼部模型的三维关键点特征，并采用预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型。
可选的，处理器910执行建立神经网络，采用训练样本集对所述神经网络进行优化训练，得到用于对所述第一三维眼部模型的三维关键点特征进行优化的所述预设神经网络。
可选的，处理器910执行将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述待处理图像的眼部图像进行调整。
处理器910执行通过所述预设神经网络对所述三维关键点特征进行机器学习，得到优化眼部特征；
根据所述三维关键点特征和所述优化眼部特征对所述第一三维眼部模型进行调整，得到所述第二三维眼部模型；
处理器910还用于：
根据所述优化眼部特征和所述三维关键点特征对所述二维眼部模型进行优化处理，得到第二二维眼部模型；
处理器910还用于：
所述待处理图像包括眼镜图像，在所述获取待处理图像的眼部深度信息之前，识别所述眼镜图像在所述待处理图像中的分布位置；根据所述分布位置去掉所述待处理图像中的眼镜。
电子设备900能够使得拍照时照片的眼部过渡协调性较好，美颜效果佳。
应理解的是，本发明实施例中，射频单元901可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器910处理；另外，将上行的数据发送给基站。通常，射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元901还可以通过无线通信***与网络和其他设备通信。
电子设备通过网络模块902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元903还可以提供与电子设备900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。
输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。
电子设备900还包括至少一种传感器905，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度，接近传感器可在电子设备900移动到耳边时，关闭显示面板9061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。
用户输入单元907可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器910，接收处理器910发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071，用户输入单元907还可以包括其他输入设备9072。具体地，其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板9071可覆盖在显示面板9061上，当触控面板9071检测到在其上或附近的触摸操作后，传送给处理器910以确定触摸事件的类型，随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中，触控面板9071与显示面板9061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板9071与显示面板9061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元908为外部装置与电子设备900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备900内的一个或多个元件或者可以用于在电子设备900和外部装置之间传输数据。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器910是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器909内的软件程序和/或模块，以及调用存储在存储器909内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器910可包括一个或多个处理单元；优选的，处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
电子设备900还可以包括给各个部件供电的电源911(比如电池)，优选的，电源911可以通过电源管理***与处理器910逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外，电子设备900包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器910，存储器909，存储在存储器909上并可在所述处理器910上运行的计算机程序，该计算机程序被处理器910执行时实现上述眼部图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述眼部图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (8)
1.一种图像处理方法，应用于电子设备，其特征在于，包括：
从待处理图像中获取眼部位置信息；
根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
根据所述眼部深度特征构建第一三维眼部模型；
对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
对所述第二三维眼部模型进行降维变换，得到处理后的图像；
所述对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型包括：
检测所述第一三维眼部模型的三维关键点特征，并采用预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型；
所述对所述第二三维眼部模型进行降维变换，得到处理后的图像包括：
将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述待处理图像的眼部图像进行调整；
所述采用预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型包括：
通过所述预设神经网络对所述三维关键点特征进行机器学习，得到优化眼部特征；
根据所述三维关键点特征和所述优化眼部特征对所述第一三维眼部模型进行调整，得到所述第二三维眼部模型；
所述对所述第二三维眼部模型进行降维变换，得到处理后的图像包括：
根据所述优化眼部特征和所述三维关键点特征对所述二维眼部模型进行优化处理，得到第二二维眼部模型；
使用所述第二二维眼部模型对所述待处理图像的眼部图像进行调整。
2.如权利要求1所述的图像处理方法，其特征在于，在所述从待处理图像中获取眼部位置信息之前，所述方法还包括：
建立神经网络，采用训练样本集对所述神经网络进行优化训练，得到用于对所述第一三维眼部模型的三维关键点特征进行优化的所述预设神经网络。
3.如权利要求1所述的图像处理方法，其特征在于，所述待处理图像包括眼镜图像，在从待处理图像中获取眼部位置信息之前，所述方法还包括：
识别所述眼镜图像在所述待处理图像中的分布位置；
根据所述分布位置去掉所述待处理图像中的眼镜图像。
4.一种电子设备，其特征在于，包括：
获取模块，用于从待处理图像中获取眼部位置信息；
提取模块，用于根据所述眼部位置信息，从与所述待处理图像对应的深度图像中提取眼部深度特征；
构建模块，根据所述眼部深度特征构建第一三维眼部模型；
优化模块，用于对所述第一三维眼部模型进行优化处理，获得第二三维眼部模型；
变换模块，用于对所述第二三维眼部模型进行降维变换，得到处理后的图像；
所述优化模块用于检测所述第一三维眼部模型的三维关键点特征，并采用预设神经网络对所述三维关键点特征进行优化处理，获得第二三维眼部模型；
所述变换模块用于将所述第二三维眼部模型转化为二维眼部模型，使用所述二维眼部模型对所述待处理图像的眼部图像进行调整；
所述优化模块用于通过所述预设神经网络对所述三维关键点特征进行机器学习，得到优化眼部特征；根据所述三维关键点特征和所述优化眼部特征对所述第一三维眼部模型进行调整，得到所述第二三维眼部模型；
所述变换模块用于根据所述优化眼部特征和所述三维关键点特征对所述二维眼部模型进行优化处理，得到第二二维眼部模型；使用所述第二二维眼部模型对所述待处理图像的眼部图像进行调整。
5.如权利要求4所述的电子设备，其特征在于，所述电子设备还包括：
训练模块，用于建立神经网络，采用训练样本集对所述神经网络进行优化训练，得到用于对所述第一三维眼部模型的三维关键点特征进行优化的所述预设神经网络。
6.如权利要求4所述的电子设备，其特征在于，所述待处理图像包括眼镜图像，所述电子设备还包括：
眼镜去除模块，用于识别所述眼镜图像在所述待处理图像中的分布位置；根据所述分布位置去掉所述待处理图像中的眼镜图像。
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的图像处理方法中的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810651981.4A CN108830901B (zh) | 2018-06-22 | 2018-06-22 | 一种图像处理方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810651981.4A CN108830901B (zh) | 2018-06-22 | 2018-06-22 | 一种图像处理方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108830901A CN108830901A (zh) | 2018-11-16 |
| CN108830901B true CN108830901B (zh) | 2020-09-25 |
Family
ID=64137692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810651981.4A Active CN108830901B (zh) | 2018-06-22 | 2018-06-22 | 一种图像处理方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108830901B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111107281B (zh) * | 2019-12-30 | 2022-04-12 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN113902790B (zh) * | 2021-12-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 美容指导方法、装置、电子设备和计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787884A (zh) * | 2014-12-18 | 2016-07-20 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN107124548A (zh) * | 2017-04-25 | 2017-09-01 | 深圳市金立通信设备有限公司 | 一种拍照方法及终端 |
| CN107977605A (zh) * | 2017-11-08 | 2018-05-01 | 清华大学 | 基于深度学习的眼部区域边界特征提取方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704813B (zh) * | 2017-09-19 | 2020-11-17 | 北京一维大成科技有限公司 | 一种人脸活体识别方法及*** |
-
2018
- 2018-06-22 CN CN201810651981.4A patent/CN108830901B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787884A (zh) * | 2014-12-18 | 2016-07-20 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN107124548A (zh) * | 2017-04-25 | 2017-09-01 | 深圳市金立通信设备有限公司 | 一种拍照方法及终端 |
| CN107977605A (zh) * | 2017-11-08 | 2018-05-01 | 清华大学 | 基于深度学习的眼部区域边界特征提取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108830901A (zh) | 2018-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110706179B (zh) | 一种图像处理方法及电子设备 | |
| CN108491775B (zh) | 一种图像修正方法及移动终端 | |
| CN108076290B (zh) | 一种图像处理方法及移动终端 | |
| CN107767333B (zh) | 美颜拍照的方法、设备及计算机可存储介质 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| CN107833177A (zh) | 一种图像处理方法及移动终端 | |
| CN109272473B (zh) | 一种图像处理方法及移动终端 | |
| CN111047511A (zh) | 一种图像处理方法及电子设备 | |
| CN111031234B (zh) | 一种图像处理方法及电子设备 | |
| CN109671034B (zh) | 一种图像处理方法及终端设备 | |
| CN111080747B (zh) | 一种人脸图像处理方法及电子设备 | |
| CN111008929B (zh) | 图像矫正方法及电子设备 | |
| CN108830901B (zh) | 一种图像处理方法和电子设备 | |
| CN109544445B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
| CN113255396A (zh) | 图像处理模型的训练方法及装置、图像处理方法及装置 | |
| CN109727212B (zh) | 一种图像处理方法及移动终端 | |
| CN107563353B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN110555815A (zh) | 一种图像处理方法和电子设备 | |
| CN107798662B (zh) | 一种图像处理方法及移动终端 | |
| CN112733673B (zh) | 一种内容显示方法、装置、电子设备及可读存储介质 | |
| CN110443752B (zh) | 一种图像处理方法和移动终端 | |
| CN111405361B (zh) | 一种视频获取方法、电子设备及计算机可读存储介质 | |
| CN111402157B (zh) | 一种图像处理方法及电子设备 | |
| CN111402271A (zh) | 一种图像处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |