CN111199204A - 一种基于OpenGL人脸图像处理方法及装置 - Google Patents
一种基于OpenGL人脸图像处理方法及装置 Download PDFInfo
- Publication number
- CN111199204A CN111199204A CN201911392916.5A CN201911392916A CN111199204A CN 111199204 A CN111199204 A CN 111199204A CN 201911392916 A CN201911392916 A CN 201911392916A CN 111199204 A CN111199204 A CN 111199204A
- Authority
- CN
- China
- Prior art keywords
- face
- points
- image
- opengl
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013519 translation Methods 0.000 claims abstract description 11
- 238000009877 rendering Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 32
- 230000001815 facial effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000002087 whitening effect Effects 0.000 description 4
- 210000000216 zygoma Anatomy 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种基于OpenGL人脸图像处理方法及装置，通过对人脸特征点的识别控制，基于OpenGL网格处理，对局部特征点平移变形，渲染输出效果图。根据本发明提供的人脸图像处理方法及装置，实现美化脸庞和下巴的精准控制，更加高度的自定义美颜效果，满足用户对效果图的需求，符合用户预期期望，同时节省运行内存空间。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于OpenGL人脸图像处理方法及装置。
背景技术
目前现有的对图像进行瘦脸的技术，主要是根据人脸的颧骨和下巴构成的两条线段并对其弯曲处理，实现图像上呈现的人脸面部变形，变瘦。以上处理方式存在不足，经过处理两条线段，实现的效果图不准确，不同图像的脸部结构，即下颧骨的位置与大小不同，各有差异，导致该方法效果不明显，不能满足用户的需求。
发明内容
本发明的实施例提供一种基于OpenGL人脸图像处理方法及装置，针对原有的技术进行改良，通过提取人脸轮廓的特征点，对颧骨以下位置连续特征点的处理，实现脸部更加精准可控的瘦形，变形等效果，同时对下巴区域分析判断，分离瘦形后下巴区域和脸部区域，实现美化脸庞和下巴的精准控制，更加高度的自定义美颜效果，满足用户对效果图的需求。
本发明提供一种基于OpenGL人脸图像处理方法，该方法的步骤如下：
用户上传待处理含人脸图像，识别并提取人脸全部特征点并保存；
通过对人脸特征点的筛选，获取到左脸颊、右脸颊和嘴唇下巴区域，三组特征控制点；
基于OpenGL对所述图片进行网格化处理，并将初始获取的特征点作为图片的初始数据作为参考特征点；
所述三组特征控制点，通过对特征控制点的处理，实现对人脸图像局部的平移变形，并将变形后的图片渲染并输出；
本发明实施例中提供一种基于OpenGL人脸图像处理装置，包括：
人脸检测模块：用于对用户上传待处理含人脸图像，识别并提取人脸全部特征点并保存；
特征控制点筛选模块：用于通过对人脸特征点的筛选，获取到左脸颊、右脸颊和嘴唇下巴区域，三组特征控制点；
OpenGL模块：用于基于OpenGL对所述图片进行网格化处理，并将初始获取的特征点作为图片的初始数据作为参考特征点；
处理输出模块：用于对所述三组特征控制点，通过对特征控制点的处理，实现对人脸图像局部的平移变形，并将变形后的图片渲染并输出；
可见，本发明实施例中，对于实现人脸变瘦的效果上，最重要的两个步骤分别是人脸特征控制点的识别，以及基于特征控制点对人脸图像的变形处理，特征点的提取与识别需要依靠深度学习模型。相比较现有的技术，本发明对人脸面部轮廓的特征点控制更加充分，使得不同脸型的用户人脸可以更加准确地动态改变其变胖，变瘦的效果，任何人脸脸部图像，获得轮廓的特征点，都可以根据用户的自定义加以控制。
通过基于OpenGL的封装可以使多种效果在图像上混合起来，比如，美白、亮眼、瘦脸、胖脸、美肤等一系列的图像处理叠加，呈现给符合用户期望的效果。嘴唇下方下巴区域和脸颊的有效识别，使的待处理用户图像得到更加细致的编辑处理效果，满足用户的期望值。
附图说明
为了更清楚地说明本发明的实施例的技术方案，下面将对本发明的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明的一种基于OpenGL人脸图像处理方法步骤流程图；
图2示出了本发明的一种基于OpenGL人脸图像处理装置流程图；
具体实施方式
为了使本发明的目的，技术方案和有点更加清楚，下面结合附图对本发明作进一步的阐述解释。显然，所描述的实施例是本发明的实施例的一部分，而不是全部的实施例，基于本发明的实施方式中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的实施例保护范围。
参照图1，其示出了本发明提供一种基于OpenGL人脸图像处理方法，该方法的步骤如下：
步骤S100，用户上传待处理含人脸图像，识别并提取人脸全部特征点并保存。
具体地，所述待处理人脸图像，通过拍照或者手机本地文件***，用户上传获取，以Bitmap对象的形式保存在内存中，使用Firebase的人脸面部特征提取服务对图像中的人脸特征信息进行提取。所述图像以及特征点信息识别后，需要及时做校验处理，比如图像大小尺寸。
步骤S200，通过对人脸特征点的筛选，获取到左脸颊、右脸颊和嘴唇下巴区域，三组特征控制点。
具体地，筛选人脸特征点，对所述人脸特征点信息进行校验处理，每个特征点数据对应一组坐标，判断所述坐标信息对应的路径和误差范围，同事剔除掉误差偏大的特征坐标点。同样的，筛选获取到左边脸颊和右边脸颊的坐标数据，对于所述嘴唇下巴区域位置，根据Firebase返回的下嘴唇的特征坐标位置确定下巴在纵坐标轴上的最高位置，根据所述左右脸颊的特征数据，获取到下巴在纵坐标轴上的最低位置，取左右脸颊特征数据中纵坐标轴上最高位置和最低位置之间的数据组，组成下巴数据特征组，从而得到最终使用的人脸特征数据。
步骤S300，基于OpenGL对所述图片进行网格化处理，并将初始获取的特征点作为图片的初始数据作为参考特征点；
具体地，根据所述待处理图像，进行网格化处理，获取到一个30*30的网络进行平移变换操作，根据所述初始网格坐标和图片原始的像素坐标，通过公式计算像素点位置：
其中，x是变换后的位置，u是原坐标位置。整个计算在以c为圆心，r为半径的圆内进行。因为是交互式图像局部变形，所以c也可以看做鼠标点下时的坐标，而m为鼠标移动一段距离后抬起时的坐标，这样c和m就决定了变形方向。
步骤S400，所述三组特征控制点，通过对特征控制点的处理，实现对人脸图像局部的平移变形，并将变形后的图片渲染并输出；
具体地，构建出原始的顶点数据并设置到帧缓冲对象中，为帧缓冲对象启动纹理并绑定人脸图片原因，然后根据人脸的原始特征坐标点，进行平移变换，到帧缓冲对象中。通过第一阶段缓冲区域，该阶段可以对用户图像左右脸颊部分，最初下巴区域部分变形，得到效果图，若用户想得到瘦脸，则调整左右脸颊特征控制点坐标；用户自定义个人需求内容，效果。
第一阶段输出效果图，将效果图移送到第二阶段帧缓冲区域，该阶段做进一步效果处理，比如，美白肌肤、调整眼睛明暗亮度，对皮肤滤镜操作。所述第二阶段帧缓冲区域，会释放第一阶段图像处理效果相关的数据资源和帧缓冲对象，渲染输出处理后的效果图。
本发明实施例中提供一种基于OpenGL人脸图像处理装置，包括：
人脸检测模块：用于对用户上传待处理含人脸图像，识别并提取人脸全部特征点并保存；
具体的，所述待处理人脸图像，通过拍照或者手机本地文件***，用户上传获取，以Bitmap对象的形式保存在内存中，使用Firebase的人脸面部特征提取服务对图像中的人脸特征信息进行提取。所述图像以及特征点信息识别后，需要及时做校验处理，比如图像大小尺寸是否符合要求，如果不符合要求，则需要重新拍摄或者选择图片进行上传。
进一步的，使用Firebase获取人脸面部特征数据后，会检测判断人脸特征点的数据是否符合要求，如果不符合，会重新检测识别，获取人脸特征点的数据，直到符合要求为止。
特征控制点筛选模块：用于通过对人脸特征点的筛选，获取到左脸颊、右脸颊和嘴唇下巴区域，三组特征控制点；
具体地，筛选人脸特征点，对所述人脸特征点信息进行校验处理，每个特征点数据对应一组坐标，判断所述坐标信息对应的路径和误差范围，同事剔除掉误差偏大的特征坐标点。同样的，筛选获取到左边脸颊和右边脸颊的坐标数据，对于所述嘴唇下巴区域位置，根据Firebase返回的下嘴唇的特征坐标位置确定下巴在纵坐标轴上的最高位置，根据所述左右脸颊的特征数据，获取到下巴在纵坐标轴上的最低位置，取左右脸颊特征数据中纵坐标轴上最高位置和最低位置之间的数据组，组成下巴数据特征组，从而得到最终使用的人脸特征数据。
OpenGL模块：用于基于OpenGL对所述图片进行网格化处理，并将初始获取的特征点作为图片的初始数据作为参考特征点；
具体地，根据所述待处理图像，进行网格化处理，获取到一个30*30的网络进行平移变换操作，根据所述初始网格坐标和图片原始的像素坐标，进行平移变换处理。
处理输出模块：用于对所述三组特征控制点，通过对特征控制点的处理，实现对人脸图像局部的平移变形，并将变形后的图片渲染并输出；
具体地，构建出原始的顶点数据并设置到帧缓冲对象中，为帧缓冲对象启动纹理并绑定人脸图片原因，然后根据人脸的原始特征坐标点，进行平移变换，到帧缓冲对象中。通过第一阶段缓冲区域，该阶段，可以对用户图像左右脸颊部分，最初下巴区域部分变形，得到效果图，若用户想得到瘦脸，则调整左右脸颊特征控制点坐标；用户自定义个人需求内容，效果。第一阶段输出效果图，将效果图移送到第二阶段帧缓冲区域，该阶段做进一步效果处理，比如，美白肌肤、调整眼睛明暗亮度，对皮肤滤镜操作。所述第二阶段帧缓冲区域，会释放第一阶段图像处理效果相关的数据资源和帧缓冲对象，渲染输出处理后的效果图。
本发明实施例中，对于实现人脸变瘦的效果上，最重要的两个步骤分别是人脸特征控制点的识别，以及基于特征控制点对人脸图像的变形处理，特征点的提取与识别需要依靠深度学习模型。相比较现有的技术，本发明对人脸面部轮廓的特征点控制更加充分，使得不同脸型的用户人脸可以更加准确地动态改变其变胖，变瘦的效果，任何人脸脸部图像，获得轮廓的特征点，都可以根据用户的自定义加以控制。
通过基于OpenGL的封装可以使多种效果在图像上混合起来，比如，美白、亮眼、瘦脸、胖脸、美肤等一系列的图像处理叠加，呈现给符合用户期望的效果。嘴唇下方下巴区域和脸颊的有效识别，使的待处理用户图像得到更加细致的编辑处理效果，满足用户的期望值。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (2)
1.一种基于OpenGL人脸图像处理方法，其特征在于，所述方法包括：
用户上传待处理含人脸图像，识别并提取人脸全部特征点并保存；
通过对人脸特征点的筛选，获取到左脸颊、右脸颊和嘴唇下巴区域，三组特征控制点；
基于OpenGL对所述图片进行网格化处理，并将初始获取的特征点作为图片的初始数据作为参考特征点；
所述三组特征控制点，通过对特征控制点的处理，实现对人脸图像局部的平移变形，并将变形后的图片渲染并输出。
2.一种基于OpenGL人脸图像处理装置，其特征在于，所述装置包括：
人脸检测模块：用于对用户上传待处理含人脸图像，识别并提取人脸全部特征点并保存；
特征控制点筛选模块：用于通过对人脸特征点的筛选，获取到左脸颊、右脸颊和嘴唇下巴区域，三组特征控制点；
OpenGL模块：用于基于OpenGL对所述图片进行网格化处理，并将初始获取的特征点作为图片的初始数据作为参考特征点；
处理输出模块：用于对所述三组特征控制点，通过对特征控制点的处理，实现对人脸图像局部的平移变形，并将变形后的图片渲染并输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911392916.5A CN111199204A (zh) | 2019-12-30 | 2019-12-30 | 一种基于OpenGL人脸图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911392916.5A CN111199204A (zh) | 2019-12-30 | 2019-12-30 | 一种基于OpenGL人脸图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111199204A true CN111199204A (zh) | 2020-05-26 |
Family
ID=70746313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911392916.5A Pending CN111199204A (zh) | 2019-12-30 | 2019-12-30 | 一种基于OpenGL人脸图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199204A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422967A (zh) * | 2021-06-07 | 2021-09-21 | 深圳康佳电子科技有限公司 | 一种投屏显示控制方法、装置、终端设备及存储介质 |
-
2019
- 2019-12-30 CN CN201911392916.5A patent/CN111199204A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422967A (zh) * | 2021-06-07 | 2021-09-21 | 深圳康佳电子科技有限公司 | 一种投屏显示控制方法、装置、终端设备及存储介质 |
| CN113422967B (zh) * | 2021-06-07 | 2023-01-17 | 深圳康佳电子科技有限公司 | 一种投屏显示控制方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778928B (zh) | 图像处理方法及装置 | |
| US9639914B2 (en) | Portrait deformation method and apparatus | |
| US11163978B2 (en) | Method and device for face image processing, storage medium, and electronic device | |
| US8861800B2 (en) | Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction | |
| CN112037320B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| KR100730500B1 (ko) | 화상 처리 장치와 화상 처리 방법 및 기록 매체 | |
| CN111327828B (zh) | 拍照方法、装置、电子设备及存储介质 | |
| CN112381061B (zh) | 一种面部表情识别方法及*** | |
| CN110298319B (zh) | 图像合成方法和装置 | |
| CN108701355B (zh) | Gpu优化和在线基于单高斯的皮肤似然估计 | |
| JP2013242757A (ja) | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
| JPWO2010104181A1 (ja) | 特徴点生成システム、特徴点生成方法および特徴点生成プログラム | |
| WO2016165614A1 (zh) | 一种即时视频中的表情识别方法和电子设备 | |
| CN111680544B (zh) | 人脸识别方法、装置、***、设备及介质 | |
| CN113962306A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN108875506B (zh) | 人脸形状点跟踪方法、装置和***及存储介质 | |
| CN110532891B (zh) | 目标对象状态识别方法、装置、介质和设备 | |
| JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
| CN112001285A (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
| CN112333468B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111199204A (zh) | 一种基于OpenGL人脸图像处理方法及装置 | |
| CN111275610B (zh) | 一种人脸变老图像处理方法及*** | |
| CN108027647B (zh) | 用于与虚拟对象交互的方法和设备 | |
| JP2007026308A (ja) | 画像処理方法、画像処理装置 | |
| JP7414902B2 (ja) | 顔生体検出方法、装置、電子機器及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |