CN113177881B - 提升图片清晰度的处理方法及装置 - Google Patents
提升图片清晰度的处理方法及装置 Download PDFInfo
- Publication number
- CN113177881B CN113177881B CN202110466148.4A CN202110466148A CN113177881B CN 113177881 B CN113177881 B CN 113177881B CN 202110466148 A CN202110466148 A CN 202110466148A CN 113177881 B CN113177881 B CN 113177881B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- super
- resolution
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000032669 eclosion Effects 0.000 claims description 50
- 238000005520 cutting process Methods 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种提升图片清晰度的处理方法及装置，包括获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。本发明通过对图片进行降噪，人脸矫正等一系列预处理，再输入到深度学习模型中处理后，再对深度学习模型输出的结果进行结构、氛围等一系列滤镜后处理，来提高图片清晰度的效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种提升图片清晰度的处理方法及装置。
背景技术
当前市场上的提升照片清晰度的图片编辑类应用中，用户可以输入照片对照片进行清晰度的提升。但是，在现有的该类图片编辑类应用中，有的通过上传照片到服务器上进行清晰度的提升，这种处理方法需要用户联网，同时浪费宽带资源，服务器压力大，用户等待久；有的使用传统处理方法对照片进行通用性的清晰度提升，效果比较一般，同时在人脸上效果不太理想；有的通过深度学习模型进行清晰度提升，但是在移动设备计算能力有限的情况下，深度学习模型一般较小，单纯通过深度学习模型进行提升的效果极为有限。因此，相关技术已经无法满足用户提升照片清晰度的编辑需求。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种提升图片清晰度的处理方法及装置，以解决现有技术中无法满足用户提升照片清晰度的编辑需求的问题。
为实现以上目的，本发明采用如下技术方案：一种提升图片清晰度的处理方法，包括：
获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；
对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；
采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；
根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。
进一步的，所述根据人脸识别结果输出超分图像，包括：
如果识别到人脸，则获取人脸数据，对所述人脸数据进行预处理，得到矫正人脸图像，对所述矫正人脸图像进行降噪处理，得到降噪矫正人脸图像；
采用人脸超分辨率模型对所述降噪矫正人脸图像进行处理，得到清晰度提升的矫正人脸超分辨率图像；
采用人像分割模型对所述矫正人脸超分辨率图像进行分割处理，得到矫正人像掩膜图像，对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像；
以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像；
如果无法识别到人脸，则将所述降噪超分图像确定为超分图像。
进一步的，所述对所述原始图像进行降噪处理，得到降噪图像，包括：
在OpenGL设备创建OpenGL运行环境；
利用所述OpenGL运行环境和原始图像，得到原始图像纹理；
对所述原始图像纹理进行降噪处理，得到降噪图像。
进一步的，所述对所述降噪图像进行切片处理，得到多个图像切片，包括：
对所述降噪图像以预设尺寸的大小进行裁剪，得到多个尺寸为预设尺寸超分辨率增强的图像切片；
其中，对所述图像切片小于预设尺寸的图像进行拉伸填补。
进一步的，所述对所述人脸数据进行预处理，得到矫正人脸图像，包括：
计算所述人脸数据中的左眼位置和右眼位置的连线的中点位置，记为人脸中点；
计算所述人脸数据中的从左眼位置到右眼位置的连线相对水平线的逆时针的角度，记为人脸旋转角度；
以所述人脸中点为中心，以所述人脸旋转角度为旋转角度，将所述原始图像进行旋转操作，得到旋转图像，获取旋转图像中左眼、右眼、左嘴角和右嘴角的位置；
计算所述旋转图像中的左眼位置和右眼位置的连线的中点位置，记为旋转人脸的眼中点；
计算所述旋转图像中的左嘴角位置和右嘴角位置的连线的中点位置，记为旋转人脸的嘴中点；
计算旋转人脸的眼中点到所述旋转人脸的嘴中点的距离，记为人脸裁剪尺寸；
将所述旋转人脸的眼中点的横坐标减去预设倍数人脸裁剪尺寸，得到裁剪左边距；
将所述旋转人脸的眼中点的横坐标加上预设倍数人脸裁剪尺寸，得到裁剪右边距；
将所述旋转人脸的眼中点的纵坐标减去预设倍数人脸裁剪尺寸，得到裁剪上边距；
将所述旋转人脸的眼中点的纵坐标加上预设倍数人脸裁剪尺寸，得到裁剪下边距；
根据所述裁剪左边距、裁剪右边距、裁剪上边距、裁剪下边距，在所述旋转图像上进行裁剪操作，得到矫正人脸图像。
进一步的，所述对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，包括：
将所述矫正人像掩膜图像进行腐蚀、膨胀和模糊操作，得到羽化矫正人像掩膜图像。
进一步的，所述分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像，包括：
将所述矫正人脸超分辨率图像以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到清晰度提升的原始人脸图像；
将所述羽化矫正人像掩膜图像以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到所有的羽化原始人像掩膜图像。
进一步的，所述以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像，包括：
获取所述羽化原始人像掩膜图像的像素值，矫正人脸超分辨率图像的像素值，降噪图像的像素值；
以所述羽化原始人像掩膜图像的像素值为调节参数、矫正人脸超分辨率图像的像素值为混合色、降噪图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合；
输出超分图像。
进一步的，所述根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像，包括：
获取预设的曝光度参数、对比度参数、氛围参数、结构参数和锐化参数；
利用所述OpenGL运行环境获取超分图像纹理；
采用预设的曝光度参数、对比度参数、氛围参数、结构参数和锐化参数对所述超分图像纹理进行处理，得到最终图像。
本申请实施例提供一种提升图片清晰度的装置，包括：
获取模块，用于获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；
处理模块，用于对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；
识别模块，用于采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；
输出模块，用于根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种提升图片清晰度的处理方法及装置，通过对图片进行降噪，人脸矫正等一系列预处理，再输入到深度学习模型中处理后，再对深度学习模型输出的结果进行结构、氛围等一系列滤镜后处理，来提升图片清晰度。本申请是对照片使用常规清晰度提升与人脸清晰度提升相结合的方法，同时提供各种滤镜效果进行后处理，以达到照片背景与人脸都能达到满意的清晰度提升效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提升图片清晰度的处理方法的步骤示意图；
图2为本发明提升图片清晰度的处理方法的流程示意图；
图3为本发明提供的图像切片示意图；
图4为本发明提升图片清晰度的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的提升图片清晰度的处理方法。
如图1所示，本申请实施例中提供的提升图片清晰度的处理方法包括：
S101，获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；
S102，对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；
S103，采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；
S104，根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。
可以理解的是，本申请可以将多个模型载入到移动客户端中实现，也就是说将超分辨率模型、人脸识别模型、人脸超分辨率模型、人像分割模型均载入到移动客户端中，本申请中的原始图像也是经过移动客户端拍摄或在移动客户端的相册中获取的。需要说明的是，本申请中的超分辨率模型、人脸识别模型、人脸超分辨率模型、人像分割模型均采用通用模型，为现有技术，本申请在此不再赘述。
一些实施例中，所述根据人脸识别结果输出超分图像，包括：
如果识别到人脸，则获取人脸数据，对所述人脸数据进行预处理，得到矫正人脸图像，对所述矫正人脸图像进行降噪处理，得到降噪矫正人脸图像；
采用人脸超分辨率模型对所述降噪矫正人脸图像进行处理，得到清晰度提升的矫正人脸超分辨率图像；
采用人像分割模型对所述矫正人脸超分辨率图像进行分割处理，得到矫正人像掩膜图像，对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像；
以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像；
如果无法识别到人脸，则将所述降噪超分图像确定为超分图像。
提升图片清晰度的处理方法的工作原理为：参见图2，通过移动客户端获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；采用人脸识别模型对所述原始图像进行人脸识别，并在识别到人脸时获取人脸数据，对所述人脸数据进行预处理，得到矫正人脸图像，对所述矫正人脸图像进行降噪处理，得到降噪矫正人脸图像；采用人脸超分辨率模型对所述降噪矫正人脸图像进行处理，得到清晰度提升的矫正人脸超分辨率图像；采用人像分割模型对所述矫正人脸超分辨率图像进行分割处理，得到矫正人像掩膜图像，对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像；以所述羽化原始人像掩膜图像中的像素值为权重计算输出的超分图像的像素值，根据所述像素值将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像；根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。
具体的，将所述原始图像输入到所述人脸识别模型，进行识别操作，若识别不到人脸，则所述降噪超分图像为最终超分图像。
一些实施例中，所述对所述原始图像进行降噪处理，得到降噪图像，包括：
在OpenGL设备创建OpenGL运行环境；
利用所述OpenGL运行环境和原始图像，得到原始图像纹理；
对所述原始图像纹理进行降噪处理，得到降噪图像。
具体的，利用移动客户端获取原始图像。使用移动客户端创建OpenGL运行环境，将所述原始图像输入到OpenGL运行环境中，得到原始图像纹理，载入快速降噪着色器脚本，输入所述原始图像纹理，执行OpenGL程序，得到降噪图像。其中，快速降噪着色器脚本通过一个降噪函数对输入纹理进行降噪操作，具体的降噪函数的实现方式可根据需要采用合适的实现方案。其实现方案可采用现有技术实现，本申请在此不做限定。
一些实施例中，所述对所述降噪图像进行切片处理，得到多个图像切片，包括：
对所述降噪图像以预设尺寸的大小进行裁剪，得到多个尺寸为预设尺寸超分辨率增强的图像切片；
其中，对所述图像切片小于预设尺寸的图像进行拉伸填补。
如图3所示，本申请中载入常规的超分辨率模型到移动客户端，所述超分辨率模型接收像素大小为128x128的输入图像，输出为像素大小为256x256的清晰度提升的输出图像。所述超分辨率模型为移动化的模型，可以存储在移动客户端上，并支持在普遍的移动客户端的性能下运行。所述超分辨率模型的结构及训练方式可根据需要采用合适的实现方案。
本申请中对所述降噪图像以128x128的像素大小进行裁剪，对于图像边缘处不满128长度的地方，使用拉伸的方法进行填补，得到一组128x128的降噪图像切片。对所有的降噪图像切片输入到所述超分辨率模型，对所有的所述降噪图像切片输入到所述通用超分辨率模型，得到一组超分辨率增强的图像切片，对所有的所述超分辨率增强的图像切片进行重新拼接，得到降噪超分图像。
一些实施例中，所述对所述人脸数据进行预处理，得到矫正人脸图像，包括：
计算所述人脸数据中的左眼位置和右眼位置的连线的中点位置，记为人脸中点；
计算所述人脸数据中的从左眼位置到右眼位置的连线相对水平线的逆时针的角度，记为人脸旋转角度；
以所述人脸中点为中心，以所述人脸旋转角度为旋转角度，将所述原始图像进行旋转操作，得到旋转图像，获取旋转图像中左眼、右眼、左嘴角和右嘴角的位置；
计算所述旋转图像中的左眼位置和右眼位置的连线的中点位置，记为旋转人脸的眼中点；
计算所述旋转图像中的左嘴角位置和右嘴角位置的连线的中点位置，记为旋转人脸的嘴中点；
计算旋转人脸的眼中点到所述旋转人脸的嘴中点的距离，记为人脸裁剪尺寸；
将所述旋转人脸的眼中点的横坐标减去预设倍数人脸裁剪尺寸，得到裁剪左边距；
将所述旋转人脸的眼中点的横坐标加上预设倍数人脸裁剪尺寸，得到裁剪右边距；
将所述旋转人脸的眼中点的纵坐标减去预设倍数人脸裁剪尺寸，得到裁剪上边距；
将所述旋转人脸的眼中点的纵坐标加上预设倍数人脸裁剪尺寸，得到裁剪下边距；
根据所述裁剪左边距、裁剪右边距、裁剪上边距、裁剪下边距，在所述旋转图像上进行裁剪操作，得到矫正人脸图像。
具体的，载入人脸识别模型到移动客户端，所述人脸识别模型可接收输入图像，输出为输入图像中的人脸数据，其中所述人脸数据包含人脸框、左眼、右眼、鼻尖、左嘴角和右嘴角的位置。具体的人脸识别模型实现方式可根据需要采用合适的实现方案。将所述原始图像输入到所述人脸识别模型，进行识别操作，若识别不到人脸，则所述降噪超分图像为最终超分图像。若所述人脸识别模型识别到人脸，则记录所述人脸识别模型返回的所有的人脸数据。对所有的所述人脸数据，执行人脸预处理操作。其中所述人脸预处理操作为以下步骤：
(1)，计算所述人脸数据中的左眼位置leftEye和右眼位置rightEye的连线的中点位置eyeCenter，记为人脸中点，具体公式为eyeCenter.x＝(leftEye.x+rightEye.x)/2，eyeCenter.y＝(leftEye.y+rightEye.y)/2；
(2)，计算所述人脸数据中的从左眼位置leftEye到右眼位置rightEye的连线相对水平线的逆时针的角度，记为人脸旋转角度angle，具体公式为：angle＝fastAtan2(rightEye.y-leftEye.y,rightEye.x-leftEye.x)，其中fastAtan2为OpenCV库的内置函数；
(3)，以所述人脸中点为中心，以所述人脸旋转角度为旋转角度，将所述原始图像进行旋转操作，得到旋转图像，同时记录旋转图像中左眼、右眼、左嘴角和右嘴角的位置；
(4)，计算所述旋转图像中的左眼位置rotLeftEye和右眼位置rotRightEye的连线的中点位置，记为旋转人脸的眼中点rotEyeCenter，具体公式为：rotEyeCenter.x＝(rotLeftEye.x+rotRightEye.x)/2，rotEyeCenter.y＝(rotLeftEye.y+rotRightEye.y)/2；
(5)，计算所述旋转图像中的左嘴角位置rotLeftMouth和右嘴角位置rotRightMouth的连线的中点位置，记为旋转人脸的嘴中点rotMouthCenter，具体公式为：rotMouthCenter.x＝(rotLeftMouth.x+rotRightMouth.x)/2，rotMouthCenter.y＝(rotLeftMouth.y+rotRightMouth.y)/2；
(6)，计算所述旋转人脸的眼中点到旋转人脸的嘴中点的距离，记为人脸裁剪尺寸cropUnit,具体公式为：cropUnit＝abs(rotMouthCenter.y-rotEyeCenter.y)，其中abs为OpenCV库的内置函数；
(7)，将所述旋转人脸的眼中点的x坐标减去预设倍数人脸裁剪尺寸，得到裁剪左边距；
(8)，将所述旋转人脸的眼中点的x坐标加上预设倍数人脸裁剪尺寸，得到裁剪右边距；
(9)，将所述旋转人脸的眼中点的y坐标减去预设倍数人脸裁剪尺寸，得到裁剪上边距；
(10)，将所述旋转人脸的眼中点的y坐标加上预设倍数人脸裁剪尺寸，得到裁剪下边距；
(11)，根据所述裁剪左边距、裁剪右边距、裁剪上边距、裁剪下边距，在所述旋转图像上进行裁剪操作，得到矫正人脸图像。
本申请中在得到矫正人脸图像后，使用基于离散余弦变换的降噪算法，将所述矫正人脸图像进行降噪操作，得到降噪矫正人脸图像。
在得到降噪矫正人脸图像之后，采用移动客户端的人脸超分辨率模型，所述人脸超分辨率模型可接收人脸图像，输出为清晰度提升的人脸超分辨率图像。人脸超分辨率模型具体的人脸超分辨率模型实现方式可根据需要采用合适的实现方案。将所有的降噪矫正人脸图像输入到所述人脸超分辨率模型，得到所有的清晰度提升的矫正人脸超分辨率图像。
一些实施例中，所述对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，包括：
将所述矫正人像掩膜图像进行腐蚀、膨胀和模糊操作，得到羽化矫正人像掩膜图像。
优选的，所述分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像，包括：
将所述矫正人脸超分辨率图像以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到清晰度提升的原始人脸图像；
将所述羽化矫正人像掩膜图像以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到所有的羽化原始人像掩膜图像。
具体的，载入人像分割模型到移动客户端，所述人像分割模型可接收输入图像，输出人像掩膜图像，所述人像掩膜图像的像素值范围为0～1，其中像素值表示该像素属于人像的置信度。具体的人像分割模型实现方式可根据需要采用合适的实现方案。将所有的所述清晰度提升的矫正人脸超分辨率图像输入到所述人像分割模型，得到所有的矫正人像掩膜图像。将所有的所述矫正人像掩膜图像进行腐蚀、膨胀和模糊操作，得到所有的羽化矫正人像掩膜图像。将所有的所述羽化矫正人像掩膜图像分别以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到所有的羽化原始人像掩膜图像。将所有的所述清晰度提升的矫正人脸超分辨率图像分别以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到所有的清晰度提升的原始人脸图像。
一些实施例中，所述以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色计算输出的超分图像的像素值，根据所述像素值将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像，包括：
获取所述羽化原始人像掩膜图像的像素值，矫正人脸超分辨率图像的像素值，降噪图像的像素值；
以所述羽化原始人像掩膜图像的像素值为调节参数、矫正人脸超分辨率图像的像素值为混合色、降噪图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合；
输出超分图像。
具体的，以所有的所述羽化原始人像掩膜图像中的像素值为调节参数a，以所有的所述清晰度提升的原始人脸图像的像素值为混合色s，以所述降噪超分图像的像素值为基色b，进行正常模式的混合，得到最终的超分图像。记所述最终超分图像的像素值为r，则r可以通过正常模式的混合的公式r＝s*a+b*(1-a)计算得到。
一些实施例中，所述根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像，包括：
获取预设的曝光度参数、对比度参数、氛围参数、结构参数和锐化参数；
利用所述OpenGL运行环境获取超分图像纹理；
采用预设的曝光度参数、对比度参数、氛围参数、结构参数和锐化参数对所述超分图像纹理进行处理，得到最终图像。
具体的，可以预先通过移动客户端界面获取用户输入的曝光度、对比度、氛围、结构和锐化等滤镜参数；将所述最终超分图像输入到OpenGL运行环境中，得到最终超分图像纹理；载入曝光度、对比度、氛围、结构和锐化等滤镜的着色器脚本，输入所述最终超分图像纹理和所述获取的曝光度、对比度、氛围、结构和锐化等滤镜参数，执行OpenGL程序，得到最终图像。
如图4所示，本申请实施例提供一种提升图片清晰度的装置，包括：
获取模块401，用于获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；
处理模块402，用于对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；
识别模块403，用于采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；
输出模块404，用于根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。
本申请实施例提供的提升图片清晰度的装置的工作原理是，获取模块401获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；处理模块402对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；识别模块403采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；输出模块404根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的提升图片清晰度的处理方法；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种提升图片清晰度的处理方法及装置，通过对图片进行降噪，人脸矫正等一系列预处理，再输入到深度学习模型中处理后，再对深度学习模型输出的结果进行结构、氛围等一系列滤镜后处理，来提高图片清晰度的效果。
可以理解的是，上述提供的处理方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为处理方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的处理方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令处理方法的制造品，该指令处理方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种提升图片清晰度的处理方法，其特征在于，包括：
获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；
对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；
采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；
根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像；
所述根据人脸识别结果输出超分图像，包括：
如果识别到人脸，则获取人脸数据，对所述人脸数据进行预处理，得到矫正人脸图像，对所述矫正人脸图像进行降噪处理，得到降噪矫正人脸图像；
采用人脸超分辨率模型对所述降噪矫正人脸图像进行处理，得到清晰度提升的矫正人脸超分辨率图像；
采用人像分割模型对所述矫正人脸超分辨率图像进行分割处理，得到矫正人像掩膜图像，对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像；
以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像；
如果无法识别到人脸，则将所述降噪超分图像确定为超分图像。
2.根据权利要求1所述的处理方法，其特征在于，所述对所述原始图像进行降噪处理，得到降噪图像，包括：
在OpenGL设备创建OpenGL运行环境；
利用所述OpenGL运行环境和原始图像，得到原始图像纹理；
对所述原始图像纹理进行降噪处理，得到降噪图像。
3.根据权利要求1所述的处理方法，其特征在于，所述对所述降噪图像进行切片处理，得到多个图像切片，包括：
对所述降噪图像以预设尺寸的大小进行裁剪，得到多个预设尺寸的超分辨率增强的图像切片；
其中，对所述图像切片小于预设尺寸的图像进行拉伸填补。
4.根据权利要求1所述的处理方法，其特征在于，所述对所述人脸数据进行预处理，得到矫正人脸图像，包括：
计算所述人脸数据中的左眼位置和右眼位置的连线的中点位置，记为人脸中点；
计算所述人脸数据中的从左眼位置到右眼位置的连线相对水平线的逆时针的角度，记为人脸旋转角度；
以所述人脸中点为中心，以所述人脸旋转角度为旋转角度，将所述原始图像进行旋转操作，得到旋转图像，获取旋转图像中左眼、右眼、左嘴角和右嘴角的位置；
计算所述旋转图像中的左眼位置和右眼位置的连线的中点位置，记为旋转人脸的眼中点；
计算所述旋转图像中的左嘴角位置和右嘴角位置的连线的中点位置，记为旋转人脸的嘴中点；
计算旋转人脸的眼中点到所述旋转人脸的嘴中点的距离，记为人脸裁剪尺寸；
将所述旋转人脸的眼中点的横坐标减去预设倍数人脸裁剪尺寸，得到裁剪左边距；
将所述旋转人脸的眼中点的横坐标加上预设倍数人脸裁剪尺寸，得到裁剪右边距；
将所述旋转人脸的眼中点的纵坐标减去预设倍数人脸裁剪尺寸，得到裁剪上边距；
将所述旋转人脸的眼中点的纵坐标加上预设倍数人脸裁剪尺寸，得到裁剪下边距；
根据所述裁剪左边距、裁剪右边距、裁剪上边距、裁剪下边距，在所述旋转图像上进行裁剪操作，得到矫正人脸图像。
5.根据权利要求1所述的处理方法，其特征在于，所述对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，包括：
将所述矫正人像掩膜图像进行腐蚀、膨胀和模糊操作，得到羽化矫正人像掩膜图像。
6.根据权利要求4所述的处理方法，其特征在于，所述分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像，包括：
将所述矫正人脸超分辨率图像以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到清晰度提升的原始人脸图像；
将所述羽化矫正人像掩膜图像以所述人脸旋转角度的负值为旋转角度进行旋转操作，得到所有的羽化原始人像掩膜图像。
7.根据权利要求1所述的处理方法，其特征在于，所述以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色计算输出的超分图像的像素值，根据所述像素值将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像，包括：
获取所述羽化原始人像掩膜图像的像素值，矫正人脸超分辨率图像的像素值，降噪图像的像素值；
以所述羽化原始人像掩膜图像的像素值为调节参数、矫正人脸超分辨率图像的像素值为混合色、降噪图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合；
输出超分图像。
8.根据权利要求2所述的处理方法，其特征在于，所述根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像，包括：
获取预设的曝光度参数、对比度参数、氛围参数、结构参数和锐化参数；
利用所述OpenGL运行环境获取超分图像纹理；
采用预设的曝光度参数、对比度参数、氛围参数、结构参数和锐化参数对所述超分图像纹理进行处理，得到最终图像。
9.一种提升图片清晰度的装置，其特征在于，包括：
获取模块，用于获取原始图像并对所述原始图像进行降噪处理，得到降噪图像；
处理模块，用于对所述降噪图像进行切片处理，得到多个图像切片，采用超分辨率模型对所有的图像切片进行处理，得到超分辨率增强的图像切片，将所有的图像切片进行拼接，得到降噪超分图像；
识别模块，用于采用人脸识别模型对所述原始图像进行人脸识别，并根据人脸识别结果输出超分图像；
输出模块，用于根据预设的滤镜参数对所述超分图像进行滤镜处理，输出最终图像；
所述根据人脸识别结果输出超分图像，包括：
如果识别到人脸，则获取人脸数据，对所述人脸数据进行预处理，得到矫正人脸图像，对所述矫正人脸图像进行降噪处理，得到降噪矫正人脸图像；
采用人脸超分辨率模型对所述降噪矫正人脸图像进行处理，得到清晰度提升的矫正人脸超分辨率图像；
采用人像分割模型对所述矫正人脸超分辨率图像进行分割处理，得到矫正人像掩膜图像，对所述矫正人像掩膜图像进行处理得到羽化矫正人像掩膜图像，分别对所述矫正人脸超分辨率图像和所述羽化矫正人像掩膜图像进行旋转操作，得到原始人脸图像和羽化原始人像掩膜图像；
以所述羽化原始人像掩膜图像中的像素值为调节参数、所述原始人脸图像的像素值为混合色、降噪超分图像的像素值为基色将所述原始人脸图像与所述降噪超分图像进行融合，输出超分图像；
如果无法识别到人脸，则将所述降噪超分图像确定为超分图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110466148.4A CN113177881B (zh) | 2021-04-28 | 2021-04-28 | 提升图片清晰度的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110466148.4A CN113177881B (zh) | 2021-04-28 | 2021-04-28 | 提升图片清晰度的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177881A CN113177881A (zh) | 2021-07-27 |
| CN113177881B true CN113177881B (zh) | 2023-10-27 |
Family
ID=76926856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110466148.4A Active CN113177881B (zh) | 2021-04-28 | 2021-04-28 | 提升图片清晰度的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177881B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051386B (zh) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897708A (zh) * | 2017-03-06 | 2017-06-27 | 深圳英飞拓科技股份有限公司 | 立体人脸检测方法及装置 |
| CN108596140A (zh) * | 2018-05-08 | 2018-09-28 | 青岛海信移动通信技术股份有限公司 | 一种移动终端人脸识别方法及*** |
| WO2020087434A1 (zh) * | 2018-11-01 | 2020-05-07 | 深圳技术大学（筹） | 一种人脸图像清晰度评价方法及装置 |
| CN111709878A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| CN112598580A (zh) * | 2020-12-29 | 2021-04-02 | 广州光锥元信息科技有限公司 | 提升人像照片清晰度的方法及装置 |
-
2021
- 2021-04-28 CN CN202110466148.4A patent/CN113177881B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897708A (zh) * | 2017-03-06 | 2017-06-27 | 深圳英飞拓科技股份有限公司 | 立体人脸检测方法及装置 |
| CN108596140A (zh) * | 2018-05-08 | 2018-09-28 | 青岛海信移动通信技术股份有限公司 | 一种移动终端人脸识别方法及*** |
| WO2020087434A1 (zh) * | 2018-11-01 | 2020-05-07 | 深圳技术大学（筹） | 一种人脸图像清晰度评价方法及装置 |
| CN111709878A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 人脸超分辨率实现方法、装置、电子设备及存储介质 |
| CN112598580A (zh) * | 2020-12-29 | 2021-04-02 | 广州光锥元信息科技有限公司 | 提升人像照片清晰度的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 人脸五官图像分割与清晰度匹配方法研究;沈逸;《中国优秀硕士学位论文全文数据库 信息科技》(第7期);第3章、第1章 * |
| 包装袋平面设计中立体视觉效果分析;袁月明;《美术教育研究》;第78-79页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177881A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
| Liu et al. | A generalized framework for edge-preserving and structure-preserving image smoothing | |
| CN108205804B (zh) | 图像处理方法、装置及电子设备 | |
| Cheng et al. | Robust algorithm for exemplar-based image inpainting | |
| US9621869B2 (en) | System and method for rendering affected pixels | |
| US20160314619A1 (en) | 3-Dimensional Portrait Reconstruction From a Single Photo | |
| CN112598580B (zh) | 提升人像照片清晰度的方法及装置 | |
| CN107194869B (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
| US11521299B2 (en) | Retouching digital images utilizing separate deep-learning neural networks | |
| WO2021253723A1 (zh) | 一种人体图像处理方法、装置、电子设备及存储介质 | |
| CN111612878B (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN112258440B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113177881B (zh) | 提升图片清晰度的处理方法及装置 | |
| WO2018039936A1 (en) | Fast uv atlas generation and texture mapping | |
| CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
| CN113129207A (zh) | 一种图片的背景虚化方法及装置、计算机设备、存储介质 | |
| CN116612263B (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
| WO2023221636A1 (zh) | 视频处理方法、装置、设备、存储介质和程序产品 | |
| US10354125B2 (en) | Photograph processing method and system | |
| Jeong et al. | Display-aware image editing | |
| CN112561784B (zh) | 图像合成方法、装置、电子设备及存储介质 | |
| WO2021135676A1 (zh) | 一种拍照背景虚化方法、移动终端及存储介质 | |
| CN113763233A (zh) | 一种图像处理方法、服务器及拍照设备 | |
| CN113065566A (zh) | 一种误匹配去除方法、***及应用 | |
| US9563940B2 (en) | Smart image enhancements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |