CN110008911A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110008911A CN110008911A CN201910285762.3A CN201910285762A CN110008911A CN 110008911 A CN110008911 A CN 110008911A CN 201910285762 A CN201910285762 A CN 201910285762A CN 110008911 A CN110008911 A CN 110008911A
- Authority
- CN
- China
- Prior art keywords
- facial characteristics
- foundation characteristic
- point
- densification
- characteristic points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000001815 facial effect Effects 0.000 claims abstract description 162
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000000280 densification Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- ONUFESLQCSAYKA-UHFFFAOYSA-N iprodione Chemical compound O=C1N(C(=O)NC(C)C)CC(=O)N1C1=CC(Cl)=CC(Cl)=C1 ONUFESLQCSAYKA-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理领域，公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，其中，图像处理方法包括：确定视频信息中的待处理图像帧，并检测待处理图像帧中是否包括面部特征；接着若包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数；接着基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。本申请实施例的方法，大幅度增加特征点的数量，在极大提高对面部特征进行特定处理的精准度以及经特定处理后的面部特征的自然程度，提升用户体验。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着科学技术的发展、技术产业化应用水平的提升以及智能终端技术的发展，智能终端的性能越来越好，硬件配置已经越来越完备。随着智能终端市场竞争越来越激烈，单纯硬件配置的升级已经无法吸引更多的电子产品消费者。基于此，大部分的智能终端生产厂商更追求产品的差异化功能规划和设计等，例如人脸解锁、人脸重塑、3D美颜、3D打光等对图像信息进行处理的技术应用。
然而，本申请发明人在具体实施过程中，发现：现有的对图像信息进行处理的技术应用，在进行人脸的相关处理时，获取到的特征点的数量往往较少，无法精准地对人脸进行特定处理，导致用户体验较差。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
第一方面，提供了一种图像处理方法，包括：
确定视频信息中的待处理图像帧，并检测待处理图像帧中是否包括面部特征；
若包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数；
基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。
具体地，根据任一面部特征的多个基础特征点，确定该任一面部特征的拟合多项式系数，包括：
确定任一面部特征的各个基础特征点分别对应的横坐标与纵坐标，得到对应的各个坐标点；
计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于偏差平方和，对各个多项式系数分别进行偏导数计算，确定任一面部特征的拟合多项式系数。
进一步地，密集化处理参数包括插值步长，基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，包括：
基于任一面部特征对应的拟合多项式系数，按照插值步长，对任一面部特征对应的多个基础特征点进行相应特征点的***，得到任一面部特征的密集化处理后的密集特征点。
进一步地，密集化处理参数包括距离门限值，在对任一面部特征对应的多个基础特征点进行相应特征点的***之后，还包括：
计算当前密集特征点与前一密集特征点之间的距离；
检测距离是否大于距离门限值；
如果大于，则将当前密集特征点确定为畸点，并剔除畸点。
进一步地，在对任一面部特征对应的多个基础特征点进行相应特征点的***之后，还包括：
输出剔除畸点后的任一面部特征的密集化处理后的密集特征点。
第二方面，提供了一种图像处理装置，包括：
第一处理模块，用于确定视频信息中的待处理图像帧，并检测待处理图像帧中是否包括面部特征；
第二处理模块，用于当待处理图像帧中包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数；
第三处理模块，用于基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。
具体地，第二处理模块包括确定子模块与计算子模块；
确定子模块，用于确定任一面部特征的各个基础特征点分别对应的横坐标与纵坐标，得到对应的各个坐标点；
计算子模块，用于计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于偏差平方和，对各个多项式系数分别进行偏导数计算，确定任一面部特征的拟合多项式系数。
进一步地，密集化处理参数包括插值步长，第三处理模块具体用于基于任一面部特征对应的拟合多项式系数，按照插值步长，对任一面部特征对应的多个基础特征点进行相应特征点的***，得到任一面部特征的密集化处理后的密集特征点。
进一步地，密集化处理参数包括距离门限值，该装置还包括畸点剔除模块；
畸点剔除模块用于计算当前密集特征点与前一密集特征点之间的距离；以及检测距离是否大于距离门限值，并当距离大于距离门限时，将当前密集特征点确定为畸点，并剔除畸点。
进一步地，该装置还包括输出模块；
输出模块，用于输出剔除畸点后的任一面部特征的密集化处理后的密集特征点。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的图像处理方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
本申请实施例提供的图像处理方法，通过基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，不仅能够在获取到的基础特征点的基础上，大幅度增加特征点的数量，从而在很大程度上提高对面部特征进行特定处理的精准度以及经特定处理后的面部特征的自然程度，极大提升用户体验，而且便于将基于面部特征点的处理推广到更多的应用场景中，提高应用广泛度。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的图像处理方法的流程示意图；
图2为本申请实施例的获取面部特征的多个基础特征点的示意图；
图3为本申请实施例的嘴巴的多个基础特征点的示意图；
图4为本申请实施例的密集化处理后的嘴巴的密集特征点的示意图；
图5为本申请实施例的对各个面部特征的多个基础特征点进行密集化处理的过程示意图；
图6为本申请实施例的图像处理装置的基本结构示意图；
图7为本申请实施例的图像处理装置的详细结构示意图；
图8为本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
本申请实施例提供了一种图像处理方法，如图1所示，包括：
步骤S110，确定视频信息中的待处理图像帧，并检测待处理图像帧中是否包括面部特征。
具体地，应用该图像处理方法的终端设备或应用程序，从获取到的视频信息中确定待处理图像帧，即确定该获取到的视频信息中的待处理图像帧。其中，该视频信息可以是通过多媒体采集设备实时采集到的，也可以是从本地预存储的视频库中获取到的。
进一步地，在确定出视频信息中的待处理图像帧后，对该待处理图像进行检测，以确定该待处理图像中是否包括面部特征，例如眉毛、眼睛、鼻子、嘴巴、脸轮廓等。其中，如果该待处理图像中包括一个或多个面部特征，则执行步骤S120。
步骤S120，若包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数。
具体地，当待处理图像中包括一个或多个面部特征时，获取各个面部特征分别对应的多个基础特征点。如果待处理图像中包括眼睛这一面部特征，则获取眼睛对应的多个基础特征点，如果待处理图像中包括嘴巴与鼻子这两个面部特征，则分别获取嘴巴对应的多个基础特征点以及鼻子对应的多个基础特征点。如图2所示，图2左侧的图像为当前待处理图像，包括眉毛、眼睛、鼻子、嘴巴、脸轮廓等多个面部特征，图2右侧的图像为各个面部特征分别对应的多个基础特征点的示意图。
进一步地，在获取到各个面部特征分别对应的多个基础特征点后，根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数，为后续对基础特征点进行密集化处理奠定必要基础。
步骤S130，基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。
具体地，在根据各个面部特征分别对应的多个基础特征点，确定出各个面部特征分别对应的拟合多项式系数之后，可以基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，得到各个面部特征对应的密集化处理后的各个特征点。其中，密集化处理参数可以是终端设备或应用程序预先设定的默认的参数值，也可以是用户根据自己需要，手动调节后的参数值，而且该密集化处理参数可以在终端设备或应用程序启动时同步获取到。
本申请实施例提供的图像处理方法，与现有技术相比，通过基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，不仅能够在获取到的基础特征点的基础上，大幅度增加特征点的数量，从而在很大程度上提高对面部特征进行特定处理的精准度以及经特定处理后的面部特征的自然程度，极大提升用户体验，而且便于将基于面部特征点的处理推广到更多的应用场景中，提高应用广泛度。
本申请实施例提供了另一种可能的实现方式，其中，根据任一面部特征的多个基础特征点，确定该任一面部特征的拟合多项式系数，包括：
确定任一面部特征的各个基础特征点分别对应的横坐标与纵坐标，得到对应的各个坐标点；
计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于偏差平方和，对各个多项式系数分别进行偏导数计算，确定任一面部特征的拟合多项式系数。
具体地，密集化处理参数包括插值步长，基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，包括：
基于任一面部特征对应的拟合多项式系数，按照插值步长，对任一面部特征对应的多个基础特征点进行相应特征点的***，得到任一面部特征的密集化处理后的密集特征点。
具体地，密集化处理参数包括距离门限值，在对任一面部特征对应的多个基础特征点进行相应特征点的***之后，还包括：
计算当前密集特征点与前一密集特征点之间的距离；
检测距离是否大于距离门限值；
如果大于，则将当前密集特征点确定为畸点，并剔除畸点。
具体地，在对任一面部特征对应的多个基础特征点进行相应特征点的***之后，还包括：
输出剔除畸点后的任一面部特征的密集化处理后的密集特征点。
下面对本实现方式中涉及到的内容进行如下详细介绍：
具体地，对于任一个面部特征，无论其是眉毛、眼睛、鼻子、嘴巴还是脸轮廓，其确定拟合多项式系数的过程是相同的。其中，各个面部特征共用同一个拟合多项式函数，但是各个面部特征因其基础特征点的不同，会根据该拟合多项式函数，确定出不同的拟合多项式系数，即各个面部特征都会根据其对应的多个基础特征点，确定出各自对应的拟合多项式系数，也即各个面部特征具有各自对应的拟合多项式系数，故需要确定待处理图像中的每个面部特征的拟合多项式系数。
换言之，各个面部特征的拟合多项式系数是由其对应的多个基础特征点决定的。通常情况下，由于正面拍摄的某个面部特征的多个基础特征点，不同于侧面拍摄的该某个面部特征的多个基础特征点，因此，正面拍摄的该某个面部特征的多项式拟合系数，将会不同于侧面拍摄的该某个面部特征的多项式的拟合系数。基于此，每次确定出待处理图像后，均需要根据该待处理图像中的各个面部特征各自对应的多个基础特征点，确定各个面部特征的拟合多项式系数。
由于确定各个面部特征的拟合多项式系数的过程是相同的，现在以任一面部特征(例如嘴巴)为例，具体介绍拟合多项式系数的确定过程，具体如下：
假如采用的是形如Yn(x)＝anxn+an-1xn-1+…+a1x+a0的拟合多项式函数，其中，n为设定的拟合次数，a0、a1……an为需要确定的拟合多项式系数。首先，将该任一面部特征的各个基础特征点的横坐标(即X坐标)与纵坐标(即Y坐标)分离出来，得到对应的各个坐标(X，Y)，接着计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于偏差平方和，对各个多项式系数分别进行偏导数计算，确定该任一面部特征的拟合多项式系数。其中，拟合曲线为根据上述的拟合多项式函数拟合得到的。
在实际应用中，根据需要可以将上述的具体过程描述为如下的步骤a至步骤f：
步骤a：确定形如Yn(x)＝anxn+an-1xn-1+…+a1x+a0的拟合多项式函数。
步骤b：将该任一面部特征的基础特征点的坐标X分离出来，并存入M_X矩阵，其中，对应的代码实现可以为：
for(int i＝0；i<List.size()；i++)
M_X[i]＝List[i].x；
步骤c：将该任一面部特征的基础特征点的坐标Y分离出来，并存入M_Y矩阵，其中，对应的代码实现可以为：
for(int i＝0；i<List.size()；i++)
M_Y[i]＝List[i].y；
步骤d：由Yn(x)＝anxn+an-1xn-1++a1x+a0，可知：各个坐标点(X，Y)到拟合曲线的距离之和(即偏差平方和)如下所示：
步骤e：对步骤d中偏差平方和等式的右边部分的各个项式系数ai进行偏导数计算，整理后可得：
步骤f：将上述的基础特征点(List[i].xi，List[i].yi)代入步骤d至步骤e，即可求出参数a0、a1……an，也即上文提到的拟合多项式系数。
需要说明的是，确定其他面部特征的拟合多项式系数的过程，与上述过程相同，在此不再赘述。此外，上述的拟合多项式系数可以记作一维矩阵的形式，此时可以将拟合多项式系数称作系数矩阵，其中，可以将该系数矩阵记作M。
进一步地，密集化处理参数包括插值步长，该插值步长可以为默认数值，也可以根据用户需要进行设定。其中，在得到任一面部特征的拟合多项式系数之后，基于该任一面部特征对应的拟合多项式系数，按照插值步长，对该对任一面部特征对应的多个基础特征点进行特征点的***，从而得到该任一面部特征的密集化处理后的密集特征点。
进一步地，图3给出了获取到的嘴巴的多个基础特征点的示意图，图4给出了对嘴巴对应的多个基础特征点进行特征点的***后的示意图，即为密集化处理后的密集特征点的示意图。
进一步地，进一步地，密集化处理参数包括距离门限值(例如d0)，该距离门限值可以为默认数值，也可以根据用户需要进行设定。其中，在对任一面部特征对应的多个基础特征点进行相应特征点的***之后，可以计算当前密集特征点与前一密集特征点之间的距离，并检测该距离是否大于距离门限值d0，如果大于距离门限值d0，则将当前密集特征点确定为畸点，接着剔除该确定出的畸点。
假如将当前点记作(xn，yn)，将前一点记作(xn-1，yn-1)，将当前密集特征点与前一密集特征点之间的距离记作dis，则：
若dis大于d0，则将当前密集特征点(xn，yn)确定为畸点，接着剔除该确定出的畸点(xn，yn)。
进一步地，在剔除畸点后，输出剔除畸点后的该任一面部特征的密集化处理后的密集特征点，以便用户能够直观感受针对该任一面部特征的密集特征点。
可选地，在本申请实施例提供的另一种可能的实现方式中，不同的面部特征可以对应于不同的密集化处理参数，这样可以根据各面部特征的特点设定适合的密集化处理参数。例如，对于眼镜、鼻子和嘴巴这三个面部特征，分别对应的插值步长和/或距离门限值可以不同。
其中，图5给出了本申请实施例的对各个面部特征分别对应的多个基础特征点进行密集化处理的过程示意图，根据图5所示步骤即可实现本申请实施例的图像处理方法。
实施例二
图6为本申请实施例提供的一种图像处理装置的结构示意图，如图6所示，该装置60可以包括第一处理模块61、第二处理模块62与第三处理模块63，其中：
第一处理模块61用于确定视频信息中的待处理图像帧，并检测待处理图像帧中是否包括面部特征；
第二处理模块62用于当待处理图像帧中包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数；
第三处理模块63用于基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。
本申请实施例提供的装置，与现有技术相比，通过基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，不仅能够在获取到的基础特征点的基础上，大幅度增加特征点的数量，从而在很大程度上提高对面部特征进行特定处理的精准度以及经特定处理后的面部特征的自然程度，极大提升用户体验，而且便于将基于面部特征点的处理推广到更多的应用场景中，提高应用广泛度。
具体地，图7为本申请实施例的图像处理装置的详细结构示意图，该装置70可以包括第一处理模块71、第二处理模块72、第三处理模块73、畸点剔除模块74与输出模块75。其中，图7中的第一处理模块71所实现的功能与图6中的第一处理模块61相同，图7中的第二处理模块72所实现的功能与图6中的第二处理模块62相同，图7中的第三处理模块73所实现的功能与图6中的第三处理模块63相同，在此不再赘述。下面对图7所示的图像处理装置进行详细介绍：
具体地，第二处理模块72包括确定子模块721与计算子模块722，如图7所示，其中：
确定子模块721用于确定任一面部特征的各个基础特征点分别对应的横坐标与纵坐标，得到对应的各个坐标点；
计算子模块722用于计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于偏差平方和，对各个多项式系数分别进行偏导数计算，确定任一面部特征的拟合多项式系数。
进一步地，密集化处理参数包括插值步长，第三处理模块73具体用于基于任一面部特征对应的拟合多项式系数，按照插值步长，对任一面部特征对应的多个基础特征点进行相应特征点的***，得到任一面部特征的密集化处理后的密集特征点。
进一步地，密集化处理参数包括距离门限值，该装置还包括畸点剔除模块74，如图7所示，其中：
畸点剔除模块74用于计算当前密集特征点与前一密集特征点之间的距离；以及检测距离是否大于距离门限值，并当距离大于距离门限时，将当前密集特征点确定为畸点，并剔除畸点。
进一步地，该装置还包括输出模块75，如图7所示，其中：
输出模块75用于输出剔除畸点后的任一面部特征的密集化处理后的密集特征点。
需要说明的是，本实施例为与上述实施例一(即方法项实施例)相对应的装置项实施例，本实施例可与实施例一互相配合实施。实施例一中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在实施例一中。
实施例三
本申请实施例提供了一种电子设备，如图8所示，图8所示的电子设备800包括：处理器801和存储器803。其中，处理器801和存储器803相连，如通过总线802相连。进一步地，电子设备800还可以包括收发器804。需要说明的是，实际应用中收发器804不限于一个，该电子设备800的结构并不构成对本申请实施例的限定。
其中，处理器801应用于本申请实施例中，用于实现图6或图7所示的第一处理模块、第二处理模块及第三处理模块的功能。
处理器801可以是CPU，GPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器801也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线802可包括一通路，在上述组件之间传送信息。总线602可以是PCI总线或EISA总线等。总线802可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器803可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器803用于存储执行本申请方案的应用程序代码，并由处理器801来控制执行。处理器801用于执行存储器803中存储的应用程序代码，以实现图6或图7所示实施例提供的图像处理装置的动作。
本申请实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，与现有技术相比，可实现：通过基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，不仅能够在获取到的基础特征点的基础上，大幅度增加特征点的数量，从而在很大程度上提高对面部特征进行特定处理的精准度以及经特定处理后的面部特征的自然程度，极大提升用户体验，而且便于将基于面部特征点的处理推广到更多的应用场景中，提高应用广泛度。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现实施例一所示的方法。与现有技术相比，通过基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，不仅能够在获取到的基础特征点的基础上，大幅度增加特征点的数量，从而在很大程度上提高对面部特征进行特定处理的精准度以及经特定处理后的面部特征的自然程度，极大提升用户体验，而且便于将基于面部特征点的处理推广到更多的应用场景中，提高应用广泛度。
本申请实施例提供的计算机可读存储介质适用于上述方法的任一实施例。在此不再赘述。
本申请实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行上述方法的任一实施例的相应步骤，并且用于实现本申请实施例二的图像处理装置中的相应模块。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
确定视频信息中的待处理图像帧，并检测所述待处理图像帧中是否包括面部特征；
若包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数；
基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。
2.根据权利要求1所述的方法，其特征在于，根据任一面部特征的多个基础特征点，确定该任一面部特征的拟合多项式系数，包括：
确定所述任一面部特征的各个基础特征点分别对应的横坐标与纵坐标，得到对应的各个坐标点；
计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于所述偏差平方和，对各个多项式系数分别进行偏导数计算，确定所述任一面部特征的拟合多项式系数。
3.根据权利要求1或2所述的方法，其特征在于，所述密集化处理参数包括插值步长，所述基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理，包括：
基于任一面部特征对应的拟合多项式系数，按照所述插值步长，对所述任一面部特征对应的多个基础特征点进行相应特征点的***，得到所述任一面部特征的密集化处理后的密集特征点。
4.根据权利要求3所述的方法，其特征在于，所述密集化处理参数包括距离门限值，在对所述任一面部特征对应的多个基础特征点进行相应特征点的***之后，还包括：
计算当前密集特征点与前一密集特征点之间的距离；
检测所述距离是否大于所述距离门限值；
如果大于，则将所述当前密集特征点确定为畸点，并剔除所述畸点。
5.根据权利要求4所述的方法，其特征在于，在对所述任一面部特征对应的多个基础特征点进行相应特征点的***之后，还包括：
输出剔除所述畸点后的所述任一面部特征的密集化处理后的密集特征点。
6.一种图像处理装置，其特征在于，包括：
第一处理模块，用于确定视频信息中的待处理图像帧，并检测所述待处理图像帧中是否包括面部特征；
第二处理模块，用于当待处理图像帧中包括一个或多个面部特征，获取各个面部特征分别对应的多个基础特征点，并根据各个面部特征分别对应的多个基础特征点，确定各个面部特征分别对应的拟合多项式系数；
第三处理模块，用于基于获取到的密集化处理参数，根据各个面部特征分别对应的拟合多项式系数，对各个面部特征分别对应的多个基础特征点进行密集化处理。
7.根据权利要求6所述的装置，其特征在于，第二处理模块包括确定子模块与计算子模块；
所述确定子模块，用于确定所述任一面部特征的各个基础特征点分别对应的横坐标与纵坐标，得到对应的各个坐标点；
所述计算子模块，用于计算各个坐标点到拟合曲线的偏差平方和，并根据各个基础特征点，基于所述偏差平方和，对各个多项式系数分别进行偏导数计算，确定所述任一面部特征的拟合多项式系数。
8.根据权利要求6或7所述的装置，其特征在于，所述密集化处理参数包括插值步长，所述第三处理模块具体用于基于任一面部特征对应的拟合多项式系数，按照所述插值步长，对所述任一面部特征对应的多个基础特征点进行相应特征点的***，得到所述任一面部特征的密集化处理后的密集特征点。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910285762.3A CN110008911B (zh) | 2019-04-10 | 2019-04-10 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910285762.3A CN110008911B (zh) | 2019-04-10 | 2019-04-10 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008911A true CN110008911A (zh) | 2019-07-12 |
| CN110008911B CN110008911B (zh) | 2021-08-17 |
Family
ID=67170854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910285762.3A Active CN110008911B (zh) | 2019-04-10 | 2019-04-10 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008911B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083513A (zh) * | 2019-12-25 | 2020-04-28 | 广州酷狗计算机科技有限公司 | 直播画面处理方法、装置、终端及计算机可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070195996A1 (en) * | 2006-02-22 | 2007-08-23 | Fujifilm Corporation | Characteristic point detection method, apparatus, and program |
| CN101339670A (zh) * | 2008-08-07 | 2009-01-07 | 浙江工业大学 | 一种计算机辅助的三维颅面复原方法 |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| CN104616347A (zh) * | 2015-01-05 | 2015-05-13 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及*** |
| CN104778712A (zh) * | 2015-04-27 | 2015-07-15 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和*** |
| CN106127104A (zh) * | 2016-06-06 | 2016-11-16 | 安徽科力信息产业有限责任公司 | 一种Android平台下基于人脸关键点的预测***及其方法 |
| CN108022308A (zh) * | 2017-11-30 | 2018-05-11 | 深圳市唯特视科技有限公司 | 一种基于三维人脸模型拟合的面部对齐方法 |
| CN109409262A (zh) * | 2018-10-11 | 2019-03-01 | 北京迈格威科技有限公司 | 图像处理方法、图像处理装置、计算机可读存储介质 |
| CN109522869A (zh) * | 2018-11-30 | 2019-03-26 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、终端设备及计算机存储介质 |
| CN109544444A (zh) * | 2018-11-30 | 2019-03-29 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
| CN109584180A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
-
2019
- 2019-04-10 CN CN201910285762.3A patent/CN110008911B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070195996A1 (en) * | 2006-02-22 | 2007-08-23 | Fujifilm Corporation | Characteristic point detection method, apparatus, and program |
| CN101339670A (zh) * | 2008-08-07 | 2009-01-07 | 浙江工业大学 | 一种计算机辅助的三维颅面复原方法 |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| CN104616347A (zh) * | 2015-01-05 | 2015-05-13 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及*** |
| CN104778712A (zh) * | 2015-04-27 | 2015-07-15 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和*** |
| CN106127104A (zh) * | 2016-06-06 | 2016-11-16 | 安徽科力信息产业有限责任公司 | 一种Android平台下基于人脸关键点的预测***及其方法 |
| CN108022308A (zh) * | 2017-11-30 | 2018-05-11 | 深圳市唯特视科技有限公司 | 一种基于三维人脸模型拟合的面部对齐方法 |
| CN109409262A (zh) * | 2018-10-11 | 2019-03-01 | 北京迈格威科技有限公司 | 图像处理方法、图像处理装置、计算机可读存储介质 |
| CN109522869A (zh) * | 2018-11-30 | 2019-03-26 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、终端设备及计算机存储介质 |
| CN109544444A (zh) * | 2018-11-30 | 2019-03-29 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
| CN109584180A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市脸萌科技有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| IOANNIS SOTIROPOULOS，AND ETC: "A fast parallel matrix multiplication reconfigurable unit utilized in face recognitions systems", 《2009 INTERNATIONAL CONFERENCE ON FIELD PROGRAMMABLE LOGIC AND APPLICATIONS》 * |
| 石瑞民等: "《数值计算》", 30 June 2004, 北京：高等教育出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083513A (zh) * | 2019-12-25 | 2020-04-28 | 广州酷狗计算机科技有限公司 | 直播画面处理方法、装置、终端及计算机可读存储介质 |
| CN111083513B (zh) * | 2019-12-25 | 2022-02-22 | 广州酷狗计算机科技有限公司 | 直播画面处理方法、装置、终端及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008911B (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018177379A1 (zh) | 手势识别、控制及神经网络训练方法、装置及电子设备 | |
| CN106875437B (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
| CN113691733B (zh) | 视频抖动检测方法、装置、电子设备和存储介质 | |
| CN111104960B (zh) | 一种基于毫米波雷达和机器视觉的手语识别方法 | |
| CN113436100B (zh) | 用于修复视频的方法、装置、设备、介质和产品 | |
| CN103295022A (zh) | 图像相似度计算***及方法 | |
| CN112862877A (zh) | 用于训练图像处理网络和图像处理的方法和装置 | |
| CN109165571B (zh) | 用于***图像的方法和装置 | |
| CN113365110A (zh) | 模型训练、视频插帧方法，装置，设备以及存储介质 | |
| CN103544492A (zh) | 基于深度图像三维曲面几何特征的目标识别方法和装置 | |
| CN115578614A (zh) | 图像处理模型的训练方法、图像处理方法和装置 | |
| CN110008911A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110188640A (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN113112398A (zh) | 图像处理方法和装置 | |
| CN115393488B (zh) | 虚拟人物表情的驱动方法、装置、电子设备和存储介质 | |
| KR20220146663A (ko) | 비디오 복구 방법, 장치, 기기, 매체 및 컴퓨터 프로그램 | |
| CN112561995B (zh) | 一种实时高效的6d姿态估计网络、构建方法及估计方法 | |
| Choi et al. | Implementation of Real‐Time Post‐Processing for High‐Quality Stereo Vision | |
| CN115082624A (zh) | 一种人体模型构建方法、装置、电子设备及存储介质 | |
| CN114596609A (zh) | 一种视听伪造检测方法及装置 | |
| CN113903071A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| CN109493349B (zh) | 一种图像特征处理模块、增强现实设备和角点检测方法 | |
| CN113240579A (zh) | 一种工业产品缺陷智能检测方法、装置及其计算机存储介质 | |
| CN113240780A (zh) | 生成动画的方法和装置 | |
| CN106791274A (zh) | 一种场景检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |