CN112329740A - 图像处理方法、装置、存储介质和电子设备 - Google Patents

图像处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112329740A
CN112329740A CN202011395451.1A CN202011395451A CN112329740A CN 112329740 A CN112329740 A CN 112329740A CN 202011395451 A CN202011395451 A CN 202011395451A CN 112329740 A CN112329740 A CN 112329740A
Authority
CN
China
Prior art keywords
face
image frame
key points
current image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011395451.1A
Other languages
English (en)
Other versions
CN112329740B (zh
Inventor
吴家贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boguan Information Technology Co Ltd
Original Assignee
Guangzhou Boguan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boguan Information Technology Co Ltd filed Critical Guangzhou Boguan Information Technology Co Ltd
Priority to CN202011395451.1A priority Critical patent/CN112329740B/zh
Publication of CN112329740A publication Critical patent/CN112329740A/zh
Application granted granted Critical
Publication of CN112329740B publication Critical patent/CN112329740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质和电子设备；该方法通过获取目标人脸图像序列中当前图像帧的各人脸关键点的初始位置、及当前图像帧中人脸关键点对应的相关关键点；根据当前图像帧相对于上一图像帧中人脸关键点及对应的相关关键点的运动幅度，确定人脸关键点的实际运动参数；根据当前图像帧中人脸关键点的初始位置、及人脸关键点的实际运动参数，确定当前图像帧中各人脸关键点的实际位置。本方案能够减少在视频中进行人脸关键点检测的抖动性、且不会造成关键点的滞后，提升了图像处理结果的准确性。

Description

图像处理方法、装置、存储介质和电子设备
技术领域
本申请涉及信息处理领域，具体涉及一种图像处理方法、装置、存储介质和电子设备。
背景技术
人脸关键点检测算法可以从单张人脸图片中检测一系列预定义的人脸关键点的位置，是人脸识别和分析中的关键的一步。然而，当算法在视频中应用的时，关键点容易会出现抖动的问题，影响到后续的应用。
抖动出现的原因是算法检测出的人脸关键点位置是不可避免地带有误差的，可以视为一种高频噪声。然而，由于人脸本身存在一些快速移动的情况，导致真实信号频谱与噪音频谱有重叠，容易在去噪时滤将某些真实信号也误去除，导致图像处理结果的准确性较差。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质和电子设备，可以提升图像处理结果的准确性。
本申请实施例提供一种图像处理方法，包括：
获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；
确定当前图像帧中人脸关键点对应的相关关键点；
根据所述人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
相应的，本申请实施例还提供一种图像处理装置，包括：
获取单元，用于获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；
关键点确定单元，用于确定当前图像帧中人脸关键点对应的相关关键点；
参数确定单元，用于根据所述人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
位置确定单元，用于根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
在一些实施例中，所述位置确定单元用于：
根据上一图像帧人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
在一些实施例中，在根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置时，所述位置确定单元进一步用于：
根据所述实际运动参数和预设噪声参数，确定衰减变化权重；
根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述衰减变化权重，确定当前图像帧中人脸关键点的实际位置。
在一实施例中，在根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述衰减变化权重，确定当前图像帧中人脸关键点的实际位置时，所述位置确定单元具体用于：
计算当前图像帧中人脸关键点的初始位置与上一图像帧人脸关键点的实际位置之间的第一差值；
根据所述衰减变化权重与第一差值的乘值、以及上一图像帧中人脸关键点的实际位置，确定当前图像帧中人脸关键点的实际位置。
在一些实施例中，在根据所述实际运动参数和预设噪声参数，确定衰减变化权重时，所述位置确定单元具体用于：
若所述实际运动参数大于预设噪声参数，获取所述实际运动参数与预设噪声参数之间的第二差值；
根据第二差值与所述实际运动参数的比值，确定对应的衰减变化权重。
在一些实施例中，在根据所述实际运动参数和预设噪声参数，确定衰减变化权重时，所述位置确定单元具体用于：
若所述实际运动参数小于预设噪声参数，将所述衰减变化权重置零。
在一些实施例中，所述参数确定单元用于：
基于当前图像帧中人脸关键点的初始位置和上一图像帧中人脸关键点的实际位置，计算当前图像帧中人脸关键点相对于上一图像帧中人脸关键点的第一运动幅度；
基于当前图像帧中相关关键点的初始位置和上一图像帧中相关关键点的实际位置，计算当前图像帧中相关关键点相对于上一图像帧中相关关键点的第二运动幅度；
计算当前图像帧中人脸关键点对应的尺寸归一化系数；
根据所述尺寸归一化系数、第一运动幅度、及第二运动幅度，确定每一人脸关键点的实际运动参数。
在一些实施例中，在计算当前图像帧中人脸关键点对应的尺寸归一化系数时，所述参数确定单元具体用于：
计算当前图像帧中人脸关键点构成的面积尺寸；
确定当前图像帧中人脸关键点对应相关关键点的数量；
根据所述面积尺寸和对应相关关键点的数量，确定相应人脸关键点的尺寸归一化系数。
在一些实施例中，在计算当前图像帧中人脸关键点构成的面积尺寸时，所述参数确定单元具体用于：
确定当前图像帧中人脸关键点之间的位置差值；
获取在第一指定方向上的最大位置差值、及在第二指定方向上的最大位置差值；
根据在第一指定方向上的最大位置差值和在第二指定方向上的最大位置差值，计算当前图像帧中人脸关键点构成的面积尺寸，其中，第一指定方向与第二指定方向相互垂直。
在一些实施例中，在根据所述尺寸归一化系数、第一运动幅度、及第二运动幅度，确定人脸关键点的实际运动参数息时，所述参数确定单元具体用于：
对第一运动幅度、及第二运动幅度进行融合，得到融合后的运动幅度；
根据融合后的运动幅度和对应的尺寸归一化系数，确定人脸关键点的实际运动参数。
在一些实施例中，所述装置还包括：
采集单元，用于确定当前图像帧中人脸关键点对应的相关关键点之前，采集带人脸关键点标注的样本人脸图像帧序列；
计算单元，用于计算所述样本人脸图像帧序列中，每一样本人脸图像帧相对上一帧样本人脸图像帧中人脸关键点的位置变化的相关系数；
构建单元，用于根据所述相关系数确定样本人脸图像帧中人脸关键点的相关关键点，并构建人脸关键点与对应相关关键点之间的映射关系；
所述关键点确定单元具体用于：
基于所述映射关系，确定当前图像帧中人脸关键点对应的相关关键点。
在一些实施例中，所述计算单元具体用于：
利用皮尔逊相关系数的算法，计算每一样本人脸图像帧相对上一帧样本人脸图像帧中人脸关键点的位置变化的相关系数；
所述构建单元具体用于：
将相关系数大于预设值的人脸关键点，确定为相关关键点。
相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。
相应的，本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种图像处理方法中的步骤。
本申请实施例提供的方案，通过该方法通过获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置、及当前图像帧中人脸关键点对应的相关关键点；根据当前图像帧相对于上一图像帧中人脸关键点及对应的相关关键点的运动幅度，确定人脸关键点的实际运动参数；根据当前图像帧中人脸关键点的初始位置、及人脸关键点的实际运动参数，确定当前图像帧中人脸关键点的实际位置。本方案能够减少在视频中进行人脸关键点检测的抖动性、且不会造成关键点的滞后，提升了图像处理结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的应用场景示意图。
图3是本申请实施例提供的图像处理方法的另一流程示意图。
图4是本申请实施例提供的图像处理装置的结构示意图。
图5是本申请实施例提供的图像处理装置的另一结构示意图。
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在人脸关键点检测或人脸追踪过程中，由于算法检测出的人脸关键点位置是不可避免地带有误差，而在各视频帧中该误差的方向和大小是不同的，因此在视频中算法检测出的关键点就会围绕在真值的一个范围内跳动。而这种关键点的跳动也可以视为一种高频噪声，因此需要用滤波算法消除。
然而在对实时性要求较高的场景下(如直播场景)，由于用户人脸本身存在一些快速移动的情况，使得真实信号频谱与噪音频谱有重叠。从而导致在滤波时容易将人脸移动分量也去掉，造成关键点的滞后。
有基于此，本申请将提供一种图像处理算法，将每个图像帧的人脸关键点作为输入，通过计算当前帧的人脸关键点位置与上一帧滤波后的人脸关键点位置的加权和，以输出作为滤波后的人脸关键点位置。其中，各点的权值根据该点的运动状态调整，当运动较少时认为此时的关键点变动更多是由于噪声误差引起，因此权值偏向上一帧的关键点位置，减少变动消除抖动；当运动较大时，可认为此时关键点的位置变动主要为真实运动参数，因此权值偏向当前帧的关键点输出，从而避免消除真实运动参数引起关键点滞后问题。
进一步的，本申请实施例提供一种图像处理方法、装置、存储介质和电子设备，通过将高度关联的各个关键点的运动量加权处理以平滑掉噪声影响，得到较真实的人脸关键点位置。
其中，该图像处理装置具体可以集成在电子设备中。该电子设备可以为终端或服务器等设备。如该终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中，提供了一种图像处理方法，该方法所包含的各个步骤的执行主体可以为终端或服务器等设备，并且各个步骤的执行主体可以相同或者不同，如图1所示，该图像处理方法的具体流程可以如下：
101、获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置。
其中，该目标人脸图像序列可以是需要使用到人脸关键点检测或追踪技术的应用场景下所采集到包含人脸图像的视频帧序列，具体可根据实际需求进行设定。例如，该应用场景可以为直播场景、影视场景、广告播放场景、及游戏场景(如网络游戏、虚拟现实游戏、增强现实游戏)等。
目标人脸图像序列，其中可包括以上应用场景下的某用户人脸的连续多张视频帧。例如，以直播场景为例，该目标人脸图像序列则可以为多帧包含主播人脸且连续的直播画面的集合；以影视场景为例，该视目标人脸图像序列可以为多帧包含同一影视角色人脸的影视画面的集合；以广告播放场景为例，该目标人脸图像序列可以为多帧包含同一广告模特人脸的广告画面的集合；以AR游戏场景为例，则该目标人脸图像序列则可以为多帧包含同一游戏角色人脸的AR游戏画面的集合。
具体的，可利用已设定好的人脸关键点检测或追踪算法，对当前图像帧进行人脸关键点的检测或追踪，以从人脸图片中检测一系列预定义的人脸关键点的位置，如眼角、嘴角、鼻尖等等关键点，具体可参考图2所示的人68个人脸关键点。其中，所检测到的初始位置，指利用人脸关键点检测算法所检测到的人脸关键点在当前图像帧(即当前帧人脸图像)中的位置所在。
102、确定当前图像帧中人脸关键点对应的相关关键点。
实际应用中，由于人脸的动作和运动必然引起相关的一系列人脸关键点同向运动，一个人脸关键点不可能脱离面部整体而独自运动。因此，可以在进行滤波算法前，先计算各个人脸关键点的运动高度关联的相关关键点。
其中，相关关键点即位置变化与该人脸关键点同向变化的高度关联点。两者的运动高度关联，运动幅度和运动方向可用线性函数相互表示，且用于表示两者之间相关度的相关系数值接近1。
因此，在一些实施例中，在确定当前图像帧中人脸关键点对应的相关关键点之前，还包括以下流程：
采集带人脸关键点标注的样本人脸图像帧序列；
计算样本人脸图像帧序列中，样本人脸图像帧相对上一帧样本人脸图像帧中人脸关键点的位置变化的相关系数；
根据该相关系数确定样本人脸图像帧中人脸关键点的相关关键点，并构建人脸关键点与对应相关关键点之间的映射关系。
其中，样本人脸图像帧序列可以是包含有相同人脸图像且连续的视频数据，并对各视频帧中的人脸关键点都有预先标注。然后，计算相邻视频帧中各人脸关键点位置变化的相关系数，并通过相关系数的大小来确定样本人脸图像帧中各人脸关键点之间的相关性大小。由于人脸关键点变化的是因人脸的局部或整体运动，其一定会造成相关区域所有关键点的移动，因此可通过计算相关系数筛选出相关联的点。
实际应用中，可利用皮尔逊相关系数的算法，计算样本人脸图像帧序列中相邻样本人脸图像帧上各人脸关键点位置变化的相关系数。也即，可通过计算两个变量的协方差、及两个变量的标准差的积，通过计算前者与后者的比值得到位置变化的相关系数。
由于皮尔逊相关系数表明了两个变量的相关程度，当系数为1时变量为完全正相关。因此，可将某人脸关键点位置变化的皮尔逊相关系数大于一定阈值(如0.95)的关键点确定为该人脸关键点的高度关联点，表明当该人脸关键点位置的变化时该高度关联点的位置也会同向变化。在筛选出高度相关点后，可构建这些点之间的映射关系，以便后续使用。
例如，设一视频数据中第t帧第i个人脸关键点的横纵坐标为
Figure BDA0002814506600000081
则第T帧第i关键点横坐标相对上一帧的变化值
Figure BDA0002814506600000082
纵坐标的相对上一帧的变化值
Figure BDA0002814506600000083
则在视频数据中统计各点横坐标与其他点横坐标变化值的相关系数时，相关系数计算按照皮尔逊相关系数的定义进行计算，用两个变量的协方差除以两个变量的标准差的积而得到；相应的，纵坐标同样计算其各点变化值的相关系数。
需要说明的是，对于相同定义的人脸关键点只需要进行一次皮尔逊相关系数的计算，然后将结果保存即可用于不同视频的滤波计算，无需要每次工作前都进行。
相应的，在确定当前图像帧中每一人脸关键点对应的相关关键点时，具体可以基于上述得到的映射关系，确定当前图像帧中每一人脸关键点对应的相关关键点。
103、根据人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度。
其中，第一运动幅度指：上一图像帧到当前图像帧中各关键点的运动幅度变化；第二运动幅度指：上一图像帧到当前图像帧中该人脸关键点的各相关关键点的运动幅度变化；实际运动参数即指：去除噪声后的运动幅度变化。
由于人脸的动作和运动必然引起相关的一系列关键点同向运动，一个关键点不可能脱离整体独自运动。而噪声误差对于各个关键点来说是相互独立的，因此，可通过将高度关联的各个人脸关键点的运动量相加平均后平滑掉噪声的影响，而得到较真实的运动量。因此，当前帧中各人脸关键点的实际运动状态可通过数个与该人脸关键点的相关关键点的变化幅度估计。
在一些实施例中，在根据当前图像帧相对于上一图像帧中每一人脸关键点及其对应的相关关键点的运动参数，确定每一人脸关键点的实际运动参数时，具体可以包括以下流程：
获取当前图像帧中人脸关键点的初始位置、及上一图像帧中人脸关键点的实际位置；
基于该初始位置和上一图像帧中人脸关键点的实际位置，计算当前图像帧中人脸关键点相对于上一图像帧中人脸关键点的第一运动幅度；
基于当前图像帧中相关关键点的初始位置和上一图像帧中相关关键点的实际位置，计算当前图像帧中相关关键点相对于上一图像帧中相关关键点的第二运动幅度；
计算当前图像帧中人脸关键点对应的尺寸归一化系数；
根据尺寸归一化系数、第一运动幅度、及第二运动幅度，确定每一人脸关键点的实际运动参数。
其中，初始位置指利用当前的人脸关键点检测算法所检测到的人脸关键点位置，可记作
Figure BDA0002814506600000091
需要说明的是，上一图像帧为利用本方案滤波算法滤波后的人脸图像，则上一图像帧中各人脸关键点的实际位置即上一图像帧中各人脸关键点的位置，可记作
Figure BDA0002814506600000092
本实施例中，尺寸归一化系数(记作FX_SIZEi)的目的是对运动状态进行归一化处理，以使不同大小的人脸、不同关联点数量的关键点都不会改变运动状态的相对大小。
在一些实施例中，在计算当前图像帧中人脸关键点对应的尺寸归一化系数时，具体可以计算当前图像帧中人脸关键点构成的面积尺寸，然后确定当前图像帧中人脸关键点对应相关关键点的数量，并根据该面积尺寸和对应相关关键点的数量计算相应人脸关键点的尺寸归一化系数。
具体的，在计算当前图像帧中人脸关键点构成的面积尺寸时，可确定当前图像帧中人脸关键点之间的位置差值，以及获取在第一指定方向上的最大位置差值、及在第二指定方向上的最大位置差值。然后，根据在第一指定方向上的最大位置差值和在第二指定方向上的最大位置差值，计算当前图像帧中人脸关键点构成的面积尺寸。其中，第一指定方向与第二指定方向相互垂直。例如，可对人脸的面部图像构建二维坐标系，则第一指定方向可为X轴方向，第二指定方向可为Y轴方向，则尺寸归一化系数FX_SIZEi的计算公式如下：
FX_SIZEi＝RNXi*(Ymax-Ymin+Xmax-Xmin)*0.01
其中，Ymax、Ymin分别为当前帧关键点的最大和最小纵坐标值，则Ymax-Ymin为Y轴方向上的最大位置差值；Xmax、Xmin分别为当前帧关键点的最大和最小横坐标值，则Xmax-Xmin为X轴方向上的最大位置差值。RNXi为第i个关键点的横坐标相关关键点个数+1，例如第i个关键点的横坐标相关关键点个数为5，则RNXi的值为6。
在一些实施例中，根据尺寸归一化系数、当前图像帧中每一人脸关键点对应的运动幅度(即第一运动幅度)、及其相关关键点对应的运动幅度(即第二运动幅度)确定每一人脸关键点的实际运动参数(记作
Figure BDA0002814506600000101
)时，可以对当前图像帧中每一人脸关键点对应的运动幅度、及其相关关键点对应的运动幅度进行融合，得到融合后的运动幅度，再根据融合后的运动幅度和对应的尺寸归一化系数，确定每一人脸关键点的实际运动参数。例如，当前图像帧中第i个人脸关键点横坐标运动状态
Figure BDA0002814506600000102
的计算公式如下：
Figure BDA0002814506600000103
其中，RelX_ij表示第i个人脸关键点的相关关键点集合，
Figure BDA0002814506600000104
表示第i个人脸关键点的与相关关键点集合RelX_ij中第j个相关关键点的横坐标差值，
Figure BDA0002814506600000105
Figure BDA0002814506600000106
则表示对当前图像帧中人脸关键点与其相关关键点的差值求和。
具体的，在融合人脸关键点与相关关键点的运动幅度时，可以根据相关性的大小对各相关关键点分配不同的权重值，通过对人脸关键点及相关关键点的运动幅度按所分配的权重值加权处理求和以实现数据的融合，提升计算结果的准确性。
104、根据当前图像帧中人脸关键点的初始位置以及该实际运动参数，确定当前图像帧中人脸关键点的实际位置。
在本实施例中，可以根据上一图像帧人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及该实际运动参数，确定当前图像帧中人脸关键点的实际位置。具体可以包括以下流程：
根据实际运动参数和预设噪声参数，确定衰减变化权重；
根据上一图像帧中每一人脸关键点的实际位置、当前图像帧中每一人脸关键点的初始位置、及该衰减变化权重，确定当前图像帧中人脸关键点的实际位置。
具体的，由于人脸关键点的部分变化量由噪声组成，因此需考虑到衰减变化权重(记作
Figure BDA0002814506600000111
)，以提升计算结果的准确性。在一些实施例中，在确定衰减变化权重时，若实际运动参数大于预设噪声参数，则表明实际运动造成的抖动影响大于噪声影响，此时可以获取该实际运动参数与预设噪声参数之间的第二差值，并根据所得的第二差值与实际运动参数的比值确定对应的衰减变化权重。若实际运动参数小于预设噪声参数，则表明实际运动造成的抖动影响小于噪声影响，此时可将衰减变化权重置零。其中，预设噪声参数可根据不同算法和实际的噪声环境设置。在本实施例中，以横坐标为例，衰减变化权重
Figure BDA0002814506600000114
的具体计算公式如下：
Figure BDA0002814506600000112
其中，max()为取两数的最大值，θ为预设噪声参数的大小，
Figure BDA0002814506600000113
为第t帧第i个人脸关键点的实际运动参数。
具体的，当人脸关键点的运动幅度较大时，人脸关键点的位置主要由人脸实际的运动造成，此时衰减变化权重应设定为较大，保持人脸的实际运动；当人脸关键点运动幅度较小时，噪声造成的影响较大，此时衰减变化权重应设定为较小，减少噪声。
在根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及衰减变化权重，确定当前图像帧中人脸关键点的实际位置时，具体可以计算当前图像帧中人脸关键点的初始位置与上一图像帧人脸关键点的实际位置之间的第一差值，随后根据衰减变化权重与第一差值的乘值、以及上一图像帧中人脸关键点的实际位置，确定当前图像帧中人脸关键点的实际位置。实际应用中，可将该乘值与上一图像帧中人脸关键点的实际位置之和，确定为当前图像帧中人脸关键点的实际位置。也即，当前图像帧中人脸关键定的实际位置
Figure BDA0002814506600000121
计算公式如下：
Figure BDA0002814506600000122
Figure BDA0002814506600000123
以直播场景为例，当为主播添加各种人脸特效(如美颜美妆、人脸贴纸、面具等)时，若发现滤波后关键点仍存在明显噪声(即人脸特效出现抖动)时，可调高该预设噪声参数的参数值；若发现关键点不能快速贴合人脸时，可降低该预设噪声参数的参数值。从而达到可实时地降低直播视频中的人脸关键点抖动并且不会引起人脸关键点的滞后的效果。
本申请实施例提供的图像处理方法，通过获取目标人脸图像序列中当前图像帧的各人脸关键点的初始位置、及当前图像帧中人脸关键点对应的相关关键点；根据当前图像帧相对于上一图像帧中人脸关键点及对应的相关关键点的运动幅度，确定人脸关键点的实际运动参数；根据当前图像帧中人脸关键点的初始位置、及每一人脸关键点的实际运动参数，确定当前图像帧中各人脸关键点的实际位置。本方案能够减少在视频中进行人脸关键点检测的抖动性、且不会造成关键点的滞后，提升了图像处理结果的准确性。
为了进一步理解本申请的信息处理方法，请参考图3。图3为本申请实施例提供的一种基于运动估计的图像处理方法的流程示意图。本实施例将以该信息理装置具体集成在具备显示屏的终端上为例，对本申请方案做进一步详细描述。如图3所示，该基于运动估计的图像处理方法可以包括以下流程：
201、计算每一人脸关键点的相关关键点。
在进行滤波算法前，需要先计算各个人脸关键点高度关联的相关关键点。此步骤对于相同定义的人脸关键点只需要进行一次，然后将结果保存即可用于不同视频的滤波计算，不需要每次工作前都进行，具体计算步骤见(11)至(13)。
(11)收集带人脸关键点标注的视频数据。
(12)计算各关键点横纵坐标相对上一帧变化值的相关系数。
例如，设一视频中第t帧第i个人脸关键点的横纵坐标为
Figure BDA0002814506600000131
则第t帧第i关键点横纵坐标的相对上一帧变化值
Figure BDA0002814506600000132
Figure BDA0002814506600000133
在视频数据中统计各点横坐标与其他点横坐标变化值的相关系数，相关系数计算按照皮尔逊相关系数的定义进行(即用两个变量的协方差除以两个变量的标准差的积)，纵坐标同样计算其各点变化值的相关系数。
(13)根据相关系数记录各人脸关键点横纵坐标的相关关键点。
皮尔逊相关系数表明了两个变量的相关程度，当系数为1时变量为完全正相关。因此，本方案中可将某点坐标变化值皮尔逊相关系数大于0.95的点设为相关关键点，表明当此点的横坐标、纵坐标变化(即运动)时绝大部分时候相关关键点的横坐标、纵坐标也会同向变化。因为关键点变化的原因是由于人脸的局部或整体运动，一定会造成相关区域所有关键点的移动，因此通过计算相关系数筛选出相关联的点，并记录供后续使用。
202、读取视频序列中当前帧人脸关键点位置。
读取当前帧需要滤波的人脸关键点位置，作为关键点滤波算法的输入。
203、计算当前图像帧中各图像处理后的值并输出结果。
(21)计算各人脸关键点横纵坐标的运动状态。
计算当前帧所有人脸关键点横纵坐标的运动状态。例如，当前帧第i个关键点横坐标运动状态
Figure BDA0002814506600000134
的计算公式如下：
Figure BDA0002814506600000135
其中，RelX_ij表示i点的相关关键点集合；FX_SIZEi为尺寸归一化系数，FX_SIZEi＝RNXi*(Ymax-Ymin+Xmax-Xmin)*0.01，RNXi为第i个关键点的横坐标相关关键点个数+1，Ymax、Ymin为当前帧关键点的最大最小纵坐标值，Xmax、Xmin为当前帧关键点的最大最小横坐标值。这样不同大小的人脸，不同关联点数的关键点将不会改变运动状态的相对大小。
纵坐标的运动状态的
Figure BDA0002814506600000136
计算同理可参考
Figure BDA0002814506600000137
的计算。相比使用单个人脸关键点计算运动状态，使用多个关联点计算能平滑噪声的影响，更准确地估计运动幅度。
(22)计算滤波后的关键点位置。
原第t帧检测出的第i个关键点的横纵坐标为
Figure BDA0002814506600000141
则滤波输出为第t-1帧关键点滤波后的坐标与第t帧检测出的关键点坐标的加权和。
以横坐标为例，滤波后的横坐标
Figure BDA0002814506600000142
计算公式为：
Figure BDA0002814506600000143
由于本方案中坐标的部分变化量由噪声组成，因此需乘上
Figure BDA0002814506600000144
衰减变化权重。当点运动幅度大时坐标变化值主要由自身的运动造成，此时
Figure BDA0002814506600000145
值应较大，保持主运动。当点运动幅度较小时噪声造成的影响变大，此时
Figure BDA0002814506600000146
值应较小，减少噪声。衰减变化权重
Figure BDA0002814506600000147
的具体计算公式为：
Figure BDA0002814506600000148
其中，max为取两数的最大值；θ为噪声的大小，其可根据不同算法和噪声环境设置，例如可将该噪声大小θ设置值为0.06，当发现滤波后关键点仍存在明显噪声时可调高此值，否则若发现关键点不能快速贴合人脸时降低此值。
204、等待视频序列中下一帧人脸图像的输入，并重复步骤202和步骤203。
由于滤波算法可用于实时的视频流，因此需不断等待新一帧的数据输入然后计算滤波输出。
可知，利用本方案的滤波算法能够减少在视频中进行人脸关键点检测的抖动性并且不会造成关键点的滞后；另外，能够根据当前的运动状态和幅度自适应地调整滤波的权重，从而去除噪声同时保留关键点的运动参数。
为了更好地实施以上方法，本申请实施例还提供一种图像处理装置，该图像处理装置具体可以集成在电子设备中。该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在本实施例中，将以图像处理装置具体集成在智能手机为例，对本申请实施例的方法进行详细说明。例如，如图4所示，该图像处理装置可以包括获取单元301、关键点确定单元302、第二生成单元303参数确定单元303和位置确定单元304，如下：
获取单元301，用于获取单元，用于获取目标人脸图像序列中当前图像帧的各人脸关键点的初始位置；
关键点确定单元302，用于确定当前图像帧中人脸关键点对应的相关关键点；
参数确定单元303，用于根据人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
位置确定单元304，用于根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
在一些实施例中，所述位置确定单元304用于：
根据上一图像帧人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
在一些实施例中，在根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置时，所述位置确定单元304进一步用于：
根据所述实际运动参数和预设噪声参数，确定衰减变化权重；
根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述衰减变化权重，确定当前图像帧中人脸关键点的实际位置。
在一实施例中，在根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述衰减变化权重，确定当前图像帧中人脸关键点的实际位置时，所述位置确定单元304具体用于：
计算当前图像帧中人脸关键点的初始位置与上一图像帧人脸关键点的实际位置之间的第一差值；
根据所述衰减变化权重与第一差值的乘值、以及上一图像帧中人脸关键点的实际位置，确定当前图像帧中人脸关键点的实际位置。
在一些实施例中，在根据所述实际运动参数和预设噪声参数，确定衰减变化权重时，所述位置确定单元304具体用于：
若所述实际运动参数大于预设噪声参数，获取所述实际运动参数与预设噪声参数之间的第二差值；
根据第二差值与所述实际运动参数的比值，确定对应的衰减变化权重。
在一些实施例中，在根据所述实际运动参数和预设噪声参数，确定衰减变化权重时，所述位置确定单元304具体用于：
若所述实际运动参数小于预设噪声参数，将所述衰减变化权重置零。
在一些实施例中，所述参数确定单元303用于：
基于当前图像帧中人脸关键点的初始位置和上一图像帧中人脸关键点的实际位置，计算当前图像帧中人脸关键点相对于上一图像帧中人脸关键点的第一运动幅度；
基于当前图像帧中相关关键点的初始位置和上一图像帧中相关关键点的实际位置，计算当前图像帧中相关关键点相对于上一图像帧中相关关键点的第二运动幅度；
计算当前图像帧中人脸关键点对应的尺寸归一化系数；
根据所述尺寸归一化系数、第一运动幅度、及第二运动幅度，确定人脸关键点的实际运动参数。
在一些实施例中，在计算当前图像帧中人脸关键点对应的尺寸归一化系数时，所述参数确定单元303具体用于：
计算当前图像帧中人脸关键点构成的面积尺寸；
确定当前图像帧中人脸关键点对应相关关键点的数量；
根据所述面积尺寸和对应相关关键点的数量，确定相应人脸关键点的尺寸归一化系数。
在一些实施例中，在计算当前图像帧中人脸关键点构成的面积尺寸时，所述参数确定单元303具体用于：
确定当前图像帧中人脸关键点之间的位置差值；
获取在第一指定方向上的最大位置差值、及在第二指定方向上的最大位置差值；
根据在第一指定方向上的最大位置差值和在第二指定方向上的最大位置差值，计算当前图像帧中人脸关键点构成的面积尺寸，其中，第一指定方向与第二指定方向相互垂直。
在一些实施例中，在根据所述尺寸归一化系数、第一运动幅度、及第二运动幅度，确定人脸关键点的实际运动参数息时，所述参数确定单元303具体用于：
对第一运动幅度、及第二运动幅度进行融合，得到融合后的运动幅度；
根据融合后的运动幅度和对应的尺寸归一化系数，确定人脸关键点的实际运动参数。
参考图5，在一些实施例中，所述装置还包括：
采集单元305，用于确定当前图像帧中人脸关键点对应的相关关键点之前，采集带人脸关键点标注的样本人脸图像帧序列；
计算单元306，用于计算所述样本人脸图像帧序列中，每一样本人脸图像帧相对上一帧样本人脸图像帧中人脸关键点的位置变化的相关系数；
构建单元307，用于根据所述相关系数确定样本人脸图像帧中人脸关键点的相关关键点，并构建人脸关键点与对应相关关键点之间的映射关系；
所述关键点确定单元302具体用于：
基于所述映射关系，确定当前图像帧中人脸关键点对应的相关关键点。
在一些实施例中，所述计算单元306具体用于：
利用皮尔逊相关系数的算法，计算每一样本人脸图像帧相对上一帧样本人脸图像帧中人脸关键点的位置变化的相关系数。
所述构建单元307进一步用于：
将相关系数大于预设值的人脸关键点，确定为相关关键点。
由上可知，本实施例的图像处理装置，通过获取单元301获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；关键点确定单元302确定当前图像帧中人脸关键点对应的相关关键点；参数确定单元303根据人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，确定人脸关键点的实际运动参数；位置确定单元304根据当前图像帧中人脸关键点的初始位置以及实际运动参数，确定当前图像帧中人脸关键点的实际位置。本方案能够减少在视频中进行人脸关键点检测的抖动性、且不会造成关键点的滞后，提升了图像处理结果的准确性。
相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端或服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机、个人数字助理(Personal Digital Assistant，PDA)等终端设备。如图6所示，图6为本申请实施例提供的电子设备的结构示意图。该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。
在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；
确定当前图像帧中人脸关键点对应的相关关键点；
根据所述人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
可选的，如图6所示，电子设备400还包括：触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中，处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏403而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏403也可以作为输入单元406的一部分实现输入功能。
射频电路404可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路405接收后转换为音频数据，再将音频数据输出处理器401处理后，经射频电路404以发送给比如另一电子设备，或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源407用于给电子设备400的各个部件供电。可选的，电源407可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图6中未示出，电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可知，本实施例提供的电子设备能够减少在视频中进行人脸关键点检测的抖动性、且不会造成关键点的滞后，提升了图像处理结果的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；
确定当前图像帧中人脸关键点对应的相关关键点；
根据所述人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；
确定当前图像帧中人脸关键点对应的相关关键点；
根据所述人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置，包括：
根据上一图像帧人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置，包括：
根据所述实际运动参数和预设噪声参数，确定衰减变化权重；
根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述衰减变化权重，确定当前图像帧中人脸关键点的实际位置。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据上一图像帧中人脸关键点的实际位置、当前图像帧中人脸关键点的初始位置以及所述衰减变化权重，确定当前图像帧中人脸关键点的实际位置，包括：
计算当前图像帧中人脸关键点的初始位置与上一图像帧人脸关键点的实际位置之间的第一差值；
根据所述衰减变化权重与所述第一差值的乘值、以及上一图像帧中人脸关键点的实际位置，确定当前图像帧中人脸关键点的实际位置。
5.根据权利要求3或4所述的图像处理方法，其特征在于，所述根据所述实际运动参数和预设噪声参数，确定衰减变化权重，包括：
若所述实际运动参数大于预设噪声参数，获取所述实际运动参数与预设噪声参数之间的第二差值；
根据所述第二差值与所述实际运动参数的比值，确定对应的衰减变化权重。
6.根据权利要求3或4所述的图像处理方法，其特征在于，还包括：
若所述实际运动参数小于预设噪声参数，将所述衰减变化权重置零。
7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述根据所述人脸关键点的第一运动幅度及所述相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，包括：
基于当前图像帧中人脸关键点的初始位置和上一图像帧中人脸关键点的实际位置，计算当前图像帧中人脸关键点相对于上一图像帧中人脸关键点的第一运动幅度；
基于当前图像帧中相关关键点的初始位置和上一图像帧中相关关键点的实际位置，计算当前图像帧中相关关键点相对于上一图像帧中相关关键点的第二运动幅度；
计算当前图像帧中人脸关键点对应的尺寸归一化系数；
根据所述尺寸归一化系数、第一运动幅度、及第二运动幅度，确定人脸关键点的实际运动参数。
8.根据权利要求7所述的图像处理方法，其特征在于，所述计算当前图像帧中人脸关键点对应的尺寸归一化系数，包括：
计算当前图像帧中人脸关键点构成的面积尺寸；
确定当前图像帧中人脸关键点对应相关关键点的数量；
根据所述面积尺寸和对应相关关键点的数量，确定相应人脸关键点的尺寸归一化系数。
9.根据权利要求8所述的图像处理方法，其特征在于，所述计算当前图像帧中人脸关键点构成的面积尺寸，包括：
确定当前图像帧中人脸关键点之间的位置差值；
获取在第一指定方向上的最大位置差值、及在第二指定方向上的最大位置差值；
根据在第一指定方向上的最大位置差值和在第二指定方向上的最大位置差值，计算当前图像帧中人脸关键点构成的面积尺寸，其中，第一指定方向与第二指定方向相互垂直。
10.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述尺寸归一化系数、第一运动幅度、及第二运动幅度，确定人脸关键点的实际运动参数，包括：
对第一运动幅度、及第二运动幅度进行融合，得到融合后的运动幅度；
根据融合后的运动幅度和对应的尺寸归一化系数，确定人脸关键点的实际运动参数。
11.根据权利要求1-10任一项所述的图像处理方法，其特征在于，在确定当前图像帧中人脸关键点对应的相关关键点之前，还包括：
采集带人脸关键点标注的样本人脸图像序列；
计算所述样本人脸图像序列中，每一样本人脸图像帧相对上一样本人脸图像帧中人脸关键点的位置变化的相关系数；
根据所述相关系数确定样本人脸图像帧中人脸关键点的相关关键点，并构建人脸关键点与对应相关关键点之间的映射关系；
所述确定当前图像帧中人脸关键点对应的相关关键点，包括：
基于所述映射关系，确定当前图像帧中人脸关键点对应的相关关键点。
12.根据权利要求11所述的图像处理方法，其特征在于，所述计算样本人脸图像帧相对上一样本人脸图像帧中人脸关键点的位置变化的相关系数，包括：
利用皮尔逊相关系数的算法，计算样本人脸图像帧相对上一样本人脸图像帧中人脸关键点的位置变化的相关系数；
所述根据所述相关系数确定样本人脸图像帧中人脸关键点的相关关键点，包括：
将相关系数大于预设值的人脸关键点，确定为相关关键点。
13.一种图像处理装置，其特征在于，包括：
获取单元，用于获取目标人脸图像序列中当前图像帧的人脸关键点的初始位置；
关键点确定单元，用于确定当前图像帧中人脸关键点对应的相关关键点；
参数确定单元，用于根据所述人脸关键点的第一运动幅度及相关关键点的第二运动幅度，确定人脸关键点的实际运动参数，其中，第一运动幅度为当前图像帧相对于上一图像帧中人脸关键点的运动幅度，第二运动幅度为当前图像帧相对于上一图像帧中相关关键点的运动幅度；
位置确定单元，用于根据当前图像帧中人脸关键点的初始位置以及所述实际运动参数，确定当前图像帧中人脸关键点的实际位置。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-12任一项所述的图像处理方法中的步骤。
15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行根据权利要求1-12任一项所述的图像处理方法中的步骤。
CN202011395451.1A 2020-12-02 2020-12-02 图像处理方法、装置、存储介质和电子设备 Active CN112329740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011395451.1A CN112329740B (zh) 2020-12-02 2020-12-02 图像处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011395451.1A CN112329740B (zh) 2020-12-02 2020-12-02 图像处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112329740A true CN112329740A (zh) 2021-02-05
CN112329740B CN112329740B (zh) 2021-10-26

Family

ID=74301455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011395451.1A Active CN112329740B (zh) 2020-12-02 2020-12-02 图像处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112329740B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950672A (zh) * 2021-03-03 2021-06-11 百度在线网络技术（北京）有限公司 确定关键点的位置的方法、装置和电子设备
CN113223083A (zh) * 2021-05-27 2021-08-06 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113223084A (zh) * 2021-05-27 2021-08-06 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113627306A (zh) * 2021-08-03 2021-11-09 展讯通信（上海）有限公司 关键点处理方法及装置、可读存储介质、终端
CN113838134A (zh) * 2021-09-26 2021-12-24 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
CN116112761A (zh) * 2023-04-12 2023-05-12 海马云（天津）信息技术有限公司 生成虚拟形象视频的方法及装置、电子设备和存储介质
CN116939197A (zh) * 2023-09-15 2023-10-24 海看网络科技(山东)股份有限公司 基于音视频的直播节目首播和重播内容一致性监测方法
WO2024037160A1 (zh) * 2022-08-16 2024-02-22 腾讯科技（深圳）有限公司 视频帧处理方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875422A (zh) * 2017-02-06 2017-06-20 腾讯科技（上海）有限公司 人脸跟踪方法和装置
EP3203416A1 (en) * 2016-02-05 2017-08-09 IDscan Biometrics Limited Method computer program and system for facial recognition
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN109788190A (zh) * 2018-12-10 2019-05-21 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN109977775A (zh) * 2019-02-25 2019-07-05 腾讯科技（深圳）有限公司 关键点检测方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3203416A1 (en) * 2016-02-05 2017-08-09 IDscan Biometrics Limited Method computer program and system for facial recognition
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106875422A (zh) * 2017-02-06 2017-06-20 腾讯科技（上海）有限公司 人脸跟踪方法和装置
CN109788190A (zh) * 2018-12-10 2019-05-21 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN109977775A (zh) * 2019-02-25 2019-07-05 腾讯科技（深圳）有限公司 关键点检测方法、装置、设备及可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950672A (zh) * 2021-03-03 2021-06-11 百度在线网络技术（北京）有限公司 确定关键点的位置的方法、装置和电子设备
CN112950672B (zh) * 2021-03-03 2023-09-19 百度在线网络技术（北京）有限公司 确定关键点的位置的方法、装置和电子设备
CN113223083A (zh) * 2021-05-27 2021-08-06 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113223084A (zh) * 2021-05-27 2021-08-06 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113223083B (zh) * 2021-05-27 2023-08-15 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113223084B (zh) * 2021-05-27 2024-03-01 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113627306A (zh) * 2021-08-03 2021-11-09 展讯通信（上海）有限公司 关键点处理方法及装置、可读存储介质、终端
CN113838134A (zh) * 2021-09-26 2021-12-24 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
CN113838134B (zh) * 2021-09-26 2024-03-12 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
WO2024037160A1 (zh) * 2022-08-16 2024-02-22 腾讯科技（深圳）有限公司 视频帧处理方法、装置、计算机设备和存储介质
CN116112761A (zh) * 2023-04-12 2023-05-12 海马云（天津）信息技术有限公司 生成虚拟形象视频的方法及装置、电子设备和存储介质
CN116939197A (zh) * 2023-09-15 2023-10-24 海看网络科技(山东)股份有限公司 基于音视频的直播节目首播和重播内容一致性监测方法

Also Published As

Publication number Publication date
CN112329740B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN112329740B (zh) 图像处理方法、装置、存储介质和电子设备
TWI683259B (zh) 一種相機姿態資訊確定的方法及相關裝置
CN110059744B (zh) 训练神经网络的方法、图像处理的方法、设备及存储介质
EP3341851B1 (en) Gesture based annotations
US11366528B2 (en) Gesture movement recognition method, apparatus, and device
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
JP6553747B2 (ja) 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体
WO2019184593A1 (en) Method and apparatus for generating environment model, and storage medium
CN112416206A (zh) 一种显示窗口调节方法、设备、电子设备及存储介质
CN112488914A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
CN111933167B (zh) 电子设备的降噪方法、装置、存储介质及电子设备
KR20210000671A (ko) 헤드 포즈 추정
CN115171222B (zh) 一种行为检测方法、装置、计算机设备及存储介质
CN108984097B (zh) 触控操作方法、装置、存储介质及电子设备
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
CN116385615A (zh) 虚拟面部生成方法、装置、计算机设备及存储介质
CN113350792B (zh) 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质
CN113642493B (zh) 一种手势识别方法、装置、设备及介质
CN115497116A (zh) 关键点检测方法、装置、设备以及计算机可读存储介质
CN113705309A (zh) 一种景别类型判断方法、装置、电子设备和存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN112308104A (zh) 异常识别方法、装置及计算机存储介质
CN115209197B (zh) 一种图像处理方法、装置及***
CN115798059A (zh) 一种活体检测方法、装置、计算机设备及存储介质
CN116030069A (zh) 目标追踪方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant