CN113627306B - 关键点处理方法及装置、可读存储介质、终端 - Google Patents
关键点处理方法及装置、可读存储介质、终端 Download PDFInfo
- Publication number
- CN113627306B CN113627306B CN202110886400.7A CN202110886400A CN113627306B CN 113627306 B CN113627306 B CN 113627306B CN 202110886400 A CN202110886400 A CN 202110886400A CN 113627306 B CN113627306 B CN 113627306B
- Authority
- CN
- China
- Prior art keywords
- offset
- key point
- frame image
- diff
- max
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012886 linear function Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种关键点处理方法及装置、可读存储介质、终端,方法包括:在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置。本发明可以提高关键点处理后的人脸平滑性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种关键点处理方法及装置、可读存储介质、终端。
背景技术
在视频图像处理技术中,随着视频美颜瘦脸、视频实时变脸/换妆、基于视频手势/人体骨骼关键点检测的体感游戏等应用的推广,对于人脸识别的平滑性和稳定性的要求越来越高。
然而,由于视频流中的人脸运动状态较为复杂,如人脸姿态的变化、人脸在图像平面内的平移、人脸与摄像头距离的变化导致人脸大小的变化等因素,均可能导致在变脸后发生关键点平滑性不足的问题。
亟需一种关键点处理方法,能够有效提高人脸关键点的平滑性。
发明内容
本发明解决的技术问题是提供一种关键点处理方法及装置、可读存储介质、终端,可以提高关键点处理后的人脸平滑性。
为解决上述技术问题,本发明实施例提供一种关键点处理方法,包括:在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
可选的,采用下述公式,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量:
diffoffset=Rigidcur-Rigidpre
diffsmooth=Filter(diffoffset,radius)
其中,diffoffset用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量,Rigidcur用于表示该关键点在所述当前帧图像的关键点的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,Filter()用于表示滤波处理函数,diffsmooth用于表示该关键点的滤波后帧间偏移量,radius用于表示滤波半径。
可选的,采用下述公式,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,diffsmooth用于表示该关键点的滤波后帧间偏移量。
可选的,在根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置之前,还包括:根据滤波后帧间偏移量,确定帧间最大全局偏移量;根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数;根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置包括:根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
可选的,采用下述公式,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数:
f1(Diffmax)=0,if Diffmax≤1;
f1(Diffmax)=(Diffmax-N)/(N-1)+1,else if 1<Diffmax≤N;
f1(Diffmax)=1,else if Diffmax≥N;
其中,Diffmax用于表示帧间最大全局偏移量,f1(x)用于表示第一分段线性函数,f1(Diffmax)用于表示第一关键点偏移回归系数,N为正有理数。
可选的,历史视频中相邻两帧图像之间的一个或多个关键点位置抖动均值越小,所述N选值越小。
可选的,采用下述公式,根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+f1(Diffmax)×diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,f1(Diffmax)用于表示第一关键点偏移回归系数,diffsmooth用于表示该关键点的滤波后帧间偏移量。
可选的,在根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置之前,关键点处理方法还包括:根据滤波后帧间偏移量,确定帧间最大全局偏移量;根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数;根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数;根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置包括:根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
可选的,采用下述公式,根据滤波后帧间偏移量,确定帧间最大全局偏移量:
Diffmax=MAX(diffsmooth_all)
其中,Diffmax用于表示帧间最大全局偏移量,Max()为最大值函数,diffsmooth_all用于表示各个关键点的滤波后帧间偏移量。
可选的,采用下述公式,根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数:
diffpts=ABS(Rigidcur-Rigidpre)
Stablethr=Min(M,Max(diffpts_all))
其中,diffpts用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值,ABS()用于表示绝对值函数,diffpts_all用于表示各个关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值,Max()为最大值函数,Min()为最小值函数,Stablethr用于表示关键点采集稳定性标定参数,M为正有理数。
可选的,选择历史视频中相邻两帧图像,该两帧图像之间的一个或多个关键点位置抖动均值越小,所述M选值越小。
可选的,采用下述公式,根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数:
f2(Diffmax)=0,if Diffmax≤1;
f2(Diffmax)=(Diffmax-Stablethr)/(Stablethr-1)+1,else if 1<Diffmax≤Stablethr;
f2(Diffmax)=1,else if Diffmax≥Stablethr;
其中,Diffmax用于表示帧间最大全局偏移量,f2(x)用于表示第二分段线性函数,f2(Diffmax)用于表示第二关键点偏移回归系数,Stablethr为关键点采集稳定性标定参数。
可选的,采用下述公式,根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+f2(Diffmax)×diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,f2(Diffmax)用于表示第二关键点偏移回归系数,diffsmooth用于表示该关键点的滤波后帧间偏移量。
可选的,满足以下一项或多项:所述关键点为人脸关键点;所述关键点的位置为所述关键点在图像中的像素点序号。
为解决上述技术问题,本发明实施例提供一种关键点处理装置,包括:关键点位置检测模块,用于在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;滤波模块,用于对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;位置调整模块,用于对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
为解决上述技术问题,本发明实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述关键点处理方法的步骤。
为解决上述技术问题,本发明实施例提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述关键点处理方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
在本发明实施例中,通过对前一帧图像和当前帧图像的位置偏移量进行滤波处理,得到滤波后帧间偏移量,再根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以利用局部滤波平滑技术滤除局部点的抖动。相比于现有技术中,由于帧间检测相对独立,不存在信息交互,且帧间人脸图像质量存在如噪声、亮度等差异,使得即便人脸在视频中处于静止,人脸关键点检测的帧间结果不可避免的存在对齐偏差,表现为人脸关键点无规则抖动,采用本发明实施例的方案,可以利用局部滤波平滑技术,求取全局点相对运动的同时滤除局部点的无规律抖动,提高关键点处理后的人脸平滑性。
进一步,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数;根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以通过使用分段线性函数,实现视频流人脸关键点的静态稳定和动态回归。
进一步,根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数;根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数;根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以对人脸关键点检测模型进行稳定性标定,通过获取稳定性标定参数以知晓采集模型的稳定性情况,方便实现最佳的视频流人脸关键点稳定效果。进一步地,结合关键点采集稳定性标定参数,得到分段线性函数,可以进一步提高视频流人脸关键点的静态稳定和动态回归。
进一步,所述关键点的位置为所述关键点在图像中的像素点序号,有效降低算法复杂度。
附图说明
图1是本发明实施例中第一种关键点处理方法的流程图;
图2是本发明实施例中的人脸关键点示意图;
图3是本发明实施例中第二种关键点处理方法的流程图;
图4是本发明实施例中第三种关键点处理方法的流程图;
图5是本发明实施例中第四种关键点处理方法的流程图;
图6是本发明实施例中一种关键点处理装置的结构示意图。
具体实施方式
在视频图像处理技术中,由于视频流中的人脸运动状态较为复杂,可能导致在变脸后发生关键点平滑性不足的问题,需要提高人脸关键点的平滑性。
在本发明实施例中,通过对前一帧图像和当前帧图像的位置偏移量进行滤波处理,得到滤波后帧间偏移量,再根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以利用局部滤波平滑技术滤除局部点的抖动。相比于现有技术中,由于帧间检测相对独立,不存在信息交互,且帧间人脸图像质量存在如噪声、亮度等差异,使得即便人脸在视频中处于静止,人脸关键点检测的帧间结果不可避免的存在对齐偏差,表现为人脸关键点无规则抖动,采用本发明实施例的方案,可以利用局部滤波平滑技术,求取全局点相对运动的同时滤除局部点的无规律抖动,提高关键点处理后的人脸平滑性。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
参照图1,图1是本发明实施例中第一种关键点处理方法的流程图。所述第一种关键点处理方法可以包括步骤S11至步骤S13:
步骤S11:在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;
步骤S12:对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;
步骤S13:对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
可以理解的是,在具体实施中,所述方法可以采用软件程序的方式实现,该软件程序运行于芯片或芯片模组内部集成的处理器中。
在步骤S11的具体实施中,所述视频可以为正在录制的视频,如美颜瘦脸、视频实时变脸/换妆的视频,还可以为录播传输中的视频,如具有主播互动功能的瘦脸、变脸视频等。在瘦脸、变脸后,需要继续保持一致性,也就需要持续对当前帧图像进行调整。
进一步地,所述关键点可以为人脸关键点,从而对视频中的人脸进行调整,提高人脸显示的平滑性。
在进行人脸关键点检测前,可以先对视频流图像进行人脸面部识别,检出人脸位置信息,根据人脸位置信息截取完整面部区域,然后进行人脸关键点检测,检测结果为人脸面部关键点位置信息。
进一步地,所述关键点的位置可以为所述关键点在图像中的像素点序号。
以一帧图像为996×1024pixel为例,则可以采用不同方向上的像素点数量进行表示,如500×500pixel可以表示横向(如X轴方向)像素点序号为500,纵向(如Y轴方向)像素点序号为500的唯一关键点。
在本发明实施例中,所述关键点的位置为所述关键点在图像中的像素点序号,有效降低算法复杂度。
参照图2,图2是本发明实施例中的人脸关键点示意图。
所述关键点可以是脸颊、眼睛、嘴巴、眉毛和鼻子等,具体地,可以采用人脸关键点检测模型检测脸颊、眼睛、嘴巴、眉毛和鼻子等在图像中的位置信息。
在图中以104个关键点为示例,可以理解的是,关键点提取越多,越有利于提高关键点处理后的人脸平滑性,然而处理速率将受到影响,严重时出现视频卡顿,也会影响用户体验。
继续参照图1,在步骤S12的具体实施中,对于每个关键点,针对两帧图像的位置偏移量进行滤波处理。
进一步地,采用下述公式,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量:
diffoffset=Rigidcur-Rigidpre
diffsmooth=Filter(diffoffset,radius)
其中,diffoffset用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量,Rigidcur用于表示该关键点在所述当前帧图像的关键点的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,Filter()用于表示滤波处理函数,diffsmooth用于表示该关键点的滤波后帧间偏移量,radius用于表示滤波半径。
在步骤S13中,在所述当前帧图像,调整该关键点的位置。
进一步地,可以采用下述公式,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,diffsmooth用于表示该关键点的滤波后帧间偏移量。
在本发明实施例中,通过对前一帧图像和当前帧图像的位置偏移量进行滤波处理,得到滤波后帧间偏移量,再根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以利用局部滤波平滑技术滤除局部点的抖动。相比于现有技术中,由于帧间检测相对独立,不存在信息交互,且帧间人脸图像质量存在如噪声、亮度等差异,使得即便人脸在视频中处于静止,人脸关键点检测的帧间结果不可避免的存在对齐偏差,表现为人脸关键点无规则抖动,采用本发明实施例的方案,可以利用局部滤波平滑技术,求取全局点相对运动的同时滤除局部点的无规律抖动,提高关键点处理后的人脸平滑性。
参照图3,图3是本发明实施例中第二种关键点处理方法的流程图。所述第二种关键点处理方法可以包括图1中的步骤S11至步骤S12,还可以包括步骤S31至步骤S33,以下对步骤S31至步骤S33进行说明。
需要指出的是,步骤S31至步骤S32可以在步骤S11之前执行,还可以在步骤S12之后执行,在本发明实施例中,步骤的序号不代表对各步骤之间的执行顺序的限制。
在步骤S31中,根据滤波后帧间偏移量,确定帧间最大全局偏移量。
进一步地,可以采用下述公式,根据滤波后帧间偏移量,确定帧间最大全局偏移量:
Diffmax=Max(diffsmooth_all)
其中,Diffmax用于表示帧间最大全局偏移量,Max()为最大值函数,diffsmooth_all用于表示各个关键点的滤波后帧间偏移量。
在步骤S32中,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数。
进一步地,可以采用下述公式,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数:
f1(Diffmax)=0,if Diffmax≤1;
f1(Diffmax)=(Diffmax-N)/(N-1)+1,else if 1<Diffmax≤N;
f1(Diffmax)=1,else if Diffmax≥N;
其中,Diffmax用于表示帧间最大全局偏移量,f1(x)用于表示第一分段线性函数,f1(Diffmax)用于表示第一关键点偏移回归系数,N为正有理数。
进一步地,所述N选值可以是根据经验数据确定的,例如根据历史视频中相邻两帧图像之间的一个或多个关键点位置抖动均值确定。关键点位置抖动均值越小,所述N选值越小。
其中,历史视频中相邻两帧图像可以是在人脸保持静止状态下的相邻两帧图像,例如可以在人脸保持静止状态下,提前拍摄至少包含两帧图像的视频,然后采用同样的关键点检测模型检测相邻两帧图像的关键点的位置偏移量,并确定关键点位置的抖动均值。
其中,关键点位置抖动均值可以是相邻两帧图像的关键点的位置偏移量的均值,其中,所述位置偏移量可以为X轴方向上的像素点差值以及Y轴方向上的像素点差值。
在步骤S33中,根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
进一步地,可以采用下述公式,根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+f1(Diffmax)×diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,f1(Diffmax)用于表示第一关键点偏移回归系数,diffsmooth用于表示该关键点的滤波后帧间偏移量。
在本发明实施例中,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数;根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以通过使用分段线性函数,实现视频流人脸关键点的静态稳定和动态回归。也即在提高平滑性的同时,提高成像稳定性。
参照图4,图4是本发明实施例中第三种关键点处理方法的流程图。所述第三种关键点处理方法可以包括图1中的步骤S11至步骤S12,还可以包括步骤S41至步骤S44,以下对步骤S41至步骤S44进行说明。
需要指出的是,步骤S41至步骤S43可以在步骤S11之前执行,还可以在步骤S12之后执行,在本发明实施例中,步骤的序号不代表对各步骤之间的执行顺序的限制。
在步骤S41中,根据滤波后帧间偏移量,确定帧间最大全局偏移量。
进一步地,可以采用下述公式,根据滤波后帧间偏移量,确定帧间最大全局偏移量:
Diffmax=Max(diffsmooth_all)
其中,Diffmax用于表示帧间最大全局偏移量,Max()为最大值函数,diffsmooth_all用于表示各个关键点的滤波后帧间偏移量。
在步骤S42中,根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数。
进一步地,可以采用下述公式,根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数:
diffpts=ABS(Rigidcur-Rigidpre)
Stablethr=Min(M,Max(diffpts_all))
其中,diffpts用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值,ABS()用于表示绝对值函数,diffpts_all用于表示各个关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值,Max()为最大值函数,Min()为最小值函数,Stablethr用于表示关键点采集稳定性标定参数,M为正有理数。
更进一步地,所述M选值可以是根据经验数据确定的,例如根据历史视频中相邻两帧图像之间的一个或多个关键点位置抖动均值确定。关键点位置抖动均值越小,所述M选值越小。
可以理解的是,M选值不应当过大,否则会导致过于钝感,抖动过大也仍然得不到抑制,例如人员确实进行了移动却误以为是正常抖动;M选值不应当过小,否则会导致过于敏感,较小抖动都判断为人员移动。
作为一个非限制性的例子,M可以采用1.5~5,例如M=2。
其中,历史视频中相邻两帧图像可以是在人脸保持静止状态下的相邻两帧图像,例如可以在人脸保持静止状态下,提前拍摄至少包含两帧图像的视频,然后采用同样的关键点检测模型检测相邻两帧图像的关键点的位置偏移量,并确定关键点位置的抖动均值。
其中,关键点位置抖动均值可以是相邻两帧图像的关键点的位置偏移量的均值,其中,所述位置偏移量可以为X轴方向上的像素点差值以及Y轴方向上的像素点差值。
在本发明实施例中,通过确定各个关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值的最大值,然后与M进行比较,保留其中的较小值,可以在两帧图像偏移过大时,保留M值,可以避免抖动极值的影响,进一步有效提高成像稳定性。
在步骤S43中,根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数。
进一步地,可以采用下述公式,根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数:
f2(Diffmax)=0,if Diffmax≤1;
f2(Diffmax)=(Diffmax-Stablethr)/(Stablethr-1)+1,else if 1<Diffmax≤Stablethr;
f2(Diffmax)=1,else if Diffmax≥Stablethr;
其中,Diffmax用于表示帧间最大全局偏移量,f2(x)用于表示第二分段线性函数,f2(Diffmax)用于表示第二关键点偏移回归系数,Stablethr为关键点采集稳定性标定参数。
在本发明实施例中,引用关键点采集稳定性标定参数得到第二分段线性函数,可以避免抖动极值的影响的情况下,进行动态回归处理,进一步提高稳定性。
在步骤S44中,根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
进一步地,可以采用下述公式,根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+f2(Diffmax)×diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,f2(Diffmax)用于表示第二关键点偏移回归系数,diffsmooth用于表示该关键点的滤波后帧间偏移量。
在本发明实施例中,根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数;根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数;根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置,可以对人脸关键点检测模型进行稳定性标定,通过获取稳定性标定参数以知晓采集模型的稳定性情况,方便实现最佳的视频流人脸关键点稳定效果。进一步地,结合关键点采集稳定性标定参数,得到分段线性函数,可以进一步提高视频流人脸关键点的静态稳定和动态回归。
参照图5,图5是本发明实施例中第四种关键点处理方法的流程图。所述第四种关键点处理方法可以包括步骤S51至步骤S57,以下对各个步骤进行说明。
在步骤S51中,面部识别。
具体地,对视频中的人脸进行面部识别,以检出人脸位置信息。在本发明实施例中,对于具体的面部识别的方法不做限制。
在步骤S52中,检测人脸关键点的像素点序号。
具体地,可以根据人脸位置信息截取完整面部区域,然后进行人脸关键点检测,检测结果为人脸面部关键点位置信息,所述关键点的位置可以为所述关键点在图像中的像素点序号,可以采用不同方向上的像素点序号表示。
进一步地,在检测人脸关键点的像素点序号之后,可以采用Rigidcur表示该关键点在所述当前帧图像的关键点的位置,采用Rigidpre表示所述前一帧图像中该关键点的位置。
在步骤S53中,滤波处理。
具体地,可以确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量。
在步骤S54中,确定帧间最大全局偏移量。
具体地,可以根据前一步骤中确定的滤波后帧间偏移量,确定帧间最大全局偏移量。
在步骤S55中,确定关键点采集稳定性标定参数。
具体地,可以根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数。
在步骤S56中,确定第二分段线性函数。
具体地,可以将稳定性标定参数引入第二分段线性函数,根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数。
在步骤S57中,调整关键点的位置。
具体地,可以根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
在具体实施中,有关步骤S51至步骤S57的更多详细内容请参照图1至图4中的步骤描述进行执行,此处不再赘述。
参照图6,图6是本发明实施例中一种关键点处理装置的结构示意图。所述关键点处理装置可以包括:
关键点位置检测模块61,用于在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;
滤波模块62,用于对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;
位置调整模块63,用于对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置。
在具体实施中,上述装置可以对应于用户设备中具有数据处理功能的芯片;或者对应于用户设备中包括具有数据处理功能芯片的芯片模组,或者对应于用户设备。
本发明实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。所述可读存储介质可以是计算机可读存储介质,例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器,还可以包括光盘、机械硬盘、固态硬盘等。
具体地,在本发明实施例中,所述处理器可以为中央处理单元(centralprocessing unit,简称CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,简称DSP)、专用集成电路(application specificintegrated circuit,简称ASIC)、现成可编程门阵列(field programmable gate array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,简称ROM)、可编程只读存储器(programmable ROM,简称PROM)、可擦除可编程只读存储器(erasable PROM,简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM,简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random access memory,简称RAM)可用,例如静态随机存取存储器(staticRAM,简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,简称DR RAM)。
本发明实施例还提供了一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (12)
1.一种关键点处理方法,其特征在于,包括:
在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;
对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;
对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置;
其中,采用下述公式,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量:
diffoffset=Rigidcur-Rigidpre
diffsmooth=Filter(diffoffset,radius)
其中,diffoffset用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量,Rigidcur用于表示该关键点在所述当前帧图像的关键点的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,Filter()用于表示滤波处理函数,diffsmooth用于表示该关键点的滤波后帧间偏移量,radius用于表示滤波半径;
其中,在根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置之前,所述方法还包括:
根据各个关键点的滤波后帧间偏移量的最大值,确定帧间最大全局偏移量;
根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数;
根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置包括:
根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置;
其中,采用下述公式,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数:
f1(Diffmax)=0,if Diffmax≤1;
f1(Diffmax)=(Diffmax-N)/(N-1)+1,else if 1<Diffmax≤N;
f1(Diffmax)=1,else if Diffmax≥N;
其中,Diffmax用于表示帧间最大全局偏移量,f1(x)用于表示第一分段线性函数,f1(Diffmax)用于表示第一关键点偏移回归系数,N为正有理数。
2.根据权利要求1所述的关键点处理方法,其特征在于,采用下述公式,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,diffsmooth用于表示该关键点的滤波后帧间偏移量。
3.根据权利要求1所述的关键点处理方法,其特征在于,
历史视频中相邻两帧图像之间的一个或多个关键点位置抖动均值越小,所述N选值越小。
4.根据权利要求1所述的关键点处理方法,其特征在于,采用下述公式,根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+f1(Diffmax)×diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,f1(Diffmax)用于表示第一关键点偏移回归系数,diffsmooth用于表示该关键点的滤波后帧间偏移量。
5.根据权利要求1所述的关键点处理方法,其特征在于,在根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置之前,还包括:
根据各个关键点的滤波后帧间偏移量的最大值,确定帧间最大全局偏移量;
根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数;
根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数;
根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置包括:
根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置;
其中,采用下述公式,根据各个关键点在所述前一帧图像和当前帧图像的位置偏移量,确定关键点采集稳定性标定参数:
diffpts=ABS(Rigidcur-Rigidpre)
Stablethr=Min(M,Max(diffpts_all))
其中,diffpts用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值,ABS用()于表示绝对值函数,diffpts_all用于表示各个关键点在所述前一帧图像和当前帧图像的位置偏移量的绝对值,Max()为最大值函数,Min()为最小值函数,Stablethr用于表示关键点采集稳定性标定参数,M为正有理数;采用下述公式,根据所述帧间最大全局偏移量、所述关键点采集稳定性标定参数以及第二分段线性函数,确定第二关键点偏移回归系数:
f2(Diffmax)=0,if Diffmax≤1;
f2(Diffmax)=(Diffmax-Stablethr)/(Stablethr-1)+1,else if 1<Diffmax≤Stablethr;
f2(Diffmax)=1,else if Diffmax≥Stablethr;
其中,Diffmax用于表示帧间最大全局偏移量,f2(x)用于表示第二分段线性函数,f2(Diffmax)用于表示第二关键点偏移回归系数,Stablethr为关键点采集稳定性标定参数。
6.根据权利要求1或5所述的关键点处理方法,其特征在于,采用下述公式,根据各个关键点的滤波后帧间偏移量的最大值,确定帧间最大全局偏移量:
Diffmax=MAX(diffsmooth_all)
其中,Diffmax用于表示帧间最大全局偏移量,MAX()为最大值函数,diffsmooth_all用于表示各个关键点的滤波后帧间偏移量。
7.根据权利要求5所述的关键点处理方法,其特征在于,
选择历史视频中相邻两帧图像,该两帧图像之间的一个或多个关键点位置抖动均值越小,所述M选值越小。
8.根据权利要求5所述的关键点处理方法,其特征在于,采用下述公式,根据所述滤波后帧间偏移量与所述第二关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置:
dstpts=Rigidpre+f2(Diffmax)×diffsmooth
其中,dstpts用于表示该关键点在所述当前帧图像的调整后的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,f2(Diffmax)用于表示第二关键点偏移回归系数,diffsmooth用于表示该关键点的滤波后帧间偏移量。
9.根据权利要求1所述的关键点处理方法,其特征在于,满足以下一项或多项:所述关键点为人脸关键点;
所述关键点的位置为所述关键点在图像中的像素点序号。
10.一种关键点处理装置,其特征在于,包括:
关键点位置检测模块,用于在视频中采集前一帧图像和当前帧图像,并分别检测多个关键点的位置;
滤波模块,用于对于每个关键点,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量;
位置调整模块,用于对于每个关键点,根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置;
其中,所述滤波模块采用下述公式,确定所述前一帧图像和当前帧图像的位置偏移量,然后对所述位置偏移量进行滤波处理,得到滤波后帧间偏移量:
diffoffset=Rigidcur-Rigidpre
diffsmooth=Filter(diffoffset,radius)
其中,diffoffset用于表示该关键点在所述前一帧图像和当前帧图像的位置偏移量,Rigidcur用于表示该关键点在所述当前帧图像的关键点的位置,Rigidpre用于表示所述前一帧图像中该关键点的位置,Filter()用于表示滤波处理函数,diffsmooth用于表示该关键点的滤波后帧间偏移量,radius用于表示滤波半径;
所述装置还包括在根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置之前,用于执行下述步骤的模块:
根据各个关键点的滤波后帧间偏移量的最大值,确定帧间最大全局偏移量;根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数;
根据所述滤波后帧间偏移量与前一帧图像的位置,调整该关键点在所述当前帧图像的位置包括:
根据所述滤波后帧间偏移量与所述第一关键点偏移回归系数的乘积,以及前一帧图像的位置,调整该关键点在所述当前帧图像的位置;
其中,采用下述公式,根据所述帧间最大全局偏移量以及第一分段线性函数,确定第一关键点偏移回归系数:
f1(Diffmax)=0,if Diffmax≤1;
f1(Diffmax)=(Diffmax-N)/(N-1)+1,else if 1<Diffmax≤N;
f1(Diffmax)=1,else if Diffmax≥N;
其中,Diffmax用于表示帧间最大全局偏移量,f1(x)用于表示第一分段线性函数,f1(Diffmax)用于表示第一关键点偏移回归系数,N为正有理数。
11.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至9任一项所述关键点处理方法的步骤。
12.一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至9任一项所述关键点处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110886400.7A CN113627306B (zh) | 2021-08-03 | 2021-08-03 | 关键点处理方法及装置、可读存储介质、终端 |
PCT/CN2021/142865 WO2023010792A1 (zh) | 2021-08-03 | 2021-12-30 | 关键点处理方法及装置、可读存储介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110886400.7A CN113627306B (zh) | 2021-08-03 | 2021-08-03 | 关键点处理方法及装置、可读存储介质、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627306A CN113627306A (zh) | 2021-11-09 |
CN113627306B true CN113627306B (zh) | 2023-04-07 |
Family
ID=78382450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110886400.7A Active CN113627306B (zh) | 2021-08-03 | 2021-08-03 | 关键点处理方法及装置、可读存储介质、终端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113627306B (zh) |
WO (1) | WO2023010792A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627306B (zh) * | 2021-08-03 | 2023-04-07 | 展讯通信(上海)有限公司 | 关键点处理方法及装置、可读存储介质、终端 |
CN113887547B (zh) * | 2021-12-08 | 2022-03-08 | 北京世纪好未来教育科技有限公司 | 关键点检测方法、装置和电子设备 |
CN114998812B (zh) * | 2022-07-28 | 2022-12-09 | 北京达佳互联信息技术有限公司 | 关键点的位置更新方法、装置、计算机设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102231792B (zh) * | 2011-06-29 | 2013-04-24 | 南京大学 | 基于特征匹配的电子稳像方法 |
JP2015023470A (ja) * | 2013-07-19 | 2015-02-02 | 株式会社amuse oneself | パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置 |
JP6304619B2 (ja) * | 2013-12-26 | 2018-04-04 | 住友ゴム工業株式会社 | 像振れ補正システム、プログラム及び方法 |
CN109684920B (zh) * | 2018-11-19 | 2020-12-11 | 腾讯科技(深圳)有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
CN110363748B (zh) * | 2019-06-19 | 2023-07-21 | 平安科技(深圳)有限公司 | 关键点的抖动处理方法、装置、介质及电子设备 |
CN111028191B (zh) * | 2019-12-10 | 2023-07-04 | 上海闻泰电子科技有限公司 | 视频图像的防抖方法、装置、电子设备和存储介质 |
CN111950401B (zh) * | 2020-07-28 | 2023-12-08 | 深圳数联天下智能科技有限公司 | 确定关键点区域位置的方法、图像处理***、设备和介质 |
CN112036255A (zh) * | 2020-08-07 | 2020-12-04 | 深圳数联天下智能科技有限公司 | 人脸关键点检测装置 |
CN112183309B (zh) * | 2020-09-25 | 2024-05-28 | 咪咕文化科技有限公司 | 人脸关键点处理方法、***、终端及存储介质 |
CN112329740B (zh) * | 2020-12-02 | 2021-10-26 | 广州博冠信息科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
CN113627306B (zh) * | 2021-08-03 | 2023-04-07 | 展讯通信(上海)有限公司 | 关键点处理方法及装置、可读存储介质、终端 |
-
2021
- 2021-08-03 CN CN202110886400.7A patent/CN113627306B/zh active Active
- 2021-12-30 WO PCT/CN2021/142865 patent/WO2023010792A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023010792A1 (zh) | 2023-02-09 |
CN113627306A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113627306B (zh) | 关键点处理方法及装置、可读存储介质、终端 | |
US10963993B2 (en) | Image noise intensity estimation method, image noise intensity estimation device, and image recognition device | |
CN109644231B (zh) | 提供移动设备的改进的视频稳定性的方法、***和介质 | |
KR100556856B1 (ko) | 이동통신 단말기에서 화면 제어 방법 및 장치 | |
TWI607409B (zh) | 影像優化方法以及使用此方法的裝置 | |
EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
JP6688277B2 (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
US8355079B2 (en) | Temporally consistent caption detection on videos using a 3D spatiotemporal method | |
KR20180054808A (ko) | 이미지들 내의 움직임 검출 | |
CN112308797B (zh) | 角点检测方法、装置、电子设备及可读存储介质 | |
US20230048234A1 (en) | Real-time video overlaying display | |
WO2022206680A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN113610865B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111047619B (zh) | 人脸图像处理方法及装置、可读存储介质 | |
WO2017128646A1 (zh) | 一种图像处理的方法及装置 | |
US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
US9904979B2 (en) | Method of generating a framed video system | |
CN111160340A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
WO2022206679A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
WO2022127491A1 (zh) | 图像处理方法及装置、存储介质、终端 | |
CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
WO2021239000A1 (zh) | 运动模糊图像的识别方法、装置、电子设备和支付设备 | |
CN114973344A (zh) | 人脸检测方法、装置、终端设备和计算机可读存储介质 | |
CN114640815A (zh) | 一种视频的处理方法、装置、电子设备及存储介质 | |
CN115761827A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |