CN114757855A - 动作数据修正方法、装置、设备及存储介质 - Google Patents
动作数据修正方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114757855A CN114757855A CN202210677372.2A CN202210677372A CN114757855A CN 114757855 A CN114757855 A CN 114757855A CN 202210677372 A CN202210677372 A CN 202210677372A CN 114757855 A CN114757855 A CN 114757855A
- Authority
- CN
- China
- Prior art keywords
- data
- motion data
- action
- smoothing
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000009499 grossing Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 20
- 238000002715 modification method Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种动作数据修正方法、装置、设备及存储介质,获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;对所述第一动作数据进行滤波平滑处理,得到第二动作数据;对所述第二动作数据进行差分校正处理,得到第三动作数据,其中,所述差分校正处理针对所述第二动作数据中的关节点进行。具体地,差分校正处理包括统计相邻两帧所述关节点的位置数据的差分值;当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于幅度阈值,则保留当前帧。如此,针对关节点利用差分校正处理滤波平滑后的动作数据可消除信号抖动,保留真实动作。
Description
技术领域
本申请涉及计算机技术领域,尤其是一种动作数据的修正方法、装置、设备及存储介质。
背景技术
随着计算机软硬件技术的飞速发展和动画制作要求的提高,动作捕捉(MotionCapture)已经进入了实用化阶段,有多家厂商相继推出了多种商品化的动作捕捉设备,成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。从技术的角度来说,动作捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。通俗地讲,动作捕捉可以理解为,通过专业设备捕捉演员动作,并迁移到影视/游戏/虚拟现实等场景的人物上。但是动捕行业也面临着专业设备价格昂贵、佩戴专业设备时严重影响演员发挥、以及较大的重复工作量等问题。
因此,AI动捕技术出现,解决了上述技术问题。AI动捕利用视频动捕技术,通过对获取到的视频数据进行处理来实现虚拟人物的三维姿态重建,不需要演员佩戴昂贵的专业设备。在AI动捕技术中,存在动作不够平滑、噪声、漂移等现象,需要对动作数据进行修正才能解决上述问题,然而,现有技术中的相关动作数据处理往往采用单一的滤波平滑方式,使得动作数据处理结果不够精确和顺畅。
综上,相关技术存在的问题亟需得到解决。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此,本申请实施例的一个目的在于提供一种动作数据修正方法、装置、设备及存储介质,用于解决动捕技术中动作不够平滑、存在噪声、漂移等问题的至少之一。
为了达到上述技术目的,本申请实施例所采取的技术方案包括:
一方面,本申请实施例提供了一种动作数据修正方法,所述方法包括:
获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;
对所述第一动作数据进行滤波平滑处理,得到第二动作数据;
对所述第二动作数据进行差分校正处理,得到第三动作数据,其中,所述对所述第二动作数据进行差分校正处理,得到第三动作数据,包括:
统计相邻两帧所述关节点的位置数据的差分值;
当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于等于幅度阈值,则保留当前帧。
另外,根据本申请上述实施例的一种动作数据修正方法,还可以具有以下附加的技术特征:
进一步地,在本申请的一个实施例中,所述当所述差分值小于动作幅度阈值,则删除当前帧,包括:
当所述差分值小于动作幅度阈值,则删除当前帧,并将当前帧的前一帧作为当前帧。
进一步地,在本申请的一个实施例中,所述方法还包括:
根据相邻两帧所述关节点位置数据的差分值计算所有所述差分值的标准差,
根据所述标准差确定所述幅度阈值。
进一步地,在本申请的一个实施例中,所述方法还包括:
所述滤波平滑处理包括移动平均平滑处理;所述对所述第一动作数据进行滤波平滑处理,得到第二动作数据,包括:
获取所述第一动作数据的动作速度信息,所述动作速度信息的数值大小表示所述第一动作数据中动作速度的快慢;
根据所述动作速度信息确定所述移动平均平滑处理的平滑程度,所述平滑程度与所述动作速度信息的大小成反比。
进一步地,在本申请的一个实施例中,所述方法还包括:
根据所述第一动作数据的关键点在预设时间内的位置信息的变化幅度确定所述动作速度信息。
进一步地,在本申请的一个实施例中,所述方法还包括:
所移动平均平滑处理包括:利用前若干帧和当前帧进行加权,得到的结果作为新的当前帧。
进一步地,在本申请的一个实施例中,所述滤波平滑处理还包括卡尔曼滤波和低通滤波。
另一方面,本申请实施例还提供了一种动作数据修正装置,其特征在于,包括:
获取单元,用于获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;
处理单元,用于对所述第一动作数据进行滤波平滑处理,得到第二动作数据;以及,对所述第二动作数据进行差分校正处理,得到第三动作数据;其中,所述对所述第二动作数据进行差分校正处理,得到第三动作数据,包括:统计相邻两帧所述关节点的位置数据的差分值,当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于幅度阈值,则保留当前帧。
另一方面,本申请实施例提供了一种终端设备,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现上述的动作数据修正方法。
另一方面,本申请实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,上述处理器可执行的程序在由处理器执行时用于实现上述的动作数据修正方法。
本申请的优点和有益效果将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到:
本申请实施例所公开的一种动作数据修正方法,获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;对所述第一动作数据进行滤波平滑处理,得到第二动作数据;对所述第二动作数据进行差分校正处理,得到第三动作数据,其中,所述差分校正处理针对所述第二动作数据中的关节点进行。具体地,差分校正处理包括统计相邻两帧所述关节点的位置数据的差分值;当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于幅度阈值,则保留当前帧。如此,针对关节点、利用差分校正处理滤波平滑后的动作数据可消除信号抖动,保留真实动作。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案,下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员来说,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1为AI动捕技术实施的流程示意图;
图2为本申请实施例中提供的一种动作数据修正方法的流程示意图;
图3为本申请实施例中提供的一种动作数据修正装置的结构示意图;
图4为本申请实施例中提供的一种终端设备的结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
随着计算机软硬件技术的飞速发展和动画制作要求的提高,动作捕捉(MotionCapture)已经进入了实用化阶段,有多家厂商相继推出了多种商品化的动作捕捉设备,成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。从技术的角度来说,动作捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。通俗地讲,动作捕捉可以理解为,通过专业设备捕捉演员动作,并迁移到影视/游戏等场景的人物上。但是动捕行业也面临着专业设备价格昂贵、佩戴专业设备时严重影响演员发挥、以及较大的重复工作量等问题。
因此,AI动捕技术出现,解决了上述技术问题。AI动捕利用视频动捕技术,通过对获取到的视频数据进行处理来实现虚拟人物的三维姿态重建,不需要演员佩戴昂贵的专业设备。图1为AI动捕技术实施的流程示意图,AI动捕技术的实现流程包括:
S100,获取目标视频,输入至动捕模型;
S101,对齐视频帧率及转码;
S102,拆解视频,提取目标视频帧,并进行数据增强和归一化等数据预处理操作;
S103,利用深度神经网络等模型,预测人物3D模型的相机外参、形状参数和姿态参数;
S104 ,建人物3D模型;
S105,获取人物顶点信息和3D关键点信息;
S106,后处理优化;
S107,利用动作驱动模型将关键点空间位置信息转换为旋转信息,生成BVH驱动模型;
S108,将BVH(“Biovision Hierarchy motion file”的缩写,生物视觉层次运动文件)动作模型导出为FBX动作模型(一种动画骨骼模型文件格式),并进一步和人物骨骼进行绑定,导出BIP骨骼模型(一种动画骨骼模型文件格式);
S109,BIP骨骼模型和人物皮肤骨骼模型进行顶点匹配,完成蒙皮操作。
在AI动捕技术中,存在动作不够平滑、噪声、漂移等现象,需要对动作数据进行修正才能解决上述问题,而后处理优化步骤的设计对解决上述技术问题就尤为重要。在后处理优化步骤中,需要对视频数据进行平滑滤波、异常识别等操作,为步骤107、步骤108的驱动步骤提供可靠的视频数据。上述后处理优化是影响动画输出是否准确流畅的关键步骤,然而,现有技术中的相关动作数据处理往往采用单一的滤波平滑方式,使得动作数据处理结果不够精确和顺畅。
图2是本申请实施例提供的一种动作数据的修正方法流程图,该方法的执行主体可以是支持动作数据修正的电子设备,诸如智能手机、平板电脑、计算机、云端服务器等,该方法能够对动作数据进行优化处理。如图2所示,该方法包括:
步骤S210,获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;
步骤S220,对所述第一动作数据进行滤波平滑处理,得到第二动作数据;
步骤S230,对所述第二动作数据进行差分校正处理,得到第三动作数据,其中,所述对所述第二动作数据进行差分校正处理,得到第三动作数据,包括:
统计相邻两帧所述关节点的位置数据的差分值;
当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于幅度阈值,则保留当前帧。
步骤S210中,获取了后处理优化步骤中的待修正的视频数据,即本实施例中的第一动作数据,该第一动作数据为骨骼动画数据,包括骨骼的3D空间位置数据。本实施例主要依据该位置数据进行数据修正。
在步骤S220中,对第一动作数据进行滤波平滑处理,得到第二动作数据,作为差分校正处理的对象数据。
步骤S230描述了针对第二动作数据所采取的差分校正处理过程,该步骤是针对每一个关节点单独处理,每一个关节点有自己的幅度范围,不同的关节点的幅度范围是不一样的。通过该步骤解决某一个关节点幅度太大而造成的漂移问题。比如,针对局部关节点脚踝,统计相邻两帧的差分,然后计算该一阶差分的标准差。由于离散函数的一阶导数,反映的是信号的变化趋势和变化幅度,因此,该相邻两帧的一阶差分的大小可以体现出该局部关节点的变化幅度。得到整个运动过程中运动幅度的变化幅度的统计信息,然后根据标准差将变化幅度过小的信号消除,即将抖动信号消除,而幅度较大的信息保留,即真实动作保留。
假设信号为[x(1),x(2),x(3),....x(n)],n为正整数,表示动作数据的帧数,x(1),x(2),x(3),....x(n)为某一关节点位置数据,表示对应帧某一关节点的位置数据。例如,x(1)表示第一帧脚踝处的关节点A的位置数据。
计算差分结果[x(2)-x(1),x(3)-x(2),...,x(n)-x(n-1)],将该差分结果和幅度阈值做比较,当大于等于幅度阈值时,说明幅度变化较大,不属于抖动噪音,则保留。当小于幅度阈值时,说明幅度变化不大,属于抖动噪音,则删除该帧。可以理解的是,当x(i)-x(i-1)小于幅度阈值时,表示第i帧相对于前一帧的幅度变化不大,属于抖动噪音,将第i帧删除,i为2,3,……,n。比如,当x(3)-x(2)的值小于幅度阈值时,则将第3帧相对于第二帧发生了抖动,将第3帧删除。
在一些实施例中,所述当所述差分值小于幅度阈值,则删除当前帧,包括:
当所述差分值小于幅度阈值,则删除当前帧,并将当前帧的前一帧作为当前帧。
在该实施例中,当删除了当前帧后,用当前帧的前一帧来代替当前帧,从而消除了抖动噪音。比如,利用第i-1帧作为第i帧。
在一些实施例中,所述方法还包括:
根据相邻两帧所述关节点的位置数据的差分值计算所有所述差分值的标准差,
根据所述标准差确定所述幅度阈值。
在该实施例中,标准差e = std([x(2)-x(1),x(3)-x(2),...,x(n)-x(n-1)])。对[x(2)-x(1),x(3)-x(2),...,x(n)-x(n-1)]中的每一项差分与幅度阈值进行对比,来做抖动判断。
利用所有差分值的标准差作为幅度阈值制定的参考标准,相对于固定的阈值设定而言,该阈值设定方式能够根据待优化的动作数据的特点来设置阈值,所得阈值数值能够适应当前动作数据的自身场景特点,可以使得抖动噪音的判断更加准确可靠。
可以理解的是,当第二动作数据中的场景不仅仅是一个,比如,第二动作数据中既有人物奔跑的片段,又有人物走路的片段,此时,在进行幅度阈值设定前,可增加一场景解析步骤,比如,可通过观察、智能识别等方式识别出该第二动作数据包括第一片段和第二片段,第一片段和第二片段的场景不同,或者说,第一片段和第二片段的人物动作状态(或人物速度状态)不同。则可以针对每个片段单独设置幅度阈值,比如,第一片段和第二片段分别设置第一幅度阈值和第二幅度阈值,第一幅度阈值根据第一片段内的相关数据来进行设置,设置方式和前述内容相同,利用第一片段内所有帧的差分值的标准差作为参考依据。类似地,第二幅度阈值也可同样设置。可以理解的是,对第二动作数据的片段划分并不局限在两个片段,可以为任意若干个片段,具体数量可根据实际需求来灵活设置。比如,根据第二动作数据中的场景个数来划分,比如,在第二动作数据中,具有吃饭、睡觉、跑步、散步等多个场景,则可以划分为多个片段。
另外,幅度阈值可以设置为标准差乘以一预设系数。比如,当该预设系数为1.5时,对[x(2)-x(1),x(3)-x(2),...,x(n)-x(n-1)]中的每一项进行判断,如果x(i)-x(i-1)>1.5*e, 则设置x(i)=x(i);如果x(i)-x(i-1)<=1.5*e, 则设置x(i)=x(i-1)。通过预设系数的设置,可以方便地根据标准差来设置幅度阈值。
在一些实施例中,所述滤波平滑处理包括移动平均平滑处理;所述对所述第一动作数据进行滤波平滑处理,得到第二动作数据,包括:
获取所述第一动作数据的动作速度信息,所述动作速度信息的数值大小表示所述第一动作数据中动作速度的快慢;
根据所述动作速度信息确定所述移动平均平滑处理的平滑程度,所述平滑程度与所述动作速度信息的大小成反比。
可以理解的是,本实施例中的动作速度信息也可以解读为前述场景信息,该场景信息包含有速度信息。本实施例中,动作速度的快慢可以由单位时间内(预设时间内)关键点的变化幅度来确定。本实施例中的移动平均平滑的程度并不是固定不变的,而是和动作速度相关的,当动作速度越快(数值越大),则平滑程度越低,否则与真实场景不符,不能体现快速动作的动作效果;当动作速度越慢(数值越小)则平滑程度越高,否则容易出现动作不连贯的现象。
该移动平均平滑的程度可以由用户选择,也可以由处理单元计算动作速度信息后来自动设定。
在一些实施例中,所述方法还包括:根据所述第一动作数据的关键点在预设时间内的位置信息的变化幅度确定所述动作速度信息。
在本实施例中给出了获取动作速度信息的方法,通过对第一动作数据的关键点在预设时间内(或单位时间内)的变化幅度来确定其动作速度。
在一些实施例中,所移动平均平滑处理包括:利用前若干帧和当前帧进行加权,得到的结果作为新的当前帧。
在本实施例中给出了移动平均平滑的处理步骤,比如,平滑窗口长度为w,那么在计算第j帧时,会选择j-w+1,j-w+2,……,j帧进行加权作为第j帧的结果,即x(j)=1/w*x(j-w+1)+1/w*x(j-w+2)+……+1/w*x(j)。
在一些实施例中,所述所述滤波平滑处理包括移动平均平滑处理;所述对所述第一动作数据进行滤波平滑处理,得到第二动作数据,包括:
获取所述第一动作数据的动作速度信息,所述动作速度信息的数值大小表示所述第一动作数据中动作速度的快慢;
根据所述动作速度信息确定所述移动平均平滑处理的平滑窗口的长度,所述长度与所述动作速度信息的大小成反比。
本实施例中,平滑程度由平滑窗口的长度来确定。平滑窗口的长度越长,则参与计算的帧就越多,平滑效果就越明显,或者说平滑程度就越高。在动作速度快时,可选择平滑程度低的移动平均平滑方案;比如,可设置平滑窗口长度为w1。在动作速度慢时,可选择平滑程度高的移动平均平滑方案,比如,可设置平滑窗口长度为w2,w1<w2。在计算第j帧时,分别会选择(j-w1+1)~j帧,(j-w2+1)~j帧进行加权作为第j帧的结果,而每一帧的权重分别为1/w1和1/w2。比如用x(j)表示第j帧结果,那么w1窗口加权后的x(j)结果值有:x'(j)=1/w1*x(j-w1+1)+1/w1*x(j-w1+2)+……+1/w1*x(j);w2窗口加权后的x'(j)=1/w2*x(j-w2+1)+1/w2*x(j-w2+2)+……+1/w2*x(j)。
可选地,本实施例中,滤波平滑处理还可以包括卡尔曼滤波、低通滤波。在进行移动平均平滑处理前,可先对第一动作数据进行卡尔曼滤波和低通滤波。先经过卡尔曼滤波,尽可能挖掘有用信息,然后通过低通滤波进行频率域平滑消抖;而移动平均平滑处理则实现了时间域的平滑消抖。
参照图3,本申请实施例还公开了一种动作数据修正装置,包括:
获取单元310,用于获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;
处理单元320,用于对所述第一动作数据进行滤波平滑处理,得到第二动作数据;以及,对所述第二动作数据进行差分校正处理,得到第三动作数据;其中,所述对所述第二动作数据进行差分校正处理,得到第三动作数据,包括:统计相邻两帧所述关节点的位置数据的差分值,当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于幅度阈值,则保留当前帧。
参照图4,本申请实施例还公开了一种终端设备,包括:
至少一个处理器410;
至少一个存储器420,用于存储至少一个程序;
当至少一个程序被至少一个处理器410执行,使得至少一个处理器410实现如图2所示的动作数据修正方法实施例。
本申请实施例还公开了一种计算机可读存储介质,其中存储有处理器可执行的程序,处理器可执行的程序在由处理器执行时用于实现如图2所示的动作数据修正方法实施例。
可以理解的是,如图2所示的动作数据修正方法实施例中的内容均适用于本计算机可读存储介质实施例中,本计算机可读存储介质实施例所具体实现的功能与如图2所示的动作数据修正方法实施例相同,并且达到的有益效果与如图2所示的动作数据修正方法实施例所达到的有益效果也相同。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外,在本申请的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本申请,但应当理解的是,除非另有相反说明,功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本申请的范围,本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是个人计算机,游戏服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明,但本申请并不限于实施例,熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
在本说明书的描述中,参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种动作数据修正方法,其特征在于,所述方法包括:
获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;
对所述第一动作数据进行滤波平滑处理,得到第二动作数据;
对所述第二动作数据进行差分校正处理,得到第三动作数据,其中,所述对所述第二动作数据进行差分校正处理,得到第三动作数据,包括:
统计相邻两帧关节点的位置数据的差分值;
当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于等于幅度阈值,则保留当前帧。
2.根据权利要求1所述的一种动作数据修正方法,其特征在于,所述当所述差分值小于幅度阈值,则删除当前帧,包括:
当所述差分值小于幅度阈值,则删除当前帧,并将当前帧的前一帧作为当前帧。
3.根据权利要求1-2任一项所述的一种动作数据修正方法,其特征在于,所述方法还包括:
根据相邻两帧所述关节点的位置数据的差分值计算所有所述差分值的标准差,
根据所述标准差确定所述幅度阈值。
4.根据权利要求1所述的一种动作数据修正方法,其特征在于,所述滤波平滑处理包括移动平均平滑处理;所述对所述第一动作数据进行滤波平滑处理,得到第二动作数据,包括:
获取所述第一动作数据的动作速度信息,所述动作速度信息的数值大小表示所述第一动作数据中动作速度的快慢;
根据所述动作速度信息确定所述移动平均平滑处理的平滑程度,所述平滑程度与所述动作速度信息的大小成反比。
5.根据权利要求4所述的一种动作数据修正方法,其特征在于,所述方法还包括:
根据所述第一动作数据的关键点在预设时间内的位置信息的变化幅度确定所述动作速度信息。
6.根据权利要求4-5任一项所述的一种动作数据修正方法,其特征在于,所述方法还包括:
所移动平均平滑处理包括:利用前若干帧和当前帧进行加权,得到的结果作为新的当前帧。
7.根据权利要求1所述的一种动作数据修正方法,其特征在于,所述滤波平滑处理包括移动平均平滑处理;所述对所述第一动作数据进行滤波平滑处理,得到第二动作数据,包括:
获取所述第一动作数据的动作速度信息,所述动作速度信息的数值大小表示所述第一动作数据中动作速度的快慢;
根据所述动作速度信息确定所述移动平均平滑处理的平滑窗口的长度,所述长度与所述动作速度信息的大小成反比。
8.一种动作数据修正装置,其特征在于,包括:
获取单元,用于获取第一动作数据,所述第一动作数据包括骨骼的三维空间位置信息;
处理单元,用于对所述第一动作数据进行滤波平滑处理,得到第二动作数据;以及,对所述第二动作数据进行差分校正处理,得到第三动作数据;其中,所述对所述第二动作数据进行差分校正处理,得到第三动作数据,包括:统计相邻两帧关节点的位置数据的差分值,当所述差分值小于幅度阈值,则删除当前帧;当所述差分值大于幅度阈值,则保留当前帧。
9.一种终端设备,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-7中任一项所述的动作数据修正方法。
10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于:所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的动作数据修正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210677372.2A CN114757855B (zh) | 2022-06-16 | 2022-06-16 | 动作数据修正方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210677372.2A CN114757855B (zh) | 2022-06-16 | 2022-06-16 | 动作数据修正方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114757855A true CN114757855A (zh) | 2022-07-15 |
CN114757855B CN114757855B (zh) | 2022-09-23 |
Family
ID=82336466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210677372.2A Active CN114757855B (zh) | 2022-06-16 | 2022-06-16 | 动作数据修正方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114757855B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115346640A (zh) * | 2022-10-14 | 2022-11-15 | 佛山科学技术学院 | 一种功能性康复训练闭环反馈的智能监测方法及*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120020440A1 (en) * | 2010-07-26 | 2012-01-26 | Huawei Device Co., Ltd. | Method and device for determining smooth window length in channel estimation |
US20130222565A1 (en) * | 2012-02-28 | 2013-08-29 | The Johns Hopkins University | System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture |
US20160125263A1 (en) * | 2014-11-03 | 2016-05-05 | Texas Instruments Incorporated | Method to compute sliding window block sum using instruction based selective horizontal addition in vector processor |
CN110363748A (zh) * | 2019-06-19 | 2019-10-22 | 平安科技(深圳)有限公司 | 关键点的抖动处理方法、装置、介质及电子设备 |
CN112183153A (zh) * | 2019-07-01 | 2021-01-05 | ***通信集团浙江有限公司 | 一种基于视频分析的对象行为检测方法及装置 |
CN113160295A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 一种关节点位置修正方法和装置 |
WO2021167394A1 (en) * | 2020-02-20 | 2021-08-26 | Samsung Electronics Co., Ltd. | Video processing method, apparatus, electronic device, and readable storage medium |
CN113706699A (zh) * | 2021-10-27 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN114187639A (zh) * | 2021-12-15 | 2022-03-15 | 北京奇艺世纪科技有限公司 | 人脸关键点滤波方法、装置、电子设备及存储介质 |
CN114495274A (zh) * | 2022-01-25 | 2022-05-13 | 上海大学 | 使用rgb相机实现人体动作捕捉的***及其方法 |
-
2022
- 2022-06-16 CN CN202210677372.2A patent/CN114757855B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120020440A1 (en) * | 2010-07-26 | 2012-01-26 | Huawei Device Co., Ltd. | Method and device for determining smooth window length in channel estimation |
US20130222565A1 (en) * | 2012-02-28 | 2013-08-29 | The Johns Hopkins University | System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture |
US20160125263A1 (en) * | 2014-11-03 | 2016-05-05 | Texas Instruments Incorporated | Method to compute sliding window block sum using instruction based selective horizontal addition in vector processor |
CN110363748A (zh) * | 2019-06-19 | 2019-10-22 | 平安科技(深圳)有限公司 | 关键点的抖动处理方法、装置、介质及电子设备 |
CN112183153A (zh) * | 2019-07-01 | 2021-01-05 | ***通信集团浙江有限公司 | 一种基于视频分析的对象行为检测方法及装置 |
WO2021167394A1 (en) * | 2020-02-20 | 2021-08-26 | Samsung Electronics Co., Ltd. | Video processing method, apparatus, electronic device, and readable storage medium |
CN113160295A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 一种关节点位置修正方法和装置 |
CN113706699A (zh) * | 2021-10-27 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN114187639A (zh) * | 2021-12-15 | 2022-03-15 | 北京奇艺世纪科技有限公司 | 人脸关键点滤波方法、装置、电子设备及存储介质 |
CN114495274A (zh) * | 2022-01-25 | 2022-05-13 | 上海大学 | 使用rgb相机实现人体动作捕捉的***及其方法 |
Non-Patent Citations (1)
Title |
---|
谢文军等: "语义中间骨架驱动的自动异构运动重定向", 《计算机辅助设计与图形学学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115346640A (zh) * | 2022-10-14 | 2022-11-15 | 佛山科学技术学院 | 一种功能性康复训练闭环反馈的智能监测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN114757855B (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4699564B2 (ja) | 視覚背景抽出器 | |
CN110047095B (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
CN109376256B (zh) | 图像搜索方法及装置 | |
CN103262119A (zh) | 用于对图像进行分割的方法和*** | |
CN110443210A (zh) | 一种行人跟踪方法、装置以及终端 | |
KR20080066671A (ko) | 궤적 구간 분석을 사용한 양방향 추적 | |
CN107944381B (zh) | 人脸跟踪方法、装置、终端及存储介质 | |
CN114757855B (zh) | 动作数据修正方法、装置、设备及存储介质 | |
CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
CN112560962B (zh) | 骨骼动画的姿态匹配方法、装置、电子设备及存储介质 | |
CN111079507A (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
CN113920109A (zh) | 医疗影像识别模型训练方法、识别方法、装置及设备 | |
Wu et al. | Traffic object detections and its action analysis | |
CN110516572A (zh) | 一种识别体育赛事视频片段的方法、电子设备及存储介质 | |
CN111899318B (zh) | 数据的处理方法、装置及计算机可读存储介质 | |
CN114419619A (zh) | 红细胞检测分类方法、装置、计算机存储介质及电子设备 | |
CA2628553C (en) | Method and system for line segment extraction | |
CN108876812A (zh) | 用于视频中物体检测的图像处理方法、装置及设备 | |
CN111611917A (zh) | 模型训练方法、特征点检测方法、装置、设备及存储介质 | |
CN110008881A (zh) | 多运动目标的奶牛行为的识别方法及装置 | |
CN107818287B (zh) | 一种客流统计装置及*** | |
CN114782287B (zh) | 动作数据修正方法、装置、设备及存储介质 | |
CN114821767A (zh) | 基于动态时间扭曲的图卷积神经网络动作识别方法、电子设备及储存介质 | |
CN114491410A (zh) | 运动模式的识别方法、***、智能穿戴设备及存储介质 | |
CN112837389A (zh) | 一种对象模型构建方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |