CN114549711A - 一种基于表情肌定位的视频智能渲染方法和*** - Google Patents
一种基于表情肌定位的视频智能渲染方法和*** Download PDFInfo
- Publication number
- CN114549711A CN114549711A CN202210447176.6A CN202210447176A CN114549711A CN 114549711 A CN114549711 A CN 114549711A CN 202210447176 A CN202210447176 A CN 202210447176A CN 114549711 A CN114549711 A CN 114549711A
- Authority
- CN
- China
- Prior art keywords
- video
- change
- expression muscle
- coordinate
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于表情肌定位的视频智能渲染方法和***,其方法包括:S1:确定出待渲染视频中每一帧视频帧中的表情肌区域;S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;S3:确定出所述变化定位点对应的移动向量;S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频;用以基于对视频中的人脸面部表情肌的定位结果智能渲染视频,进而达到渲染视频显示效果和避免硬件运行内存浪费的双赢结果。
Description
技术领域
本发明涉及视频渲染技术领域,特别涉及一种基于表情肌定位的视频智能渲染方法和***。
背景技术
视频渲染的作用主要是能够保证使用者在编辑时更流畅;也可以在时间线上实时平滑预览,便于编辑,最终导出成片的时候速度也会快一些;渲染是在时间线上生成适时的视频预览以便在监视窗流畅播放。
视频渲染人类视觉的时间敏感度和分辨率根据视觉刺激的类型和特征而变化,并且在个体之间不同。在视频渲染过程中如果帧率过高只会浪费图形处理的能力,因为屏幕不能以这么快的速度更新,这样超过刷新率的帧率就会浪费,进而浪费硬件的运行内存,但是帧率过低就会出现丢帧现象,用户可感知到视频卡顿等现象。如何根据视频中显示的脸部表情肌的运动特征合理设置渲染参数(帧率或帧频),进而实现渲染视频显示效果和避免硬件运行内存浪费的双赢结果是视频渲染领域的一大挑战。
因此,本发明提出了一种基于表情肌定位的视频智能渲染方法和***。
发明内容
本发明提供一种基于表情肌定位的视频智能渲染方法和***,用以基于对视频中的人脸面部表情肌的定位结果智能渲染视频,进而达到渲染视频显示效果和避免硬件运行内存浪费的双赢结果。
本发明提供一种基于表情肌定位的视频智能渲染方法,包括:
S1:确定出待渲染视频中每一帧视频帧中的表情肌区域;
S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;
S3:确定出所述变化定位点对应的移动向量;
S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频。
优选的,所述的一种基于表情肌定位的视频智能渲染方法,S1:确定出待渲染视频中每一帧视频帧中的表情肌区域,包括:
S101:确定出所述待渲染视频中包含的每一帧视频帧中的人脸区域;
S102:基于预设表情肌分布图将所述人脸区域标准化,获得对应的标准人脸区域;
S103:基于所述预设表情肌分布图划分出所述标准人脸区域中包含的表情肌区域。
优选的,所述的一种基于表情肌定位的视频智能渲染方法和***,S102:基于预设表情肌分布图将所述人脸区域标准化,获得对应的标准人脸区域,包括:
识别出所述人脸区域中包含的所有第一骨点,同时,确定出所述预设表情肌分布图中包含的第二骨点;
基于所述第一骨点和所述第二骨点将所述人脸区域与所述预设表情肌分布图配准,获得对应的标准人脸区域。
优选的,所述的一种基于表情肌定位的视频智能渲染方法,S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率,包括:
在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作,确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段;
基于所述表情肌区域对应的表情肌完整变化视频段的视频时长,确定出对应表情肌区域对应的变化频率;
确定出所述完整变化动作在所述表情肌完整变化视频段中包含的第一视频帧中的第一表情肌区域集合,并将所述第一表情肌区域集合中包含的第一表情肌区域统一在同一坐标系下;
确定出所述表情肌完整变化视频段中包含的第一个第一表情肌区域中包含的所有第一坐标点的第一坐标位置;
确定出所述第一坐标点在所述第一表情肌区域集合中除第一个第一表情肌区域以外剩余的第一表情肌区域中的第二坐标位置;
筛选出所述第一表情肌区域中对应的第一坐标位置和对应的所有第二坐标位置不完全相同的第二坐标点,基于所有第二坐标点获得对应的坐标点集合;
基于表情肌完整变化视频段中对应的帧序列将所述第二坐标点对应的第一坐标位置和对应的所有第二坐标位置进行排序,获得所述第二坐标点对应的坐标位置序列;
基于所述坐标位置序列生成所述第二坐标点对应的变化轨迹;
从所述坐标点集合中筛选出所述变化轨迹的长度大于轨迹长度阈值的第三坐标点作为对应表情肌区域对应的变化定位点。
优选的,所述的一种基于表情肌定位的视频智能渲染方法和***,在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作,确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段,包括:
对所述待渲染视频中包含的每一帧视频帧中包含的表情肌区域进行特征提取,获得对应的表情肌特征;
在所述待渲染视频中筛选出每个表情肌区域对应的表情肌特征相同的时间点;
基于所述时间点在所述待渲染视频中划分出所述表情肌区域对应的完整变化动作对应的表情肌完整变化视频段。
优选的,所述的一种基于表情肌定位的视频智能渲染方法和***,基于所述表情肌区域对应的表情肌完整变化视频段的视频时长,确定出对应表情肌区域对应的变化频率,包括:
基于所述表情肌区域对应的所有表情肌完整变化视频段的视频平均时长;
将单位时间和所述视频平均时长之间的比值作为对应表情肌区域对应的变化频率。
优选的,所述的一种基于表情肌定位的视频智能渲染方法,S3:确定出所述变化定位点对应的移动向量,包括:
按照所述表情肌完整变化视频段中对应的帧序列将所述变化定位点对应的第一坐标位置和对应的所有第二坐标位置排序,获得所述变化定位点对应的第一坐标位置变化序列;
获取所述变化定位点在所述表情肌完整变化视频段中每一帧视频帧中对应的显示参数;
按照所述表情肌完整变化视频段中对应的帧序列将所述变化定位点对应的显示参数排序,获得对应的显示参数变化序列;
基于所述显示参数变化序列以及法向高度和显示参数的转换公式,确定出所述变化定位点对应的法向高度变化序列;
将所述显示参数变化序列和所述法向高度变化序列对齐处理,获得对应的对齐结果;
基于所述对齐结果计算出所述变化定位点对应的三维坐标变化序列;
基于所述三维坐标变化序列构建出所述变化定位点对应的移动轨迹;
将所述移动轨迹中与对应的相邻上一三维坐标和对应的相邻下一三维坐标之间的线段之间的距离大于偏离阈值的三维坐标作为所述移动轨迹对应的偏离三维坐标;
将所述三维坐标序列中与所述偏离三维坐标最近的三个三维坐标作为校正参考坐标;
基于所述偏离三维坐标和对应的三个校正参考坐标构建出长方形区域;
将所述长方形区域的中心点作为所述偏离三维坐标的新三维坐标;
基于所述新三维坐标和所述三维坐标变化序列构建出对应的校正三维坐标变化序列,并将所述校正三维坐标变化序列中的偏离三维坐标进行偏离校正,直至最新获得的校正三维坐标变化序列中不包含偏离三维坐标时,则将最新获得的校正三维坐标变化序列作为对应的非偏三维坐标变化序列;
基于所述非偏三维坐标变化序列确定出所述变化定位点的起始三维坐标和终止三维坐标;
基于所述起始三维坐标和所述终止三维坐标确定出对应所述变化定位点对应的移动向量。
优选的,所述的一种基于表情肌定位的视频智能渲染方法,S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频,包括:
基于所述变化定位点对应的移动向量确定出所述变化定位点对应的移动区域和移动位置幅度;
基于所述移动位置幅度和对应表情肌区域对应的变化频率,确定出对应移动区域对应的子渲染参数;
将所述视频帧中的局部渲染参数设置为所述视频帧中包含的表情肌区域中的每个第三坐标点对应的子渲染参数,获得对应的渲染视频帧;
基于所有渲染视频帧获得对应的最终渲染视频。
优选的,所述的一种基于表情肌定位的视频智能渲染方法和***,基于所述移动位置幅度和对应表情肌区域对应的变化频率,确定出对应移动区域对应的子渲染参数,包括:
基于所述移动位置幅度和第一预设列表确定出所述变化定位点对应的第一子渲染参数;
基于对应表情肌区域对应的变化频率和第二预设列表确定出对应移动区域对应的第二子渲染参数;
基于对应移动区域包含的变化定位点对应的第一子渲染参数和对应移动区域对应的第二子渲染参数计算出对应移动区域对应的子渲染参数。
本发明提供一种基于表情肌定位的视频智能渲染***,包括:
区域确定模块,用于确定出待渲染视频中每一帧视频帧中的表情肌区域;
变化确定模块,用于基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;
向量确定模块,用于确定出所述变化定位点对应的移动向量;
视频渲染模块,用于基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于表情肌定位的视频智能渲染方法流程图;
图2为本发明实施例中又一种基于表情肌定位的视频智能渲染方法流程图;
图3为本发明实施例中一种基于表情肌定位的视频智能渲染***示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明提供了一种基于表情肌定位的视频智能渲染方法,参考图1,包括:
S1:确定出待渲染视频中每一帧视频帧中的表情肌区域;
S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;
S3:确定出所述变化定位点对应的移动向量;
S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频。
该实施例中,待渲染视频即为被智能渲染的视频。
该实施例中,表情肌区域即为待渲染视频中人脸图像区域中包含的各个表情肌对应的区域。
该实施例中,变化定位点即为在表情肌区域中用于后续分析表情肌运动特征(移动向量等)的定位点。
该实施例中,变化频率即为基于待渲染视频中包含的表情肌区域确定出的单位时间内对应表情肌完成完整变化动作的次数。
该实施例中,移动向量就是对应变化定位点的起始位置到终止位置形成的向量。
该实施例中,最终渲染视频即为基于移动向量和变化频率表调整视频帧中的局部渲染参数后最终获得的渲染好的视频。
以上技术的有益效果为:基于对视频中的人脸面部表情肌的定位确定出表情肌中变化定位点的移动向量和变化频率调整视频的局部渲染参数,进而获得智能渲染后的视频视频,达到了较好的渲染视频显示效果和避免硬件运行内存浪费的双赢结果。
实施例2:
在实施例1的基础上,所述的一种基于表情肌定位的视频智能渲染方法,S1:确定出待渲染视频中每一帧视频帧中的表情肌区域,参考图2,包括:
S101:确定出所述待渲染视频中包含的每一帧视频帧中的人脸区域;
S102:基于预设表情肌分布图将所述人脸区域标准化,获得对应的标准人脸区域;
S103:基于所述预设表情肌分布图划分出所述标准人脸区域中包含的表情肌区域。
该实施例中,人脸区域即为待渲染视频中包含的每一帧视频帧中的人脸图像对应的区域。
该实施例中,标准人脸区域即为基于预设表情肌分布图将人脸区域标准化后获得的标准的人脸图像区域。
该实施例中,预设表情肌分布图即为预先准备的表情肌在人脸中的分布示意图。
该实施例中,表情肌区域即为基于预设表情肌分布图将标准人脸区域划分获得的各个表情肌的所在区域。
以上技术的有益效果为:基于预设表情肌分布图将人脸区域标准化后在进行划分,获得对应的表情肌区域,为后续实现对表情肌在面部表情运行过程中的定位结果分析提供了初步基础。
实施例3:
在实施例2的基础上,所述的一种基于表情肌定位的视频智能渲染方法和***,S102:基于预设表情肌分布图将所述人脸区域标准化,获得对应的标准人脸区域,包括:
识别出所述人脸区域中包含的所有第一骨点,同时,确定出所述预设表情肌分布图中包含的第二骨点;
基于所述第一骨点和所述第二骨点将所述人脸区域与所述预设表情肌分布图配准,获得对应的标准人脸区域。
该实施例中,第一骨点即为人脸区域中包含的骨点。
该实施例中,第二骨点即为预设表情肌分布图中包含的预设表情肌分布图中包含的骨点。
以上技术的有益效果为:基于骨点将人脸区域与预设表情肌分布图进行配准,实现了人脸区域的标准化,也克服了由于面部肌肉厚度不同等因素导致表情肌划分不准确的问题,进而为后续准确定位表情肌提供可重要的基础。
实施例4:
在实施例3的基础上,所述的一种基于表情肌定位的视频智能渲染方法,S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率,包括:
在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作,确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段;
基于所述表情肌区域对应的表情肌完整变化视频段的视频时长,确定出对应表情肌区域对应的变化频率;
确定出所述完整变化动作在所述表情肌完整变化视频段中包含的第一视频帧中的第一表情肌区域集合,并将所述第一表情肌区域集合中包含的第一表情肌区域统一在同一坐标系下;
确定出所述表情肌完整变化视频段中包含的第一个第一表情肌区域中包含的所有第一坐标点的第一坐标位置;
确定出所述第一坐标点在所述第一表情肌区域集合中除第一个第一表情肌区域以外剩余的第一表情肌区域中的第二坐标位置;
筛选出所述第一表情肌区域中对应的第一坐标位置和对应的所有第二坐标位置不完全相同的第二坐标点,基于所有第二坐标点获得对应的坐标点集合;
基于表情肌完整变化视频段中对应的帧序列将所述第二坐标点对应的第一坐标位置和对应的所有第二坐标位置进行排序,获得所述第二坐标点对应的坐标位置序列;
基于所述坐标位置序列生成所述第二坐标点对应的变化轨迹;
从所述坐标点集合中筛选出所述变化轨迹的长度大于轨迹长度阈值的第三坐标点作为对应表情肌区域对应的变化定位点。
该实施例中,完整变化动作即为在待渲染视频中识别出的每个表情肌区域对应的一个完整的动作。
该实施例中,表情肌完整变化视频段即为完整变化动作在待渲染视频中对应的视频段。
该实施例中,第一表情肌区域集合即为完整变化动作在表情肌完整变化视频段中包含的所有视频帧中的表情肌区域构成的集合。
该实施例中,第一视频帧即为表情肌完整变化视频段中包含的视频帧。
该实施例中,第一坐标点即为表情肌完整变化视频段中包含的第一个第一表情肌区域中包含的坐标点。
该实施例中,第一表情肌区域即为表情肌完整变化视频段中包含的表情肌区域。
该实施例中,第一坐标位置即为第一坐标点对应的坐标位置。
该实施例中,第二坐标位置即为第一坐标点在第一表情肌区域集合中除第一个第一表情肌区域以外剩余的第一表情肌区域中的坐标位置。
该实施例中,第二坐标点即为从第一表情肌区域中筛选出的对应的第一坐标位置和对应的所有第二坐标位置不完全相同的坐标点。
该实施例中,坐标点集合即为所有第二坐标点构成的集合。
该实施例中,坐标位置序列即为基于表情肌完整变化视频段中对应的帧序列将第二坐标点对应的第一坐标位置和对应的所有第二坐标位置进行排序后获得第二坐标点对应的坐标位置形成的序列。
该实施例中,变化轨迹即为基于坐标位置序列生成第二坐标点在完成动作过程中对应的变化的轨迹。
该实施例中,轨迹长度阈值即为坐标点集合中可以作为变化定位点的第二坐标点的最小变化轨迹长度
该实施例中,第三坐标点即为坐标点集合中筛选出的变化轨迹的长度大于轨迹长度阈值的坐标点。
以上技术的有益效果为:基于表情肌区域对应的表情肌完整变化视频段的视频时长,可以确定出对应表情肌区域对应的变化频率,通过对表情肌区域对应的表情肌完整变化视频段中包含的坐标点统一、筛选、排序、再筛选,进而确定出了表情肌的变化定位点,进而缩小了后续智能设置视频的局部渲染参数的范围,加快了视频渲染的效率,也为后续完成视频渲染过程提供了基础。
实施例5:
在实施例4的基础上,所述的一种基于表情肌定位的视频智能渲染方法和***,在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作,确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段,包括:
对所述待渲染视频中包含的每一帧视频帧中包含的表情肌区域进行特征提取,获得对应的表情肌特征;
在所述待渲染视频中筛选出每个表情肌区域对应的表情肌特征相同的时间点;
基于所述时间点在所述待渲染视频中划分出所述表情肌区域对应的完整变化动作对应的表情肌完整变化视频段。
该实施例中,表情肌特征即为对待渲染视频中包含的每一帧视频帧中包含的表情肌区域进行特征提取后获得的对应表情肌的图像特征。
以上技术的有益效果为:通过对待渲染视频中包含的表情肌进行特征提取,并基于提取出的特征相同的时间点划分待渲染视频,获得表情肌区域对应的完整变化动作对应的表情肌完整变化视频段,为后续确定出对应表情肌的变化定位点和变化频率提供了基础。
实施例6:
在实施例5的基础上,所述的一种基于表情肌定位的视频智能渲染方法和***,基于所述表情肌区域对应的表情肌完整变化视频段的视频时长,确定出对应表情肌区域对应的变化频率,包括:
基于所述表情肌区域对应的所有表情肌完整变化视频段的视频平均时长;
将单位时间和所述视频平均时长之间的比值作为对应表情肌区域对应的变化频率。
该实施例中,视频平均时长即为表情肌区域对应的所有表情肌完整变化视频段的视频时长平均值。
以上技术的有益效果为:基于单位时间和表情肌区域对应的所有表情肌完整变化视频段的视频平均时长之间的比值确定出对应表情肌区域对应的变化频率,为后续获取局部渲染参数提供了基础。
实施例7:
在实施例6的基础上,所述的一种基于表情肌定位的视频智能渲染方法,S3:确定出所述变化定位点对应的移动向量,包括:
按照所述表情肌完整变化视频段中对应的帧序列将所述变化定位点对应的第一坐标位置和对应的所有第二坐标位置排序,获得所述变化定位点对应的第一坐标位置变化序列;
获取所述变化定位点在所述表情肌完整变化视频段中每一帧视频帧中对应的显示参数;
按照所述表情肌完整变化视频段中对应的帧序列将所述变化定位点对应的显示参数排序,获得对应的显示参数变化序列;
基于所述显示参数变化序列以及法向高度和显示参数的转换公式,确定出所述变化定位点对应的法向高度变化序列;
将所述显示参数变化序列和所述法向高度变化序列对齐处理,获得对应的对齐结果;
基于所述对齐结果计算出所述变化定位点对应的三维坐标变化序列;
基于所述三维坐标变化序列构建出所述变化定位点对应的移动轨迹;
将所述移动轨迹中与对应的相邻上一三维坐标和对应的相邻下一三维坐标之间的线段之间的距离大于偏离阈值的三维坐标作为所述移动轨迹对应的偏离三维坐标;
将所述三维坐标序列中与所述偏离三维坐标最近的三个三维坐标作为校正参考坐标;
基于所述偏离三维坐标和对应的三个校正参考坐标构建出长方形区域;
将所述长方形区域的中心点作为所述偏离三维坐标的新三维坐标;
基于所述新三维坐标和所述三维坐标变化序列构建出对应的校正三维坐标变化序列,并将所述校正三维坐标变化序列中的偏离三维坐标进行偏离校正,直至最新获得的校正三维坐标变化序列中不包含偏离三维坐标时,则将最新获得的校正三维坐标变化序列作为对应的非偏三维坐标变化序列;
基于所述非偏三维坐标变化序列确定出所述变化定位点的起始三维坐标和终止三维坐标;
基于所述起始三维坐标和所述终止三维坐标确定出对应所述变化定位点对应的移动向量。
该实施例中,第一坐标位置变化序列即为按照表情肌完整变化视频段中对应的帧序列将变化定位点对应的第一坐标位置和对应的所有第二坐标位置排序后获得的变化定位点对应的坐标位置变化序列。
该实施例中,显示参数即为与肌肉拱起高度有关的图像显示参数,例如:亮度值。
该实施例中,显示参数变化序列即为按照表情肌完整变化视频段中对应的帧序列将变化定位点对应的显示参数排序后获得的变化定位点在对应表情肌完整动作过程中显示参数的变化序列。
该实施例中,法向高度变化序列即为基于显示参数变化序列以及法向高度和显示参数的转换公式,确定出的变化定位点在对应表情肌完整动作过程中对应的法向高度的变化序列。
该实施例中,法向高度和显示参数的转换公式,即为变化定位点法向高度和显示参数之间的函数关系,根据成像装置的具体情况获取。
该实施例中,法向高度即为变化定位点的以对应变化定位点为据点的表情肌的法相平面的法向量方向的高度。
该实施例中,对齐结果即为将显示参数变化序列和法向高度变化序列对齐处理后获得的结果。
该实施例中,基于所述对齐结果计算出所述变化定位点对应的三维坐标变化序列,包括:
式中,为变化定位点对应的三维坐标变化序列,为三维坐标变化序列中第个
三维坐标对应的横坐标值,为三维坐标变化序列中第个三维坐标对应的纵坐标值,为
三维坐标变化序列中第个三维坐标对应的竖坐标值,为第一坐标位置变化序列中第个
第一坐标位置对应的横坐标值,为第一坐标位置变化序列中第 个第一坐标位置对应的
纵坐标值,为法向高度变化序列中第 个法向高度对应的值;
该实施例中,移动轨迹即为基于三维坐标变化序列构建出的变化定位点在对应表情肌完整动作过程中对应的轨迹。
该实施例中,偏离三维坐标即为将移动轨迹中与对应的相邻上一三维坐标和对应的相邻下一三维坐标之间的线段之间的距离大于偏离阈值的三维坐标。
该实施例中,偏离阈值即为移动轨迹中被判定为偏离三维坐标时对应的与对应的相邻上一三维坐标和对应的相邻下一三维坐标之间的线段之间的最小距离。
该实施例中,校正参考坐标即为三维坐标序列中与偏离三维坐标最近的三个三维坐标。
该实施例中,长方形区域即为包含偏离三维坐标和对应的三个校正参考坐标的最小的长方形区域。
该实施例中,新三维坐标即为长方形区域的中心点对应的三维坐标。
该实施例中,校正三维坐标变化序列即为将三维坐标变化序列中的偏离三维坐标替换为新三维坐标后获得的三维坐标变化序列。
该实施例中,偏离校正即为在校正三维坐标变化序列中选取距离新的偏离三维坐标最近的三个三维坐标并构建长方形区域,将长方形区域的中心点作为新的三维坐标的过程。
该实施例中,非偏三维坐标变化序列即为不包含偏离三维坐标的三维坐标序列。
该实施例中,起始三维坐标即为非偏三维坐标变化序列中的第一个三维坐标。
该实施例中,终止三维坐标即为非偏三维坐标变化序列中的最后一个三维坐标。
以上技术的有益效果为:基于变化定位点在对应表情肌执行完整动作的过程汇总显示参数的变化确定出对应的法向高度序列,基于法向高度序列和第一坐标位置序列可以确定出变化定位点对应的移动轨迹,并对移动轨迹进行不断地偏离校正,直至获得非偏三维坐标变化序列,基于非偏三维坐标变化序列确定出对应变化定位点的准确的移动向量,为后续确定局渲染参数的设置范围和渲染参数值提供了重要基础。
实施例8:
在实施例7的基础上,所述的一种基于表情肌定位的视频智能渲染方法,S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频,包括:
基于所述变化定位点对应的移动向量确定出所述变化定位点对应的移动区域和移动位置幅度;
基于所述移动位置幅度和对应表情肌区域对应的变化频率,确定出对应移动区域对应的子渲染参数;
将所述视频帧中的局部渲染参数设置为所述视频帧中包含的表情肌区域中的每个第三坐标点对应的子渲染参数,获得对应的渲染视频帧;
基于所有渲染视频帧获得对应的最终渲染视频。
该实施例中,移动区域即为对应变化定位点在对应表情肌完成完整动作过程中移动经过的区域。
该实施例中,移动位置幅度即为对应移动向量的模。
该实施例中,子渲染参数即为基于移动位置幅度和对应表情肌区域对应的变化频率确定出的对应移动区域对应的渲染参数。
该实施例中,渲染视频帧即为将视频帧中的局部渲染参数设置为视频帧中包含的表情肌区域中的每个第三坐标点对应的子渲染参数后获得的视频帧。
以上技术的有益效果为:基于移动向量确定出变化定位点的移动区域和移动位置幅度,再结合变化频率确定出对应移动区域的子渲染参数,基于该子渲染参数对视频的参数进行调整,进而实现了基于表情肌定位分析智能渲染视频。
实施例9:
在实施例8的基础上,所述的一种基于表情肌定位的视频智能渲染方法和***,基于所述移动位置幅度和对应表情肌区域对应的变化频率,确定出对应移动区域对应的子渲染参数,包括:
基于所述移动位置幅度和第一预设列表确定出所述变化定位点对应的第一子渲染参数;
基于对应表情肌区域对应的变化频率和第二预设列表确定出对应移动区域对应的第二子渲染参数;
基于对应移动区域包含的变化定位点对应的第一子渲染参数和对应移动区域对应的第二子渲染参数计算出对应移动区域对应的子渲染参数。
该实施例中,第一预设列表即为表征移动位置幅度和第一子渲染参数的函数关系的列表。
该实施例中,第一子渲染参数即为基于移动位置幅度和第一预设列表确定出的变化定位点对应的子渲染参数。
该实施例中,第二预设列表即为表征对应表情肌区域对应的变化频率和第二子渲染参数的函数关系的列表。
该实施例中,第二子渲染参数即为基于对应表情肌区域对应的变化频率和第二预设列表确定出的对应移动区域对应的子渲染参数。
该实施例中,基于对应移动区域包含的变化定位点对应的第一子渲染参数和对应移动区域对应的第二子渲染参数计算出对应移动区域对应的子渲染参数,包括:
式中,为对应移动区域对应的子渲染参数,为对应移动区域中的第 个变化定
位点, 为对应移动区域中包含的变化定位点的总个数,为第一子渲染参数对应的第一
权重值且取值范围为(0,1),为第 个变化定位点对应的第一子渲染参数,为第二
子渲染参数对应的第二权重值且取值范围为(0,1),为对应移动区域对应的第二子渲染
参数;
以上技术的有益效果为:实现基于移动位置幅度和变化频率确定出既能保证较好的视频显示效果又避免浪费硬件内存的渲染视频。
实施例10:
本发明提供了一种基于表情肌定位的视频智能渲染***,参考图3,包括:
区域确定模块,用于确定出待渲染视频中每一帧视频帧中的表情肌区域;
变化确定模块,用于基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;
向量确定模块,用于确定出所述变化定位点对应的移动向量;
视频渲染模块,用于基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频。
以上技术的有益效果为:基于对视频中的人脸面部表情肌的定位确定出表情肌中变化定位点的移动向量和变化频率调整视频的局部渲染参数,进而获得智能渲染后的视频视频,达到了较好的渲染视频显示效果和避免硬件运行内存浪费的双赢结果。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于表情肌定位的视频智能渲染方法,其特征在于,包括:
S1:确定出待渲染视频中每一帧视频帧中的表情肌区域;
S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;
S3:确定出所述变化定位点对应的移动向量;
S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频。
2.根据权利要求1所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,S1:确定出待渲染视频中每一帧视频帧中的表情肌区域,包括:
S101:确定出所述待渲染视频中包含的每一帧视频帧中的人脸区域;
S102:基于预设表情肌分布图将所述人脸区域标准化,获得对应的标准人脸区域;
S103:基于所述预设表情肌分布图划分出所述标准人脸区域中包含的表情肌区域。
3.根据权利要求2所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,S102:基于预设表情肌分布图将所述人脸区域标准化,获得对应的标准人脸区域,包括:
识别出所述人脸区域中包含的所有第一骨点,同时,确定出所述预设表情肌分布图中包含的第二骨点;
基于所述第一骨点和所述第二骨点将所述人脸区域与所述预设表情肌分布图配准,获得对应的标准人脸区域。
4.根据权利要求3所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,S2:基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率,包括:
在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作,确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段;
基于所述表情肌区域对应的表情肌完整变化视频段的视频时长,确定出对应表情肌区域对应的变化频率;
确定出所述完整变化动作在所述表情肌完整变化视频段中包含的第一视频帧中的第一表情肌区域集合,并将所述第一表情肌区域集合中包含的第一表情肌区域统一在同一坐标系下;
确定出所述表情肌完整变化视频段中包含的第一个第一表情肌区域中包含的所有第一坐标点的第一坐标位置;
确定出所述第一坐标点在所述第一表情肌区域集合中除第一个第一表情肌区域以外剩余的第一表情肌区域中的第二坐标位置;
筛选出所述第一表情肌区域中对应的第一坐标位置和对应的所有第二坐标位置不完全相同的第二坐标点,基于所有第二坐标点获得对应的坐标点集合;
基于表情肌完整变化视频段中对应的帧序列将所述第二坐标点对应的第一坐标位置和对应的所有第二坐标位置进行排序,获得所述第二坐标点对应的坐标位置序列;
基于所述坐标位置序列生成所述第二坐标点对应的变化轨迹;
从所述坐标点集合中筛选出所述变化轨迹的长度大于轨迹长度阈值的第三坐标点作为对应表情肌区域对应的变化定位点。
5.根据权利要求4所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,在所述待渲染视频中识别出每个表情肌区域对应的一个完整变化动作,确定出所述完整变化动作在所述待渲染视频中对应的表情肌完整变化视频段,包括:
对所述待渲染视频中包含的每一帧视频帧中包含的表情肌区域进行特征提取,获得对应的表情肌特征;
在所述待渲染视频中筛选出每个表情肌区域对应的表情肌特征相同的时间点;
基于所述时间点在所述待渲染视频中划分出所述表情肌区域对应的完整变化动作对应的表情肌完整变化视频段。
6.根据权利要求5所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,基于所述表情肌区域对应的表情肌完整变化视频段的视频时长,确定出对应表情肌区域对应的变化频率,包括:
基于所述表情肌区域对应的所有表情肌完整变化视频段的视频平均时长;
将单位时间和所述视频平均时长之间的比值作为对应表情肌区域对应的变化频率。
7.根据权利要求6所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,S3:确定出所述变化定位点对应的移动向量,包括:
按照所述表情肌完整变化视频段中对应的帧序列将所述变化定位点对应的第一坐标位置和对应的所有第二坐标位置排序,获得所述变化定位点对应的第一坐标位置变化序列;
获取所述变化定位点在所述表情肌完整变化视频段中每一帧视频帧中对应的显示参数;
按照所述表情肌完整变化视频段中对应的帧序列将所述变化定位点对应的显示参数排序,获得对应的显示参数变化序列;
基于所述显示参数变化序列以及法向高度和显示参数的转换公式,确定出所述变化定位点对应的法向高度变化序列;
将所述显示参数变化序列和所述法向高度变化序列对齐处理,获得对应的对齐结果;
基于所述对齐结果计算出所述变化定位点对应的三维坐标变化序列;
基于所述三维坐标变化序列构建出所述变化定位点对应的移动轨迹;
将所述移动轨迹中与对应的相邻上一三维坐标和对应的相邻下一三维坐标之间的线段之间的距离大于偏离阈值的三维坐标作为所述移动轨迹对应的偏离三维坐标;
将所述三维坐标序列中与所述偏离三维坐标最近的三个三维坐标作为校正参考坐标;
基于所述偏离三维坐标和对应的三个校正参考坐标构建出长方形区域;
将所述长方形区域的中心点作为所述偏离三维坐标的新三维坐标;
基于所述新三维坐标和所述三维坐标变化序列构建出对应的校正三维坐标变化序列,并将所述校正三维坐标变化序列中的偏离三维坐标进行偏离校正,直至最新获得的校正三维坐标变化序列中不包含偏离三维坐标时,则将最新获得的校正三维坐标变化序列作为对应的非偏三维坐标变化序列;
基于所述非偏三维坐标变化序列确定出所述变化定位点的起始三维坐标和终止三维坐标;
基于所述起始三维坐标和所述终止三维坐标确定出对应所述变化定位点对应的移动向量。
8.根据权利要求7所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,S4:基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频,包括:
基于所述变化定位点对应的移动向量确定出所述变化定位点对应的移动区域和移动位置幅度;
基于所述移动位置幅度和对应表情肌区域对应的变化频率,确定出对应移动区域对应的子渲染参数;
将所述视频帧中的局部渲染参数设置为所述视频帧中包含的表情肌区域中的每个第三坐标点对应的子渲染参数,获得对应的渲染视频帧;
基于所有渲染视频帧获得对应的最终渲染视频。
9.根据权利要求8所述的一种基于表情肌定位的视频智能渲染方法,其特征在于,基于所述移动位置幅度和对应表情肌区域对应的变化频率,确定出对应移动区域对应的子渲染参数,包括:
基于所述移动位置幅度和第一预设列表确定出所述变化定位点对应的第一子渲染参数;
基于对应表情肌区域对应的变化频率和第二预设列表确定出对应移动区域对应的第二子渲染参数;
基于对应移动区域包含的变化定位点对应的第一子渲染参数和对应移动区域对应的第二子渲染参数计算出对应移动区域对应的子渲染参数。
10.一种基于表情肌定位的视频智能渲染***,包括:
区域确定模块,用于确定出待渲染视频中每一帧视频帧中的表情肌区域;
变化确定模块,用于基于所述待渲染视频中包含的表情肌区域,确定出所述表情肌区域对应的变化定位点和变化频率;
向量确定模块,用于确定出所述变化定位点对应的移动向量;
视频渲染模块,用于基于所述移动向量和所述变化频率调整所述视频帧中的局部渲染参数,获得对应的最终渲染视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447176.6A CN114549711B (zh) | 2022-04-27 | 2022-04-27 | 一种基于表情肌定位的视频智能渲染方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447176.6A CN114549711B (zh) | 2022-04-27 | 2022-04-27 | 一种基于表情肌定位的视频智能渲染方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549711A true CN114549711A (zh) | 2022-05-27 |
CN114549711B CN114549711B (zh) | 2022-07-12 |
Family
ID=81667735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210447176.6A Active CN114549711B (zh) | 2022-04-27 | 2022-04-27 | 一种基于表情肌定位的视频智能渲染方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549711B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783026A (zh) * | 2010-02-03 | 2010-07-21 | 北京航空航天大学 | 三维人脸肌肉模型的自动构造方法 |
CN104200804A (zh) * | 2014-09-19 | 2014-12-10 | 合肥工业大学 | 一种面向人机交互的多类信息耦合的情感识别方法 |
CN106056650A (zh) * | 2016-05-12 | 2016-10-26 | 西安电子科技大学 | 基于快速表情信息提取和泊松融合的人脸表情合成方法 |
CN107610209A (zh) * | 2017-08-17 | 2018-01-19 | 上海交通大学 | 人脸表情合成方法、装置、存储介质和计算机设备 |
CN108566520A (zh) * | 2017-05-25 | 2018-09-21 | 深圳市前海未来无限投资管理有限公司 | 视频数据和运动效果动画的同步方法及装置 |
CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
CN109951652A (zh) * | 2019-03-20 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种人像语音视频同步校准装置及*** |
CN109960986A (zh) * | 2017-12-25 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
CN111368137A (zh) * | 2020-02-12 | 2020-07-03 | 百度在线网络技术(北京)有限公司 | 视频的生成方法、装置、电子设备及可读存储介质 |
-
2022
- 2022-04-27 CN CN202210447176.6A patent/CN114549711B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783026A (zh) * | 2010-02-03 | 2010-07-21 | 北京航空航天大学 | 三维人脸肌肉模型的自动构造方法 |
CN104200804A (zh) * | 2014-09-19 | 2014-12-10 | 合肥工业大学 | 一种面向人机交互的多类信息耦合的情感识别方法 |
CN106056650A (zh) * | 2016-05-12 | 2016-10-26 | 西安电子科技大学 | 基于快速表情信息提取和泊松融合的人脸表情合成方法 |
CN108566520A (zh) * | 2017-05-25 | 2018-09-21 | 深圳市前海未来无限投资管理有限公司 | 视频数据和运动效果动画的同步方法及装置 |
WO2018214520A1 (zh) * | 2017-05-25 | 2018-11-29 | 深圳市前海未来无限投资管理有限公司 | 视频数据和运动效果动画的同步方法及装置 |
CN107610209A (zh) * | 2017-08-17 | 2018-01-19 | 上海交通大学 | 人脸表情合成方法、装置、存储介质和计算机设备 |
CN109960986A (zh) * | 2017-12-25 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
CN109951652A (zh) * | 2019-03-20 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种人像语音视频同步校准装置及*** |
CN111368137A (zh) * | 2020-02-12 | 2020-07-03 | 百度在线网络技术(北京)有限公司 | 视频的生成方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
GAMAL FAHMY 等: "Detection of Micro Movements of Facial Muscles in Facial Videos", 《2021 9TH INTERNATIONAL JAPAN-AFRICA CONFERENCE ON ELECTRONICS, COMMUNICATIONS, AND COMPUTATIONS》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549711B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11595737B2 (en) | Method for embedding advertisement in video and computer device | |
US20210110146A1 (en) | Action recognition method and apparatus and electronic equipment | |
US20200410688A1 (en) | Image Segmentation Method, Image Segmentation Apparatus, Image Segmentation Device | |
EP3917131A1 (en) | Image deformation control method and device and hardware device | |
CN111553362A (zh) | 一种视频处理方法、电子设备和计算机可读存储介质 | |
CN113763415B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN110298829A (zh) | 一种舌诊方法、装置、***、计算机设备和存储介质 | |
CN110443183A (zh) | 一种上课状态监测方法、装置、存储介质及服务器 | |
CN106888333A (zh) | 一种拍摄方法及装置 | |
CN113780201A (zh) | 手部图像的处理方法及装置、设备和介质 | |
CN114549711B (zh) | 一种基于表情肌定位的视频智能渲染方法和*** | |
CN110286993A (zh) | 一种实现全景图像非匀速动画显示计算机*** | |
CN110996128B (zh) | 在线教学视频推送管理*** | |
CN113065533A (zh) | 一种特征提取模型生成方法、装置、电子设备和存储介质 | |
CN112507766B (zh) | 人脸图像提取方法、存储介质及终端设备 | |
CN109948614B (zh) | 一种基于机器学习的手腕骨兴趣区域切割方法 | |
CN106682595A (zh) | 一种图像内容标注方法和装置 | |
CN114693553A (zh) | 一种移动智能终端图像处理方法及*** | |
CN115797416A (zh) | 基于点云图像的图像重建方法、装置、设备及存储介质 | |
CN112367461B (zh) | 仪表图像样本制作方法及***、存储介质、电子设备 | |
CN116324700A (zh) | 显示设备及媒资播放方法 | |
CN104732558B (zh) | 运动目标检测装置 | |
CN113836980A (zh) | 人脸识别方法、电子设备以及存储介质 | |
CN113177463A (zh) | 一种移动场景下的目标定位方法及装置 | |
CN109587403A (zh) | 一种拍摄引导方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |