CN113012036B - 基于生成流模型的人体运动风格迁移方法及*** - Google Patents
基于生成流模型的人体运动风格迁移方法及*** Download PDFInfo
- Publication number
- CN113012036B CN113012036B CN202110246980.3A CN202110246980A CN113012036B CN 113012036 B CN113012036 B CN 113012036B CN 202110246980 A CN202110246980 A CN 202110246980A CN 113012036 B CN113012036 B CN 113012036B
- Authority
- CN
- China
- Prior art keywords
- motion
- style
- model
- style migration
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 320
- 230000005012 migration Effects 0.000 title claims abstract description 117
- 238000013508 migration Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 83
- 238000010606 normalization Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002441 reversible effect Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 230000008707 rearrangement Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于生成流模型的人体运动风格迁移方法及***，该方法包括：获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。本发明通过生成流模型提取隐编码，从而高效准确地提取运动风格特征，在迁移运动风格的同时保持运动内容不变，能够合成更为准确的人体运动。
Description
技术领域
本发明涉及计算机视觉及人工智能技术领域，尤其涉及一种基于生成流模型的人体运动风格迁移方法及***。
背景技术
现有的人体运动风格迁移方法，需要成对的运动数据，其中成对是指运动数据属于相同的运动内容，但是运动风格不一样，或者不依赖于成对的运动数据，但是需要深度学习方法进行有监督训练学习运动迁移模型。
现有方法基于成对的运动数据，往往需要复杂的数据预处理，比如，对人体运动数据进行分阶段和各个阶段分别注册；或者运动风格迁移受限于成对运动数据；或者需要有监督训练深度学习模型，即在训练过程中，需要为每个训练数据加标签，加大了数据预处理和训练的难度，并且限制了应用范围。现有运动风格特征提取方法，往往采用人为定义或者尝试解耦运动风格和运动内容，导致运动风格提取不准确。此外，运动风格迁移结果唯一确定不可编辑，在不同运动内容的运动之间进行运动风格迁移，可能导致运动风格迁移失败。
因此，现在亟需一种基于生成流模型的人体运动风格迁移方法及***来解决上述问题。
发明内容
针对现有技术中存在的人体运动风格迁移训练难度大且准确率较低问题，本发明提供一种基于生成流模型的人体运动风格迁移方法及***。
本发明提供一种基于生成流模型的人体运动风格迁移方法，包括：
获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；
将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；
将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
根据本发明提供的一种基于生成流模型的人体运动风格迁移方法，所述训练好的人体风格迁移模型通过以下步骤训练得到：
对样本运动内容序列中每个人体运动数据进行提取，得到每个人体运动数据对应的控制信号，所述控制信号为人体根节点的前向表示、人体根节点的侧向表示和人体根节点相对于垂直地面轴的旋转角速度表示；
将每个人体运动数据中各个关节坐标进行归一化处理，得到各个关节坐标对应的归一化运动数据；
根据所述控制信号和所述归一化运动数据，构建训练样本集；
将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型。
根据本发明提供的一种基于生成流模型的人体运动风格迁移方法，所述生成流模型是由多层流基本模块组成的，所述流基本模块是由激活标准化层、重排层、划分-组合操作层、可逆注意力机制变换器和仿射变换耦合层组成的。
根据本发明提供的一种基于生成流模型的人体运动风格迁移方法，所述将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型，包括：
将所述训练样本集中的样本数据输入到激活标准化层，得到第一输入信息，所述第一输入信息中每个特征通道具有0均值和单位方差；
将所述第一输入信息输入到重排层中，增加特征维度的变化，得到第二输入信息；
通过划分-组合操作层对所述第二输入信息进行划分操作，得到第一等长片段和第二等长片段；
将所述第一等长片段输入到可逆注意力机制变换器，得到变换后的第一等长片段；
根据所述变换后的第一等长片段，获取仿射变换耦合层的偏移参数和缩放参数，并根据所述偏移参数和所述缩放参数，对所述第二等长片段和条件输入信息进行偏移和缩放处理，得到第三等长片段；
通过所述划分-组合操作层将所述第一等长片段和所述第三等长片段进行组合操作，并将组合操作得到的输出信息输入到下一个流基本模块中进行训练，在所有流基本模块完成本轮次训练后，将最后一层流基本模块的输出信息作为第一层流基本模块的输入信息再次进行训练，直到满足预设训练条件后，得到训练好的人体风格迁移模型。
根据本发明提供的一种基于生成流模型的人体运动风格迁移方法，所述方法还包括：
基于最大似然估计，对所述生成流模型的参数进行训练优化，以得到训练好的人体风格迁移模型。
本发明还提供一种基于生成流模型的人体运动风格迁移***，包括：
运动内容获取单元，用于获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；
隐编码提取单元，用于将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；
风格迁移单元，用于将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
根据本发明提供的一种基于生成流模型的人体运动风格迁移***，所述***还包括：
控制信号提取单元，用于对样本运动内容序列中每个人体运动数据进行提取，得到每个人体运动数据对应的控制信号，所述控制信号为人体根节点的前向表示、人体根节点的侧向表示和人体根节点相对于垂直地面轴的旋转角速度表示；
预处理单元，用于将每个人体运动数据中各个关节坐标进行归一化处理，得到各个关节坐标对应的归一化运动数据；
样本集构建单元，用于根据所述控制信号和所述归一化运动数据，构建训练样本集；
训练单元，用于将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于生成流模型的人体运动风格迁移方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于生成流模型的人体运动风格迁移方法的步骤。
本发明提供的基于生成流模型的人体运动风格迁移方法及***，针对现有技术在不同运动内容数据上进行运动风格迁移的局限性，通过生成流模型提取隐编码作为指定运动风格，从而高效准确地提取运动风格特征，在迁移运动风格的同时保持运动内容不变，能够合成更为准确的人体运动。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于生成流模型的人体运动风格迁移方法的流程示意图；
图2为本发明提供的运动风格迁移的对比示意图；
图3为本发明提供的基本块模块的结构示意图；
图4为本发明提供的基于生成流模型的人体运动风格迁移***的结构示意图；
图5为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于生成流模型的人体运动风格迁移方法的流程示意图，如图1所示，本发明提供了一种基于生成流模型的人体运动风格迁移方法，包括：
步骤101，获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据。
在本发明中，运动内容数据通常是由表示为时间相关的序列，序列中每一帧表示运动角色的一个姿势，而角色姿势通常是由角色的关节角度或关节位置作为参数表示。其中，待迁移的运动序列即运动内容序列，具有目标运动风格的运动序列即预设运动风格序列。
步骤102，将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码。
步骤103，将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
在本发明中，在进行人体运动风格迁移时，需要待迁移的运动序列以及具有目标运动风格的运动序列，将预设运动风格序列输入到训练好的人体运动风格模型中是为了提取运动风格对应的隐编码，再通过将该隐编码和运动内容输入数据输入到模型中，使得这种运动风格对应的隐编码迁移到待迁移的运动序列上，得到风格迁移后的运动序列具有预设的运动的风格。图2为本发明提供的运动风格迁移的对比示意图，可参考图2所示，现有方法将输入的跑步运动风格迁移到踢腿运动内容上，无法保持运动内容不变，而本发明的方法成功地将跑步运动风格迁移到踢腿运动内容上，在迁移运动风格的同时保持运动内容不变。
本发明提供的基于生成流模型的人体运动风格迁移方法，针对现有技术在不同运动内容数据上进行运动风格迁移的局限性，通过生成流模型提取隐编码作为指定运动风格，从而高效准确地提取运动风格特征，在迁移运动风格的同时保持运动内容不变，能够合成更为准确的人体运动。
在上述实施例的基础上，所述训练好的人体风格迁移模型通过以下步骤训练得到：
对样本运动内容序列中每个人体运动数据进行提取，得到每个人体运动数据对应的控制信号，所述控制信号为人体根节点的前向表示、人体根节点的侧向表示和人体根节点相对于垂直地面轴的旋转角速度表示；
在本发明中，根据样本运动内容序列，得到训练数据和测试数据，并对样本运动内容序列中每个人体运动数据分别提取其控制信号。
将每个人体运动数据中各个关节坐标进行归一化处理，得到各个关节坐标对应的归一化运动数据。
根据所述控制信号和所述归一化运动数据，构建训练样本集。
在本发明中，对所有人体运动数据中各关节坐标进行归一化处理，然后将归一化运动数据和控制信号组成生成流模型的输入信息。具体地，样本运动内容序列的处理步骤如下：
步骤201，对样本运动内容序列的数据下采样至每秒30帧，将所有运动数据划分为运动片段，每个运动片段32帧，各个运动片段之间有8帧的交叉重叠片段。本发明中的运动片段共1518个，每个运动片段的每帧数据包含21个关节点位置，每个关节点位置用3D笛卡尔坐标表示；
步骤202，对步骤201得到的每个运动片段，分别提取其控制信号，控制信号即为人体根结点的前向、侧向和相对于垂直地面轴的旋转角速度表示，并将每个运动片段和控制信号共同组成新的运动片段数据；
步骤203，将新的运动片段数据划分为训练数据和测试数据，在本发明中，训练数据为1406个运动片段，测试数据为112个运动片段；
步骤204，将上述步骤得到的训练数据中运动片段进行归一化处理，具体为，计算所有训练数据中各个关节坐标的均值μ和标准差σ，然后将每个训练数据的运动片段减去μ再除以σ，从而得到对应的归一化运动数据。此外，基于相同的方法，将测试数据中运动片段进行归一化处理。
步骤205，将归一化运动训练数据和归一化测试数据的运动片段分别提取前10帧数据的关节位置，前10帧运动片段以及前10帧和当前帧控制信号，分别得到用于训练和用于测试的条件输入信息。
将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型。
在本发明中，当人体风格迁移模型训练完成之后，通过测试集数据对模型进行测试，将一段测试数据中预设风格的运动数据输入到该模型中，提取运动数据对应的隐编码，如下式所示：
其中，fK为流基本模块的数学定义，fK的参数为θK(为了简化表示fK的f被省略)。
然后，将得到的预设运动风格的隐编码和一段测试数据中提取得到运动内容输入数据(归一化运动数据以及控制信号)组成输入信息，输入到人体风格迁移模型中，生成一段预设运动风格以及内容的运动数据，从而实现人体运动风格迁移。
在上述实施例的基础上，所述生成流模型是由多层流基本模块组成的，所述流基本模块是由激活标准化层、重排层、划分-组合操作层、可逆注意力机制变换器和仿射变换耦合层组成的。
图3为本发明提供的基本块模块的结构示意图，可参考图3所示，在本发明中，将训练数据输入到生成流模型的流基本模块(Step of Flow，简称SoF)，使得生成流模型学习运动数据分布。每个SoF的结构如图3所示，包含激活标准化层(Activation NormalizatonLayer，简称ANL)，重排层(Permute Layer，简称PL)，划分-组合操作层(Split-Concat，简称SC)，可逆注意力机制变换器(Invertible Attentional Transformer，简称IAT)，仿射变换耦合层(Affine Coupling Layer，简称ACL)。
在上述实施例的基础上，所述将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型，包括：
将所述训练样本集中的样本数据输入到激活标准化层，得到第一输入信息，所述第一输入信息中每个特征通道具有0均值和单位方差。
在本发明中，可参考图3所示，将训练样本集中的样本数据输入到激活标准化层，使得输入信息的每个特征通道具有0均值和单位方差，从而得到第一输入信息。
将所述第一输入信息输入到重排层中，增加特征维度的变化，得到第二输入信息。
在本发明中，生成流模型的流基本模块是可逆可微分非线性函数，使得生成流模型的表达能力更强，能够更好地拟合真实的运动数据分布，同时，生成流模型中的可逆变换，使得不同人体运动的隐编码易于提取，并且易于应用于不同的运动内容，从而提取多样化的运动风格，甚至包含训练数据未出现的运动风格。具体地，将训练数据输入到流基本模块后，首先将第一输入信息输入到重排层，增加第一输入信息的特征维度变化，从而得到第二输入信息。
通过划分-组合操作层对所述第二输入信息进行划分操作，得到第一等长片段和第二等长片段。
在本发明中，将第二输入信息输入到划分-组合操作层中进行划分操作，该划分操作将第二输入信息的特征划分为等长片段，即第一等长片段a′和第二等长片段a″。
将所述第一等长片段输入到可逆注意力机制变换器，得到变换后的第一等长片段。
根据所述变换后的第一等长片段，获取仿射变换耦合层的偏移参数和缩放参数，并根据所述偏移参数和所述缩放参数，对所述第二等长片段和条件输入信息进行偏移和缩放处理，得到第三等长片段；
通过所述划分-组合操作层将所述第一等长片段和所述第三等长片段进行组合操作，并将组合操作得到的输出信息输入到下一个流基本模块中进行训练，在所有流基本模块完成本轮次训练后，将最后一层流基本模块的输出信息作为第一层流基本模块的输入信息再次进行训练，直到满足预设训练条件后，得到训练好的人体风格迁移模型。
在本发明中，可参考图3所示，将第一等长片段a′输入到可逆注意力机制变换器，得到变换后的第一等长片段
然后根据得到的变换后的第一等长片段
提取仿射变换耦合层的偏移参数t和缩放参数s，并将偏移参数t和缩放参数s应用于第二等长片段a″和条件输入信息，得到第三等长片段b″，公式为：
b″＝(a″+t)⊙s；
进一步地，通过划分-组合层，对第三等长片段b″和第一等长片段a′进行组合操作。
最后，将SoF模块得到的输出再输入到下一个SoF模块中，本发明整个生成流模型由16层迭代的SoF模块组成，将所有的SOF模块完成训练后作为一轮训练，然后将最后一层的输出返回到第一层SoF模块再次进行迭代训练，等满足预设训练次数之后，得到训练好的模型。
在上述实施例的基础上，所述方法还包括：
基于最大似然估计，对所述生成流模型的参数进行训练优化，以得到训练好的人体风格迁移模型。
在本发明中，对生成流模型进行训练，是为了学习人体运动数据X＝{x1,x2,…,xN}的复杂分布，本发明通过优化最大边际似然(marginal likelihood)，从而学习数据分布的模型参数，公式为：
本发明的生成流模型，通过优化运动数据分布的最大似然概率求得，使得合成得到运动更为准确，克服脚步滑动等问题，能够生成多种满足生成条件的合理运动。
图4为本发明提供的基于生成流模型的人体运动风格迁移***的结构示意图，如图4所示，本发明提供了一种基于生成流模型的人体运动风格迁移***，包括运动内容获取单元401、隐编码提取单元402和风格迁移单元403，其中，运动内容获取单元401用于获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；隐编码提取单元402用于将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；风格迁移单元403用于将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
本发明提供的基于生成流模型的人体运动风格迁移***，针对现有技术在不同运动内容数据上进行运动风格迁移的局限性，通过生成流模型提取隐编码作为指定运动风格，从而高效准确地提取运动风格特征，在迁移运动风格的同时保持运动内容不变，能够合成更为准确的人体运动。
在上述实施例的基础上，所述***还包括控制信号提取单元、预处理单元、样本集构建单元和训练单元，其中，控制信号提取单元用于对样本运动内容序列中每个人体运动数据进行提取，得到每个人体运动数据对应的控制信号，所述控制信号为人体根节点的前向表示、人体根节点的侧向表示和人体根节点相对于垂直地面轴的旋转角速度表示；预处理单元用于将每个人体运动数据中各个关节坐标进行归一化处理，得到各个关节坐标对应的归一化运动数据；样本集构建单元用于根据所述控制信号和所述归一化运动数据，构建训练样本集；训练单元用于将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型。
本发明提供的***是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(CommunicationsInterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行基于生成流模型的人体运动风格迁移方法，该方法包括：获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于生成流模型的人体运动风格迁移方法，该方法包括：获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于生成流模型的人体运动风格迁移方法，该方法包括：获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于生成流模型的人体运动风格迁移方法，其特征在于，包括：
获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；
将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；
将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的；
所述生成流模型是由多层流基本模块组成的，所述流基本模块是由激活标准化层、重排层、划分-组合操作层、可逆注意力机制变换器和仿射变换耦合层组成的；
其中，在所述训练好的人体风格迁移模型训练完成之后，通过测试集数据对所述训练好的人体风格迁移模型进行测试，将一段测试数据中预设风格的运动数据输入到所述训练好的人体风格迁移模型中，提取所述预设风格的运动数据对应的隐编码，隐编码公式为：
其中，
为所述流基本模块的数学定义，
的参数为
。
2.根据权利要求1所述的基于生成流模型的人体运动风格迁移方法，其特征在于，所述训练好的人体风格迁移模型通过以下步骤训练得到：
对样本运动内容序列中每个人体运动数据进行提取，得到每个人体运动数据对应的控制信号，所述控制信号为人体根节点的前向表示、人体根节点的侧向表示和人体根节点相对于垂直地面轴的旋转角速度表示；
将每个人体运动数据中各个关节坐标进行归一化处理，得到各个关节坐标对应的归一化运动数据；
根据所述控制信号和所述归一化运动数据，构建训练样本集；
将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型。
3.根据权利要求2所述的基于生成流模型的人体运动风格迁移方法，其特征在于，所述将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型，包括：
将所述训练样本集中的样本数据输入到激活标准化层，得到第一输入信息，所述第一输入信息中每个特征通道具有0均值和单位方差；
将所述第一输入信息输入到重排层中，增加特征维度的变化，得到第二输入信息；
通过划分-组合操作层对所述第二输入信息进行划分操作，得到第一等长片段和第二等长片段；
将所述第一等长片段输入到可逆注意力机制变换器，得到变换后的第一等长片段；
根据所述变换后的第一等长片段，获取仿射变换耦合层的偏移参数和缩放参数，并根据所述偏移参数和所述缩放参数，对所述第二等长片段和条件输入信息进行偏移和缩放处理，得到第三等长片段；
通过所述划分-组合操作层将所述第一等长片段和所述第三等长片段进行组合操作，并将组合操作得到的输出信息输入到下一个流基本模块中进行训练，在所有流基本模块完成本轮次训练后，将最后一层流基本模块的输出信息作为第一层流基本模块的输入信息再次进行训练，直到满足预设训练条件后，得到训练好的人体风格迁移模型。
4.根据权利要求2所述的基于生成流模型的人体运动风格迁移方法，其特征在于，所述方法还包括：
基于最大似然估计，对所述生成流模型的参数进行训练优化，以得到训练好的人体风格迁移模型。
5.一种基于生成流模型的人体运动风格迁移***，其特征在于，包括：
运动内容获取单元，用于获取预设运动风格序列和运动内容序列，并对所述运动内容序列进行控制信号提取和归一化处理，得到运动内容输入数据；
隐编码提取单元，用于将所述预设运动风格序列输入到训练好的人体运动风格迁移模型中，得到所述预设运动风格序列对应的隐编码；
风格迁移单元，用于将所述隐编码和所述运动内容输入数据输入到训练好的人体运动风格迁移模型中，得到风格迁移后的运动内容序列，所述训练好的人体风格迁移模型是由样本运动内容序列，对生成流模型进行训练得到的；
所述生成流模型是由多层流基本模块组成的，所述流基本模块是由激活标准化层、重排层、划分-组合操作层、可逆注意力机制变换器和仿射变换耦合层组成的；
其中，在所述训练好的人体风格迁移模型训练完成之后，通过测试集数据对所述训练好的人体风格迁移模型进行测试，将一段测试数据中预设风格的运动数据输入到所述训练好的人体风格迁移模型中，提取所述预设风格的运动数据对应的隐编码，隐编码公式为：
其中，
为所述流基本模块的数学定义，
的参数为
。
6.根据权利要求5所述的基于生成流模型的人体运动风格迁移***，其特征在于，所述***还包括：
控制信号提取单元，用于对样本运动内容序列中每个人体运动数据进行提取，得到每个人体运动数据对应的控制信号，所述控制信号为人体根节点的前向表示、人体根节点的侧向表示和人体根节点相对于垂直地面轴的旋转角速度表示；
预处理单元，用于将每个人体运动数据中各个关节坐标进行归一化处理，得到各个关节坐标对应的归一化运动数据；
样本集构建单元，用于根据所述控制信号和所述归一化运动数据，构建训练样本集；
训练单元，用于将所述训练样本集输入到生成流模型进行逐层训练，得到训练好的人体风格迁移模型。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于生成流模型的人体运动风格迁移方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于生成流模型的人体运动风格迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110246980.3A CN113012036B (zh) | 2021-03-05 | 2021-03-05 | 基于生成流模型的人体运动风格迁移方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110246980.3A CN113012036B (zh) | 2021-03-05 | 2021-03-05 | 基于生成流模型的人体运动风格迁移方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012036A CN113012036A (zh) | 2021-06-22 |
| CN113012036B true CN113012036B (zh) | 2022-07-15 |
Family
ID=76407316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110246980.3A Active CN113012036B (zh) | 2021-03-05 | 2021-03-05 | 基于生成流模型的人体运动风格迁移方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012036B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
| CN110533752A (zh) * | 2019-07-23 | 2019-12-03 | 深圳大学 | 一种人体动作编辑模型的生成方法、存储介质及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823593A (zh) * | 2016-10-21 | 2023-09-29 | 谷歌有限责任公司 | 风格化输入图像 |
-
2021
- 2021-03-05 CN CN202110246980.3A patent/CN113012036B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
| CN110533752A (zh) * | 2019-07-23 | 2019-12-03 | 深圳大学 | 一种人体动作编辑模型的生成方法、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012036A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675475A (zh) | 一种人脸模型生成方法、装置、设备及存储介质 | |
| CN112116090A (zh) | 神经网络结构搜索方法、装置、计算机设备及存储介质 | |
| CN109508686B (zh) | 一种基于层次化特征子空间学习的人体行为识别方法 | |
| CN111028319B (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 | |
| CN112488067B (zh) | 人脸姿态估计方法、装置、电子设备和存储介质 | |
| CN112258557B (zh) | 一种基于空间注意力特征聚合的视觉跟踪方法 | |
| Haggag et al. | Semantic body parts segmentation for quadrupedal animals | |
| CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
| CN113298152A (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
| CN113570685A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN113836303A (zh) | 一种文本类别识别方法、装置、计算机设备及介质 | |
| CN115958606A (zh) | 机械臂避障轨迹规划方法、装置和电子设备 | |
| CN113192175A (zh) | 模型训练方法、装置、计算机设备和可读存储介质 | |
| CN114550292A (zh) | 一种基于神经运动控制的高物理真实感人体运动捕捉方法 | |
| CN113012036B (zh) | 基于生成流模型的人体运动风格迁移方法及*** | |
| CN116092120B (zh) | 基于图像的动作确定方法、装置、电子设备及存储介质 | |
| CN116824677A (zh) | 表情识别方法、装置、电子设备及存储介质 | |
| WO2022262337A1 (zh) | 视频标注方法、装置、计算设备和计算机可读存储介质 | |
| US12051135B2 (en) | System and method for a precise semantic segmentation | |
| CN115620082A (zh) | 模型训练方法、头部姿态估计方法、电子设备及存储介质 | |
| CN108520237A (zh) | 一种风险行为识别方法 | |
| CN114187487A (zh) | 一种大规模点云数据的处理方法、装置、设备及介质 | |
| CN116433809A (zh) | 表情驱动方法、以及模型训练方法 | |
| CN113256651A (zh) | 模型训练方法及装置、图像分割方法及装置 | |
| CN117058405B (zh) | 一种基于图像的情绪识别方法、***、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |