CN112950666A - 人体姿态迁移方法及电子设备、计算机存储介质 - Google Patents
人体姿态迁移方法及电子设备、计算机存储介质 Download PDFInfo
- Publication number
- CN112950666A CN112950666A CN201911258890.5A CN201911258890A CN112950666A CN 112950666 A CN112950666 A CN 112950666A CN 201911258890 A CN201911258890 A CN 201911258890A CN 112950666 A CN112950666 A CN 112950666A
- Authority
- CN
- China
- Prior art keywords
- picture
- target
- human body
- pictures
- target picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 46
- 230000005012 migration Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000015654 memory Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 230000036544 posture Effects 0.000 description 64
- 238000004891 communication Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种人体姿态迁移方法及电子设备、计算机存储介质，所述方法包括：获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
Description
技术领域
本申请实施例涉及数据传输技术，具体涉及一种人体姿态迁移方法及电子设备、计算机存储介质。
背景技术
人体姿态迁移是指将特定的姿态迁移到某个人体上，从而达到人体通过不同姿态进行呈现的效果。
目前，人体姿态迁移技术的输入是单张人体图片，对于人体图片有遮挡的情况，或者待迁移的新姿态中出现了人体背面的姿态(而输入的人体图片呈现的是非人体背面的姿态)，由于没有更多的人体信息，导致人体姿态迁移的效果较差。
发明内容
本申请实施例提供一种人体姿态迁移方法及电子设备、计算机存储介质，能够解决人体姿态迁移的效果较差的问题。
本申请实施例提供的人体姿态迁移方法，包括：
获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；
基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
本申请实施例提供的人体姿态迁移方法，包括：
基于第一目标图片和输入图，生成三维(3Dimension，3D)外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
本申请实施例提供的电子设备，包括：
获取单元，用于获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
处理单元，用于对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
本申请实施例提供的电子设备，包括：
第一生成单元，用于基于第一目标图片和输入图，生成三维3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
第二生成单元，用于基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
本申请实施例提供的电子设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述的人体姿态迁移方法。
本申请实施例提供的计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的人体姿态迁移方法。
本申请实施例的技术方案中，通过对图片进行分割可以有效的把人体与背景区别开来，保留有效的人体信息，进一步基于人体分割图实现人体姿态的迁移可以提高人体姿态迁移的效果，尤其对于人体图片具有遮挡情况改善了姿态迁移效果。另一方面，通过3D外观流图片辅助人体姿态迁移，可以提高人体姿态迁移的效果，尤其对于人体图片具有遮挡情况改善了姿态迁移效果。
附图说明
图1为本申请实施例提供的人体姿态迁移方法的流程示意图一；
图2为本申请实施例提供的人体姿态迁移方法的流程示意图二；
图3为本申请实施例提供的人体姿态迁移的原理图；
图4为本申请实施例提供的电子设备的结构组成示意图一；
图5为本申请实施例提供的电子设备的结构组成示意图二；
图6为本申请实施例提供的电子设备的硬件组成结构示意图一；
图7为本申请实施例提供的电子设备的硬件组成结构示意图二。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于电子设备，如计算机***/服务器，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
计算机***/服务器可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
图1为本申请实施例提供的人体姿态迁移方法的流程示意图一，如图1所示，所述人体姿态迁移方法包括以下步骤：
步骤101：获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；对所述多张图片中的每张图片进行分割处理，得到多张人体分割图。
本申请实施例中，获取多张图片，包括：获取N张图片，N为大于等于2的正整数。需要说明的是，本申请实施例的技术方案对N的取值不做限制。在一可选实施方式中，可以根据电子设备的处理能力来决定N的取值，一般，电子设备的处理能力越高，N的取值越大，反之，电子设备的处理能力越低，N的取值越小。
本申请实施例中，所述多张图片中的不同图片呈现目标人体的不同角度。以N＝4为例，获取的图片分别为：图片1(呈现目标人体的正面)，图片2(呈现目标人体的背面)，图片3(呈现目标人体的左侧面)，图片4(呈现目标人体的右侧面)。
本申请实施例中，获取到多张图片后，需要对所述多张图片进行分割处理，以提取有效的人体信息。
在一可选实施方式中，可以通过以下方式对所述多张图片中的每张图片进行分割处理：
1)从所述多张图片中的每张图片中提取目标区域，所述目标区域为目标人体呈现的区域；
2)将所述多张图片中的每张图片的目标区域分割成多个部分，得到所述多张人体分割图。
在一个示例中，可以采用BodyPix2.0模型对多张图片中的每张图片进行处理，以实现将图片中的目标人体与环境区分开来，进而再将目标人体所在的目标区域分割成多个部分，形成人体分割图。这里，将目标区域分割成多个部分可以是24个部分。需要说明的是，本申请实施例对目标区域进行分割的数目不局限于上述24，还可以是其他数目，例如18、36等。
例如：可以将目标区域分割成：头部、颈部、躯干部分、手臂部分、腿足部分等。
步骤102：基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
本申请实施例中，所述第一目标图片用于确定第一姿态，该第一姿态即为需要迁移到目标人体的姿态。
在本申请一可选实施方式中，所述第一目标图片为视频中的一帧图片。例如一小段舞蹈视频包括M帧图片，M为正整数，M帧图片中的每帧图片都呈现特定的舞蹈姿态，其中，第一目标图片为M帧图片中的某一个帧图片，该帧图片所呈现的姿态为第一姿态。
为了实现将所述第一目标图片中的第一姿态迁移到目标人体上，需要将所述多张图片、所述多张人体分割图以及第一目标图片输入到人体姿态迁移模型(或者说姿态生成模型)中，通过人体姿态迁移模型对所述多张图片、所述多张人体分割图以及第一目标图片进行处理，得到第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体，从而实现了将所述第一目标图片中的第一姿态迁移到目标人体上。
进一步，对于视频中的每一帧图片均可以作为上述第一目标图片，从而可以实现将视频中的每一帧图片的姿态都迁移到目标人体上，生成一系列目标人体在各个姿态下的第二目标图片，最后把一系列生成的第二目标图片组成视频，该视频即为姿态迁移后的视频。
本申请实施例的上述技术方案，通过对图片进行分割可以有效的把人体与背景区别开来，保留有效的人体信息，进一步基于人体分割图实现人体姿态的迁移可以提高人体姿态迁移的效果，尤其对于人体图片具有遮挡情况改善了姿态迁移效果。
图2为本申请实施例提供的人体姿态迁移方法的流程示意图二，如图2所示，所述人体姿态迁移方法包括以下步骤：
步骤201：基于第一目标图片和输入图，生成3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体。
本申请实施例中，3D外观流图片是基于3D外观流模型生成的，3D外观流模型的训练可以通过以下方式来实现：
1)获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度。
具体地，获取N张图片，N为大于等于2的正整数。需要说明的是，本申请实施例的技术方案对N的取值不做限制。在一可选实施方式中，可以根据电子设备的处理能力来决定N的取值，一般，电子设备的处理能力越高，N的取值越大，反之，电子设备的处理能力越低，N的取值越小。
本申请实施例中，所述多张图片中的不同图片呈现目标人体的不同角度。以N＝4为例，获取的图片分别为：图片1(呈现目标人体的正面)，图片2(呈现目标人体的背面)，图片3(呈现目标人体的左侧面)，图片4(呈现目标人体的右侧面)。
2)生成所述多张图片分别对应的人体3D模型。
在一个示例中，可以使用DenseBody模型通过图片生成对应的人体3D模型。对于多张图片来说，可以得到大量的人体3D模型数据集。
3)基于所述多张图片中的每两张图片与对应的人体3D模型计算3D外观流图片。
这里，采用特征点匹配和可见性分析方法得到3D外观流图片，其中，可见性分析的作用就是可以知道新姿态(两张图片中的其中一张图片对应的姿态)与旧姿态(两张图片中的另一张图片对应的姿态)中哪个部分是可见，哪个部分是不可见的。
4)两张图片分别对应的两张姿态图与3D外观流图片训练3D外观流模型。
这里，可以通过使用姿态估计模型对图片进行处理，得到该图片的姿态图。在一个示例中，姿态图通过18个人体关键点来表征，将18个人体关键点基于人体结构进行连线，即可形成姿态图。需要说明的是，人体关键点的数目不局限于上述18，还可以其他数目，如24，32等。
本申请实施例中，通过上述方式训练完成3D外观流模型后，通过3D外观流模型对所述第一目标图片和输入图进行处理，得到3D外观流图片。
这里，所述第一目标图片为视频中的一帧图片。例如一小段舞蹈视频包括M帧图片，M为正整数，M帧图片中的每帧图片都呈现特定的舞蹈姿态，其中，第一目标图片为M帧图片中的某一个帧图片，该帧图片所呈现的姿态为第一姿态。
在本申请一可选实施方式中，所述基于第一目标图片和输入图，生成三维3D外观流图片，包括：
基于第一目标图片，生成第一姿态图；
基于输入图，生成第二姿态图；
基于所述第一姿态图和所述第二姿态图，生成3D外观流图片。
这里，可以通过使用姿态估计模型对图片进行处理，得到该图片的姿态图。在一个示例中，姿态图通过18个人体关键点来表征，将18个人体关键点基于人体结构进行连线，即可形成姿态图。需要说明的是，人体关键点的数目不局限于上述18，还可以其他数目，如24，32等。
步骤202：基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
本申请实施例中，为了实现将所述第一目标图片中的第一姿态迁移到目标人体上，需要将所述第一目标图片、所述输入图以及所述3D外观流图片输入到人体姿态迁移模型(或者说姿态生成模型)中，通过人体姿态迁移模型对所述第一目标图片、所述输入图以及所述3D外观流图片进行处理，得到第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体，从而实现了将所述第一目标图片中的第一姿态迁移到目标人体上。
在本申请一可选实施方式中，基于所述第一姿态图、所述输入图以及所述3D外观流图片，生成第二目标图片。具体实现时，将所述第一姿态图、所述输入图以及所述3D外观流图片，生成第二目标图片输入到人体姿态迁移模型(或者说姿态生成模型)中，通过人体姿态迁移模型对所述第一姿态图、所述输入图以及所述3D外观流图片进行处理，得到第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
举个例子：参照图3，通过姿态估计模型对输入图进行处理，可以得到输入图的姿态图；通过姿态估计模型对视频中某一帧进行处理，可以得到视频中某一帧的姿态图。1)通过3D外观流模型对输入图的姿态图和视频中某一帧的姿态图进行处理，可以得到3D外观流图片。2)通过姿态迁移模型(或者说姿态生成模型)对输入图、视频中某一帧的姿态图以及3D外观流图片进行处理，可以得到迁移后的姿态图(即呈现视频中某一帧的姿态的目标人体的图片)。
本申请实施例的上述技术方案，通过3D外观流图片辅助人体姿态迁移，可以提高人体姿态迁移的效果，尤其对于人体图片具有遮挡情况改善了姿态迁移效果。
图4为本申请实施例提供的电子设备的结构组成示意图一，如图4所示，所述电子设备包括：
获取单元401，用于获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
处理单元402，用于对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
在一可选实施方式中，所述处理单元402，用于从所述多张图片中的每张图片中提取目标区域，所述目标区域为目标人体呈现的区域；将所述多张图片中的每张图片的目标区域分割成多个部分，得到所述多张人体分割图。
在一可选实施方式中，所述第一目标图片为视频中的一帧图片。
本申请实施例中，所述电子设备中各单元实现的功能可以参照前述人体姿态迁移方法的相关描述进行理解。具体实现时，所述电子设备中的计算单元、调整单元、控制单元可由所述电子设备中的处理器，比如中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、微控制单元(Microcontroller Unit，MCU)或可编程门阵列(Field－Programmable Gate Array，FPGA)等实现；所述电子设备中的通信单元可通过通信模组(包含：基础通信套件、操作***、通信模块、标准化接口和协议等)及收发天线实现，所述电子设备中的检测单元可通过温度传感器实现。
图5为本申请实施例提供的电子设备的结构组成示意图二，如图5所示，所述电子设备包括：
第一生成单元501，用于基于第一目标图片和输入图，生成三维3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
第二生成单元502，用于基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
在一可选实施方式中，所述第一生成单元501，用于基于第一目标图片，生成第一姿态图；基于输入图，生成第二姿态图；基于所述第一姿态图和所述第二姿态图，生成3D外观流图片。
在一可选实施方式中，所述第二生成单元502，用于基于所述第一姿态图、所述输入图以及所述3D外观流图片，生成第二目标图片。
在一可选实施方式中，所述第一目标图片为视频中的一帧图片。
本申请实施例中，所述电子设备中各单元实现的功能可以参照前述人体姿态迁移方法的相关描述进行理解。具体实现时，所述电子设备中的计算单元、调整单元、控制单元可由所述电子设备中的处理器，比如CPU、DSP、MCU或FPGA等实现；所述电子设备中的通信单元可通过通信模组(包含：基础通信套件、操作***、通信模块、标准化接口和协议等)及收发天线实现，所述电子设备中的检测单元可通过温度传感器实现。
需要说明的是：上述各单元的划分仅为示例性的，实际应用中，可以将电子设备的内部结构划分成不同的单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与人体姿态迁移方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述设备的硬件实现，本申请实施例还提供了一种电子设备，图6为本申请实施例的电子设备的硬件组成结构示意图，如图6所示，电子设备包括存储器601、处理器602及存储在存储器601上并可在处理器上运行的计算机程序；作为第一种实施方式，位于电子设备的处理器602执行所述程序时实现以下步骤：
获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；
基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
在一可选实施方式中，所述处理器602执行所述程序时还实现以下步骤：
从所述多张图片中的每张图片中提取目标区域，所述目标区域为目标人体呈现的区域；
将所述多张图片中的每张图片的目标区域分割成多个部分，得到所述多张人体分割图。
在一可选实施方式中，所述第一目标图片为视频中的一帧图片。
可以理解，电子设备还包括总线***603；电子设备中的各个组件通过总线***603耦合在一起。可理解，总线***603用于实现这些组件之间的连接通信。总线***603除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
基于上述设备的硬件实现，本申请实施例还提供了一种电子设备，图7为本申请实施例的电子设备的硬件组成结构示意图，如图7所示，电子设备包括存储器701、处理器702及存储在存储器701上并可在处理器上运行的计算机程序；作为第一种实施方式，位于电子设备的处理器702执行所述程序时实现以下步骤：
基于第一目标图片和输入图，生成三维3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
在一可选实施方式中，所述处理器702执行所述程序时还实现以下步骤：
基于第一目标图片，生成第一姿态图；
基于输入图，生成第二姿态图；
基于所述第一姿态图和所述第二姿态图，生成3D外观流图片。
在一可选实施方式中，所述处理器702执行所述程序时还实现以下步骤：
基于所述第一姿态图、所述输入图以及所述3D外观流图片，生成第二目标图片。
在一可选实施方式中，所述第一目标图片为视频中的一帧图片。
可以理解，电子设备还包括总线***703；电子设备中的各个组件通过总线***703耦合在一起。可理解，总线***703用于实现这些组件之间的连接通信。总线***703除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(Random AccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static Random Access Memory，SRAM)、同步静态随机存取存储器(Synchronous Static Random Access Memory，SSRAM)、动态随机存取存储器(DynamicRandom Access Memory，DRAM)、同步动态随机存取存储器(Synchronous Dynamic RandomAccess Memory，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSynchronous Dynamic Random Access Memory，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced Synchronous Dynamic Random Access Memory，ESDRAM)、同步连接动态随机存取存储器(SyncLink Dynamic Random Access Memory，SLDRAM)、直接内存总线随机存取存储器(Direct Rambus Random Access Memory，DRRAM)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
本申请实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，作为第一种实施方式，在计算机存储介质位于电子设备时，该计算机指令被处理器执行时实现以下步骤：
获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；
基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
在一可选实施方式中，所述计算机指令被处理器执行时还实现以下步骤：
从所述多张图片中的每张图片中提取目标区域，所述目标区域为目标人体呈现的区域；
将所述多张图片中的每张图片的目标区域分割成多个部分，得到所述多张人体分割图。
在一可选实施方式中，所述第一目标图片为视频中的一帧图片。
本申请实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，作为第一种实施方式，在计算机存储介质位于电子设备时，该计算机指令被处理器执行时实现以下步骤：
基于第一目标图片和输入图，生成三维3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
在一可选实施方式中，所述计算机指令被处理器执行时还实现以下步骤：
基于第一目标图片，生成第一姿态图；
基于输入图，生成第二姿态图；
基于所述第一姿态图和所述第二姿态图，生成3D外观流图片。
在一可选实施方式中，所述计算机指令被处理器执行时还实现以下步骤：
基于所述第一姿态图、所述输入图以及所述3D外观流图片，生成第二目标图片。
在一可选实施方式中，所述第一目标图片为视频中的一帧图片。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以至少两个单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种人体姿态迁移方法，其特征在于，所述方法包括：
获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；
基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
2.根据权利要求1所述的方法，其特征在于，所述对所述多张图片中的每张图片进行分割处理，得到多张人体分割图，包括：
从所述多张图片中的每张图片中提取目标区域，所述目标区域为目标人体呈现的区域；
将所述多张图片中的每张图片的目标区域分割成多个部分，得到所述多张人体分割图。
3.根据权利要求1或2所述的方法，其特征在于，所述第一目标图片为视频中的一帧图片。
4.一种人体姿态迁移方法，其特征在于，所述方法包括：
基于第一目标图片和输入图，生成三维3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
5.根据权利要求4所述的方法，其特征在于，所述基于第一目标图片和输入图，生成三维3D外观流图片，包括：
基于第一目标图片，生成第一姿态图；
基于输入图，生成第二姿态图；
基于所述第一姿态图和所述第二姿态图，生成3D外观流图片。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，包括：
基于所述第一姿态图、所述输入图以及所述3D外观流图片，生成第二目标图片。
7.根据权利要求4至6任一项所述的方法，其特征在于，所述第一目标图片为视频中的一帧图片。
8.一种电子设备，其特征在于，所述电子设备包括：
获取单元，用于获取多张图片，所述多张图片中的不同图片呈现目标人体的不同角度；
处理单元，用于对所述多张图片中的每张图片进行分割处理，得到多张人体分割图；基于所述多张图片、所述多张人体分割图以及第一目标图片，生成第二目标图片，其中，所述第一目标图片用于确定第一姿态，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
9.一种电子设备，其特征在于，所述电子设备包括：
第一生成单元，用于基于第一目标图片和输入图，生成三维3D外观流图片；其中，所述第一目标图片用于确定第一姿态；所述输入图具有目标人体；
第二生成单元，用于基于所述第一目标图片、所述输入图以及所述3D外观流图片，生成第二目标图片，所述第二目标图片具有以所述第一姿态呈现的所述目标人体。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
11.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911258890.5A CN112950666A (zh) | 2019-12-10 | 2019-12-10 | 人体姿态迁移方法及电子设备、计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911258890.5A CN112950666A (zh) | 2019-12-10 | 2019-12-10 | 人体姿态迁移方法及电子设备、计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112950666A true CN112950666A (zh) | 2021-06-11 |
Family
ID=76225803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911258890.5A Pending CN112950666A (zh) | 2019-12-10 | 2019-12-10 | 人体姿态迁移方法及电子设备、计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950666A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120162218A1 (en) * | 2010-12-23 | 2012-06-28 | Electronics And Telecommunications Research Institute | Apparatus and method for generating digital clone |
| CN106570480A (zh) * | 2016-11-07 | 2017-04-19 | 南京邮电大学 | 一种基于姿势识别的人体动作分类方法 |
| CN110287848A (zh) * | 2019-06-19 | 2019-09-27 | 北京卡路里信息技术有限公司 | 视频的生成方法及装置 |
| CN110473266A (zh) * | 2019-07-08 | 2019-11-19 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于姿态指导的保留源场景人物动作视频生成方法 |
| US20190371080A1 (en) * | 2018-06-05 | 2019-12-05 | Cristian SMINCHISESCU | Image processing method, system and device |
-
2019
- 2019-12-10 CN CN201911258890.5A patent/CN112950666A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120162218A1 (en) * | 2010-12-23 | 2012-06-28 | Electronics And Telecommunications Research Institute | Apparatus and method for generating digital clone |
| CN106570480A (zh) * | 2016-11-07 | 2017-04-19 | 南京邮电大学 | 一种基于姿势识别的人体动作分类方法 |
| US20190371080A1 (en) * | 2018-06-05 | 2019-12-05 | Cristian SMINCHISESCU | Image processing method, system and device |
| CN110287848A (zh) * | 2019-06-19 | 2019-09-27 | 北京卡路里信息技术有限公司 | 视频的生成方法及装置 |
| CN110473266A (zh) * | 2019-07-08 | 2019-11-19 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于姿态指导的保留源场景人物动作视频生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815755B (zh) | 虚拟物体被遮挡的区域确定方法、装置及终端设备 | |
| JP2023521952A (ja) | ３次元人体姿勢推定方法及びその装置、コンピュータデバイス、並びにコンピュータプログラム | |
| KR20220009393A (ko) | 이미지 기반 로컬화 | |
| US11151780B2 (en) | Lighting estimation using an input image and depth map | |
| WO2020029554A1 (zh) | 增强现实多平面模型动画交互方法、装置、设备及存储介质 | |
| Rahnama et al. | Real-time dense stereo matching with ELAS on FPGA-accelerated embedded devices | |
| JP7475772B2 (ja) | 画像生成方法、画像生成装置、コンピュータ機器、及びコンピュータプログラム | |
| Barandiaran et al. | Real-time optical markerless tracking for augmented reality applications | |
| Rambach et al. | [poster] augmented things: Enhancing ar applications leveraging the internet of things and universal 3d object tracking | |
| CN111459269B (zh) | 一种增强现实显示方法、***及计算机可读存储介质 | |
| US20230267584A1 (en) | Virtual clothing changing method and apparatus, and device and medium | |
| CN111639147B (zh) | 一种地图压缩方法、***及计算机可读存储介质 | |
| CN108885683B (zh) | 用于位姿估计的方法和*** | |
| Manni et al. | Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device | |
| CN113610958A (zh) | 一种基于风格迁移的3d图像构建方法、装置及终端 | |
| CN113870439A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN113838217A (zh) | 信息展示方法、装置、电子设备及可读存储介质 | |
| CN113592994A (zh) | 用于纹理贴图的方法、装置和存储介质 | |
| US11281935B2 (en) | 3D object detection from calibrated 2D images | |
| CN115775300B (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
| CN115965735B (zh) | 纹理贴图的生成方法和装置 | |
| CN112950666A (zh) | 人体姿态迁移方法及电子设备、计算机存储介质 | |
| CN108520259B (zh) | 一种前景目标的提取方法、装置、设备及存储介质 | |
| TW202312100A (zh) | 網格生成方法、電子設備及電腦可讀儲存介質 | |
| CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |