CN115423936A - Ai虚拟人物和影像处理方法、***、电子设备及存储介质 - Google Patents
Ai虚拟人物和影像处理方法、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115423936A CN115423936A CN202210977676.0A CN202210977676A CN115423936A CN 115423936 A CN115423936 A CN 115423936A CN 202210977676 A CN202210977676 A CN 202210977676A CN 115423936 A CN115423936 A CN 115423936A
- Authority
- CN
- China
- Prior art keywords
- model
- digital
- expression
- video
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000014509 gene expression Effects 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000001815 facial effect Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000006978 adaptation Effects 0.000 claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 20
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000009432 framing Methods 0.000 claims description 10
- 238000010195 expression analysis Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 description 126
- 239000002609 medium Substances 0.000 description 15
- 230000036544 posture Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及AI虚拟人物和影像处理方法、***、电子设备及存储介质，涉及计算机视觉技术领域，该方法为获取目标数字人源视频或目标数字人的人像数据集，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；获取目标视频，并将目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。本发明通过AI进行属性编辑以及数字人渐变模型进行与3D表情模型数据库以及3D脸谱模型数据库进行适配，并基于3D脸谱模型、表情参数以及姿态参数进行AI训练，依据得到的数字人遮罩模型对目标视频进行视频合成，可以实现高效、准确、快速的实现在不同目标视频场景下的换脸影像处理。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种AI虚拟人物和影像处理方法、***、电子设备及存储介质。
背景技术
随着人工智能技术的不断发展和研究，人工智能已实现对人脸以及自然语言的识别和理解，能够将接收到的语音转换成文字，也能够根据采集到的人脸图像进行智能识别人脸特征，为人工智能技术方面的快速发展奠定了基础。
而且，伴随着信息技术和人工智能技术发展，针对人物(虚拟数字人)进行AI换脸、换头、制作视频内容等技术越来越多，AI换脸APP也越来越在成为短视频制作的技术之一，AI换脸的效果也越来越好。但是，作为AI换脸特效在虚拟场景影像处理中的应用，目前普通AI换脸***只能是真人对真人单独进行面部识别以及特征认定，由于缺乏素材库，无法应用于数字人，而且，目前普通AI换脸***中数字人一般只能生成一张照片、一个3D模型，个别软件集成了少量表情、姿态(如MetaHuman Creator Epic Games),无法满足Deep Fake、Deepfacelab的换脸、换头的实现，数字人缺乏素材，操作繁琐在费时费力，不利于影像处理，从而不能高效并准确实现换脸视频。
目前公开的AI换脸视频检测中，仅仅是从单一的特征去检测，例如基于眨眼的，基于嘴型的，基于皮肤边缘的，导致检测性能不佳。计算过程中，大多数检测方法把整个图像考虑计算，大大增加计算费用，从而不能高效并准确实现AI虚拟人物和影像处理，也导致AI虚拟人物和影像处理的准确率往往不高。
发明内容
本申请实施例提供一种AI虚拟人物和影像处理方法、***、电子设备及存储介质，可以提高AI虚拟场景下AI换脸表演时对影像处理的准确率和效率。
为实现上述目的，本发明提供了以下技术方案：
第一方面，本申请实施例提供了一种AI虚拟人物和影像处理方法，包括：
获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；
对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；
获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
第二方面，本申请实施例还提供了一种AI虚拟人物和影像处理***，该***包括：
数字人生成模块，用于对数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
分析模块，用于在AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
训练模块，用于基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；以及
合成模块，用于获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述AI虚拟人物和影像处理方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述AI虚拟人物和影像处理方法的步骤。
本发明实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供一种AI虚拟人物和影像处理方案，获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
本发明通过人工智能模拟数字人的表情、姿态等，来获得类似真人的“源视频”素材，然后应用于DeepFaceLab的3.0以及Live软件，进行换脸、实时换脸、换头、换人，从而实现数字虚拟人视频内容的制作、直播。本发明采用上述技术方案，通过AI进行属性编辑以及数字人渐变模型进行与3D表情模型数据库以及3D脸谱模型数据库进行适配，并基于3D脸谱模型、表情参数以及姿态参数进行AI训练，依据得到的数字人遮罩模型对目标视频进行视频合成，无需分别针对源视频和目标视频单独进行面部识别以及特征认定，可以实现高效、准确、快速的实现在不同目标视频场景下的换脸影像处理。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。在附图中：
图1示意性示出本发明示例性实施例中一种AI虚拟人物和影像处理方法的流程图；
图2示意性示出本发明示例性实施例中一种AI虚拟人物和影像处理方法的AI数字人3D换脸表演软件架构及流程示意图；
图3示意性示出本发明示例性实施例中一种AI虚拟人物和影像处理方法中AI数字人二次开发的流程图；
图4示意性示出图3中本发明示例性实施例中一种AI虚拟人物和影像处理方法中AI数字人二次开发应用场景示意图；
图5为本发明AI虚拟人物和影像处理***的结构框图；
图6为本发明一些实施例中一种电子设备的硬件架构图；
图7示意性示出本发明示例性实施例中一种AI虚拟人物和影像处理***中数字人音频换声***集成示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
相关技术中，由于目前普通AI换脸***只能是真人对真人单独进行面部识别以及特征认定，由于缺乏素材库，无法应用于数字人，然后通过训练模型覆盖参数后合成视频，操作繁琐在费时费力，不利于影像处理，从而不能高效并准确实现换脸视频。
目前公开的AI换脸视频检测中，仅仅是从单一的特征去检测，例如基于眨眼的，基于嘴型的，基于皮肤边缘的，导致检测性能不佳。计算过程中，大多数检测方法把整个图像考虑计算，大大增加计算费用，从而不能高效并准确实现AI虚拟人物和影像处理，也导致AI虚拟人物和影像处理的准确率往往不高。
鉴于此，本申请提供了一种AI虚拟人物和影像处理方法、***、电子设备及存储介质，可以提高AI虚拟场景下AI换脸表演时对影像处理的准确率和效率。
图1为本申请实施例提供的一种AI虚拟人物和影像处理方法的流程图，该方法可以由AI虚拟人物和影像处理***来执行，该***可由软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：
步骤S10、获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片。
其中，待处理源视频包括视频采集的摄像机等设备采集或录入的包含目标用户的影像视频。
在本申请的实施例中，集成的电子设备上连接有摄像机，通过摄像机可以采集获取待处理目标数字人源视频或目标数字人的人像数据集。还可以是在检测到用户的源视频导入按文件时，通过电子设备读取源视频，并将读取的源视频通过网络发送至处理器。可以理解的是，上述采集获取待处理目标数字人源视频或目标数字人的人像数据集的方式是示例而非限定。
步骤S20、对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型。
其中，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练时，AI训练包含3D脸谱模型、表情参数以及姿态参数。
步骤S30、AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配。
步骤S40、基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型。
在本申请的一些实施例中，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练时，还包括：
AI训练的3D脸谱模型、表情参数以及姿态参数输入数字人3D脸谱AI训练模型,更新3D脸谱模型数据库。
在本申请的一些实施例中，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练时，还包括：
AI训练的3D脸谱模型、表情参数以及姿态参数输入数字人3D表情AI训练模型,更新3D表情模型数据库。
步骤S50、获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
在本申请的一些实施例中，对所述数字人照片进行数字人照片AI属性编辑，包括：
加载源视频分帧处理及识别人脸图像后生成的AI数字人照片；
对所述源视频中的AI数字人照片进行面部识别，生成特征认定；
对所述源视频中的AI数字人照片进行表情识别，生成姿态参数和表情参数。
在本申请的一些实施例中，获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成之前，还包括对目标视频进行表情识别，所述表情识别的方法，包括以下步骤：
对获取的目标视频进行表情特征提取；
基于表情模型数据库以及提取的表情特征，输入表情分析网络进行姿态提取以及标签提取；
根据姿态提取以及标签提取的结果生成所述目标视频对应的姿态参数和表情参数。
本发明实施例的AI虚拟人物和影像处理方法，通过获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。本发明通过人工智能模拟数字人的表情、姿态等，来获得类似真人的“源视频”素材，然后应用于DeepFaceLab的3.0以及Live软件，进行换脸、实时换脸、换头、换人，从而实现数字虚拟人视频内容的制作、直播。本发明采用上述技术方案，通过AI进行属性编辑以及数字人渐变模型进行与3D表情模型数据库以及3D脸谱模型数据库进行适配，并基于3D脸谱模型、表情参数以及姿态参数进行AI训练，依据得到的数字人遮罩模型对目标视频进行视频合成，无需分别针对源视频和目标视频单独进行面部识别以及特征认定，可以实现高效、准确、快速的实现在不同目标视频场景下的换脸影像处理。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
图5是本申请实施例提供的一种AI虚拟人物和影像处理***的结构示意图。该***可有软件和/或硬件实现，一般集成在电子设备中。如图2和图5所示，该***可以包括：
数字人生成模块100，用于对数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
分析模块200，用于在AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
训练模块300，用于基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；以及
合成模块400，用于获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
本申请实施例的技术方案提供一种AI虚拟人物和影像处理***，通过AI进行属性编辑以及数字人渐变模型进行与3D表情模型数据库以及3D脸谱模型数据库进行适配，并基于3D脸谱模型、表情参数以及姿态参数进行AI训练，依据得到的数字人遮罩模型对目标视频进行视频合成，无需分别针对源视频和目标视频单独进行面部识别以及特征认定，可以实现高效、准确、快速的实现在不同目标视频场景下的换脸影像处理。
在一些实施例中，如图3、图4和图5所示，所述AI虚拟人物和影像处理***，还包括表情识别模块500，用于对获取的目标视频进行表情特征提取，基于表情模型数据库以及提取的表情特征，输入表情分析网络进行姿态提取以及标签提取，并根据姿态提取以及标签提取的结果生成所述目标视频对应的姿态参数和表情参数。
以上所描述的***实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
在一些实施例中，如图7所示，所述AI虚拟人物和影像处理***，还集成有数字人音频换声***，为基于数字虚拟人物影像与音频的AI生成学习的换声***，通过AI音频生成***与文本语音***相结合对源声音音频进行处理，并基于真人按台本表演视频的目标视频，对源声音音频处理，通过换声***处理后输出目标视频所需的音频，实现AI数字人3D换脸表演的同时进行换声处理。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本实施例还提供一种电子设备，如图6所示，该电子设备包括多个电子设备1000，在实施例中AI虚拟人物和影像处理***的组成部分可分散于不同的电子设备1000中，电子设备1000可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的电子设备1000至少包括但不限于：可通过***总线相互通信连接的存储器1001、处理器1002。需要指出的是，图6仅示出了具有组件存储器1001和处理器1002的电子设备1000，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器1001(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1001可以是电子设备1000的内部存储单元，例如该电子设备1000的硬盘或内存。在另一些实施例中，存储器1001也可以是电子设备1000的外部存储设备，例如该电子设备1000上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器1001还可以既包括电子设备1000的内部存储单元也包括其外部存储设备。本实施例中，存储器1001通常用于存储安装于电子设备设备的操作***和各类应用软件，例如实施例的AI虚拟人物和影像处理***等。此外，存储器1001还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1002在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1002通常用于控制电子设备1000的总体操作。本实施例中，处理器1002用于运行存储器1001中存储的程序代码或者处理数据。本实施例电子设备的多个电子设备1000的处理器1002共同执行计算机程序时实现实施例的AI虚拟人物和影像处理方法，该方法包括：
获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；
对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；
获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可匹配存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
本申请的实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例计算机可读存储介质存储实施例的AI虚拟人物和影像处理***10，被处理器执行时实现实施例的AI虚拟人物和影像处理方法，该方法包括：
获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；
对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；
获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带***；计算机***存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的AI虚拟人物和影像处理操作，还可以执行本申请任意实施例所提供的AI虚拟人物和影像处理方法中的相关操作。
本发明提供的AI虚拟人物和影像处理方法、***、电子设备及存储介质，获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
本发明通过人工智能模拟数字人的表情、姿态等，来获得类似真人的“源视频”素材，然后应用于DeepFaceLab的3.0以及Live软件，进行换脸、实时换脸、换头、换人，从而实现数字虚拟人视频内容的制作、直播。本发明采用上述技术方案，通过AI进行属性编辑以及数字人渐变模型进行与3D表情模型数据库以及3D脸谱模型数据库进行适配，并基于3D脸谱模型、表情参数以及姿态参数进行AI训练，依据得到的数字人遮罩模型对目标视频进行视频合成，无需分别针对源视频和目标视频单独进行面部识别以及特征认定，可以实现高效、准确、快速的实现在不同目标视频场景下的换脸影像处理。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种AI虚拟人物和影像处理方法，其特征在于，包括：
获取待处理目标数字人源视频或目标数字人的人像数据集，对目标数字人源视频或目标数字人的人像数据集进行分帧处理并识别人脸图像，生成AI数字人照片；
对所述数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；
获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
2.根据权利要求1所述的AI虚拟人物和影像处理方法，其特征在于，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练时，AI训练包含3D脸谱模型、表情参数以及姿态参数。
3.根据权利要求2所述的AI虚拟人物和影像处理方法，其特征在于，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练时，还包括：
AI训练的3D脸谱模型、表情参数以及姿态参数输入数字人3D脸谱AI训练模型,更新3D脸谱模型数据库。
4.根据权利要求2所述的AI虚拟人物和影像处理方法，其特征在于，基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练时，还包括：
AI训练的3D脸谱模型、表情参数以及姿态参数输入数字人3D表情AI训练模型,更新3D表情模型数据库。
5.根据权利要求1所述的AI虚拟人物和影像处理方法，其特征在于，对所述数字人照片进行数字人照片AI属性编辑，包括：
加载源视频分帧处理及识别人脸图像后生成的AI数字人照片；
对所述源视频中的AI数字人照片进行面部识别，生成特征认定；
对所述源视频中的AI数字人照片进行表情识别，生成姿态参数和表情参数。
6.根据权利要求1或5所述的AI虚拟人物和影像处理方法，其特征在于，获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成之前，还包括对目标视频进行表情识别，所述表情识别的方法，包括以下步骤：
对获取的目标视频进行表情特征提取；
基于表情模型数据库以及提取的表情特征，输入表情分析网络进行姿态提取以及标签提取；
根据姿态提取以及标签提取的结果生成所述目标视频对应的姿态参数和表情参数。
7.一种AI虚拟人物和影像处理***，其特征在于，基于权利要求1-6中任意一项所述AI虚拟人物和影像处理进行AI数字人3D换脸表演处理，所述AI虚拟人物和影像处理***，包括：
数字人生成模块，用于对数字人照片进行数字人照片AI属性编辑，并将所述数字人照片输入数字人渐变模型；
分析模块，用于在AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变模型适配；
训练模块，用于基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练，生成的数字人遮罩模型；以及
合成模块，用于获取目标视频，并将所述目标视频输入至数字人遮罩模型进行视频合成后，输出处理后的AI虚拟场景影像视频。
8.根据权利要求7所述的AI虚拟人物和影像处理***，其特征在于，还包括：
表情识别模块，用于对获取的目标视频进行表情特征提取，基于表情模型数据库以及提取的表情特征，输入表情分析网络进行姿态提取以及标签提取，并根据姿态提取以及标签提取的结果生成所述目标视频对应的姿态参数和表情参数。
9.一种电子设备，其特征在于，所述电子设备包括多个电子设备，各电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述多个电子设备的处理器执行所述计算机程序时共同实现权利要求1至6中任一项所述AI虚拟人物和影像处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述存储介质存储的所述计算机程序被处理器执行时实现权利要求1至6中任一项所述AI虚拟人物和影像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210977676.0A CN115423936A (zh) | 2022-08-15 | 2022-08-15 | Ai虚拟人物和影像处理方法、***、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210977676.0A CN115423936A (zh) | 2022-08-15 | 2022-08-15 | Ai虚拟人物和影像处理方法、***、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115423936A true CN115423936A (zh) | 2022-12-02 |
Family
ID=84198560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210977676.0A Pending CN115423936A (zh) | 2022-08-15 | 2022-08-15 | Ai虚拟人物和影像处理方法、***、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115423936A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543082A (zh) * | 2023-05-18 | 2023-08-04 | 无锡捷通数智科技有限公司 | 数字人的生成方法、装置和数字人的生成*** |
| CN117173365A (zh) * | 2023-08-07 | 2023-12-05 | 华中师范大学 | 基于声音ai模型的虚拟场景生成方法及*** |
-
2022
- 2022-08-15 CN CN202210977676.0A patent/CN115423936A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543082A (zh) * | 2023-05-18 | 2023-08-04 | 无锡捷通数智科技有限公司 | 数字人的生成方法、装置和数字人的生成*** |
| CN117173365A (zh) * | 2023-08-07 | 2023-12-05 | 华中师范大学 | 基于声音ai模型的虚拟场景生成方法及*** |
| CN117173365B (zh) * | 2023-08-07 | 2024-05-24 | 华中师范大学 | 基于声音ai模型的虚拟场景生成方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115423936A (zh) | Ai虚拟人物和影像处理方法、***、电子设备及存储介质 | |
| CN109618224B (zh) | 视频数据处理方法、装置、计算机可读存储介质和设备 | |
| KR20190116199A (ko) | 영상 데이터 처리 방법, 장치 및 판독 가능 저장 매체 | |
| CN110675433A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111667557B (zh) | 动画制作方法及装置、存储介质、终端 | |
| CN109685873B (zh) | 一种人脸重建方法、装置、设备和存储介质 | |
| CN111127668A (zh) | 一种角色模型生成方法、装置、电子设备和存储介质 | |
| CN112330534A (zh) | 动物脸风格图像生成方法、模型训练方法、装置和设备 | |
| US20130169621A1 (en) | Method of creating and transforming a face model and related system | |
| Huang et al. | ORDNet: Capturing omni-range dependencies for scene parsing | |
| CN113094801B (zh) | 装修模拟图像生成方法、装置、设备及介质 | |
| CN113222841A (zh) | 一种图像处理方法、装置、设备及介质 | |
| US20240022685A1 (en) | Method for generating on-the-beat video and electronic device | |
| CN117252947A (zh) | 图像处理方法、装置、计算机、存储介质及程序产品 | |
| CN109598201B (zh) | 动作检测方法、装置、电子设备及可读存储介质 | |
| Zhou et al. | A 3d face recognition algorithm using histogram-based features | |
| CN116129126A (zh) | 分割预测模型的构建方法、图片语义分割标注方法及装置 | |
| CN110765917A (zh) | 适用于人脸识别模型训练的主动学习方法、装置、终端、介质 | |
| CN112346736B (zh) | 一种数据处理方法和*** | |
| CN113761281B (zh) | 虚拟资源处理方法、装置、介质及电子设备 | |
| CN113379768A (zh) | 一种图像处理方法、装置、存储介质和计算机设备 | |
| CN115390663B (zh) | 一种虚拟人机交互方法、***、设备及存储介质 | |
| KR20200112191A (ko) | 영상 속 2d 오브젝트에 3d 텍스처를 자동으로 매핑해서 3d 오브젝트를 생성하는 시스템 및 방법 | |
| CN112685588B (zh) | 资源推荐方法、装置、设备和存储介质 | |
| CN114554297B (zh) | 页面截图方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 301-40, Building 3, Phase I, University Science Park, No. 20 Jianxiong Road, Science and Education New Town, Taicang City, Suzhou City, Jiangsu Province, 215411 Applicant after: Camikasi (Taicang) Technology Co.,Ltd. Address before: No. 301-40, Building 3, Phase I, University Science Park, No. 20 Jianxiong Road, Science and Education New Town, Taicang City, Suzhou City, Jiangsu Province, 215411 Applicant before: Taicang Camicasi Technology Co.,Ltd. |
|
| CB02 | Change of applicant information |