CN116109743B - 一种基于ai和图像合成技术的数字人生成方法及*** - Google Patents

一种基于ai和图像合成技术的数字人生成方法及*** Download PDF

Info

Publication number
CN116109743B
CN116109743B CN202310375969.6A CN202310375969A CN116109743B CN 116109743 B CN116109743 B CN 116109743B CN 202310375969 A CN202310375969 A CN 202310375969A CN 116109743 B CN116109743 B CN 116109743B
Authority
CN
China
Prior art keywords
image
noise reduction
pixel points
digital person
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310375969.6A
Other languages
English (en)
Other versions
CN116109743A (zh
Inventor
郑飞
胡伟
谢宇笙
徐龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Intelligent Computing Information Technology Co ltd
Original Assignee
Guangzhou Intelligent Computing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Intelligent Computing Information Technology Co ltd filed Critical Guangzhou Intelligent Computing Information Technology Co ltd
Priority to CN202310375969.6A priority Critical patent/CN116109743B/zh
Publication of CN116109743A publication Critical patent/CN116109743A/zh
Application granted granted Critical
Publication of CN116109743B publication Critical patent/CN116109743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数字人领域，公开了一种基于AI和图像合成技术的数字人生成方法及***，方法包括S1，获取真实人脸图像P；S2，对P进行预处理，获得预处理图像aP；S3，对aP进行降噪处理，通过边缘检测获得边缘像素点后，由边缘像素点及其邻近的像素点组成第一图像oneP，同时将由剩余的像素点组成第二图像twoP，对oneP和twoP的降噪结果进行合并，获得降噪图像bP：S4，对bP进行三维重建，获得三维人脸模型；S5，基于三维人脸模型生成数字人。本发明能够使得生成的数字人的脸部与真实的人脸图像中的脸部更为相似。

Description

一种基于AI和图像合成技术的数字人生成方法及***
技术领域
本发明涉及数字人领域，尤其涉及一种基于AI和图像合成技术的数字人生成方法及***。
背景技术
数字人是指运用数字技术创造出来的、与人类形象接近的数字化人物形象。 数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真的结果。为了使得数字人的脸部表情与真实的人的脸部表情更为相似，现有技术中一般基于真实的人脸图像来进行三维建模，得到三维人脸，接着再将三维的人脸中的骨骼信息和贴图信息应用到数字人的脸部，从而获得基于与真实的人脸相似的脸部的数字人。
现有技术中，在对人脸图像进行三维建模之前，需要对人脸图像进行降噪处理，降低噪点对三维建模的准确率的影响，从而提高生成的数字人的脸部与真实的人脸图像中的脸部之间的相似度。但是现有的降噪处理方法，在降噪的过程中并没有对边缘像素点进行区分，由于边缘像素点与噪声像素点具有相似的特征，则很容易导致边缘像素点被当做噪声像素点进行了降噪处理，使得脸部边缘变得模糊，影响三维重建的准确率，从而影响生成的数字人的脸部与真实的人脸图像中的脸部之间的相似度。
发明内容
本发明的目的在于公开一种基于AI和图像合成技术的数字人生成方法及***，解决现有的数字人生成过程中，在三维重建时未对边缘像素点进行区分便进行降噪处理，影响生成的数字人的脸部与真实的人脸图像中的脸部之间的相似度的问题。
为了达到上述目的，本发明采用如下技术方案：
一方面，本发明提供了一种基于AI和图像合成技术的数字人生成方法，包括：
S1，获取真实人脸图像P；
S2，对P进行预处理，获得预处理图像aP；
S3，采用如下方式对aP进行降噪处理，获得降噪图像bP：
S31，对aP进行边缘检测，获得边缘像素点的集合oneSet；
S32，分别获取每个边缘像素点所对应的降噪窗口内的像素点；
S33，将所有降噪窗口内的像素点存入集合twoSet；
S34，将aP中不属于集合twoSet的像素点存入集合thrSet；
S35，由集合twoSet中的像素点组成第一图像oneP，由集合thrSet中的像素点组成第二图像twoP；
S36，分别对oneP和twoP中的像素点进行降噪处理，获得降噪后的第一图像afOneP和降噪后的第二图像afTwoP；
S37，将afOneP和afTwoP进行合并，得到降噪图像bP；
S4，对bP进行三维重建，获得三维人脸模型；
S5，基于三维人脸模型生成数字人。
另一方面，本发明还提供了一种基于AI和图像合成技术的数字人生成***，包括获取模块、预处理模块、降噪模块、重建模块和生成模块；
获取模块用于获取真实人脸图像P；
预处理模块用于对P进行预处理，获得预处理图像aP；
降噪模块用于采用如下方式对aP进行降噪处理，获得降噪图像bP：
对aP进行边缘检测，获得边缘像素点的集合oneSet；
分别获取每个边缘像素点所对应的降噪窗口内的像素点；
将所有降噪窗口内的像素点存入集合twoSet；
将aP中不属于集合twoSet的像素点存入集合thrSet；
由集合twoSet中的像素点组成第一图像oneP，由集合thrSet中的像素点组成第二图像twoP；
分别对oneP和twoP中的像素点进行降噪处理，获得降噪后的第一图像afOneP和降噪后的第二图像afTwoP；
将afOneP和afTwoP进行合并，得到降噪图像bP；
重建模块用于对bP进行三维重建，获得三维人脸模型；
生成模块用于基于三维人脸模型生成数字人。
与现有的生成数字人过程中的对真实人脸图像的降噪方式相比，本发明在进行降噪时通过先进行边缘检测，然后获取每个边缘像素点所对应的降噪窗口的像素点，接着基于所有降噪窗口的像素点组成了第一图像，同时，aP中除了第一图像中的像素点之外的像素点组成了第二图像，最后分别对第一图像和第二图像进行降噪处理，并基于降噪处理的结果得到了最终的降噪图像bP。由于边缘像素点和普通的像素点进行了区分，采用了不同的降噪方式来进行降噪处理，所以最终的降噪结果能够使得真实人脸图像中的边缘信息得到有效的保留，有效地提高了三维重建的准确率，从而使得生成的数字人的脸部与真实的人脸图像中的脸部更为相似。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明一种基于AI和图像合成技术的数字人生成方法的一种实施例图。
图2为本发明对P进行预处理，获得预处理图像aP的一种实施例图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
一方面，如图1所示的一种实施例，本发明提供了一种基于AI和图像合成技术的数字人生成方法，包括：
S1，获取真实人脸图像P；
S2，对P进行预处理，获得预处理图像aP；
S3，采用如下方式对aP进行降噪处理，获得降噪图像bP：
S31，对aP进行边缘检测，获得边缘像素点的集合oneSet；
S32，分别获取每个边缘像素点所对应的降噪窗口内的像素点；
S33，将所有降噪窗口内的像素点存入集合twoSet；
S34，将aP中不属于集合twoSet的像素点存入集合thrSet；
S35，由集合twoSet中的像素点组成第一图像oneP，由集合thrSet中的像素点组成第二图像twoP；
S36，分别对oneP和twoP中的像素点进行降噪处理，获得降噪后的第一图像afOneP和降噪后的第二图像afTwoP；
S37，将afOneP和afTwoP进行合并，得到降噪图像bP；
S4，对bP进行三维重建，获得三维人脸模型；
S5，基于三维人脸模型生成数字人。
与现有的生成数字人过程中的对真实人脸图像的降噪方式相比，本发明在进行降噪时通过先进行边缘检测，然后获取每个边缘像素点所对应的降噪窗口的像素点，接着基于所有降噪窗口的像素点组成了第一图像，同时，aP中除了第一图像中的像素点之外的像素点组成了第二图像，最后分别对第一图像和第二图像进行降噪处理，并基于降噪处理的结果得到了最终的降噪图像bP。由于边缘像素点和普通的像素点进行了区分，采用了不同的降噪方式来进行降噪处理，所以最终的降噪结果能够使得真实人脸图像中的边缘信息得到有效的保留，有效地提高了三维重建的准确率，从而使得生成的数字人的脸部与真实的人脸图像中的脸部更为相似。
优选地，如图2所示，所述S2包括：
S21，将P分成多个大小相同的子块；
S22，分别对每个子块进行亮度调节处理，获得亮度调节后的子块；
S23，将所有亮度调节后的子块组成预处理图像aP。
具体的，进行亮度调节处理能够均衡真实人脸图像中的亮度分布，从而避免由于亮度不均匀对三维重建的准确率造成影响。
优选地，对于子块sonBk，采用如下方式对sonBk进行亮度调节处理：
获取sonBk在Lab颜色空间中的亮度分量所对应的图像imgLig；
获取sonBk对应的灰度图像imgGra；
基于retinex模型，获取imgGra所对应的光照图像imgLi；
将imgLig与imgLi进行图像的减运算，获得imgLig所对应的反射图像imgDc；
将imgGra转化为均值图像imgAve；
将imgAve和imgDc进行图像的加运算，得到图像imgRt；
将imgRt转换回RGB颜色空间，得到亮度调节后的子块。
现有的基于retinex的亮度调节算法，一般是在同一个颜色空间中进行亮度调节处理，例如仅在RGB颜色空间中进行亮度调节处理，但是，这样的处理方式很容易导致获得的图像中像素级数量分布不足，即导致获得的图像的动态范围变差。因此，本发明通过分别在Lab颜色空间和灰度空间中进行运算，特别是加入了均值图像，在均值图像中限制了间隔的数量，使得在均衡了光照的分布的同时，有效地延缓了像素值级的数量的减少幅度，使得均衡后的图像的动态范围尽可能地得到保持。
优选地，所述基于retinex模型，获取imgGra所对应的光照图像imgLi，包括：
对imgGra进行高斯滤波处理，获得光照图像imgLi。
优选地，所述将imgLig与imgLi进行图像的减运算，获得imgLig所对应的反射图像imgDc，包括：
采用如下公式进行减运算：
logimgDc=logimgLig-logimgLi。
优选地，所述将imgAve和imgDc进行图像的加运算，得到图像imgRt，包括：
采用如下公式进行加运算：
logimgRt=logimgAve+logimgDc。
优选地，所述将imgGra转化为均值图像imgAve，包括：
将imgGra中灰度值的最大值和最小值分别记为maGra和miGra；
采用如下方式计算灰度值间隔：
Figure SMS_1
其中，flGra表示灰度值间隔，Q表示间隔数量；
将像素值在
Figure SMS_2
范围内的像素点的像素值统一设置为/>
Figure SMS_3
，/>
Figure SMS_4
，i为整数，/>
Figure SMS_5
表示像素值在
Figure SMS_6
范围内的像素点的像素值的平均值。
通过设置Q的数量，实现对图像中的像素级的限制，从而使得均衡后的图像的动态范围得到保持。
优选地，所述S31包括：
使用拉普拉斯边缘检测算子对aP进行边缘检测，获得边缘像素点；
将所有获得的边缘像素点存入集合oneSet。
具体的，除了拉普拉斯边缘检测算子之外，还可以采用其它的能够实现边缘检测的算法来获取边缘像素点。
优选地，所述S32包括：
对于边缘像素点blPix，以blPix为中心，将大小为H×H的窗口W作为blPix的降噪窗口；
将处于窗口W内的像素点作为blPix所对应的降噪窗口内的像素点。
获取降噪窗口，能够为边缘像素点的降噪提供参考邻域。
优选地，所述S36包括：
对于第一图像oneP，采用改进的小波降噪算法对oneP进行降噪处理，获得降噪后的第一图像afOneP；
对于第二图像twoP，采用混合降噪算法对twoP进行降噪处理，获得降噪后的第二图像afTwoP。
在本发明中，基于边缘像素点和普通像素点的特性，采用了不同的降噪方式来进行降噪处理，从而提高了降噪处理结果的准确性。对于检测出来的边缘像素点，由于可能存在噪声像素点，因此，本发明采用了对噪声检测准确度较高，但是耗时比较长的小波降噪算法来进行降噪处理，从而避免将边缘像素点当作噪声像素点来进行降噪，造成边缘细节模糊。而对于普通的像素点，本发明采用了混合降噪算法，由于不涉及到计算域的变换，因此，效率较高。但是本发明采用的不是单一的降噪算法，而是先通过取中间值进行降噪获取中间图像，然后基于中间图像来进行突出检测，对突出像素点进行降噪处理，从而在提高降噪结果准确率的同时，避免第二次还对所有的像素点进行降噪处理，提高降噪处理效率。
优选地，所述采用改进的小波降噪算法对oneP进行降噪处理，获得降噪后的第一图像afOneP，包括：
对oneP进行小波分解，获得高频小波系数hwcf和低频小波系数lwcf；
使用如下方式对高频小波系数hwcf进行处理，获得处理后的高频小波系数dhwcf：
若
Figure SMS_7
，则采用如下改进的阈值公式对hwcf进行处理：
Figure SMS_8
若
Figure SMS_9
，则采用如下改进的阈值公式对hwcf进行处理：
Figure SMS_10
其中，gthre表示小波降噪阈值，sgn表示符号函数，c表示常数参数，
Figure SMS_11
表示第一控制系数，/>
Figure SMS_12
，hpixet表示oneP中像素值大于T的像素点的差异度系数，alpixet表示oneP中所有像素点的差异度系数，T为使用大津法对oneP进行计算得到的分割阈值，/>
Figure SMS_13
表示第二控制系数，/>
Figure SMS_14
；
将dhwcf和lwcf进行重构，得到降噪后的第一图像afOneP。
与现有的小波降噪算法相比，本发明在阈值公式的设置中引入了差异度系数，差异度系数越大，表示oneP中的像素值的分布情况越复杂，包含噪声像素点的可能性也越大，此时阈值公式会往软阈值函数靠拢，提高降噪效果，而当示oneP中的像素值的分布情况越简单时，则包含噪声像素点的可能性也越小，此时阈值公式会往硬阈值函数靠拢，保留更多的细节信息，从而实现了降噪效果和降噪效率之间的平衡。
优选地，hpixet采用如下公式计算：
Figure SMS_15
其中，btu表示oneP中像素值大于T的像素点中的所有像素级的集合，num u 表示像素级为u的像素点的数量，numbtu表示oneP中像素值大于T的像素点的总数。
优选地，alpixet采用如下公式计算：
Figure SMS_16
其中，alu表示oneP中的所有像素级的集合，num v 表示像素级为v的像素点的数量，numalu表示oneP中的像素点的总数。
优选地，所述采用混合降噪算法对twoP进行降噪处理，获得降噪后的第二图像afTwoP，包括：
使用如下公式分别对twoP中的每个像素点进行降噪处理，获得中间图像F：
Figure SMS_17
其中，F(a)表示对twoP中的像素点a进行降噪处理后，像素点a的像素值，nei a 表示像素点a的8邻域中的像素点的集合，midFli(nei a )表示对nei a 中的像素点的像素值进行排序，然后取nei a 中的像素点的像素值的中间值；
对中间图像F中的像素点进行突出检测，获得突出像素点的集合tcSet；
采用DnCNN降噪算法分别对集合tcSet中的每个像素点进行降噪处理，获得降噪后的第二图像afTwoP。
优选地，所述对中间图像F中的像素点进行突出检测，获得突出像素点的集合tcSet，包括：
对于中间图像F中的像素点b，采用如下公式计算b的突出检测参数tcpix(b)：
Figure SMS_18
其中，F(b)表示像素点b在F中的像素值，twoP(b)表示像素点b在twoP中对应的像素点的像素值；
若tcpix(b)大于设定的门槛值，则像素点b为突出像素点。
优选地，所述S4包括：
使用基于3DMM模型的三维重建算法对bP进行三维重建，获得三维人脸模型；
获取bP中的人脸纹理贴图。
具体的，三维重建算法可以是2DASL算法、FML算法等。
优选地，所述S5包括：
获取数字人的脸部的拓扑结构；
将三维人脸模型与数字人的脸部的拓扑结构进行配准，获得配准人脸模型；
基于配准人脸模型获取带有骨骼点的目标人脸模型；
将人脸纹理贴图应用到目标人脸模型中，生成数字人的脸部。
具体的，在本发明中，获得降噪图像后，生成数字人的步骤采用的是现有技术中已经存在的步骤。
由于数字人的脸部的拓扑结构和三维人脸模型中的拓扑结构并不相同，因此，需要将三维人脸模型中的顶点与数字人的脸部的拓扑结构中的顶点进行配准。
骨骼点的作用是在脸部表情发生变化时，使得数字人的脸部中的表情也发生变化。
将人脸纹理贴图应用到目标人脸模型中，需要先将人脸纹理贴图与目标拓扑结构进行配准，获得配准的人脸纹理贴图，然后便可以将配准的人脸纹理贴图应用到目标人脸模型中，生成数字人的脸部。
经过了人脸模型的配准和人脸纹理贴图的配准，当需要连续对多张人脸图像进行生产对应的数字人的脸部时，数字人中的表情会随着多张人脸图像中的表情变化而变化。
另一方面，本发明还提供了一种基于AI和图像合成技术的数字人生成***，包括获取模块、预处理模块、降噪模块、重建模块和生成模块；
获取模块用于获取真实人脸图像P；
预处理模块用于对P进行预处理，获得预处理图像aP；
降噪模块用于采用如下方式对aP进行降噪处理，获得降噪图像bP：
对aP进行边缘检测，获得边缘像素点的集合oneSet；
分别获取每个边缘像素点所对应的降噪窗口内的像素点；
将所有降噪窗口内的像素点存入集合twoSet；
将aP中不属于集合twoSet的像素点存入集合thrSet；
由集合twoSet中的像素点组成第一图像oneP，由集合thrSet中的像素点组成第二图像twoP；
分别对oneP和twoP中的像素点进行降噪处理，获得降噪后的第一图像afOneP和降噪后的第二图像afTwoP；
将afOneP和afTwoP进行合并，得到降噪图像bP；
重建模块用于对bP进行三维重建，获得三维人脸模型；
生成模块用于基于三维人脸模型生成数字人。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (7)

1.一种基于AI和图像合成技术的数字人生成方法，其特征在于，包括：
S1，获取真实人脸图像
Figure QLYQS_1
；
S2，对
Figure QLYQS_2
进行预处理，获得预处理图像/>
Figure QLYQS_3
；
S3，采用如下方式对
Figure QLYQS_4
进行降噪处理，获得降噪图像/>
Figure QLYQS_5
：
S31，对
Figure QLYQS_6
进行边缘检测，获得边缘像素点的集合/>
Figure QLYQS_7
；
S32，分别获取每个边缘像素点所对应的降噪窗口内的像素点；
S33，将所有降噪窗口内的像素点存入集合
Figure QLYQS_8
；
S34，将
Figure QLYQS_9
中不属于集合/>
Figure QLYQS_10
的像素点存入集合/>
Figure QLYQS_11
；
S35，由集合
Figure QLYQS_12
中的像素点组成第一图像/>
Figure QLYQS_13
，由集合/>
Figure QLYQS_14
中的像素点组成第二图像/>
Figure QLYQS_15
；
S36，分别对
Figure QLYQS_16
和/>
Figure QLYQS_17
中的像素点进行降噪处理，获得降噪后的第一图像/>
Figure QLYQS_18
和降噪后的第二图像/>
Figure QLYQS_19
；
S37，将
Figure QLYQS_20
和/>
Figure QLYQS_21
进行合并，得到降噪图像/>
Figure QLYQS_22
；
S4，对
Figure QLYQS_23
进行三维重建，获得三维人脸模型；
S5，基于三维人脸模型生成数字人；
所述S2包括：
S21，将P分成多个大小相同的子块；
S22，分别对每个子块进行亮度调节处理，获得亮度调节后的子块；
S23，将所有亮度调节后的子块组成预处理图像
Figure QLYQS_24
；
对于子块
Figure QLYQS_25
，采用如下方式对/>
Figure QLYQS_26
进行亮度调节处理：
获取
Figure QLYQS_27
在Lab颜色空间中的亮度分量所对应的图像/>
Figure QLYQS_28
；
获取
Figure QLYQS_29
对应的灰度图像/>
Figure QLYQS_30
；
基于retinex模型，获取
Figure QLYQS_31
所对应的光照图像/>
Figure QLYQS_32
；
将
Figure QLYQS_33
与/>
Figure QLYQS_34
进行图像的减运算，获得/>
Figure QLYQS_35
所对应的反射图像/>
Figure QLYQS_36
；
将
Figure QLYQS_37
转化为均值图像/>
Figure QLYQS_38
；
将
Figure QLYQS_39
和/>
Figure QLYQS_40
进行图像的加运算，得到图像/>
Figure QLYQS_41
；
将
Figure QLYQS_42
转换回RGB颜色空间，得到亮度调节后的子块。
2.根据权利要求1所述的一种基于AI和图像合成技术的数字人生成方法，其特征在于，所述S31包括：
使用拉普拉斯边缘检测算子对
Figure QLYQS_43
进行边缘检测，获得边缘像素点；
将所有获得的边缘像素点存入集合
Figure QLYQS_44
。
3.根据权利要求1所述的一种基于AI和图像合成技术的数字人生成方法，其特征在于，所述S32包括：
对于边缘像素点
Figure QLYQS_45
，以/>
Figure QLYQS_46
为中心，将大小为/>
Figure QLYQS_47
的窗口/>
Figure QLYQS_48
作为/>
Figure QLYQS_49
的降噪窗口；
将处于窗口
Figure QLYQS_50
内的像素点作为/>
Figure QLYQS_51
所对应的降噪窗口内的像素点。
4.根据权利要求1所述的一种基于AI和图像合成技术的数字人生成方法，其特征在于，所述S36包括：
对于第一图像
Figure QLYQS_52
，采用改进的小波降噪算法对/>
Figure QLYQS_53
进行降噪处理，获得降噪后的第一图像/>
Figure QLYQS_54
；
对于第二图像
Figure QLYQS_55
，采用混合降噪算法对/>
Figure QLYQS_56
进行降噪处理，获得降噪后的第二图像
Figure QLYQS_57
。
5.根据权利要求1所述的一种基于AI和图像合成技术的数字人生成方法，其特征在于，所述S4包括：
使用基于3DMM模型的三维重建算法对
Figure QLYQS_58
进行三维重建，获得三维人脸模型；
获取
Figure QLYQS_59
中的人脸纹理贴图。
6.根据权利要求5所述的一种基于AI和图像合成技术的数字人生成方法，其特征在于，所述S5包括：
获取数字人的脸部的拓扑结构；
将三维人脸模型与数字人的脸部的拓扑结构进行配准，获得配准人脸模型；
基于配准人脸模型获取带有骨骼点的目标人脸模型；
将人脸纹理贴图应用到目标人脸模型中，生成数字人的脸部。
7.一种基于AI和图像合成技术的数字人生成***，其特征在于，包括获取模块、预处理模块、降噪模块、重建模块和生成模块；
获取模块用于获取真实人脸图像
Figure QLYQS_60
；
预处理模块用于对
Figure QLYQS_61
进行预处理，获得预处理图像/>
Figure QLYQS_62
；
降噪模块用于采用如下方式对
Figure QLYQS_63
进行降噪处理，获得降噪图像/>
Figure QLYQS_64
：
对
Figure QLYQS_65
进行边缘检测，获得边缘像素点的集合/>
Figure QLYQS_66
；
分别获取每个边缘像素点所对应的降噪窗口内的像素点；
将所有降噪窗口内的像素点存入集合
Figure QLYQS_67
；
将
Figure QLYQS_68
中不属于集合/>
Figure QLYQS_69
的像素点存入集合/>
Figure QLYQS_70
；
由集合
Figure QLYQS_71
中的像素点组成第一图像/>
Figure QLYQS_72
，由集合/>
Figure QLYQS_73
中的像素点组成第二图像
Figure QLYQS_74
；
分别对
Figure QLYQS_75
和/>
Figure QLYQS_76
中的像素点进行降噪处理，获得降噪后的第一图像/>
Figure QLYQS_77
和降噪后的第二图像/>
Figure QLYQS_78
；
将
Figure QLYQS_79
和/>
Figure QLYQS_80
进行合并，得到降噪图像/>
Figure QLYQS_81
；
重建模块用于对
Figure QLYQS_82
进行三维重建，获得三维人脸模型；
生成模块用于基于三维人脸模型生成数字人；
对
Figure QLYQS_83
进行预处理，获得预处理图像/>
Figure QLYQS_84
，包括：
S21，将P分成多个大小相同的子块；
S22，分别对每个子块进行亮度调节处理，获得亮度调节后的子块；
S23，将所有亮度调节后的子块组成预处理图像
Figure QLYQS_85
；
对于子块
Figure QLYQS_86
，采用如下方式对/>
Figure QLYQS_87
进行亮度调节处理：
获取
Figure QLYQS_88
在Lab颜色空间中的亮度分量所对应的图像/>
Figure QLYQS_89
；
获取
Figure QLYQS_90
对应的灰度图像/>
Figure QLYQS_91
；
基于retinex模型，获取
Figure QLYQS_92
所对应的光照图像/>
Figure QLYQS_93
；
将
Figure QLYQS_94
与/>
Figure QLYQS_95
进行图像的减运算，获得/>
Figure QLYQS_96
所对应的反射图像/>
Figure QLYQS_97
；
将
Figure QLYQS_98
转化为均值图像/>
Figure QLYQS_99
；
将
Figure QLYQS_100
和/>
Figure QLYQS_101
进行图像的加运算，得到图像/>
Figure QLYQS_102
；
将
Figure QLYQS_103
转换回RGB颜色空间，得到亮度调节后的子块。
CN202310375969.6A 2023-04-11 2023-04-11 一种基于ai和图像合成技术的数字人生成方法及*** Active CN116109743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310375969.6A CN116109743B (zh) 2023-04-11 2023-04-11 一种基于ai和图像合成技术的数字人生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310375969.6A CN116109743B (zh) 2023-04-11 2023-04-11 一种基于ai和图像合成技术的数字人生成方法及***

Publications (2)

Publication Number Publication Date
CN116109743A CN116109743A (zh) 2023-05-12
CN116109743B true CN116109743B (zh) 2023-06-20

Family

ID=86261910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310375969.6A Active CN116109743B (zh) 2023-04-11 2023-04-11 一种基于ai和图像合成技术的数字人生成方法及***

Country Status (1)

Country Link
CN (1) CN116109743B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN115660964A (zh) * 2022-08-18 2023-01-31 贵州大学 基于阈值分区加权亮度分量的夜间道路图像增强方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP2008165312A (ja) * 2006-12-27 2008-07-17 Konica Minolta Holdings Inc 画像処理装置及び画像処理方法
US10303973B2 (en) * 2015-04-15 2019-05-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN113506367B (zh) * 2021-08-24 2024-02-27 广州虎牙科技有限公司 一种三维人脸模型训练方法、三维人脸重建方法及相关装置
CN114693876A (zh) * 2022-04-06 2022-07-01 北京字跳网络技术有限公司 数字人生成方法、装置、存储介质和电子设备
CN114863030B (zh) * 2022-05-23 2023-05-23 广州数舜数字化科技有限公司 基于人脸识别和图像处理技术生成自定义3d模型的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN115660964A (zh) * 2022-08-18 2023-01-31 贵州大学 基于阈值分区加权亮度分量的夜间道路图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Retinex理论的压缩域图像增强方法研究;汪荣贵 等;计算机研究与发展;全文 *

Also Published As

Publication number Publication date
CN116109743A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Wang et al. Single image dehazing based on the physical model and MSRCR algorithm
Li et al. Image fusion with guided filtering
CN105654436B (zh) 一种基于前景背景分离的背光图像增强去噪方法
CN107358585B (zh) 基于分数阶微分及暗原色先验的雾天图像增强方法
CN104463804B (zh) 一种基于直觉模糊集的图像增强方法
CN106875358A (zh) 基于Bayer格式的图像增强方法及图像增强装置
CN106709504B (zh) 细节保持的高保真色调映射方法
CN106683056A (zh) 一种机载光电红外数字图像处理方法及装置
CN112819688A (zh) 一种sar图像转类光学图像的转换方法及***
Cai et al. Perception preserving decolorization
CN117252773A (zh) 基于自适应颜色校正和导向滤波的图像增强方法及***
Lei et al. Low-light image enhancement using the cell vibration model
Gu et al. A novel Retinex image enhancement approach via brightness channel prior and change of detail prior
CN116109743B (zh) 一种基于ai和图像合成技术的数字人生成方法及***
CN111462084B (zh) 基于随机森林的图像矢量化印刷出血点预测***和方法
CN114897757B (zh) 一种基于nsst和参数自适应pcnn的遥感图像融合方法
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
CN116468627A (zh) 一种基于二次加权快速导向滤波的内窥镜图像增强方法
Huang et al. An efficient single image enhancement approach using luminance perception transformation
CN107392869A (zh) 一种基于边缘保持滤波器的人脸图像滤波方法
Wang et al. New region-based image fusion scheme using the discrete wavelet frame transform
CN110796609B (zh) 基于尺度感知和细节增强模型的低光图像增强方法
CN113610863A (zh) 多曝光图像融合质量评估方法
David Low illumination image enhancement algorithm using iterative recursive filter and visual gamma transformation function
Meng et al. Multi-modal MRI image fusion of the brain based on joint bilateral filter and non-subsampled shearlet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant