CN117237547B - 图像重建方法、重建模型的处理方法和装置 - Google Patents
图像重建方法、重建模型的处理方法和装置 Download PDFInfo
- Publication number
- CN117237547B CN117237547B CN202311518981.4A CN202311518981A CN117237547B CN 117237547 B CN117237547 B CN 117237547B CN 202311518981 A CN202311518981 A CN 202311518981A CN 117237547 B CN117237547 B CN 117237547B
- Authority
- CN
- China
- Prior art keywords
- face
- point
- sampling point
- current
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003672 processing method Methods 0.000 title abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 485
- 230000005855 radiation Effects 0.000 claims abstract description 457
- 230000014509 gene expression Effects 0.000 claims abstract description 171
- 210000005036 nerve Anatomy 0.000 claims abstract description 78
- 238000004590 computer program Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 118
- 238000009877 rendering Methods 0.000 claims description 106
- 230000001537 neural effect Effects 0.000 claims description 101
- 230000000694 effects Effects 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 35
- 230000002776 aggregation Effects 0.000 claims description 34
- 238000004220 aggregation Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000007499 fusion processing Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- WHHGLZMJPXIBIX-UHFFFAOYSA-N decabromodiphenyl ether Chemical compound BrC1=C(Br)C(Br)=C(Br)C(Br)=C1OC1=C(Br)C(Br)=C(Br)C(Br)=C1Br WHHGLZMJPXIBIX-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种图像重建方法、重建模型的处理方法、装置、计算机设备、存储介质和计算机程序产品，可应用于人工智能领域，该方法包括：获取待处理图像对应的拍摄参数，基于拍摄参数构建目标辐射射线，分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取待处理图像中目标对象的人脸姿态和表情参数；对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。提升了三维人脸模型准确度。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像重建方法、重建模型的处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，各种各样的应用程序涌现，比如：购物类应用程序、社交类应用程序、图像处理类应用程序，其中，图像处理类应用程序提供各种各样的功能特效，可提升玩法趣味性。图像处理类应用程序需要先完成三维人脸的重建，才能完成特效的添加。
传统技术中，在重建三维人脸模型时，从待处理图像中提取人脸姿态和表情参数，将人脸姿态和表情参数融合到先验人脸模型中，得到待处理图像中人脸的三维模型。然而，这种方式得到的三维人脸模型准确度不高，不够逼真。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升三维人脸模型准确度的图像重建方法、重建模型的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像重建方法。方法包括：
获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取待处理图像中目标对象的人脸姿态和表情参数；
针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
第二方面，本申请提供了一种图像重建装置，其特征在于，装置包括：
获取模块，用于获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取模块，用于提取待处理图像中目标对象的人脸姿态和表情参数；
神经辐射处理模块，用于针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
构建模块，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
在一些实施例中，获取模块，具体用于基于虚拟拍摄点和虚拟图像平面的中心点，确定光轴射线；将虚拟图像平面沿着光轴射线向靠近虚拟拍摄点的方向平移预设距离，得到近光图像平面，将虚拟图像平面沿着光轴射线向远离虚拟拍摄点的方向平移预设距离，得到远光图像平面；针对每条目标辐射射线，将当前目标辐射射线和近光图像平面的交点作为采样起始点，将当前目标辐射射线和远光图像平面的交点作为采样终止点，在当前目标辐射射线上采样起始点和采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点。
在一些实施例中，提取模块，具体用于将待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，人脸样本数据包括人脸图像样本、人脸图像样本中人脸的标注姿态和标注表情参数。
在一些实施例中，表情参数包括表情形变参数和形状形变参数，图像重建装置还包括标准化模块，用于针对每个采样点，对人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；对姿态标准化结果、表情形变标准化结果和形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；神经辐射处理模块，具体用于针对每个标准化采样点，对当前标准化采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率。
在一些实施例中，神经辐射处理模块，具体用于将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；神经辐射场模型用于对采样点是否属于人脸表面点进行预测。
在一些实施例中，构建模块，还用于求取人脸概率在当前采样点处的法向梯度；将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标、人脸姿态以及表情参数进行处理后输出的；针对每条目标辐射射线，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各个人脸表面点的目标颜色信息，对三维人脸模型进行渲染后，得到渲染后的三维人脸模型。
在一些实施例中，构建模块，具体用于获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离；对各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于虚拟拍摄点和表面点距离，确定当前目标辐射射线对应的人脸表面点。
在一些实施例中，获取模块，还用于响应于特效处理请求，展示图像输入提醒信息；接收对象基于图像输入提醒信息输入的目标图像，将目标图像作为待处理图像；将目标图像对应的拍摄参数，作为待处理图像对应的拍摄参数；获取特效处理请求对应的特效处理参数，基于特效处理参数对三维人脸模型进行渲染处理，得到与特效处理请求匹配的特效图像。
第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取待处理图像中目标对象的人脸姿态和表情参数；
针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取待处理图像中目标对象的人脸姿态和表情参数；
针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取待处理图像中目标对象的人脸姿态和表情参数；
针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
上述图像重建方法、重建模型的处理方法、装置、计算机设备、存储介质和计算机程序产品，首先，获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取待处理图像中目标对象的人脸姿态和表情参数；然后，针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点；最后，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。这种结合实际拍摄参数对拍摄点和图像平面进行模拟，从而构建出三维辐射场，进而结合神经辐射场处理等手段进行人脸表面点还原的方式，使得最终得到的三维人脸模型更加准确和逼真。
附图说明
图1为一个实施例中图像重建方法的应用环境图；
图2为一个实施例中图像重建方法的流程示意图；
图3为一个实施例中构建辐射射线的原理图；
图4为一个实施例中采样点标准化处理的流程示意图；
图5为一个实施例中重建模型的处理方法的流程示意图；
图6为另一个实施例中重建模型的处理方法的流程示意图；
图7为一个实施例中构建三维人脸模型的流程图；
图8为一个实施例中图像重建装置的结构框图；
图9为一个实施例中重建模型的处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他服务器上。本申请实施例提供的图像重建方法可通过终端102或服务器104单独执行，或者通过终端102和服务器104共同协作执行。以终端102单独执行为例进行说明：首先，获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；然后，提取待处理图像中目标对象的人脸姿态和表情参数；针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点；最后，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云计算服务的云服务器。
本申请实施例提供的图像重建方法和重建模型的处理方法，可应用于人工智能(Artificial Intelligence, AI)领域，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
本申请实施例提供的图像重建方法和重建模型的处理方法，可用于对传统的计算机视觉技术(Computer Vision, CV)进行优化，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、检测和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。大模型技术为计算机视觉技术发展带来重要变革，swin-transformer，ViT，V-MOE，MAE等视觉领域的预训练模型经过微调（fine tune）可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供中的神经辐射场模型和神经渲染模型和通过机器学习(Machine Learning, ML)实现，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
在一些实施例中，如图2所示，提供了一种图像重建方法，以该方法应用于计算机设备为例进行说明。该计算机设备可以为图1中的终端或者服务器，或者为终端和服务器构成的***，该方法包括以下步骤：
步骤202，获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点。
其中，计算机设备上安装有图像拍摄装置，示例性的，图像拍摄装置例如可以为相机、摄像头等，计算机设备可以通过图像拍摄装置拍摄得到待处理图像。计算机设备可获取图像拍摄装置拍摄待处理图像时使用的拍摄参数，将该拍摄参数作为待处理图像对应的拍摄参数。示例性的，拍摄参数可以包括相机内参、相机外参等参数。
其中，计算机设备在得到待处理图像对应的拍摄参数后，可基于拍摄参数进行坐标转换，得到图像拍摄装置拍摄待处理图像时，图像拍摄装置的三维坐标点以及待处理图像对应的图像平面的三维坐标范围，可基于图像拍摄装置的三维坐标点，确定待处理图像在三维空间中的虚拟拍摄点，基于待处理图像对应的图像平面的三维坐标范围，确定待处理图像在三维空间中的虚拟图像平面。
其中，计算机设备在得到待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面后，可将虚拟拍摄点作为射线端点，向虚拟图像平面投放多条射线，可将投放的多条射线均作为辐射射线。
在具体实现中，计算机设备可将虚拟拍摄点作为射线端点，向虚拟图像平面上每个像素的像素中心投放射线，可以得到与像素数量匹配的多条辐射射线。
示例性的，参见图3所示，虚拟拍摄点为点O，虚拟图像平面包含7×5个像素，其中一个像素的像素中心为点A，从点O向点A投放射线，便可得到该像素对应的辐射射线，对所有的像素均做此处理，可以得到7×5条辐射射线。
其中，计算机设备在得到多条辐射射线后，可将所有的辐射射线均作为目标辐射射线，或者，在所有的辐射射线中筛选一部分作为目标辐射射线。本申请实施例对此不做限定。
在具体实现中，计算机设备在得到多条辐射射线后，对于虚拟图像平面上的每行辐射射线，可按照预设规则对该行辐射射线进行采样，将采样得到的辐射射线作为目标辐射射线。
其中，计算机设备在确定目标辐射射线后，可基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点。
在具体实现中，可基于虚拟图像平面确定近光图像平面和远光图像平面，针对每条目标辐射射线，可基于近光图像平面和远光图像平面，确定采样起始点和采样终止点，可在采样起始点和采样终止点之间进行采样，得到目标辐射射线上的多个采样点。
其中，计算机设备在确定采样起始点和采样终止点后，可以以采样起始点开始，在目标辐射射线上朝向采样终止点的方向，每隔固定距离采一个点，直到下一个采样点为采样终止点，或者下一个采样点不再采样起始点和采样终止点之间为止。
步骤204，提取待处理图像中目标对象的人脸姿态和表情参数。
其中，目标对象可以为人脸，人脸姿态用来描述人脸的方位朝向，人脸姿态可以包括俯仰角（pitch）、偏航角（yaw）和滚动角（roll），表情参数用来描述人脸表情状态，表情参数可以包括表情形变参数和形状形变参数，表情形变参数用来描述表情形变状态，形状形变参数用来描述形状形变状态。
示例性的，表情形变参数可以为1×41维的向量，每个维度用来描述人脸的表情形变，比如，是否张嘴、是否闭眼等；形状形变参数可以为1×100维的向量，每个维度用来描述人脸的形状形变，比如，鼻子是否变大、眼睛是否变小等。
其中，计算机设备可利用人脸特征提取模型，来提取待处理图像中目标对象的人脸姿态和表情参数。人脸特征提取模型基于人脸样本数据训练得到；或者，计算机设备可利用微表情捕捉和模拟（Detailed Expression Capture and Animation，简称DECA）算法来提取待处理图像中目标对象的人脸姿态和表情参数；或者，计算机设备还可采用其他方式来提取待处理图像中目标对象的人脸姿态和表情参数，本申请实施例对此不做限定。
步骤206，针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率。
其中，人脸姿态可以包括俯仰角（pitch）、偏航角（yaw）和滚动角（roll），可将人脸姿态转换为旋转矩阵，针对每个采样点，计算机设备可对当前采样点的三维坐标、旋转矩阵和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率。
在具体实现中，针对每个采样点，计算机设备可利用神经辐射场模型，对当前采样点的三维坐标、旋转矩阵和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率。当前采样点属于人脸表面点的人脸概率也称为当前采样点的占用率（Occupancy，简称Occ）。
步骤208，针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
其中，计算机设备在得到每个采样点属于人脸表面点的人脸概率后，针对每条目标辐射射线，可获取目标辐射射线上各个采样点与虚拟拍摄点之间的距离，基于各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率，确定目标辐射射线对应的人脸表面点。对每条目标辐射射线均做上述处理，可以得到每条目标辐射射线对应的人脸表面点。
其中，计算机设备在得到每条目标辐射射线对应的人脸表面点后，可获取能够覆盖所有人脸表面点的曲面，将该曲面作为三维人脸模型。
示例性的，虚拟拍摄点为点O，虚拟图像平面包含7×5个像素，从点O向每个像素的像素中心投放射线，可得到7×5条辐射射线，将7×5条辐射射线均作为目标辐射射线，通过上述方式获取每条目标辐射射线对应的人脸表面点，得到7×5个人脸表面点，将能够覆盖这7×5个人脸表面点的曲面，作为三维人脸模型。
上述实施例中，首先，获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取待处理图像中目标对象的人脸姿态和表情参数；然后，针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点；最后，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。这种结合实际拍摄参数对拍摄点和图像平面进行模拟，从而构建出三维辐射场，进而结合神经辐射场处理等手段进行人脸表面点还原的方式，使得最终得到的三维人脸模型更加准确和逼真。
在一些实施例中，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点，包括：基于虚拟拍摄点和虚拟图像平面的中心点，确定光轴射线；将虚拟图像平面沿着光轴射线向靠近虚拟拍摄点的方向平移预设距离，得到近光图像平面，将虚拟图像平面沿着光轴射线向远离虚拟拍摄点的方向平移预设距离，得到远光图像平面；针对每条目标辐射射线，将当前目标辐射射线和近光图像平面的交点作为采样起始点，将当前目标辐射射线和远光图像平面的交点作为采样终止点，在当前目标辐射射线上采样起始点和采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点。
其中，计算机设备可确定虚拟图像平面的中心点，从虚拟拍摄点向该中心点投放射线，便可得到光轴射线。
其中，预设距离可以为人类头部的平均厚度，或者可以为结合实际经验确定的距离，本申请实施例对此不做限定。
其中，计算机设备在确定光轴射线的情况下，可将虚拟图像平面沿着光轴射线向靠近虚拟拍摄点的方向平移预设距离，得到近光图像平面，将虚拟图像平面沿着光轴射线向远离虚拟拍摄点的方向平移预设距离，得到远光图像平面。
其中，针对每条目标辐射射线，将目标辐射射线和近光图像平面的交点作为采样起始点，将目标辐射射线和远光图像平面的交点作为采样终止点，以采样起始点开始，在目标辐射射线上朝向采样终止点的方向，每隔固定距离采一个点，直到下一个采样点为采样终止点，或者下一个采样点不在采样起始点和采样终止点之间为止，这样便可得到目标辐射射线上的多个采样点。
上述实施例中，提供了在目标辐射射线上进行采样的具体方式，首先确定光轴射线，再基于虚拟图像平面和光轴射线确定近光图像平面和远光图像平面，针对每条目标辐射射线，基于这两个平面圈定采样起始点和采样终止点，进而在采样起始点和采样终止点之间进行采样，由于人脸在三维空间中不是一个平面，有一定厚度，目标辐射射线上距离虚拟图像平面很远的采样点属于人脸的概率是很低的，上述方式先基于近光图像平面和远光图像平面在目标辐射射线上圈定采样区间，在该采样区间进行采样，避免无效采样得到太多无效采样点，减小了处理资源的浪费。
在一些实施例中，提取待处理图像中目标对象的人脸姿态和表情参数，包括：将待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，人脸样本数据包括人脸图像样本、人脸图像样本中人脸的标注姿态和标注表情参数。
其中，可通过如下方式训练人脸特征提取模型：获取人脸样本数据，人脸样本数据包括：人脸图像样本、人脸图像样本中人脸的标注姿态和标注表情参数，将人脸图像样本输入待训练的人脸特征提取模型，得到预测姿态和人脸预测表情参数，基于预测姿态、预测表情参数、标注姿态和标注表情参数，计算模型损失，基于模型损失，对待训练的人脸特征提取模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的人脸特征提取模型。
其中，计算机设备可将待处理图像输入训练完成的人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为待处理图像中目标对象的表情参数。
上述实施例中，提供了提取待处理图像中目标对象的人脸姿态和表情参数的具体方式，这种利用深度学习模型提取到的人脸姿态和表情参数更加准确，使得后续得到的三维人脸模型更加逼真。
在一些实施例中，参见图4所示，表情参数包括表情形变参数和形状形变参数，本申请实施例提供的图像重建方法，还包括：
步骤402，针对每个采样点，对人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果。
步骤404，对表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；
步骤406，对形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；
步骤408，对姿态标准化结果、表情形变标准化结果和形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点。
其中，为了得到不带姿态和表情的三维人脸模型，计算机设备在得到采样点后，可对采样点进行标准化处理，得到标准化采样点。每个采样点都对应一个标准化采样点。后续可针对每个标准化采样点，对当前标准化采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率。
在参数化人脸模型重建技术中，存在下面的换算公式：
通过上面的换算公式可以推导得到：
其中，T表示标准化采样点，表示采样点的三维坐标，R表示旋转矩阵，/>表示表情形变参数，/>表示表情形变网络参数，/>表示形状形变参数，/>表示形状形变网络参数。可采用该公式对采样点进行标准化处理，得到标准化采样点。
在具体实现中，计算机设备在得到人脸姿态后，可将人脸姿态转换为旋转矩阵，针对每个采样点，先计算旋转矩阵的转置，然后将采样点的三维坐标和旋转矩阵的转置/>相乘，得到/>；将表情形变参数和表情形变网络参数相乘，得到/>，将形状形变参数和形状形变网络参数相乘，得到/>，使用/>减去/>和/>，便可得到标准化采样点T。
示例性的，采样点的三维坐标为1×3的向量，旋转矩阵的转置可以为3×3的矩阵，/>为1×3的向量；表情形变参数为1×41的向量，表情形变网络参数为41×3的矩阵，/>为1×3的向量；形状形变参数为1×100的向量，形状形变网络参数为100×3的矩阵，/>为1×3的向量；最终得到的T也为1×3的向量。
上述实施例中，在目标辐射射线上采样得到采样点后，可对采样点进行标准化处理，具体的，首先获取姿态标准化结果、表情形变标准化结果以及形状形变标准化结果，然后再对这三种结果进行聚合处理，从而得到对应的标准化采样点，使得最终得到的三维人脸模型不带姿态和表情，更便于三维人脸模型的应用。
在一些实施例中，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率，包括：将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；神经辐射场模型用于对采样点是否属于人脸表面点进行预测。
其中，计算机设备可将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，由神经辐射场模型基于输入其中的这些数据进行人脸预测，输出当前采样点属于人脸表面点的人脸概率。
其中，神经辐射场模型的训练过程包括：获取图像样本对应的拍摄参数，基于拍摄参数，确定图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，从多条辐射射线中筛选得到至少一条目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取图像样本中目标对象的人脸姿态和表情参数；针对每个采样点，将当前采样点的三维坐标、人脸姿态和表情参数输入至待训练的神经辐射场模型，得到当前采样点属于人脸表面点的人脸概率和高层特征；将人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息；针对每条辐射射线，基于当前辐射射线上各个采样点各自对应的人脸概率，确定当前辐射射线对应的人脸表面点，基于当前辐射射线上各个采样点各自对应的颜色信息，确定人脸表面点的目标颜色信息；基于各人脸表面点的目标颜色信息和图像样本，计算模型损失；基于模型损失，对待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型。
需要说明的是：针对每个采样点，在利用神经辐射场模型进行人脸预测时，可先对采样点进行标准化处理，得到标准化采样点，将标准化采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，得到标准化采样点属于人脸表面点的人脸概率。
上述实施例中，提供了神经辐射处理的具体方式：将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率，这种利用深度学习模型来预测人脸的方式，准确度较高，使得后续得到的三维人脸模型更加逼真。
在一些实施例中，本申请实施例提供的图像重建方法，还包括：求取人脸概率在当前采样点处的法向梯度；将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标、人脸姿态以及表情参数进行处理后输出的；针对每条目标辐射射线，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各个人脸表面点的目标颜色信息，对三维人脸模型进行渲染后，得到渲染后的三维人脸模型。
在不加入标准化处理的情况下，针对每个采样点，计算机设备可求取该采样点属于人脸表面点的人脸概率在该采样点处的法向梯度。具体的，计算机设备可计算该采样点属于人脸表面点的人脸概率在对应标准化采样点处的法向梯度，基于该法向梯度和人脸姿态，确定该采样点属于人脸表面点的人脸概率在该采样点处的法向梯度。
在加入标准化处理的情况下，在得到各个采样点各自对应的标准化采样点后，针对每个标准化采样点，计算机设备可求取该标准化采样点属于人脸表面点的人脸概率在对应采样点处的法向梯度。具体的，计算机设备可计算该标准化采样点属于人脸表面点的人脸概率在该标准化采样点处的法向梯度，基于该法向梯度和人脸姿态，确定该标准化采样点属于人脸表面点的人脸概率在对应采样点处的法向梯度。
在具体实现中，在加入标准化处理的情况下，计算机设备可采用如下公式，计算该标准化采样点属于人脸表面点的人脸概率在当前采样点处的法向梯度：
其中，表示当前采样点，/>表示对当前采样点进行标准化处理得到的标准化采样点，/>为标准化采样点属于人脸表面点的人脸概率，/>表示标准化采样点属于人脸表面点的人脸概率在当前采样点处的法向梯度，/>表示标准化采样点属于人脸表面点的人脸概率在该标准化采样点处的法向梯度，/>表示人脸姿态。
其中，计算机设备将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型后，神经辐射场模型不仅会输出当前采样点属于人脸表面点的人脸概率，还会输出高层特征。
其中，计算机设备计算得到标准化采样点属于人脸表面点的人脸概率在当前采样点处的法向梯度后，可将该法向梯度、人脸姿态、表情参数、标准化采样点的三维坐标、标准化采样点属于人脸表面点的人脸概率、高层特征输入至训练完成的神经渲染模型，训练完成的神经渲染模型便会输出标准化采样点的颜色信息。
其中，标准化采样点的颜色信息包括红色分量（R）、绿色分量（G）和蓝色分量（B）的值。
其中，针对每条目标辐射射线，计算机设备在得到目标辐射射线上各采样点的颜色信息后，针对目标辐射射线上的每个采样点，可将该采样点的颜色信息和该采样点对应的人脸概率相乘，得到该采样点处的相乘结果，将目标辐射射线上所有采样点处的相乘结果相加，得到相加结果，将该相加结果除以目标辐射射线上所有采样点对应的人脸概率之和，便可得到目标辐射射线对应的人脸表面点的目标颜色信息。对所有目标辐射射线均做上述处理，可以得到各目标辐射射线各自对应的人脸表面点的目标颜色信息。
其中，计算机设备在得到各人脸表面点的目标颜色信息后，基于该目标颜色信息，将三维人脸模型上各人脸表面点渲染为对应的颜色，从而得到渲染后的三维人脸模型。
上述实施例中，提供了对三维人脸模型进行渲染的具体方式：首先，通过训练完成的神经渲染模型获取每个采样点的颜色信息，然后，针对每条目标辐射射线，基于目标辐射射线上各采样点的颜色信息，确定目标辐射射线对应的人脸表面点的目标颜色信息，基于各人脸表面点的目标颜色信息，对三维人脸模型进行渲染，得到渲染后的三维人脸模型，使得最终得到的三维人脸模型为待处理图像对应的拍摄场景下的模型，便于进行该拍摄场景下的特效处理。
在一些实施例中，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，包括：获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离；对各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于虚拟拍摄点和表面点距离，确定当前目标辐射射线对应的人脸表面点。
其中，计算机设备可获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离，针对当前目标辐射射线上每个采样点，将该采样点与虚拟拍摄点之间的距离和该采样点对应的人脸概率相乘，得到该采样点对应的相乘结果，将当前目标辐射射线上所有采样点对应的相乘结果相加，得到相加结果，将相加结果除以目标辐射射线上所有采样点对应的人脸概率之和，便可得到表面点距离。
其中，由于虚拟拍摄点的坐标和虚拟图像平面的坐标是已知的，可基于虚拟拍摄点的坐标和当前目标辐射射线对应的像素中心的坐标，求解得到当前目标辐射射线的坐标。可基于虚拟拍摄点的坐标、当前目标辐射射线的坐标以及上述表面点距离，计算得到当前目标辐射射线对应的人脸表面点的坐标。
上述实施例中，对于每条目标辐射射线，在得到目标辐射射线上各采样点各自对应的人脸概率后，可基于目标辐射射线上各个采样点与虚拟拍摄点之间的距离以及各个采样点各自对应的人脸概率，来确定目标辐射射线对应的人脸表面点，这种结合实际拍摄参数对拍摄点和图像平面进行模拟，从而构建出三维辐射场，进而结合神经辐射场处理等手段进行人脸表面点还原的方式，使得最终得到的三维人脸模型更加准确和逼真。
在一些实施例中，获取待处理图像对应的拍摄参数，包括：响应于特效处理请求，展示图像输入提醒信息；接收对象基于图像输入提醒信息输入的目标图像，将目标图像作为待处理图像；将目标图像对应的拍摄参数，作为待处理图像对应的拍摄参数。
其中，计算机设备上安装有具有特效处理功能的应用程序，该应用程序提供有特效选择界面，对象可在特效选择界面选择喜欢的特效，应用程序检测到对象的选择操作后，获取对象选择的特效所对应的特效处理参数，基于该特效处理参数生成特效处理请求，应用程序检测到该事件后，展示图像输入提醒信息。
其中，图像输入提醒信息可以为文字的形式，也可以为语音的形式，本申请实施例对此不做限定。
其中，对象在看到应用程序显示的图像输入提醒信息后，可通过计算机设备上的图像拍摄装置拍摄一张图像，作为目标图像，并输入至上述应用程序，或者在计算机设备本地存储的图像中选择一张图像，作为目标图像输入至上述应用程序。
其中，应用程序接收到目标图像后，可将该目标图像作为待处理图像，并获取图像拍摄装置拍摄目标图像时使用的拍摄参数，将该拍摄参数作为待处理图像对应的拍摄参数。
其中，应用程序可获取特效处理请求对应的特效处理参数，基于特效处理参数对三维人脸模型进行渲染处理，得到与特效处理请求匹配的特效图像。
其中，特效处理参数包括特效标识和渲染参数，渲染参数包括高光强度、环境光强度、光线偏移、渲染材质等。本申请实施例对此不做限定。
在具体实现中，应用程序可对特效处理请求进行解析，得到对象选择的特效所对应的特效处理参数，即，特效处理请求对应的特效处理参数，应用程序可基于特效处理参数，采用离线渲染、实时渲染、云渲染等技术对三维人脸模型进行渲染处理，得到与对象选择的特效相对应的特效图像，即，与特效处理请求匹配的特效图像。
上述实施例中，对象可触发生成特效处理请求，计算机设备响应于该特效处理请求，可提醒对象输入图像，计算机设备可将对象输入的图像作为待处理图像，在构建得到的三维人脸模型后，基于特征处理请求中携带的特效处理参数，对三维人脸模型进行渲染处理，从而得到与特效处理请求匹配的特效图像，增加图像玩法趣味性。
在一些实施例中，如图5所示，提供了一种重建模型的处理方法，以该方法应用于计算机设备为例进行说明。该计算机设备可以为图1中的终端或者服务器，或者为终端和服务器构成的***，该方法包括以下步骤：
步骤502，获取图像样本对应的拍摄参数，基于拍摄参数，确定图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点。
其中，图像样本可以由计算机设备上的图像拍摄装置拍摄得到，也可以由其他拍摄设备得到，为方便说明，将拍摄得到图像样本的硬件称为目标设备。
其中，计算机设备可获取目标设备拍摄图像样本时使用的拍摄参数，将该拍摄参数作为图像样本对应的拍摄参数。示例性的，拍摄参数可以包括相机内参、相机外参等参数。
其中，计算机设备在得到图像样本对应的拍摄参数后，可基于拍摄参数进行坐标转换，得到目标设备拍摄图像样本时，目标设备的三维坐标点以及图像样本对应的图像平面的三维坐标范围，可基于目标设备的三维坐标点，确定图像样本在三维空间中的虚拟拍摄点，基于图像样本对应的图像平面的三维坐标范围，确定图像样本在三维空间中的虚拟图像平面。
其中，计算机设备在得到图像样本在三维空间中的虚拟拍摄点和虚拟图像平面后，可将虚拟拍摄点作为射线端点，向虚拟图像平面投放多条射线，可将投放的多条射线均作为辐射射线。从辐射射线中确定目标辐射射线的方式、以及在目标辐射射线进行采样的方式，可参见前述实施例的描述，本申请实施例在此不再赘述。
步骤504，提取图像样本中目标对象的人脸姿态和表情参数。
其中，计算机设备可将图像样本输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为图像样本中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为图像样本中目标对象的表情参数。
步骤506，针对每个采样点，将当前采样点的三维坐标、人脸姿态和表情参数输入至待训练的神经辐射场模型，得到当前采样点属于人脸表面点的人脸概率和高层特征；将人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息。
其中，针对每个采样点，可对该采样点进行标准化处理，得到该采样点对应的标准化采样点，可将该标准化采样点的三维坐标、步骤504提取到的人脸姿态和表情参数，输入至待训练的神经辐射场模型，神经辐射场模型便会输出该标准化采样点属于人脸表面点的人脸概率和高层特征。将步骤504提取到的人脸姿态、表情参数、该标准化采样点的三维坐标、该标准化采样点属于人脸表面点的人脸概率、高层特征输入至待训练的神经渲染模型，待训练的神经渲染模型便会输出该标准化采样点的颜色信息。
步骤508，针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定人脸表面点的目标颜色信息。
其中，针对每条目标辐射射线，计算机设备可获取目标辐射射线上各个采样点与虚拟拍摄点之间的距离；对各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于虚拟拍摄点和表面点距离，确定当前目标辐射射线对应的人脸表面点。详细过程可参见前述实施例的描述，本申请实施例在此不再赘述。
其中，针对每条目标辐射射线，计算机设备可基于目标辐射射线上各个采样点各自对应的颜色信息以及各个采样点各自对应的人脸概率，确定目标辐射射线对应的人脸表面点的目标颜色信息。
步骤510，基于各人脸表面点的目标颜色信息和图像样本，计算模型损失。
其中，图像样本上的像素点和虚拟图像平面上的像素具有一一对应的关系，每条辐射射线又对应了虚拟图像平面上的一个像素，可将所有的辐射射线均作为目标辐射射线，这样，每条目标辐射射线都对应虚拟图像平面上的一个像素，每条目标辐射射线对应有一个人脸表面点，通过上述的对应关系可以得出，图像样本上的像素点和人脸表面点具有一一对应的关系。
其中，计算机设备可对图像样本进行人脸分割处理，得到人脸像素点和非人脸像素点；计算机设备可获取人脸像素点对应的第一人脸表面点，根据人脸像素点的像素值和第一人脸表面点的目标颜色信息，确定渲染损失，将该渲染损失作为模型损失。或者，计算机设备获取非人脸像素点对应的第二人脸表面点，根据非人脸像素点对应的概率标签和第二人脸表面点的目标颜色信息，确定掩膜损失，将该掩膜损失作为模型损失。或者，计算机设备在得到渲染损失和掩膜损失，对这两个损失进行加权求和，将加权求和结果作为模型损失。
步骤512，基于模型损失，对待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型。训练完成的神经辐射场模型和神经渲染模型用于构建三维人脸模型。
其中，计算机设备可对模型损失进行判断，在模型损失满足模型训练的停止条件时，不再进行参数调整，将当前得到的神经辐射场模型和神经渲染模型，作为训练完成的神经辐射场模型和神经渲染模型；在模型损失不满足模型训练的停止条件时，基于模型损失确定参数调整梯度，基于该参数调整梯度对待训练的神经辐射场模型和神经渲染模型进行参数调整，并返回步骤502，直到计算得到的模型损失满足模型训练的停止条件。
上述实施例中，提供了神经辐射场模型和神经渲染模型的训练方式，获取图像样本对应的拍摄参数，基于拍摄参数，确定图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取图像样本中目标对象的人脸姿态和表情参数；针对每个采样点，将当前采样点的三维坐标、人脸姿态和表情参数输入至待训练的神经辐射场模型，得到当前采样点属于人脸表面点的人脸概率和高层特征；将人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息；针对每条辐射射线，基于当前辐射射线上各个采样点各自对应的人脸概率，确定当前辐射射线对应的人脸表面点，基于当前辐射射线上各个采样点各自对应的颜色信息，确定人脸表面点的目标颜色信息；基于各人脸表面点的目标颜色信息和图像样本，计算模型损失；基于模型损失，对待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型。训练完成的神经辐射场模型和神经渲染模型用于构建三维人脸模型。这种结合实际拍摄参数对拍摄点和图像平面进行模拟，从而构建出三维辐射场，进而结合神经辐射场处理等手段进行人脸表面点还原的方式，使得最终得到的三维人脸模型更加准确和逼真。
在一些实施例中，本申请实施例提供的重建模型的处理方法，还包括：求取人脸概率在当前采样点处的法向梯度；将人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息，包括：将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息。
其中，由于采样的不连续性，对于渲染效果是有一定影响的，本申请实施例提出求取人脸概率在当前采样点处的法向梯度，将该法向梯度也作为待训练的神经渲染模型的输入，以减轻采样的不连续对渲染效果的影响。
在不加入标准化处理的情况下，针对每个采样点，计算机设备可求取该采样点属于人脸表面点的人脸概率在该采样点处的法向梯度。将该法向梯度作为待训练的神经渲染模型的输入。即，计算机设备可将该法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，待训练的神经渲染模型便会输出当前采样点的颜色信息。
在加入标准化处理的情况下，在得到各个采样点各自对应的标准化采样点后，针对每个标准化采样点，计算机设备可求取该标准化采样点属于人脸表面点的人脸概率在对应采样点处的法向梯度，将该法向梯度作为待训练的神经渲染模型的输入。即，计算机设备可将该法向梯度、人脸姿态、表情参数、当前标准化采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，待训练的神经渲染模型便会输出当前标准化采样点的颜色信息。
上述实施例中，在得到采样点属于人脸表面点的人脸概率后，还求取了人脸概率在当前采样点处的法向梯度；将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息，在待训练的神经渲染模型的输入中加入上述法向梯度，可减轻采样的不连续对渲染效果的影响，提升了输出的颜色信息的准确度。
在一些实施例中，基于当前辐射射线上各个采样点各自对应的颜色信息，确定人脸表面点的目标颜色信息，包括：针对当前辐射射线上每个采样点，对当前采样点对应的颜色信息和人脸概率进行融合处理，得到当前采样点对应的融合结果；对当前辐射射线上各个采样点各自对应的融合结果进行聚合处理，得到颜色聚合结果，对当前辐射射线上各个采样点各自对应的人脸概率进行聚合处理，得到概率聚合结果；基于颜色聚合结果和概率聚合结果，确定人脸表面点的目标颜色信息。
其中，针对当前辐射射线上每个采样点，计算机设备可将当前采样点对应的颜色信息和人脸概率相乘，得到当前采样点对应的融合结果。对当前辐射射线上各个采样点各自对应的融合结果相加，得到颜色聚合结果。对当前辐射射线上各个采样点各自对应的人脸概率进行相加，得到概率聚合结果。将颜色聚合结果除以概率聚合结果，便可得到人脸表面点的目标颜色信息。
上述实施例中，提供了确定各人脸表面点的目标颜色信息的具体方式，各人脸表面点的目标颜色信息可用于后续模型损失的计算，使得训练得到的神经渲染模型输出的颜色信息更加接近原图，提升了训练得到的神经渲染模型的推理准确度。
在一些实施例中，各人脸表面点和图像样本上的像素点一一对应，基于各人脸表面点的目标颜色信息和图像样本，计算模型损失，包括：对图像样本进行人脸分割处理，得到人脸像素点和非人脸像素点；获取人脸像素点对应的第一人脸表面点，根据人脸像素点的像素值和第一人脸表面点的目标颜色信息，确定渲染损失；获取非人脸像素点对应的第二人脸表面点，根据非人脸像素点对应的概率标签和第二人脸表面点的人脸概率，确定掩膜损失；基于渲染损失和掩膜损失，计算模型损失。
其中，计算机设备可将图像样本输入预先训练好的人脸分割模型，人脸分割模型便会输出图像样本上每个像素点是人脸像素点还是非人脸像素点。由于，各人脸表面点和图像样本上的像素点一一对应，计算机设备可获取图像样本上人脸像素点对应的人脸表面点，为方便区分，将这些人脸表面点均称为第一人脸表面点，还可获取图像样本上非人脸像素点对应的人脸表面点，为方便区分，将这些人脸表面点称为第二人脸表面点。
在具体实现中，计算机设备可采用如下公式计算渲染损失：
其中，P为人脸像素点，表示图像样本上人脸像素点的数量，/>为人脸像素点的像素值，/>为人脸像素点对应的第一人脸表面点的目标颜色信息。
在具体实现中，计算机设备可采用如下公式计算掩膜损失：
其中，P为非人脸像素点，表示图像样本上非人脸像素点的数量，/>为非人脸像素点对应的概率标签，非人脸像素点对应的概率标签可以为0，/>为非人脸像素点对应的第二人脸表面点的人脸概率。
其中，对于每条目标辐射射线，计算机设备可获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离，针对当前目标辐射射线上每个采样点，将该采样点与虚拟拍摄点之间的距离和该采样点对应的人脸概率相乘，得到该采样点对应的相乘结果，将当前目标辐射射线上所有采样点对应的相乘结果相加，得到相加结果，将相加结果除以目标辐射射线上所有采样点与虚拟拍摄点之间的距离之和，便可得到当前目标辐射射线对应的人脸表面点的人脸概率。
上述实施例中，提供计算模型损失的具体方式，首先，对图像样本进行人脸分割处理，得到人脸像素点和非人脸像素点；然后，获取人脸像素点对应的第一人脸表面点，根据人脸像素点的像素值和第一人脸表面点的目标颜色信息，确定渲染损失；获取非人脸像素点对应的第二人脸表面点，根据非人脸像素点对应的概率标签和第二人脸表面点的人脸概率，确定掩膜损失；最后，基于渲染损失和掩膜损失，计算模型损失。上述渲染损失可以确保实际应用过程中计算得到的人脸表面点的目标颜色信息，和原图上对应像素点的像素值更加接近，使得渲染后的三维人脸模型更加逼真，掩膜损失可以确保实际应用过程中神经辐射场模型输出的人脸概率更加准确。
在一些实施例中，参见图6所示，对象可向计算机设备输入一段人脸视频，计算机设备可将该人脸视频中每个视频帧作为图像样本，对每个视频帧做如下处理：计算机设备获取当前视频帧对应的拍摄参数，基于拍摄参数，确定当前视频帧在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点，图5中示出了其中一个采样点，对采样点/>进行标准化处理，得到标准化采样点/>，将标准化采样点/>的三维坐标、当前视频帧中目标对象的人脸姿态和表情参数输入至待训练的神经辐射场模型，得到标准化采样点/>属于人脸表面点的人脸概率/>和高层特征，将当前视频帧中目标对象的人脸姿态、表情参数、标准化采样点/>的三维坐标、人脸概率/>和高层特征输入至待训练的神经渲染模型，得到标准化采样点/>的颜色信息；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的标准化采样点属于人脸表面点的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于当前目标辐射射线上各个采样点各自对应的标准化采样点的颜色信息，确定当前目标辐射射线对应的人脸表面点的目标颜色信息；可基于待训练的神经辐射场模型输出的人脸概率计算掩膜损失，基于待训练的神经渲染模型输出的颜色信息计算渲染损失，基于渲染损失和掩膜损失计算模型损失，基于模型损失，对待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型。
在一些实施例中，参见图7所示，在得到训练完成的神经辐射场模型和神经渲染模型后，对象可向计算机设备输入待处理视频，针对待处理视频中的每帧图像，计算机设备该图像中的人脸姿态和表情参数，基于该图像对应的拍摄参数，构建目标辐射射线，在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点，对于每个采样点，对该采样点进行标准化处理，得到标准化采样点，将标准化采样点的三维坐标、人脸姿态和表情参数输入神经辐射场模型进行人脸预测，得到标准化采样点属于人脸表面点的人脸概率和高层特征，将人脸姿态、表情参数、标准化采样点的三维坐标、人脸概率和高层特征输入至待训练的神经渲染模型，得到标准化采样点的颜色信息。针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各目标辐射射线各自对应的人脸表面点以及各人脸表面点的目标颜色信息，构建三维人脸模型。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像重建方法的图像重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重建装置实施例中的具体限定可以参见上文中对于图像重建方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种图像重建装置，包括：
获取模块801，用于获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取模块802，用于提取待处理图像中目标对象的人脸姿态和表情参数；
神经辐射处理模块803，用于针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
构建模块804，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
在一些实施例中，获取模块801，具体用于基于虚拟拍摄点和虚拟图像平面的中心点，确定光轴射线；将虚拟图像平面沿着光轴射线向靠近虚拟拍摄点的方向平移预设距离，得到近光图像平面，将虚拟图像平面沿着光轴射线向远离虚拟拍摄点的方向平移预设距离，得到远光图像平面；针对每条目标辐射射线，将当前目标辐射射线和近光图像平面的交点作为采样起始点，将当前目标辐射射线和远光图像平面的交点作为采样终止点，在当前目标辐射射线上采样起始点和采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点。
在一些实施例中，提取模块802，具体用于将待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，人脸样本数据包括人脸图像样本、人脸图像样本中人脸的标注姿态和标注表情参数。
在一些实施例中，表情参数包括表情形变参数和形状形变参数，图像重建装置还包括标准化模块，用于针对每个采样点，对人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；对姿态标准化结果、表情形变标准化结果和形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；神经辐射处理模块803，具体用于针对每个标准化采样点，对当前标准化采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率。
在一些实施例中，神经辐射处理模块803，具体用于将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；神经辐射场模型用于对采样点是否属于人脸表面点进行预测。
在一些实施例中，构建模块804，还用于求取人脸概率在当前采样点处的法向梯度；将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标、人脸姿态以及表情参数进行处理后输出的；针对每条目标辐射射线，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各个人脸表面点的目标颜色信息，对三维人脸模型进行渲染后，得到渲染后的三维人脸模型。
在一些实施例中，构建模块804，具体用于获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离；对各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于虚拟拍摄点和表面点距离，确定当前目标辐射射线对应的人脸表面点。
在一些实施例中，获取模块801，还用于响应于特效处理请求，展示图像输入提醒信息；接收对象基于图像输入提醒信息输入的目标图像，将目标图像作为待处理图像；将目标图像对应的拍摄参数，作为待处理图像对应的拍摄参数；获取特效处理请求对应的特效处理参数，基于特效处理参数对三维人脸模型进行渲染处理，得到与特效处理请求匹配的特效图像。
上述图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的重建模型的处理方法的重建模型的处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个重建模型的处理装置实施例中的具体限定可以参见上文中对于重建模型的处理方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种重建模型的处理装置，包括：
获取模块901，用于获取图像样本对应的拍摄参数，基于拍摄参数，确定图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取模块902，用于提取图像样本中目标对象的人脸姿态和表情参数；
神经辐射场模块903，用于针对每个采样点，将当前采样点的三维坐标、人脸姿态和表情参数输入至待训练的神经辐射场模型，得到当前采样点属于人脸表面点的人脸概率和高层特征；将人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息；
表面点确定模块904，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定人脸表面点的目标颜色信息；
损失计算模块905，用于基于各人脸表面点的目标颜色信息和图像样本，计算模型损失；
参数调整模块906，用于基于模型损失，对待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型。训练完成的神经辐射场模型和神经渲染模型用于构建三维人脸模型。
在一些实施例中，神经辐射场模块903，还用于求取人脸概率在当前采样点处的法向梯度；将人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息，包括：将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息。
在一些实施例中，表面点确定模块904，具体用于针对当前辐射射线上每个采样点，对当前采样点对应的颜色信息和人脸概率进行融合处理，得到当前采样点对应的融合结果；对当前辐射射线上各个采样点各自对应的融合结果进行聚合处理，得到颜色聚合结果，对当前辐射射线上各个采样点各自对应的人脸概率进行聚合处理，得到概率聚合结果；基于颜色聚合结果和概率聚合结果，确定人脸表面点的目标颜色信息。
在一些实施例中，各人脸表面点和图像样本上的像素点一一对应，损失计算模块905，具体用于对图像样本进行人脸分割处理，得到人脸像素点和非人脸像素点；获取人脸像素点对应的第一人脸表面点，根据人脸像素点的像素值和第一人脸表面点的目标颜色信息，确定渲染损失；获取非人脸像素点对应的第二人脸表面点，根据非人脸像素点对应的概率标签和第二人脸表面点的人脸概率，确定掩膜损失；基于渲染损失和掩膜损失，计算模型损失。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储拍摄参数、人脸姿态和表情参数等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像重建方法或者重建模型的处理方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的对象信息（包括但不限于对象设备信息、对象个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经对象授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (26)
1.一种图像重建方法，其特征在于，所述方法包括：
获取待处理图像对应的拍摄参数，基于所述拍摄参数，确定所述待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于所述虚拟拍摄点和所述虚拟图像平面，构建多条辐射射线，基于所述辐射射线确定目标辐射射线，基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取所述待处理图像中目标对象的人脸姿态和表情参数；
针对每个采样点，对当前采样点的三维坐标、所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点，包括：
基于所述虚拟拍摄点和所述虚拟图像平面的中心点，确定光轴射线；
将所述虚拟图像平面沿着所述光轴射线向靠近所述虚拟拍摄点的方向平移预设距离，得到近光图像平面，将所述虚拟图像平面沿着所述光轴射线向远离所述虚拟拍摄点的方向平移所述预设距离，得到远光图像平面；
针对每条目标辐射射线，将当前目标辐射射线和所述近光图像平面的交点作为采样起始点，将当前目标辐射射线和所述远光图像平面的交点作为采样终止点，在所述当前目标辐射射线上所述采样起始点和所述采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点。
3.根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像中目标对象的人脸姿态和表情参数，包括：
将所述待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为所述待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为所述待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，所述人脸样本数据包括人脸图像样本、所述人脸图像样本中人脸的标注姿态和标注表情参数。
4.根据权利要求1所述的方法，其特征在于，所述表情参数包括表情形变参数和形状形变参数，所述方法还包括：
针对每个采样点，对所述人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对所述表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对所述形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；
对所述姿态标准化结果、所述表情形变标准化结果和所述形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；
所述针对每个采样点，对当前采样点的三维坐标、所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率，包括：
针对每个标准化采样点，对当前标准化采样点的三维坐标、所述人脸姿态和所述表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率。
5.根据权利要求1所述的方法，其特征在于，所述对当前采样点的三维坐标、所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率，包括：
将当前采样点的三维坐标、所述人脸姿态和所述表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；所述神经辐射场模型用于对采样点是否属于人脸表面点进行预测。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
求取所述人脸概率在当前采样点处的法向梯度；
将所述法向梯度、所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，所述高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标、所述人脸姿态以及所述表情参数进行处理后输出的；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定当前目标辐射射线对应的人脸表面点的目标颜色信息；
基于各个人脸表面点的目标颜色信息，对所述三维人脸模型进行渲染后，得到渲染后的三维人脸模型。
7.根据权利要求1所述的方法，其特征在于，所述基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，包括：
获取当前目标辐射射线上各个采样点与所述虚拟拍摄点之间的距离；
对各个采样点与所述虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；
基于所述虚拟拍摄点和所述表面点距离，确定当前目标辐射射线对应的人脸表面点。
8.根据权利要求1所述的方法，其特征在于，所述获取待处理图像对应的拍摄参数，包括：
响应于特效处理请求，展示图像输入提醒信息；
接收对象基于所述图像输入提醒信息输入的目标图像，将所述目标图像作为所述待处理图像；将所述目标图像对应的拍摄参数，作为所述待处理图像对应的拍摄参数；
所述方法还包括：
获取所述特效处理请求对应的特效处理参数，基于所述特效处理参数对所述三维人脸模型进行渲染处理，得到与所述特效处理请求匹配的特效图像。
9.一种重建模型的处理方法，其特征在于，所述方法包括：
获取图像样本对应的拍摄参数，基于所述拍摄参数，确定所述图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于所述虚拟拍摄点和所述虚拟图像平面，构建多条辐射射线，基于所述辐射射线确定目标辐射射线，基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取所述图像样本中目标对象的人脸姿态和表情参数；
针对每个采样点，将当前采样点的三维坐标、所述人脸姿态和所述表情参数输入至待训练的神经辐射场模型，得到当前采样点属于人脸表面点的人脸概率和高层特征；将所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、所述高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定所述人脸表面点的目标颜色信息；
基于各人脸表面点的目标颜色信息和所述图像样本，计算模型损失；
基于所述模型损失，对所述待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型；所述训练完成的神经辐射场模型和神经渲染模型用于构建三维人脸模型。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
求取所述人脸概率在当前采样点处的法向梯度；
所述将所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、所述高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息，包括：
将所述法向梯度、所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、所述高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息。
11.根据权利要求9所述的方法，其特征在于，所述基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定所述人脸表面点的目标颜色信息，包括：
针对当前目标辐射射线上每个采样点，对当前采样点对应的颜色信息和人脸概率进行融合处理，得到当前采样点对应的融合结果；
对当前目标辐射射线上各个采样点各自对应的融合结果进行聚合处理，得到颜色聚合结果，对当前目标辐射射线上各个采样点各自对应的人脸概率进行聚合处理，得到概率聚合结果；
基于所述颜色聚合结果和所述概率聚合结果，确定所述人脸表面点的目标颜色信息。
12.根据权利要求9所述的方法，其特征在于，各人脸表面点和所述图像样本上的像素点一一对应，所述基于各人脸表面点的目标颜色信息和所述图像样本，计算模型损失，包括：
对所述图像样本进行人脸分割处理，得到人脸像素点和非人脸像素点；
获取所述人脸像素点对应的第一人脸表面点，根据人脸像素点的像素值和第一人脸表面点的目标颜色信息，确定渲染损失；
获取所述非人脸像素点对应的第二人脸表面点，根据非人脸像素点对应的概率标签和第二人脸表面点的人脸概率，确定掩膜损失；
基于所述渲染损失和所述掩膜损失，计算模型损失。
13.一种图像重建装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像对应的拍摄参数，基于所述拍摄参数，确定所述待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于所述虚拟拍摄点和所述虚拟图像平面，构建多条辐射射线，基于所述辐射射线确定目标辐射射线，基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取模块，用于提取所述待处理图像中目标对象的人脸姿态和表情参数；
神经辐射处理模块，用于针对每个采样点，对当前采样点的三维坐标、所述人脸姿态和所述表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；
构建模块，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。
14.根据权利要求13所述的装置，其特征在于，所述获取模块具体用于：
基于所述虚拟拍摄点和所述虚拟图像平面的中心点，确定光轴射线；
将所述虚拟图像平面沿着所述光轴射线向靠近所述虚拟拍摄点的方向平移预设距离，得到近光图像平面，将所述虚拟图像平面沿着所述光轴射线向远离所述虚拟拍摄点的方向平移所述预设距离，得到远光图像平面；
针对每条目标辐射射线，将当前目标辐射射线和所述近光图像平面的交点作为采样起始点，将当前目标辐射射线和所述远光图像平面的交点作为采样终止点，在所述当前目标辐射射线上所述采样起始点和所述采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点。
15.根据权利要求13所述的装置，其特征在于，所述提取模块具体用于：
将所述待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为所述待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为所述待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，所述人脸样本数据包括人脸图像样本、所述人脸图像样本中人脸的标注姿态和标注表情参数。
16.根据权利要求13所述的装置，其特征在于，所述表情参数包括表情形变参数和形状形变参数，所述装置还包括标准化模块，用于：
针对每个采样点，对所述人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对所述表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对所述形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；
对所述姿态标准化结果、所述表情形变标准化结果和所述形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；
所述神经辐射处理模块，具体用于：
针对每个标准化采样点，对当前标准化采样点的三维坐标、所述人脸姿态和所述表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率。
17.根据权利要求13所述的装置，其特征在于，所述神经辐射处理模块，具体用于：
将当前采样点的三维坐标、所述人脸姿态和所述表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；所述神经辐射场模型用于对采样点是否属于人脸表面点进行预测。
18.根据权利要求13所述的装置，其特征在于，所述构建模块还用于：
求取所述人脸概率在当前采样点处的法向梯度；
将所述法向梯度、所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，所述高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标、所述人脸姿态以及所述表情参数进行处理后输出的；
针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定当前目标辐射射线对应的人脸表面点的目标颜色信息；
基于各个人脸表面点的目标颜色信息，对所述三维人脸模型进行渲染后，得到渲染后的三维人脸模型。
19.根据权利要求13所述的装置，其特征在于，所述构建模块具体用于：
获取当前目标辐射射线上各个采样点与所述虚拟拍摄点之间的距离；
对各个采样点与所述虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；
基于所述虚拟拍摄点和所述表面点距离，确定当前目标辐射射线对应的人脸表面点。
20.根据权利要求13所述的装置，其特征在于，所述获取模块还用于：
响应于特效处理请求，展示图像输入提醒信息；
接收对象基于所述图像输入提醒信息输入的目标图像，将所述目标图像作为所述待处理图像；将所述目标图像对应的拍摄参数，作为所述待处理图像对应的拍摄参数；
获取所述特效处理请求对应的特效处理参数，基于所述特效处理参数对所述三维人脸模型进行渲染处理，得到与所述特效处理请求匹配的特效图像。
21.一种重建模型的处理装置，其特征在于，所述装置包括：
获取模块，用于获取图像样本对应的拍摄参数，基于所述拍摄参数，确定所述图像样本在三维空间中的虚拟拍摄点和虚拟图像平面，基于所述虚拟拍摄点和所述虚拟图像平面，构建多条辐射射线，基于所述辐射射线确定目标辐射射线，基于所述虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；
提取模块，用于提取所述图像样本中目标对象的人脸姿态和表情参数；
神经辐射场模块，用于针对每个采样点，将当前采样点的三维坐标、所述人脸姿态和所述表情参数输入至待训练的神经辐射场模型，得到当前采样点属于人脸表面点的人脸概率和高层特征；将所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、所述高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息；
表面点确定模块，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于当前目标辐射射线上各个采样点各自对应的颜色信息，确定所述人脸表面点的目标颜色信息；
损失计算模块，用于基于各人脸表面点的目标颜色信息和所述图像样本，计算模型损失；
参数调整模块，用于基于所述模型损失，对所述待训练的神经辐射场模型和神经渲染模型进行参数调整，直到满足模型训练的停止条件时停止，得到训练完成的神经辐射场模型和神经渲染模型；所述训练完成的神经辐射场模型和神经渲染模型用于构建三维人脸模型。
22.根据权利要求21所述的装置，其特征在于，所述神经辐射场模块还用于：
求取所述人脸概率在当前采样点处的法向梯度；
所述将所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、所述高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息，包括：
将所述法向梯度、所述人脸姿态、所述表情参数、当前采样点的三维坐标、所述人脸概率、所述高层特征输入至待训练的神经渲染模型，得到当前采样点的颜色信息。
23.根据权利要求21所述的装置，其特征在于，所述表面点确定模块具体用于：
针对当前目标辐射射线上每个采样点，对当前采样点对应的颜色信息和人脸概率进行融合处理，得到当前采样点对应的融合结果；
对当前目标辐射射线上各个采样点各自对应的融合结果进行聚合处理，得到颜色聚合结果，对当前目标辐射射线上各个采样点各自对应的人脸概率进行聚合处理，得到概率聚合结果；
基于所述颜色聚合结果和所述概率聚合结果，确定所述人脸表面点的目标颜色信息。
24.根据权利要求21所述的装置，其特征在于，各人脸表面点和图像样本上的像素点一一对应，所述损失计算模块具体用于：
对所述图像样本进行人脸分割处理，得到人脸像素点和非人脸像素点；
获取所述人脸像素点对应的第一人脸表面点，根据人脸像素点的像素值和第一人脸表面点的目标颜色信息，确定渲染损失；
获取所述非人脸像素点对应的第二人脸表面点，根据非人脸像素点对应的概率标签和第二人脸表面点的人脸概率，确定掩膜损失；
基于所述渲染损失和所述掩膜损失，计算模型损失。
25.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311518981.4A CN117237547B (zh) | 2023-11-15 | 2023-11-15 | 图像重建方法、重建模型的处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311518981.4A CN117237547B (zh) | 2023-11-15 | 2023-11-15 | 图像重建方法、重建模型的处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237547A CN117237547A (zh) | 2023-12-15 |
| CN117237547B true CN117237547B (zh) | 2024-03-01 |
Family
ID=89084756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311518981.4A Active CN117237547B (zh) | 2023-11-15 | 2023-11-15 | 图像重建方法、重建模型的处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237547B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953165B (zh) * | 2024-03-26 | 2024-06-18 | 合肥工业大学 | 基于神经辐射场的人脸新视图合成方法和*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| CN112887698A (zh) * | 2021-02-04 | 2021-06-01 | 中国科学技术大学 | 基于神经辐射场的高质量人脸语音驱动方法 |
| CN113538659A (zh) * | 2021-07-05 | 2021-10-22 | 广州虎牙科技有限公司 | 一种图像生成方法、装置、存储介质及设备 |
| CN113793408A (zh) * | 2021-09-15 | 2021-12-14 | 宿迁硅基智能科技有限公司 | 一种实时音频驱动人脸生成方法、装置及服务器 |
| CN113822969A (zh) * | 2021-09-15 | 2021-12-21 | 宿迁硅基智能科技有限公司 | 训练神经辐射场模型和人脸生成方法、装置及服务器 |
| CN115330947A (zh) * | 2022-08-12 | 2022-11-11 | 百果园技术(新加坡)有限公司 | 三维人脸重建方法及其装置、设备、介质、产品 |
| CN115953513A (zh) * | 2022-12-30 | 2023-04-11 | 北京元起点信息科技有限公司 | 一种可驱动三维人头模型重建方法、装置、设备及介质 |
| CN116894911A (zh) * | 2023-03-28 | 2023-10-17 | 网易（杭州）网络有限公司 | 三维重建方法、装置、电子设备及可读存储介质 |
| CN116912393A (zh) * | 2023-07-28 | 2023-10-20 | 咪咕文化科技有限公司 | 人脸重建方法、装置、电子设备及可读存储介质 |
| CN116959058A (zh) * | 2023-02-27 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 一种三维人脸驱动方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709288B (zh) * | 2020-05-15 | 2022-03-01 | 北京百度网讯科技有限公司 | 人脸关键点检测方法、装置以及电子设备 |
-
2023
- 2023-11-15 CN CN202311518981.4A patent/CN117237547B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| CN112887698A (zh) * | 2021-02-04 | 2021-06-01 | 中国科学技术大学 | 基于神经辐射场的高质量人脸语音驱动方法 |
| CN113538659A (zh) * | 2021-07-05 | 2021-10-22 | 广州虎牙科技有限公司 | 一种图像生成方法、装置、存储介质及设备 |
| CN113793408A (zh) * | 2021-09-15 | 2021-12-14 | 宿迁硅基智能科技有限公司 | 一种实时音频驱动人脸生成方法、装置及服务器 |
| CN113822969A (zh) * | 2021-09-15 | 2021-12-21 | 宿迁硅基智能科技有限公司 | 训练神经辐射场模型和人脸生成方法、装置及服务器 |
| CN115330947A (zh) * | 2022-08-12 | 2022-11-11 | 百果园技术(新加坡)有限公司 | 三维人脸重建方法及其装置、设备、介质、产品 |
| CN115953513A (zh) * | 2022-12-30 | 2023-04-11 | 北京元起点信息科技有限公司 | 一种可驱动三维人头模型重建方法、装置、设备及介质 |
| CN116959058A (zh) * | 2023-02-27 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 一种三维人脸驱动方法及相关装置 |
| CN116894911A (zh) * | 2023-03-28 | 2023-10-17 | 网易（杭州）网络有限公司 | 三维重建方法、装置、电子设备及可读存储介质 |
| CN116912393A (zh) * | 2023-07-28 | 2023-10-20 | 咪咕文化科技有限公司 | 人脸重建方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 三维人脸重建及其应用;郭玉东;《中国博士学位论文全文数据库信息科技辑》;第1-113页 * |
| 单张图像三维人脸重建方法综述;王静婷 等;《计算机工程与应用》;第59卷(第17期);第1-21页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237547A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| Shi et al. | A facial expression recognition method based on a multibranch cross-connection convolutional neural network | |
| CN109948475B (zh) | 一种基于骨架特征和深度学习的人体动作识别方法 | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| US20220270348A1 (en) | Face recognition method and apparatus, computer device, and storage medium | |
| CN111680678B (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| CN111783620A (zh) | 表情识别方法、装置、设备及存储介质 | |
| CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| US20240119699A1 (en) | Detection of moment of perception | |
| CN117237547B (zh) | 图像重建方法、重建模型的处理方法和装置 | |
| CN112395979A (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| Wang et al. | Light attention embedding for facial expression recognition | |
| Qin et al. | Depth estimation by parameter transfer with a lightweight model for single still images | |
| Zhang et al. | Outdoor illumination estimation via all convolutional neural networks | |
| CN115909255B (zh) | 图像生成、图像分割方法、装置、设备、车载终端及介质 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| CN115222896B (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
| CN116012626A (zh) | 建筑立面图像的素材匹配方法、装置、设备和存储介质 | |
| Wang et al. | Generative model with coordinate metric learning for object recognition based on 3D models | |
| CN116343019A (zh) | 一种遥感图像的目标检测方法 | |
| CN113569809A (zh) | 一种图像处理方法、设备及计算机可读存储介质 | |
| CN116645700B (zh) | 特征提取模型处理方法、装置和特征提取方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |