CN109214350A - 一种光照参数的确定方法、装置、设备及存储介质 - Google Patents

一种光照参数的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109214350A
CN109214350A CN201811108374.XA CN201811108374A CN109214350A CN 109214350 A CN109214350 A CN 109214350A CN 201811108374 A CN201811108374 A CN 201811108374A CN 109214350 A CN109214350 A CN 109214350A
Authority
CN
China
Prior art keywords
face
sampled point
illumination
point
illumination parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811108374.XA
Other languages
English (en)
Other versions
CN109214350B (zh
Inventor
董维山
梁兴仑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811108374.XA priority Critical patent/CN109214350B/zh
Publication of CN109214350A publication Critical patent/CN109214350A/zh
Application granted granted Critical
Publication of CN109214350B publication Critical patent/CN109214350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种光照参数的确定方法、装置、设备及存储介质，所述方法包括：识别目标图片中人脸区域内的至少一个人脸采样点；通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。本发明实施例的技术方案对相关设备要求低，能够充分发掘图片的光照参数，满足对复杂光照的模拟效果，从而提高光照参数估计的准确性和通用性。

Description

一种光照参数的确定方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种光照参数的确定方法、装置、设备及存储介质。
背景技术
光照参数估计(以下简称光照估计)就是从图片中获取光照信息，该光照信息可以应用于人脸识别或增强显示等技术领域。在光照参数已知的情况下，即可对虚拟物体打光，渲染虚拟物体表面的明暗变化及其阴影投射。因此，准确的光照参数估计对于定量描述视频或图片场景中的光照特征十分关键。
现有光照估计技术可大致分为两类：使用非人脸探针的方法和使用人脸探针的方法，其中，使用非人脸探针的方法可主要分为以下几类：1)要求存在几何信息已知的探针物体：例如正立方体或镜面反射球。2)要求人工标定特殊的参照区域作为探针：如物体边界——法线在图像平面内的像素区域，或带阴影的图像中垂直物体与其平行阴影线位置。3)使用全景图采样图片进行光照估计：利用带光照标注(太阳位置)的全景图片作为训练样本，训练深度卷积神经网络来预测太阳的位置、大气浊度及摄像机位置等参数。4)对光源信息进行直接采集的方法：如利用额外的鱼眼镜头直接采集摄影棚内部光源位置等信息的方法。5)使用RGB-D摄像头同时采集深度信息：在同时完成定位和建图任务的同时检测镜面反射区域，估计离散光源位置和强度。6)简单估计环境光平均强度：使用像素平均亮度作为估计。使用人脸探针的方法主要包括以下两类：1)基于人脸正脸图片的方法：用带真实光照标注的正面人脸图片采样像素作为训练样本，训练以线性方程描述的光照参数模型。2)基于人脸深度信息的方法：用手机前置深度摄像头采集人脸3D模型数据，在带有人脸追踪的应用中能够支持对主要光源和环境光参数的简单估计。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：要求存在几何信息已知的探针物体的方案，需要画面中必须存在该探针物体，对探针物体几何形态和表面反射特性有特殊要求，现实中很难满足。要求人工标定特殊的参照区域作为探针的方案，计算过程需要人工标定步骤，且此标定步骤目前暂无算法能够自动进行，使得整个方案难以自动化和大规模应用。需要使用全景图采样图片进行光照估计的方案，仅能用于室外场景，数据集获取成本高，且方法精度较低。对光源信息进行直接采集的方法，对已拍摄好的视频不适用，对采集设备要求高，需要进行硬件改造。需要使用RGB-D摄像头同时采集深度信息的方案，对设备要求高，对缺失深度信息的普通视频和非深度摄像头不适用。需要简单估计环境光平均强度的方案，无法满足对复杂光照的模拟效果，由于缺少对于光源的描述，甚至连简单的阴影都无法模拟和重建。基于人脸正脸图片的方法要求使用场景仅限于画面中存在人脸正脸的情况，人脸转动角度较大时模型失效。基于人脸深度信息的方法，对设备要求高，对缺失深度信息的普通视频和非深度摄像头不适用。
发明内容
本发明实施例提供一种光照参数的确定方法、装置、设备及存储介质，实现提高光照特征参数估计的准确性和通用性。
第一方面，本发明实施例提供了一种光照参数的确定方法，包括：
识别目标图片中人脸区域内的至少一个人脸采样点；
通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；
根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；
根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
第二方面，本发明实施例还提供了一种光照参数的确定装置，包括：
采样点识别模块，用于识别目标图片中人脸区域内的至少一个人脸采样点；
反射系数集确定模块，用于通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；
光照系数集计算模块，用于根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；
光照参数确定模块，用于根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的光照参数的确定方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的光照参数的确定方法。
本发明实施例通过识别目标图片中人脸区域内的至少一个人脸采样点，采用几何法和/或训练集法，确定与人脸采样点匹配的反射系数集，再根据与人脸采样点分别对应的像素信息以及反射系数集，计算与人脸采样点对应的光照系数集，最后根据与人脸采样点对应的光照系数集确定与目标图片对应的光照参数，解决现有的光照参数估计方法中存在的难以满足光照模拟效果且成本高的问题，能够充分发掘图片的光照参数，对相关设备要求低，且满足对复杂光照的模拟效果，从而提高光照参数估计的准确性和通用性。
附图说明
图1是本发明实施例一提供的一种光照参数的确定方法的流程图；
图2a是本发明实施例二提供的一种光照参数的确定方法的流程图；
图2b是本发明实施例二提供的一种根据关键点获取人脸采样点的效果示意图；
图2c是本发明实施例二提供的一种根据标准3D人脸模型获取人脸采样点的效果示意图；
图2d是本发明实施例二提供的一种根据3D人脸采样点确定光照参数的效果示意图；
图2e是本发明实施例二提供的一种基于确定的光照参数对图片中虚拟广告牌打光的效果示意图；
图3是本发明实施例三提供的一种光照参数的确定装置的示意图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种光照参数的确定方法的流程图，本实施例可适用于准确确定图片中光照参数的情况，该方法可以由光照参数的确定装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。相应的，如图1所示，该方法包括如下操作：
S110、识别目标图片中人脸区域内的至少一个人脸采样点。
其中，目标图片即为需要确定光照参数的图片。
可以理解的是，人脸是众多视频(尤其是短视频这种互联网上的新型内容形态)的核心要素之一。例如在各类美颜、虚拟试妆、自拍、主播视频以及影视剧作品等视频中，人脸的清晰度较高，可以作为理想的光照估计探针。尽管人脸几何形态非凸，且不同人脸的3D特征不尽相同。但在一定程度上可以假设人脸的整体3D特性变化方差不大。当给定光照参数时，其明暗阴影存在一定普遍规律，且这种规律可以通过建模来描述。相比于要求视频或场景中存在其他特定形式的已知物体(如满足镜面反射的标准球体、或颜色尺寸以及表面特性已知的立方体等)，要求存在人脸更容易实现。
由此，在本发明实施例中，目标图片中需要存在人脸，且人脸上可观察到由光源照射而产生的颜色明暗变化及阴影(一般来说，图片中包括的人脸均能满足上述颜色明暗变化及阴影的要求，因为，在本实施例中对上述条件并不进行检测，仅保证目标图片中包括人脸即可)，以根据存在人脸的目标图片来确定光照参数。当需要确定目标图片的光照参数时，可以通过目标图片中人脸区域内的至少一个人脸采样点进行确定。
在本发明的一个可选实施例中，所述目标图片可以为目标视频文件中的一帧图像。
其中，目标视频文件可以是用于确定光照参数的视频文件。相应的，目标图片可以是目标视频文件中的其中一帧图像。
在本发明实施例中，当目标图片来源于目标视频文件时，确定了目标图片的光照参数即为确定了目标视频文件的光照参数。由此，本发明实施例所提供的光照参数确定方法可以充分挖掘图片以及视频的光照特征，成为描述图片以及视频内容的重要特征维度，对于广告植入、视频分类、视频场景理解以及视频推荐等众多应用有关键价值。
S120、通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集。
其中，几何法可以是利用物理几何信息确定反射系数集的方法，例如，利用光源的入射光方向以及法线等参数确定与人脸采样点匹配的反射系数集。训练集法可以根据人脸采样点建立模型，以通过模型来描述光照特性。反射系数集可以是用于求解反射函数的相关函数或关系式等。
在本发明实施例中，在得到目标图片中的至少一个人脸采样点后，可以为各人脸采样点通过几何法和/或训练集法确定与其匹配的反射系数集。
S130、根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集。
其中，像素信息可以是目标图片中人脸采样点对应的像素值，例如人脸采样点的像素颜色，像素信息可以作为观测到的目标光照效果。光照系数集可以是用于反应人脸采样点实际光照信息的相关函数或关系式等。
相应的，在本发明实施例中，可以根据人脸采样点观测得到像素信息，同时结合确定的反射系数集作为两个已知量，根据两个已知量来计算各人脸采样点对应的光照系数集。
S140、根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
在本发明实施例中，可以根据各人脸采样点对应的光照系数集来最终确定目标图片对应的光照参数信息。由于每个人脸采样点所对应的光照系数集可能并不完全一致，因此需要对各个光照系数集进行数据处理(诸如求平均值等方式)以得到最终的光照参数。
本发明实施例所提供的光照确定方案无需复杂的设备进行支持，因此对相关设备要求低，易自动化和大规模应用，通用性更强，且能够对复杂光照进行准确估计，能够满足复杂光照的模拟效果。
在本发明的一个可选实施例中，在根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数之后，还可以包括：获取由所述目标视频文件中的至少两帧图像分别确定出的光照参数；按照设定数据处理技术对各所述光照参数进行处理，得到与所述目标视频文件匹配的光照参数；其中，所述光照参数包括光照入射方向以及光照强度。
其中，设定数据处理技术可以是用于对得到的数据进行进一步的加工和变换所使用的方法。例如，设定数据处理技术可以是对数据取均值或进行过滤等，本发明实施例并不对设定数据处理技术的具体形式进行限定。
在本发明实施例中，如果将光照参数确定的方法应用于视频光照特征提取，则为了提高视频光照特征提取的准确性，可以对目标视频文件中的多帧图像进行分析得到对应的光照参数。可以理解的是，通常情况下，尤其对于短视频来说，视频中的光照参数(包括入射方向和光照强度)是不发生变化的。因此，可以将目标视频文件中的多帧图像进行计算以确定其对应的光照参数，并对得到的多个光照参数按照设定数据处理技术进行处理，从而得到与目标视频文件匹配的最终的光照参数。通过多帧图像的光照参数确定目标视频文件的最终光照参数能够可以减弱或消除单帧图像光照参数的误差，从而进一步提高目标视频文件光照参数的准确性。
在本发明的一个可选实施例中，按照设定数据处理技术对各所述光照参数进行处理，可以包括下述至少一项：
对各所述光照参数进行投票，求取各参数均值或者中位数作为与所述目标视频文件匹配的光照参数；
使用时域滑动窗口求取各所述光照参数的移动平均值作为与所述目标视频文件匹配的光照参数；以及
使用卡尔曼滤波器对各所述光照参数进行滤波处理，得到与所述目标视频文件匹配的光照参数。
在本发明实施例中，设定数据处理技术包括但不限于投票处理移动平均值处理以及滤波处理等。具体的，投票处理方式可以是对多帧图像确定的光照参数直接求取平均数或中位数，作为与目标视频文件匹配的光照参数。移动平均值处理方式可以是使用时域滑动窗口对各光照参数求取一定时间段内的平均值，能够提高在时间区域内存在光照参数变化的视频文件的光照参数的准确性。滤波处理方式可以是使用相关的滤波器，如卡尔曼滤波器，对各光照参数进行滤波，以滤除噪音得到更加鲁棒的光照参数估计，并将最终过滤得到的光照参数作为与目标视频文件匹配的光照参数。
本发明实施例通过识别目标图片中人脸区域内的至少一个人脸采样点，采用几何法和/或训练集法，确定与人脸采样点匹配的反射系数集，再根据与人脸采样点分别对应的像素信息以及反射系数集，计算与人脸采样点对应的光照系数集，最后根据与人脸采样点对应的光照系数集确定与目标图片对应的光照参数，解决现有的光照参数估计方法中存在的难以满足光照模拟效果且成本高的问题，能够充分发掘图片的光照参数，对相关设备要求低，且满足对复杂光照的模拟效果，从而提高光照参数估计的准确性和通用性。
实施例二
图2a是本发明实施例二提供的一种光照参数的确定方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了识别目标图片中人脸区域内的至少一个人脸采样点、确定与人脸采样点匹配的反射系数集以及根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集的具体实现方式。相应的，如图2a所示，本实施例的方法可以包括：
S210、识别目标图片中人脸区域内的至少一个人脸采样点。
相应的，S210具体可以包括以下操作：
S211、将所述目标图片输入至人脸检测器，获取所述人脸检测器标记出的所述目标图片中人脸区域内的至少一个关键检测点。
其中，人脸检测器可以是用于检测人脸区域的人脸检测技术，如Viola-Jones人脸检测器等。任何可以用于人脸检测的技术均可以作为人脸检测器，本发明实施例对此并不进行限制。关键检测点可以是用于识别人脸的关键点，例如人脸的眼睛、眉毛和嘴巴等边缘部分特征突出的点。
需要说明的是，本发明实施例不采用检测到的人脸区域内的关键检测点作为人脸采样点。因为关键检测点通常位于面部、眼睛、眉毛以及嘴巴的边缘部位，而这些部位的光照参数通常受到各种因素的影响，例如阴影遮挡导致光照强度较低，并不能真实地反映实际环境下的光照参数。因此，在本发明实施例中，在获取人脸采样点时，可以首先获取目标图片中人脸区域内的至少一个关键检测点，并根据获取到关键检测点来进一步获取人脸中其他位置处可以反映真实光照参数的人脸采样点。
S212、将相邻的三个关键检测点进行三角化处理，并在得到的三角形内部生成多个特征点作为所述人脸采样点。
其中，特征点可以是三角形内部的一些具有特性的点，如中心或重心等。
图2b是本发明实施例二提供的一种根据关键点获取人脸采样点的效果示意图。如图2b所示，在获取到人脸区域的关键检测点后，可以对相邻的三个关键检测点依次连线(可以是真实存在的实线，也可以是虚拟存在的连接线)形成三角形，实现对关键检测点的三角化处理。根据得到的三角形进一步获取各三角形内部的特征点作为人脸采样点。上述人脸采样点的获取方式能够有效避免将光照参数区别较大的关键检测点作为人脸采样点，可以将面部中能够真实反应光照参数的像素点作为人脸采样点，从而保证光照参数的准确性。
在本发明的一个可选实施例中，在得到的三角形内部生成多个特征点作为所述人脸采样点，可以包括：确定所述三角形的重心点，并连接所述重心点与所述三角形各个顶点得到的多个新三角形，将所述新三角形的重心点以及所述三角形的重心点，作为所述人脸采样点。
进一步的，在获取人脸采样点时，除了可以将各关键检测点形成的三角形的重心作为人脸采样点，为了增加人脸采样点的数量，还可以由各关键检测点组成的三角形内部的重心连接对应三角形的各个顶点形成多个(3个)新三角形，再获取新三角形的重心作为人脸采样点。
S220、通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集。
相应的，当通过几何法确定与人脸采样点匹配的反射系数集时，S220具体可以包括以下操作：
S221a、获取3D人脸比对模型，并使用所述3D人脸比对模型与所述目标图片中的人脸区域进行对准，确定与所述人脸区域对应的人脸姿态信息。
其中，3D人脸比对模型可以是预先建立的用于对目标图片中的人脸进行比对的模型。人脸姿态信息包括但不限于俯仰、倾斜和旋转等信息，人脸姿态信息可以用于辅助确定3D人脸比对模型对准人脸区域后的偏转角度。
在本发明实施例中，可以将一个3D人脸比对模型与检测到的人脸区域进行对准。由于3D人脸比对模型没有偏转时的法线信息和自遮挡信息均已知，当其对准目标图片中的人脸区域时，可以根据人脸区域对应的人脸姿态信息结合3D人脸比对模型获取每个采样点的法线及自遮挡信息。
在本发明的一个可选实施例中，所述3D人脸比对模型可以包括：预先建立的标准3D人脸模型，或者，采用三维重建技术，根据所述目标图片中的人脸区域重建出的3D人脸模型。
图2c是本发明实施例二提供的一种根据标准3D人脸模型获取人脸采样点的效果示意图。其中，图2c中标号(1)的图片为标准3D人脸模型，标号(2)的图片为模型法线可视化的示意图，标号(3)的图片为对人脸投影照片进行采样的示意图，标号(4)的图片为利用采样得到的位置及法线信息进行网格重建得到的模型图。在本发明实施例中，如图2c所示，3D人脸比对模型可以采用预先建立的标准3D人脸模型。鉴于不同人脸的几何形状存在差异，还可以针对具体人脸，采用三维重建技术，根据目标图片中的人脸区域重建出的3D人脸模型作为3D人脸比对模型。
S222a、生成入射光线的多个入射方向。
相应的，3D人脸比对模型与目标图片中的人脸区域对准后，可以对目标图片中的人脸区域(同时也是3D人脸比对模型)随机给定多个不同入射光线的入射方向，以模拟真实场景中的人脸区域的光源信息。
S223a、根据公式：分别计算在各所述入射光线ωi下，与人脸采样点x对应的反射函数R(x,ωi)。
其中，i∈[1，m]，m为入射方向的总数量；ωi为第i个入射方向，nx为根据所述人脸姿态信息确定的x点的法线方向，dot()为向量的点乘运算，max()为取最大值运算，V(x,ωi)为ωi方向上的一点与x点之间的可见性，ρ为所述人脸的表面反照率。
在本发明实施例中，假设人脸为漫反射材质，对于给定的入射光方向ωi，可以根据公式计算人脸采样点x对应的反射函数R(x,ωi)，反射函数R(x,ωi)可以用于计算反射系数集。
S224a、根据公式：Rj＝∫SR(x,ωi)Yj(ωi)，计算与x点匹配的各阶的反射系数Rj，构成所述反射系数集。
其中，j∈[1，n]，n为预设的展开总阶数，S为x点处由x点的法线确定的半球面，Yj(ωi)为ωi方向下的第j阶的球谐基函数。
进一步的，在求得计算人脸采样点x对应的反射函数R(x,ωi)后，可以根据公式Rj＝∫SR(x,ωi)Yj(ωi)，利用蒙特卡洛方法对上述积分值进行估计，以求解与x点匹配的各阶的反射系数Rj。其中，公式Rj＝∫SR(x,ωi)Yj(ωi)中的球谐基函数Yj(ωi)在ωi确定后，其为已知量。在求得各人脸采样点对应的反射系数后，所有人脸采样点对应的反射系数可以构成反射系数集。
需要说明的是，对于给定的人脸采样点x，反射函数中的参数为常数。这里常数在计算过程中只影响光强，而不影响光的方向，准确的确定光强参数需要使用校准或误差最小化的方法求解出参数ρ。如果在确定光强参数时主要关注光的方向，则可忽略此常数。如果需要进行准确的光强估计，则需要进一步使用校准或者误差最小化的方法求解出ρ。
举一个简单的例子，首先将ρ设置为一个数值后，基于该ρ计算出一张图片的光照参数，并使用该光照参数重新对该图片进行模拟打光，将模拟打光结果的模拟光强度与该照片的原始光强度进行比对，如果模拟光强度大于该原始光强度，则可以动态减小ρ，如果模拟光强度小于该原始光强度，则可以动态增大ρ，以实际对ρ的精准估计。
通过几何法确定与人脸采样点匹配的反射系数集法不需要训练步骤，因此不依赖于训练数据，同时对人脸的角度姿态无要求。
相应的，当通过训练集法确定与人脸采样点匹配的反射系数集时，S220具体可以包括以下操作：
S221b、将所述人脸采样点输入至预先训练的反射系数集确定模型中，并获取所述反射系数集确定模型输出的结果作为与所述人脸采样点匹配的反射系数集。
其中，所述反射系数集确定模型由第一数量的人脸分别在包围人脸的球面上的第二数量的点光源照射时生成的人脸图像作为训练样本训练生成，在所述训练样本中预先标记有人脸图像内的采样点，以及与采样点对应的反射系数集。
其中，反射系数集确定模型可以用于确定人脸采样点匹配的反射系数集。反射系数集确定模型中的第一数量和第二数量可以是根据实际需求设定的数值，本发明实施例并不对第一数量和第二数量的具体数值进行限定。
在本发明实施例中，反射系数集确定模型采用的训练集可以由第一数量(假设为M)的人脸与分布在包围人脸的球面上的第二数量(假设为N)个点光源的乘积组成。相对于光源到人脸的距离，人脸的尺寸可以忽略，即每个点光源可以近似为一个方向光源，这样即可将每张图片对应的光照分解为球谐基加权的形式。每个人脸采样点可以建立M×N个线性等式关系，然后利用奇异值分解或机器学习方法拟合得到问题的线性最小二乘解作为Rj。通过上述方案可以为对每个人脸采样点建立一个单独的反射系数集确定模型描述其光照特性。
需要说明的是，考虑到同一张人脸在N种光照条件下得到的人脸采样点位置可能会有偏差(最差的情况下可能会检测不到人脸)，所以反射系数集确定模型的训练过程中可对某一人脸只进行一次人脸关键检测点的标记。可选的，可以在光照条件最好的情况下(一般为光源位于人脸正前方)进行人脸关键检测点的标记。通过训练集法确定与人脸采样点匹配的反射系数集的方法同样可适用于任何角度姿态的人脸数据做训练，不仅限于正脸。
S230、根据公式：计算各阶光照系数Lj构成所述光照系数集。
其中，j∈[1，n]，n为预设的展开总阶数；L(x)为人脸采样点x的像素信息。
在本发明实施例中，可选的，通过几何法和/或训练集法确定与人脸采样点匹配的反射系数集后，可以根据公式建立起人脸采样点像素值、反射系数集及光照系数集之间的线性关系，并计算各阶光照系数Lj。其中，上述公式中的n可以是任意选取的一个数值，n的值越大其获得的结果越准确。可选的，可以采用最小二乘解的方式对上述公式进行求解。
S240、根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
图2d是本发明实施例二提供的一种根据3D人脸采样点确定光照参数的效果示意图。图2e是本发明实施例二提供的一种基于确定的光照参数对图片中虚拟广告牌打光的效果示意图。如图2d所示，本发明实施例所提供的光照参数的确定方法能够真实地反应出人脸各点像素对应的光照参数。同时，如图2e所示，本发明实施例所提供的光照参数的确定方法应用于广告植入(图2e左下角“公司A”样式的虚拟广告牌在桌子上的投影即为对虚拟广告牌根据确定的光照参数打光的效果)领域时也可以获取良好的视觉效果，使得广告植入更具真实性。
需要说明的是，图2a仅是一种实现方式的示意图，S221a-S224a和S221b之间并没有先后顺序关系，两者可以择一实施。
采用上述技术方案，通过几何法和/或训练集法，确定与人脸采样点匹配的反射系数集，能够保证反射系数集的准确性，进而提高光照参数估计的准确性。
实施例三
图3是本发明实施例三提供的一种光照参数的确定装置的示意图，如图3所示，所述装置包括：采样点识别模块310、反射系数集确定模块320、光照系数集计算模块330以及光照参数确定模块340，其中：
采样点识别模块310，用于识别目标图片中人脸区域内的至少一个人脸采样点；
反射系数集确定模块320，用于通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；
光照系数集计算模块330，用于根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；
光照参数确定模块340，用于根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
本发明实施例通过识别目标图片中人脸区域内的至少一个人脸采样点，采用几何法和/或训练集法，确定与人脸采样点匹配的反射系数集，再根据与人脸采样点分别对应的像素信息以及反射系数集，计算与人脸采样点对应的光照系数集，最后根据与人脸采样点对应的光照系数集确定与目标图片对应的光照参数，解决现有的光照参数估计方法中存在的难以满足光照模拟效果且成本高的问题，能够充分发掘图片的光照参数，对相关设备要求低，且满足对复杂光照的模拟效果，从而提高光照参数估计的准确性和通用性。
可选的，采样点识别模块310，包括：关键检测点获取单元，用于将所述目标图片输入至人脸检测器，获取所述人脸检测器标记出的所述目标图片中人脸区域内的至少一个关键检测点；采样点获取单元，用于将相邻的三个关键检测点进行三角化处理，并在得到的三角形内部生成多个特征点作为所述人脸采样点。
可选的，采样点获取单元，具体用于确定所述三角形的重心点，并连接所述重心点与所述三角形各个顶点得到的多个新三角形，将所述新三角形的重心点以及所述三角形的重心点，作为所述人脸采样点。
可选的，反射系数集确定模块320，用于获取3D人脸比对模型，并使用所述3D人脸比对模型与所述目标图片中的人脸区域进行对准，确定与所述人脸区域对应的人脸姿态信息；生成入射光线的多个入射方向；根据公式：分别计算在各所述入射光线ωi下，与人脸采样点x对应的反射函数R(x,ωi)；其中，i∈[1，m]，m为入射方向的总数量；ωi为第i个入射方向，nx为根据所述人脸姿态信息确定的x点的法线方向，dot()为向量的点乘运算，max()为取最大值运算，V(x,ωi)为ωi方向上的一点与x点之间的可见性，ρ为所述人脸的表面反照率；根据公式：Rj＝∫SR(x,ωi)Yj(ωi)，计算与x点匹配的各阶的反射系数Rj，构成所述反射系数集；其中，j∈[1，n]，n为预设的展开总阶数，S为x点处由x点的法线确定的半球面，Yj(ωi)为ωi方向下的第j阶的球谐基函数。
可选的，所述3D人脸比对模型包括：预先建立的标准3D人脸模型，或者，采用三维重建技术，根据所述目标图片中的人脸区域重建出的3D人脸模型。
可选的，反射系数集确定模块320，还用于将所述人脸采样点输入至预先训练的反射系数集确定模型中，并获取所述反射系数集确定模型输出的结果作为与所述人脸采样点匹配的反射系数集；其中，所述反射系数集确定模型由第一数量的人脸分别在包围人脸的球面上的第二数量的点光源照射时生成的人脸图像作为训练样本训练生成，在所述训练样本中预先标记有人脸图像内的采样点，以及与采样点对应的反射系数集。
可选的，光照系数集计算模块330，具体用于根据公式： 计算各阶光照系数Lj构成所述光照系数集；其中，j∈[1，n]，n为预设的展开总阶数；L(x)为人脸采样点x的像素信息。
可选的，所述目标图片为目标视频文件中的一帧图像；所述装置还包括：多光照参数获取模块，用于获取由所述目标视频文件中的至少两帧图像分别确定出的光照参数；光照参数处理模块，用于按照设定数据处理技术对各所述光照参数进行处理，得到与所述目标视频文件匹配的光照参数；其中，所述光照参数包括光照入射方向以及光照强度。
可选的，光照参数处理模块，具体用于对各所述光照参数进行投票，求取各参数均值或者中位数作为与所述目标视频文件匹配的光照参数；使用时域滑动窗口求取各所述光照参数的移动平均值作为与所述目标视频文件匹配的光照参数；以及，使用卡尔曼滤波器对各所述光照参数进行滤波处理，得到与所述目标视频文件匹配的光照参数。
上述光照参数的确定装置可执行本发明任意实施例所提供的光照参数的确定方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的光照参数的确定方法。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同***组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备412典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)***、磁带驱动器以及数据备份存储***等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的Activiti流程图的重绘制方法。
也即，所述处理单元执行所述程序时实现：识别目标图片中人脸区域内的至少一个人脸采样点；通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
通过所述计算机设备识别目标图片中人脸区域内的至少一个人脸采样点，采用几何法和/或训练集法，确定与人脸采样点匹配的反射系数集，再根据与人脸采样点分别对应的像素信息以及反射系数集，计算与人脸采样点对应的光照系数集，最后根据与人脸采样点对应的光照系数集确定与目标图片对应的光照参数，解决现有的光照参数估计方法中存在的难以满足光照模拟效果且成本高的问题，能够充分发掘图片的光照参数，对相关设备要求低，且满足对复杂光照的模拟效果，从而提高光照参数估计的准确性和通用性。
实施例五
本发明实施例五还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的光照参数的确定方法：识别目标图片中人脸区域内的至少一个人脸采样点；通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种光照参数的确定方法，其特征在于，包括：
识别目标图片中人脸区域内的至少一个人脸采样点；
通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；
根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；
根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
2.根据权利要求1所述的方法，其特征在于，识别目标图片中人脸区域内的至少一个人脸采样点，包括：
将所述目标图片输入至人脸检测器，获取所述人脸检测器标记出的所述目标图片中人脸区域内的至少一个关键检测点；
将相邻的三个关键检测点进行三角化处理，并在得到的三角形内部生成多个特征点作为所述人脸采样点。
3.根据权利要求2所述的方法，其特征在于，在得到的三角形内部生成多个特征点作为所述人脸采样点，包括：
确定所述三角形的重心点，并连接所述重心点与所述三角形各个顶点得到的多个新三角形，将所述新三角形的重心点以及所述三角形的重心点，作为所述人脸采样点。
4.根据权利要求1所述的方法，其特征在于，通过几何法，确定与所述人脸采样点匹配的反射系数集，包括：
获取3D人脸比对模型，并使用所述3D人脸比对模型与所述目标图片中的人脸区域进行对准，确定与所述人脸区域对应的人脸姿态信息；
生成入射光线的多个入射方向；
根据公式：分别计算在各所述入射光线ωi下，与人脸采样点x对应的反射函数R(x，ωi)；
其中，i∈[1，m]，m为入射方向的总数量；ωi为第i个入射方向，nx为根据所述人脸姿态信息确定的x点的法线方向，dot()为向量的点乘运算，max()为取最大值运算，V(x，ωi)为ωi方向上的一点与x点之间的可见性，ρ为所述人脸的表面反照率；
根据公式：Rj＝∫SR(x，ωi)Yj(ωi)，计算与x点匹配的各阶的反射系数Rj，构成所述反射系数集；
其中，j∈[1，n]，n为预设的展开总阶数，S为x点处由x点的法线确定的半球面，Yj(ωi)为ωi方向下的第j阶的球谐基函数。
5.根据权利要求4所述的方法，其特征在于，所述3D人脸比对模型包括：
预先建立的标准3D人脸模型，或者
采用三维重建技术，根据所述目标图片中的人脸区域重建出的3D人脸模型。
6.根据权利要求1所述的方法，其特征在于，通过训练集法，确定与所述人脸采样点匹配的反射系数集，包括：
将所述人脸采样点输入至预先训练的反射系数集确定模型中，并获取所述反射系数集确定模型输出的结果作为与所述人脸采样点匹配的反射系数集；
其中，所述反射系数集确定模型由第一数量的人脸分别在包围人脸的球面上的第二数量的点光源照射时生成的人脸图像作为训练样本训练生成，在所述训练样本中预先标记有人脸图像内的采样点，以及与采样点对应的反射系数集。
7.根据权利要求1所述的方法，其特征在于，根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集，包括：
根据公式：计算各阶光照系数Lj构成所述光照系数集；
其中，j∈[1，n]，n为预设的展开总阶数；L(x)为人脸采样点x的像素信息。
8.根据权利要求1所述的方法，其特征在于，所述目标图片为目标视频文件中的一帧图像；
在根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数之后，还包括：
获取由所述目标视频文件中的至少两帧图像分别确定出的光照参数；
按照设定数据处理技术对各所述光照参数进行处理，得到与所述目标视频文件匹配的光照参数；
其中，所述光照参数包括光照入射方向以及光照强度。
9.根据权利要求8所述的方法，其特征在于，按照设定数据处理技术对各所述光照参数进行处理，包括下述至少一项：
对各所述光照参数进行投票，求取各参数均值或者中位数作为与所述目标视频文件匹配的光照参数；
使用时域滑动窗口求取各所述光照参数的移动平均值作为与所述目标视频文件匹配的光照参数；以及
使用卡尔曼滤波器对各所述光照参数进行滤波处理，得到与所述目标视频文件匹配的光照参数。
10.一种光照参数的确定装置，其特征在于，包括：
采样点识别模块，用于识别目标图片中人脸区域内的至少一个人脸采样点；
反射系数集确定模块，用于通过几何法和/或训练集法，确定与所述人脸采样点匹配的反射系数集；
光照系数集计算模块，用于根据与所述人脸采样点分别对应的像素信息以及所述反射系数集，计算与所述人脸采样点对应的光照系数集；
光照参数确定模块，用于根据与所述人脸采样点对应的所述光照系数集，确定与所述目标图片对应的光照参数。
11.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的光照参数的确定方法。
12.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的光照参数的确定方法。
CN201811108374.XA 2018-09-21 2018-09-21 一种光照参数的确定方法、装置、设备及存储介质 Active CN109214350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811108374.XA CN109214350B (zh) 2018-09-21 2018-09-21 一种光照参数的确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811108374.XA CN109214350B (zh) 2018-09-21 2018-09-21 一种光照参数的确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109214350A true CN109214350A (zh) 2019-01-15
CN109214350B CN109214350B (zh) 2020-12-22

Family

ID=64985375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811108374.XA Active CN109214350B (zh) 2018-09-21 2018-09-21 一种光照参数的确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109214350B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883414A (zh) * 2019-03-20 2019-06-14 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN110310224A (zh) * 2019-07-04 2019-10-08 北京字节跳动网络技术有限公司 光效渲染方法及装置
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
WO2022237116A1 (zh) * 2021-05-10 2022-11-17 北京达佳互联信息技术有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110234590A1 (en) * 2010-03-26 2011-09-29 Jones Michael J Method for Synthetically Relighting Images of Objects
CN102346857A (zh) * 2011-09-14 2012-02-08 西安交通大学 人脸图像光照参数和去光照图的高精度同时估计方法
CN105894050A (zh) * 2016-06-01 2016-08-24 北京联合大学 一种基于多任务学习的人脸图像种族和性别识别方法
US20180181831A1 (en) * 2015-11-20 2018-06-28 Infinity Augmented Reality Israel Ltd. Method and a system for determining radiation sources characteristics in a scene based on shadowing analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110234590A1 (en) * 2010-03-26 2011-09-29 Jones Michael J Method for Synthetically Relighting Images of Objects
CN102346857A (zh) * 2011-09-14 2012-02-08 西安交通大学 人脸图像光照参数和去光照图的高精度同时估计方法
US20180181831A1 (en) * 2015-11-20 2018-06-28 Infinity Augmented Reality Israel Ltd. Method and a system for determining radiation sources characteristics in a scene based on shadowing analysis
CN105894050A (zh) * 2016-06-01 2016-08-24 北京联合大学 一种基于多任务学习的人脸图像种族和性别识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
庄连生: "复杂光照条件下人脸识别关键算法研究", 《中国博士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883414A (zh) * 2019-03-20 2019-06-14 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN110428491B (zh) * 2019-06-24 2021-05-04 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN110310224A (zh) * 2019-07-04 2019-10-08 北京字节跳动网络技术有限公司 光效渲染方法及装置
WO2022237116A1 (zh) * 2021-05-10 2022-11-17 北京达佳互联信息技术有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN109214350B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
Bogdan et al. DeepCalib: A deep learning approach for automatic intrinsic calibration of wide field-of-view cameras
Itoh et al. Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization
US11748906B2 (en) Gaze point calculation method, apparatus and device
JP6246757B2 (ja) 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
US20180189974A1 (en) Machine learning based model localization system
Faugeras et al. 3-d reconstruction of urban scenes from image sequences
US8811674B2 (en) Incorporating video meta-data in 3D models
US9270974B2 (en) Calibration between depth and color sensors for depth cameras
EP2375376B1 (en) Method and arrangement for multi-camera calibration
Klein Visual tracking for augmented reality
CN109214350A (zh) 一种光照参数的确定方法、装置、设备及存储介质
CN107452031B (zh) 虚拟光线跟踪方法及光场动态重聚焦显示***
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
Forbes et al. Using silhouette consistency constraints to build 3D models
US20210124917A1 (en) Method for automatically generating hand marking data and calculating bone length
US20220405968A1 (en) Method, apparatus and system for image processing
Zheng et al. What does plate glass reveal about camera calibration?
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
Gava et al. Dense scene reconstruction from spherical light fields
You et al. Waterdrop stereo
Kalra et al. Labeled Hands in Wild
Bailey Defocus modelling for 3D reconstruction and rendering
Hong et al. A novel Gravity-FREAK feature extraction and Gravity-KLT tracking registration algorithm based on iPhone MEMS mobile sensor in mobile environment
Karsch Inverse rendering techniques for physically grounded image editing
Jiddi Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190115

Assignee: Beijing Intellectual Property Management Co.,Ltd.

Assignor: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Contract record no.: X2023110000095

Denomination of invention: A method, device, device, and storage medium for determining lighting parameters

Granted publication date: 20201222

License type: Common License

Record date: 20230821

EE01 Entry into force of recordation of patent licensing contract