CN113269861A - 构建室内场景的光照自适应地图并用其估计未知光设置的方法和*** - Google Patents
构建室内场景的光照自适应地图并用其估计未知光设置的方法和*** Download PDFInfo
- Publication number
- CN113269861A CN113269861A CN202110127954.9A CN202110127954A CN113269861A CN 113269861 A CN113269861 A CN 113269861A CN 202110127954 A CN202110127954 A CN 202110127954A CN 113269861 A CN113269861 A CN 113269861A
- Authority
- CN
- China
- Prior art keywords
- map
- scene
- light
- image information
- radiance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 38
- 238000005286 illumination Methods 0.000 title claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 238000002310 reflectometry Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 230000004807 localization Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 241000042032 Petrocephalus catostoma Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Civil Engineering (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
本发明涉及构建室内场景的光照自适应地图并用其估计未知光设置的方法和***。本发明涉及用于构建室内场景的光照自适应地图的计算机实现的方法，场景包括至少一个光源和至少一个表面，其中光照自适应地图基于给定的光设置调整其外观，其中光设置由每个光源的状态定义，该方法包括：获得场景的第一图像信息，其中所有光源都被导通，基于所述第一图像信息估计场景的地图，所述地图包括场景中的表面的光反射特性和辐射亮度信息，基于所估计的地图检测和分割场景中的各个光源，基于所估计的地图估计每个光源对场景的辐射亮度贡献，以及通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建光照自适应地图。
Description
技术领域
本公开涉及图像处理领域，尤其涉及一种估计包括一个或数个可切换光源的室内场景的光设置的方法和***。因此，光设置由场景中每个光源的状态——例如，是接通还是关断——定义。
背景技术
相机是用于各种应用中的自我运动估计的流行传感器，各种应用包括自动驾驶、虚拟现实和服务机器人。与后两者类似，这些应用中的许多应用都针对例如在灯被接通或关断时光照条件可以快速变化的室内环境。与使用其他模式或将光线主动投射到场景中(通常在红外光谱中操作)的方法相比，使用被动相机进行自我运动估计会直接受到可见光谱中光照变化的影响，因为它们可能对所得的观察结果产生重大影响。对于地图中的相机跟踪而言，这种影响的关键程度取决于光照引入的图像渐变(gradient)与反射率变化引起的渐变的比较。
在环境的高度纹理化部分，即，反射率频繁变化的区域中，大量的反射率渐变可能主导由光照引起的渐变。相比之下，投射到如地板或墙壁的无纹理区域上的阴影可能会引入唯一且因此极为有价值的渐变(特征)。这甚至对于可以附加地依赖于活动深度测量的RGB-D相机来说也是如此，因为所述区域通常不仅没有纹理，而且也不提供足够的几何特征，例如，地板和墙壁上有统一的地毯或绘画。特别是在这样的环境中，光照可以提供有价值的信息，希望将其用于视觉定位。
跟踪相机的姿态是机器人和许多其他应用中使用的视觉定位方法的核心。由于相机的观测本质上受光照影响，因此应对变化的光照条件一直是一项挑战。到目前为止，主要通过选择不随光照条件变化而变化的表示来增加鲁棒性以解决此问题，参见，例如：
M.Krawez，T.Caselitz，D.Büscher，M.Van Loock和W.Burgard，“Building densereflectance maps of indoor environments using an rgb-d camera(使用rgb-d相机构建室内环境的密集反射图)”，2018IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS，智能机器人和***)国际会议，IEEE，2018年，第3210-3217页。
视觉定位的方法通常旨在通过依赖以光照条件不变性为目标的表示来实现鲁棒性。示例为如下的特征描述符：SIFT(参见D.G.Lowe，“Distinctive image features fromscale-invariant key-points(来自尺度不变关键点的独特图像特征)”，《Internationaljournal of computer vision(国际计算机视觉杂志)》，2004年，第60卷，第2期，第91-110页)或ORB(参见E.Rublee，V.Rabaud，K.Konolige和G.R.Bradski，“Orb:An efficientalternative to sift or surf.(Orb:sift或surf的有效替代)”ICCV，Citeseer，2011年，第11卷，第1期，第2页)。SIFT和ORB执行亮度标准化，不幸的是，这只能产生对适度照明变化的鲁棒性。在时间光照变化较大的场景中，大多数标准描述符的匹配质量会降低。
代替以照明不变性为目标，另一个想法是存储观察到的多个外观。Churchill和Newman提出了一种视觉定位方法，它为不同的场景外观维护同一位置的多个特征地图，参见：
W.Churchill和P.Newman，“Experience-based navigation for long-termlocalisation(用于长期定位的基于经验的导航)”，《The International Journal ofRobotics Research(国际机器人研究杂志)》，2013年，第32卷，第14期，第1645-1661页。
基于深度学习的方法已经证明，在训练数据中有足够的方差时，能够实现对光照变化的鲁棒性，并且该方法已用于重新定位目的，参见：
A.Kendall，M.Grimes和R.Cipolla，“Posenet:A convolutional network forreal-time 6-dof camera relocalization(Posenet:用于实时6-dof相机重新定位的卷积网络)”，《Proceedings of the IEEE international conference on computer vision(IEEE国际计算机视觉会议论文集)》，2015年，第2938-2946页。
Mashita等人将场景中的关键点与特征向量上的分布相关联，该分布表示在各种光照条件下的关键点外观，参见：
T.Mashita，A.Plopski，A.Kudo，
K.Kiyokawa和H.Takemura，“Cameralocalization under a variable lighting environment using parametric featuredatabase based on lighting simulation(使用基于光照模拟的参数化特征数据库在可变照明环境下的相机定位)”，《Transactions of the Virtual Reality Society ofJapan(日本虚拟现实学会会刊)》，2017年，第22卷，第2期，第177-187页。
通过利用不同照明设置渲染场景的三维模型来计算分布参数。
对于直接法效果更好的低纹理区域的视觉定位(或里程计)而言，发现依赖于强渐变的特征也不适用。同时，它们对照明变化更敏感，因为它们直接作用于图像强度。为了解决这个问题，Clement和Kelly建议在根据关键帧映射跟踪输入图像之前，使用编码器-解码器网络将输入图像转换为规范表示，参见：
L.Clement和J.Kelly，“How to train a cat:learning canonical appearancetransformations for direct visual localization under illumination change(如何训练猫：学习照明变化下直接视觉定位的规范外观转换)”，《IEEE Robotics andAutomation Letters(IEEE机器人与自动化快报)》，2018年，第3卷，第3期，第2447-2454页。
网络会将图像重新照亮在地图构建期间出现的光照设置。
Zhang等人从RGB-D视频恢复室内环境的几何结构和漫反射率，并进一步将光源模型适配到场景中，然后用于重新照亮，参见：
E.Zhang，M.F.Cohen和B.Curless，“Emptying,refurnishing,and relightingindoor spaces(清空、重新装修和重新照亮室内空间)”，《ACM Transactions on Graphics(ACM图形学汇刊(TOG))》，2016年，第35卷，第6期。
在最近的一项研究中，
等人使用随机渐变下降优化来恢复室内3D模型的双向反射分布函数(BRDF)和光源参数，参见：
D.Azinovic，T.-M.Li，A.Kaplanyan，M.Nieβner，“Inverse path tracing forjoint material and lighting estimation(用于联合材料和光照估计的逆向路径跟踪)”，arXiv预印本，2019年，arXiv:1903.07145。
发明内容
目前，仍然需要克服上述问题，特别是提供一种对应方法和***，用于构建室内场景的光照自适应地图(例如，虚拟模型)，该地图能够基于任何给定的光设置调整其(辐射亮度)外观。此外，仍然需要估计室内场景的光设置，该设置例如适用于变化光照条件下的相机定位。
因此，根据本公开的实施例，提供了一种用于构建室内场景的光照自适应地图(例如，室内场景的3D地图，例如网格)的计算机实现的方法。光照自适应地图基于给定的光设置适应其(辐射亮度：radiance)外观(即，光照自适应地图可以使其(辐射亮度)外观适应任何给定的光设置)，其中光设置由每个光源的状态定义。该方法包括以下步骤：
·获得场景的第一图像信息，其中所有光源都被导通，
·基于所述第一图像信息估计场景的地图，所述地图包括场景中的表面的光反射特性和辐射亮度信息，
·基于所估计的地图检测和分割场景中的各个光源，
·基于所估计的地图估计每个光源对场景的辐射亮度贡献，以及
通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建光照自适应地图。
通过提供这种方法，光照效果可以明确地用于例如相机跟踪。
此外，通过提供这种方法，可以通过对反射率地图应用光照来避免对输入图像的反射率估计的需要。此外，由于目标是明确利用光照的效果，因此没有必要抵消光照。
从第一图像信息获得的地图也可以称为辐射度(radiosity，即，辐射亮度)和/或反射率地图。如以上引用的M.Krawez等人所述，可以完成上述地图的估计。
基于反射率地图(如以上引用的M.Krawez等人所述)，提出了一种用于室内环境的光照自适应地图表示，其允许渲染由模型中包含的光源(例如，灯)的任意子集照明的场景。能够从当前观测自动检测光设置使得能够将其与相应调整的地图相匹配。结果，投射阴影不再作为干扰，而是作为可由本公开的方法直接利用的有益特征。特别地，所述方法的能力可以在直接密集相机跟踪方法中利用。
在本发明中，有利地使用术语视觉定位(visual localization)来描述使用图像针对先前构建的整个地图来估计相机姿态的任务。这与仅使用最近帧作为参考的视觉里程计形成对比。视觉定位包含寻找一个粗略的全局估计的子任务，通常称为全局定位或重定位，以及跟踪子任务，即，在给定初始估计的情况下随时间精确估计相机的姿态。然而，本公开的地图表示不仅可用于提高相机跟踪性能，而且也有利于例如重新定位的目的。
有利的是，本公开的地图表示可以构建在上述引用的M.Krawez等人所述的工作的基础上，其中提出了一种构建室内环境的反射率地图的方法。在本公开的方法中，该表示可扩展到所谓的光照自适应地图，除了表面反射率模型外，其还包含场景中存在的光发射器(灯)的全局贡献。模型参数允许接通和关断单个灯的贡献。虽然这些参数可以由外部***(例如，家庭自动化)提供，但是在本公开的方法中，可以根据单个相机图像来估计它们。可以随后在与真实世界的观测值进行匹配时利用在地图中表示全局光照的效果。
从第一图像信息获得的所估计的地图可以包括表示场景的几何结构的三维表面模型。
估计辐射亮度贡献的步骤可以包括基于从第一图像信息获得的所估计的地图在场景中进行光线跟踪的步骤。
本公开还涉及一种估计未知光设置的计算机实现的方法，其中至少一个光源的状态未知。所述方法可以是例如上述方法的另一个步骤。所述方法(或方法步骤)可以包括以下步骤：
ο在未知光设置下，获得场景的第二图像信息，以及
ο通过将第二图像信息与光照自适应地图的至少一个适应外观进行比较来估计场景中的未知光设置。
因此，可以估计未知光设置，例如，通过光照自适应地图进行模拟，这对于进一步的应用可能是有用的，如下所述。
光源的状态可以用指示光源亮度和/或色度和/或色调的变量来表示。
例如，光源的状态可以简单地指示光源是接通还是关断。
估计未知光设置可包括以下步骤：
i.基于光照自适应地图模拟可能的光设置的辐射亮度图像信息，
ii.基于所述第二图像信息获得真实辐射亮度图像信息，
iii.通过将用于可能的光设置的真实辐射亮度图像信息和模拟辐射亮度图像信息进行比较来确定预定义度量，
iv.选择使步骤iii中确定的预定义度量最小化的光设置。
估计未知光设置可以基于经由传输所述状态信息的通信接口接收关于至少一个光源的状态的信息。
未知光设置和/或相机姿态跟踪可以被实时或准实时地估计。
由于估计的辐射度贡献是预先计算和存储的，因此，为了构建光照自适应地图(相应地，其也被预先计算和存储)，可以实时或准实时地执行估计未知光设置的步骤。
本公开还涉及一种用于相机姿态跟踪的计算机实现的方法，包括：
·上述任何一种方法的步骤，以及
·根据所估计的光设置跟踪室内场景中的相机姿态的步骤。
跟踪相机姿态的步骤可以包括：
·基于所估计的光设置模拟图像信息，
·基于第二图像信息获得真实图像信息，
·确定模拟图像信息和真实图像信息之间的预定义误差，
·通过最小化误差来估计相机姿态。
本发明还涉及一种用于增强现实的计算机实现的方法，包括：
·上述任何一种方法的步骤，以及
·根据预定义方法并且根据所估计的光设置，使用人工实体来增强室内场景的步骤。
本公开还涉及一种用于计算机实现的对象识别方法，包括：
·上述任何一种方法的步骤，以及
·根据预定义方法并且根据所估计的光设置来识别室内场景中的对象的步骤。
本公开还涉及一种***(例如，用于构建室内场景的光照自适应地图)，包括控制单元，该控制单元被配置为执行上述任何一种方法。
本公开还涉及一种包括该***的车辆或机器人***。
本公开还涉及一种计算机程序，该计算机程序包括用于在所述程序由计算机执行时执行上述至少一种方法的步骤的指令。
最后，本公开还可涉及一种计算机可读记录介质，并且在该计算机可读介质上记录有计算机程序，该计算机程序包括用于在所述程序由计算机执行时执行上述至少一种方法的步骤的指令。
除非另有矛盾，否则可以意图将上述元素与说明书中的元素进行组合。
需要理解的是，上述一般描述和以下详细描述仅为示例性和解释性的，并不如权利要求那样对公开具有限制性。
包含在本说明书中并构成了本说明书的一部分的附图与描述一起说明本公开的实施例，并用于解释其原理。
附图说明
图1示出根据本发明实施例的***的示意框图；
图2示出根据本发明实施例的构建室内场景的光照自适应地图的方法的示例；以及
图3示出根据本发明实施例的估计未知光设置的方法的示例。
具体实施方式
现在将详细参考本公开的示例性实施例，其示例如附图所示。在所有附图中，将尽可能使用相同的附图标记指代相同或相似的部件。
图1示出根据本发明实施例的***10的框图。该***被配置为执行根据本公开的方法。特别地，***可以被配置成执行计算机指令。例如，***可以包括用于执行所述指令的处理器11(例如，至少一个CPU和/或GPU)和存储器13。存储器13可以是非易失性存储器，并且可以包括所述指令(或计算机程序)，例如根据本公开的方法的指令(或计算机程序)，其可以由处理器11执行，以构建光照自适应地图和/或估计室内场景的光设置。
***10还可以包括被配置成采集图像的采集模块12(例如，一个或多个相机，尤其是RGB-D相机)。
该***可以是机器人***或车辆的一部分30。换句话说，***——特别是其采集模块12——可以被配置为自主移动。
总体而言，该***被配置为构建光照自适应地图和/或估计室内场景的光设置，该场景包括一个或多个可切换光源L1、L2、…、LN和一个或多个表面。因此，光照自适应地图基于给定光设置调整其外观。光设置由场景中每个光源的状态来定义，例如其是接通还是关断，还是介于两者之间的任何状态(例如，在连续或离散可调暗光源的情况下)。特别地，本公开提出了一种利用光照效果的方法，例如用于在室内环境中的相机跟踪。另外，光源中的至少一个可以包括数据接口(例如，可以是物联网设备)，***可以使用该接口来获得所述光源的当前光设置。
图2示出根据本发明实施例的用于构建光照自适应地图的方法的示例。由***执行的方法可概括如下：
在步骤S1中，***通过相机12获得场景的第一图像信息，其中所有光源的实际状态为导通。
随后，在步骤S2中，基于所述第一图像信息估计场景的(辐射度和反射率)地图，所述地图包括场景中的辐射亮度信息和表面的光反射特性，如上述引用的M.Krawez等人所述。
随后，在步骤S3中，***基于所估计的辐射度地图检测并分割场景中的各个光源L1、L2、…、LN。
随后，在步骤S4中，***基于所估计的地图估计每个光源对场景的辐射亮度贡献。
随后，在步骤S5中，***通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建光照自适应地图。
图3示出根据本发明实施例的用于估计室内场景中的未知光设置的方法的示例。如以上在图2的上下文中所述，所述方法期望地使用为所述室内场景构建的光照自适应地图。由于至少一个光源的状态未知，所以当前给定的实际光设置是已知的。
在步骤S6中，***在未知光设置期间，即，在至少一个或所有光源的状态未知的情况下，通过相机12获得场景的第二图像信息。这种状态是未知的，因为室内场景中的光源的相应光设置是未知的，并且要由***进行估计。
随后，在步骤S7中，***通过将第二图像信息与光照自适应地图的至少一个或全部适应外观进行比较来估计当前光设置。所述适应外观对应于不同的光设置，光照自适应地图已对其进行了虚拟建模。期望地，最接近第二图像信息的(虚拟建模的)外观被估计为表示真实未知光设置。
注意，“估计(estimating)”在本上下文中有利地意味着***确定或计算相应的参数，然而，所确定或计算的结果可能并不总是正确的，即，仅是“估计”。
在下面更详细地描述了该方法的单个步骤的有利实施例。以下各小节描述了三个主要贡献。首先，基于如上引用的M.Krawez等人关于反射率地图的先前工作，描述了光照自适应地图表示(步骤S2至S5)。第二，描述根据当前相机观测估计场景中的当前光设置的方法(步骤S6-S7)。第三，描述如何利用这些组件来利用例如直接密集相机跟踪方法中的光照效果(可选的另一步骤)。
光照自适应地图(步骤S2至S5)
由于本方法可以构建在如上引用的M.Krawez等人的先前工作的基础上，因此这里仅简要地回顾主要思想和符号，以便给出步骤S2的可能实施例的示例。几何结构表示为三维网格，由一组顶点vi和三角形基本体组成，其中三角形连接三个顶点。每个顶点都与辐射度B(vi)、辐射照度H(vi)及其漫反射率ρ(vi)＝B(vi)/H(vi)相关联。这些量通过辐射度方程进行设置：
其中，F(vi,vj)是描述vi和vj之间的几何关系的形状因子，如果vi和vj之间的视线不被阻挡，则G(vi,vj)∈{0,1}为1。
对于在数据采集期间未直接观察到的光设置，提出使用反射率地图来预测场景外观，即，辐射度(参见步骤S3、S4)。假设场景包含L个光源，这些光源可以单独接通和关断。此外，期望静态几何结构，尤其是光源位置不会改变。
为了检测光发射器，使用与(如上引用的)M.Krawez等人相同的方法，其本质上对具有高辐射度值的顶点执行聚类。因此，必须在接通的状态下直接观察光发射器以进行检测。每个检测到的光源都被唯一地索引，其中所有索引的集合是
光设置
是同时接通的所有光源的集合。Vl是属于光源l的所有顶点的集合。
对于任何的光设置
目标是估计辐射度
利用辐射度方程的线性来预计算单独的光发射器的照明贡献，并随后实时合成它们：
其中，
是光源l的估计辐射度分量。为了计算
将反射率值***方程1中，并使用灯辐射度作为初始条件，针对辐射度来求解方程1。虽然在理论上可以解析地求解得到的方程组，但由于典型的大量顶点，在实践中并不可行。取而代之的是，通过迭代评估方程1得到近似解：
其中，
是k次迭代后的辐射度。
对于k＝0，利用测量的辐射度初始化灯l上顶点的辐射度，对于所有其他顶点，将其设置为0：
例如，迭代次数可以是K＝10，并且可以设置为
为了指出地图表示的优点，针对照明可调地图考虑一种初级方法，它只需为每个新遇到的光设置创建新的辐射度地图。对于L个光源，每个顶点将需要存储2L个辐射度值，并且，将需要至少2L次映射运行。相比之下，每个顶点只存储L个辐射度分量，在最好的情况下，只需要一次映射运行就可以发现所有灯。
光设置估计(步骤S6-S7)
如前所述，光照自适应地图是参数化模型，其表示由环境中包含的任意灯子集照明的场景的外观。为了将现实世界的观测值与自适应模型进行比较，需要对其参数进行对应地设置，即，需要确定现实中灯的接通或关断状态。在下文中，提出了一种仅使用例如单个相机图像来估计这些参数——其被称为光设置——的方法。
由于模型的所有参数都是二进制变量，因此光设置
也可以表示为向量x∈{0，1}L，其中：
为了找到最适合当前观察到的彩色图像IC的x，需利用方程2中所示的叠加，从而使用反向相机响应函f-1以及用于捕获图像的曝光时间et和增益g将IC转换为其对应辐射度图像IB＝f-1(IC)/(et*g)。给定当前的相机姿态估计，可以获得由任意光设置x照明的地图
的渲染，并与真实图像IB进行比较。更具体地，从对图像域Ω中所有像素u上的地图反射率ρ进行归一化处理的地图中发现光设置x使测量的辐射度B和其预测的对等物
之间的平方误差之和最小化：
特定x的误差可以写成
ex＝xTATAx-2xTATb+bTb (5)
b＝stack(IB)*w (7)
其中，stack()运算符将所有图像像素——在本例中，针对每个颜色通道——堆叠为一个向量。w的权重乘积是指按行，按除法分量的。例如，分量ATA(L×L),ATb(L×1)和bTb(1×1)高效地并行构建在***的GPU上，并且只有ex的评估在***的CPU上执行。由于该评估速度极快(约1ns)，因此可用于暴力求解方程4。对于L＝20个灯(2L≈106)，所需的计算时间小于1ms，主要以构建分量所需的时间为主。
相机跟踪(可选步骤)
本公开的方法可以用于进行相机跟踪。其他应用也是可能的，例如重新定位应用。
相机跟踪是在相机每一时间t提供帧It时估计相机姿态T∈SE(3)的问题。使用例如Newcombe等人的术语——帧到帧(frame-to-frame)跟踪产生了一个针对全局姿态Tt，0＝Tt，t-1…T1，0易于漂移的里程计解，虽然帧到模型(frame-to-model)跟踪(至少在以前构建的模型中)由于引用了全局地图而不会受到这些影响，参见：
R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohi,J.Shotton,S.Hodges和A.Fitzgibbon，“KinectFusion:Real-time dense surfacemapping and tracking(KinectFusion:实时密集表面映射和跟踪)”，2011年，IEEEInternational Symposium on Mixed and Augmented Reality(IEEE混合增强现实国际研讨会(ISMAR))。
顾名思义，前者通过比较It和It-1来找到Tt，t-1，而后者将It与模型
的渲染进行比较。给定两个输入帧，两者之间没有区别，因此下面只描述模型跟踪的术语，因为通过用最后一帧的渲染量替换渲染量，可以很容易地获得帧到帧跟踪的术语。
直接密集相机跟踪方法通过利用模型的深度来进行投影数据关联，仅在彩色(或灰度)图像上工作
其中，π是透视投影函数，K是相机矩阵，
是使用从模型渲染的深度图像
创建的顶点地图。如(如上引用的)Newcombe等人提出的，数据关联优化循环使用三个图像金字塔等级以由粗到细的方式嵌入。
在提供了测量的深度图像ID的情况下，除了彩色图像IC中包含的辐射信息外，还可以使用其几何信息。如Whelan等人所述，实现了它们的组合，这也可以用来有效地解决GPU上的姿态估计问题，参见：
T.Whelan，R.F.Salas Moreno，B.Glocker，A.J.Davison和S.Leutenegger，“Elasticfusion:Real-time dense slam and light source estimation(Elasticfusion：实时密集slam和光源估计)”，The International Journal of RoboticsResearch(国际机器人研究杂志)，2016年，第35卷，第14期，第1697-1716页。
几何误差项
使用点到平面度量。为了简洁起见，这里省略其雅各比行列式，因为它们可以在例如(如上引用的)Newcombe等人中找到。颜色误差
使用图像扭曲，如由例如下述所述的：
F、Steinbrücker，J.Sturm和D.Cremers，“Real-time visual odometry fromdense rgb-d images(来自密集rgb-d图像的实时视觉里程计)”，2011年IEEEInternational Conference on Computer Vision Workshops(IEEE国际计算机视觉研讨会(ICCV研讨会))。IEEE，2011年，第719-722页，或
C、Audras，A.Comport，M.Meilland，和P.Rives，“Real-time dense appearance-based slam for rgb-d sensors(rgb-d传感器的基于实时密集外观的slam)”，Australasian Conf.on Robotics and Automation(澳大利亚机器人与自动化会议)，2011年，第2卷，2011年，第2-2页。
利用地图表示和光设置估计进行直接密集相机跟踪的核心思想是将渲染
适应场景中的光照条件。可基于先前的全局姿态估计使用单个帧到帧跟踪步骤，以获得用于光设置估计的更新姿态以及用于帧到模型跟踪的改进的初始估计。
在整个说明书中(包括权利要求)，除非另有说明，否则术语“包括a”应理解为“包括至少一个”的同义词。此外，除非另有说明，否则说明书中(包括权利要求)所述的任何范围应理解为包括其端点值。所述元素的具体值应理解为在本领域技术人员已知的可接受的制造或行业公差范围内，并且术语“基本上”和/或“近似”和/或“总体上”的任何使用应理解为意味着落入此类可接受公差范围内。
尽管已经参考特定实施例描述了本公开，但是应当理解，这些实施例仅仅说明本公开的原理和应用。
意图仅将本说明书和示例视为示例性的，本发明的真实范围由以下权利要求指示。
Claims (14)
1.一种用于构建室内场景的光照自适应地图的计算机实现的方法，所述场景包括至少一个光源和至少一个表面，其中所述光照自适应地图基于给定的光设置调整所述光照自适应地图的外观，其中所述光设置由每个光源的状态定义，所述方法包括以下步骤：
·获得所述场景的第一图像信息，其中所有光源都被导通，
·基于所述第一图像信息估计所述场景的地图，所述地图包括所述场景中的表面的光反射特性和辐射亮度信息，
·基于所估计的地图检测和分割所述场景中的各个光源，
·基于所估计的地图估计每个光源对所述场景的辐射亮度贡献，以及
·通过存储所估计的辐射亮度贡献并针对任何给定的光设置组合所估计的辐射亮度贡献，来构建所述光照自适应地图。
2.根据权利要求1所述的方法，其中
从所述第一图像信息获得的所估计的地图包括表示所述场景的几何结构的三维表面模型。
3.根据权利要求1和2中任一项所述的方法，其中
估计所述辐射亮度贡献的步骤包括基于从所述第一图像信息获得的所估计的地图在所述场景中进行光线跟踪的步骤。
4.根据权利要求1至3中任一项所述的方法，其中
光源的状态由指示光源的亮度和/或色度和/或色调的变量表示。
5.根据权利要求1至4中任一项所述的方法，
进一步包括通过下述步骤来估计所述场景中的未知光设置的步骤：
o在未知光设置下，获得所述场景的第二图像信息，以及
o通过将所述第二图像信息与所述光照自适应地图的至少一个适应外观进行比较来估计所述未知光设置。
6.根据权利要求1至5中任一项所述的方法，其中
估计所述未知光设置包括以下步骤：
i.基于所述光照自适应地图模拟可能的光设置的辐射亮度图像信息，
ii.基于所述第二图像信息获得真实辐射亮度图像信息，
iii.通过将用于所述可能的光设置的真实辐射亮度图像信息和模拟辐射亮度图像信息进行比较来确定预定义度量，
iv.选择使步骤iii中确定的预定义度量最小化的光设置。
7.根据权利要求1至6中任一项所述的方法，其中
估计所述未知光设置基于经由传输所述状态信息的通信接口接收关于至少一个光源的状态的信息。
8.一种用于相机姿态跟踪的计算机实现的方法，包括：
·根据权利要求1至7中任一项所述的步骤，以及
·根据所估计的光设置跟踪室内场景中的相机姿态的步骤。
9.根据权利要求8所述的方法，其中
跟踪所述相机姿态的步骤包括：
·基于所估计的光设置模拟图像信息，
·基于第二图像信息获得真实图像信息，
·确定模拟图像信息和真实图像信息之间的预定义误差，
·通过最小化所述误差来估计所述相机姿态。
10.根据权利要求1至9中任一项所述的方法，其中
实时或准实时地估计所述未知光设置和/或相机姿态跟踪。
11.一种用于增强现实的计算机实现的方法，包括：
·根据权利要求1至10中任一项所述的步骤，以及
·根据预定义方法并且根据所估计的光设置，使用人工实体来增强所述室内场景的步骤。
12.一种用于对象识别的计算机实现的方法，包括：
·根据权利要求1至11中任一项所述的步骤，以及
·根据预定义方法并且根据所估计的光设置来识别所述室内场景中的对象的步骤。
13.一种***，包括控制单元，所述控制单元被配置为执行根据方法权利要求1至12中任一项所述的方法。
14.一种计算机可读记录介质，所述计算机可读记录介质上记录有计算机程序，所述计算机程序包括指令，所述指令用于执行根据方法权利要求1至12中任一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20154742.9A EP3859684A1 (en) | 2020-01-30 | 2020-01-30 | Method and system for building a lighting adaptable map of an indoor scene and using it for estimating an unknown light setting |
| EP20154742.9 | 2020-01-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113269861A true CN113269861A (zh) | 2021-08-17 |
Family
ID=69423079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110127954.9A Pending CN113269861A (zh) | 2020-01-30 | 2021-01-29 | 构建室内场景的光照自适应地图并用其估计未知光设置的方法和*** |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210240878A1 (zh) |
| EP (1) | EP3859684A1 (zh) |
| CN (1) | CN113269861A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115291719A (zh) * | 2022-07-22 | 2022-11-04 | 江西泰豪动漫职业学院 | 模拟训练平台的创建方法、***及计算机设备 |
| CN116258829A (zh) * | 2023-05-15 | 2023-06-13 | 深圳市中科云科技开发有限公司 | 构建地图的方法、装置和视觉机器人 |
| CN116847508A (zh) * | 2023-06-27 | 2023-10-03 | 深圳光照度科技有限公司 | 基于场景融合的仿真立体地图的智慧照明控制方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101395645A (zh) * | 2006-03-06 | 2009-03-25 | 丰田自动车株式会社 | 图像处理***及方法 |
| CN104766270A (zh) * | 2015-03-20 | 2015-07-08 | 北京理工大学 | 一种基于鱼眼镜头的虚实光照融合方法 |
| CN107358629A (zh) * | 2017-07-07 | 2017-11-17 | 北京大学深圳研究生院 | 一种基于目标识别的室内建图与定位方法 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
-
2020
- 2020-01-30 EP EP20154742.9A patent/EP3859684A1/en active Pending
-
2021
- 2021-01-28 US US17/160,696 patent/US20210240878A1/en active Pending
- 2021-01-29 CN CN202110127954.9A patent/CN113269861A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101395645A (zh) * | 2006-03-06 | 2009-03-25 | 丰田自动车株式会社 | 图像处理***及方法 |
| CN104766270A (zh) * | 2015-03-20 | 2015-07-08 | 北京理工大学 | 一种基于鱼眼镜头的虚实光照融合方法 |
| CN107358629A (zh) * | 2017-07-07 | 2017-11-17 | 北京大学深圳研究生院 | 一种基于目标识别的室内建图与定位方法 |
| CN107564012A (zh) * | 2017-08-01 | 2018-01-09 | 中国科学院自动化研究所 | 面向未知环境的增强现实方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| KEVIN KARSCH 等: "Automatic Scene Inference for 3D Object Compositing", 《ACM TRANSACTIONS ON GRAPHICS》, pages 1 - 15 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115291719A (zh) * | 2022-07-22 | 2022-11-04 | 江西泰豪动漫职业学院 | 模拟训练平台的创建方法、***及计算机设备 |
| CN115291719B (zh) * | 2022-07-22 | 2023-12-22 | 江西泰豪动漫职业学院 | 模拟训练平台的创建方法、***及计算机设备 |
| CN116258829A (zh) * | 2023-05-15 | 2023-06-13 | 深圳市中科云科技开发有限公司 | 构建地图的方法、装置和视觉机器人 |
| CN116847508A (zh) * | 2023-06-27 | 2023-10-03 | 深圳光照度科技有限公司 | 基于场景融合的仿真立体地图的智慧照明控制方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3859684A1 (en) | 2021-08-04 |
| US20210240878A1 (en) | 2021-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109564690B (zh) | 使用多向相机评估封闭空间的尺寸 | |
| CN113269861A (zh) | 构建室内场景的光照自适应地图并用其估计未知光设置的方法和*** | |
| US20180012411A1 (en) | Augmented Reality Methods and Devices | |
| JP2023512058A (ja) | 姿勢の検出および測定のためのシステムおよび方法 | |
| US20010033685A1 (en) | Device, method and record medium for image comparison | |
| Lombardi et al. | Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images | |
| Kyriakoulis et al. | Color-based monocular visuoinertial 3-D pose estimation of a volant robot | |
| CN112184765B (zh) | 一种用于水下航行器的自主跟踪方法 | |
| US11275942B2 (en) | Method and system for generating training data | |
| JP2017120672A (ja) | 画像処理装置および画像処理方法 | |
| WO2022144652A1 (en) | System and method for controlling a light source for illuminating a scene of interest | |
| Radanovic et al. | Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration | |
| KR101865886B1 (ko) | 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템 | |
| Caselitz et al. | Camera tracking in lighting adaptable maps of indoor environments | |
| Mörwald et al. | Advances in real-time object tracking: Extensions for robust object tracking with a Monte Carlo particle filter | |
| Shimura et al. | Research on person following system based on RGB-D features by autonomous robot with multi-kinect sensor | |
| KR101766823B1 (ko) | 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법 | |
| Krawez et al. | Building dense reflectance maps of indoor environments using an rgb-d camera | |
| JP2004054947A (ja) | 物体照合システム、物体照合方法および物体照合プログラム | |
| CN115082550A (zh) | 从对象的相机图像中定位对象的位置的设备和方法 | |
| Du et al. | A color projection for fast generic target tracking | |
| Stückler et al. | Combining the strengths of sparse interest point and dense image registration for rgb-d odometry | |
| Schaub et al. | Probabilistic fusion of depth maps with a reliable estimation of the local reconstruction quality | |
| Krawez et al. | Real-time outdoor illumination estimation for camera tracking in indoor environments | |
| Hokmabadi et al. | Accurate and Scalable Contour-based Camera Pose Estimation Using Deep Learning with Synthetic Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |