CN108475434B - 基于阴影分析确定场景中辐射源特性的方法和*** - Google Patents

Abstract

本发明提供一种用于分析影响场景的清晰的光或辐射源的方法和***。该方法可以包括：感测包含表面和物体的场景的至少一个图像，其中该场景由至少一个清晰的辐射或源照射；维护场景的数据库，该数据库存储该场景中至少一些物体的近似位置；识别被怀疑由至少一个清晰的光或辐射源投射的至少一个候选剪影；基于从数据库导出的数据，基于至少一个已识别的剪影，导出至少一个清晰的光或辐射源的属性。

Description

基于阴影分析确定场景中辐射源特性的方法和***

技术领域

本发明总体上涉及图像处理领域，更具体地，涉及基于对捕获的场景执行阴影分析来确定场景中的波源特性。

背景技术

在阐述本发明的背景之前，对下文中使用的某些术语的定义进行介绍，以便于理解。

此处使用的术语“感测装置”被广义地定义为被配置为捕捉场景的2D图像的一个或多个传感器的任意组合。感测装置可包括能够捕获辐射并从中导出图像的任何类型的被动式相机或传感器阵列(例如可以包括：可见光、红外线、超声、雷达传感器等)。

此处使用的术语“阴影”被广义地定义为以下区域：在该区域中，来自辐射源(例如光源)的辐射被不透明(处于适当的波长)物体遮挡。阴影占据了物体后方的所有三维体积，而该物体前方有光或辐射。阴影的横截面是一个二维轮廓，或阻挡辐射或光的物体的反向投影。

此处使用的术语“点光源”或“点辐射源”被定义为只投射简单阴影(称为“本影)的光源或辐射源。

此处使用的术语“非点光源”或“扩展光源”或“扩展的辐射源”指的是其阴影被分为本影、半影和伪本影的辐射或光源。光源或辐射源越宽，阴影就会越模糊。如果两个半影重叠，阴影看上去会相互吸引和合并。

此处使用的术语“环境光”或“环境辐射”被定义为漫射超过一定级别从而使得阴影的轮廓柔和、模糊或完全消失的光或辐射。例如，阴天的光线几乎不产生可见的阴影。

本申请上下文中使用的术语“清晰的光源”或“清晰的辐射源”是对上文讨论的环境光的追加定义。一般而言，清晰的辐射光源将导致场景中的物体投射具有清晰轮廓的阴影。阴影区域的轮廓可以通过追踪由扩展光源的最外区域发射的光线来找到。如果有多个光源，则会出现重叠部分较暗以及具有各种亮度等级甚至颜色组合的多个阴影。

计算机视觉的挑战之一是在场景中检测清晰的辐射或光源(而不是环境光或环境辐射)的存在并获得对于这些辐射或光源的认知。辐射光源分析的重要性在一些使用情况下至关重要，例如增强现实应用，在该应用中，虚拟物体被***到场景中，虚拟物体将与场景中存在的任何其他实际物体一样受到光照条件的影响，这点十分重要。此外，增强观察者的错觉概念也很重要，在给定的光照或辐射条件下，虚拟物体将以与实际物体类似的方式投射阴影。

因此，提出一些逻辑或流程，使计算机化的视觉***能够确定对所捕捉和分析的特定场景构成影响的所有清晰的光或辐射源的属性，将是有利的。

发明内容

本发明的一些实施例包括用于分析影响场景的清晰光源的方法和***。该方法可以包括：感测包含表面和物体的场景中的至少一个图像，其中该场景由至少一个清晰的光或辐射源照射；维护场景的三维数据库，该三维数据库中存储场景中至少一些物体的三维近似位置；对怀疑由至少一个清晰的光或辐射源投射的至少一个候选剪影进行识别，基于该三维数据库导出的数据，基于至少一个所识别的轮廓，导出至少一个清晰的光或辐射源的属性。

本发明的这些、附加和/或其他方面和/或优势将在下文的具体描述中阐明；可能可从详细描述中推断出来；和/或通过实践本发明来学习。

附图说明

本发明的主题在说明书的结尾部分中被特别指出和声明。然而，关于本发明的组织和运作方法以及其目的、特征和优点，可以通过阅读附图时参考以下详细描述来最好地理解，在附图中：

图1A是根据本发明的一些实施例的***的框图；

图1B是根据本发明的其他实施例的***的框图；

图1C是根据本发明的又一其他实施例的***的框图；

图1D是根据本发明的又一其他实施例的***的框图；

图2根据本发明的实施例的***的一个方面的附图；以及

图3是根据本发明的实施例的非限制性示例性方法的高级流程图；

应理解，为说明的简单和清楚起见，附图中所示的元件不一定按比例绘制。例如，为清楚起见，一些元件的尺寸可能相对于其他元件被夸大。此外，在适当的情况下，附图标记可以在图中重复使用以指示对应或类似的元件。

具体实施方式

在以下描述中，将对本发明的各个方面进行阐述。从解释的角度出发，将会阐述具体的配置和细节以便对本发明有全面的了解。然而，对于本领域的技术人员而言，无需具体细节即可对本发明进行实施。此外，为了不使本发明内容晦涩难懂，可以省略或简化一些众所周知的特征。

除非特别指出，否则在整个说明书中，利用诸如“处理(processing)”、“计算(computing)”、“算(calculating)”、“确定(determining)”等术语的讨论指的是计算机或计算***的动作和/或过程，或类似的电子计算装置，将在计算***的寄存器和/或存储器内表示为物理量(例如电子，量)的数据操作和/或转换为类似地表示为计算***的存储器、寄存器或其它这样的信息存储、传输或显示装置内的物理量的其它数据。

图1A是可以在其上实施本发明的实施例的示例性架构的框图。***100可包括一个感测装置110，该装置被配置为捕捉可包括物体(例如10)的场景。***100还可包括存储装置120，该装置被配置为维护场景数据库，其存储场景中的至少一些物体(例如包括物体10)的位置。***100还可以包括计算机处理器130，其被配置为识别被怀疑由至少一个清晰的光源14投射的至少一个候选剪影12，并且基于从三维数据库120导出的数据，基于至少一个已识别的轮廓，导出至少一个清晰光源14的属性134。

根据一些实施例，感测装置可以包括任何类型的被动式相机或传感器阵列(可见光、红外线等)。由于物体的位置可以随时间变化，所以存储在3D数据库120上的关于场景的3D数据本质上是局部的，并且可以预先提供或者在线导出。或者，3D数据可以由***100导出，例如使用移动感测装置110和配置用于映射场景的计算机处理器130可以导出。

清晰的光或辐射源14的光或辐射源属性134可以包括：

●三维空间中的位置(在某些固定坐标系中)；

●结构—例如：点光源(灯泡)；点辐射源(全向射频天线)线光源(荧光灯)；环境照明或辐射(无直射光或辐射源，这是场景中的“平均”光线或辐射)；其他光或辐射源可视为点和线源的组合；

●颜色(波频率组成，射频带宽)；

●亮度；和

●方向性(例如，聚光灯、射频辐射中天线的方向性)。

根据一些实施例，影响场景照明条件的全部或部分光源的属性可用于以下详述的几种使用情况：

●向场景添加虚拟物体时，渲染与和场景的照明或辐射相匹配的阴影；

●试图模拟照明或辐射变化时环境看起来如何(即，室内设计)。

根据一些实施例，利用分割技术来检测静态轮廓(在所有帧中所看到的)。检测到应具有相同的颜色和/或纹理的物体。然后分析整体亮度(或只有一些颜色成分)较小且逐渐增加的地方，作为轮廓的指示。

根据一些实施例，通过了解相机的位置和方向以及场景的3D结构来检测动态轮廓(当一些区域的视图包含轮廓而一些区域的视图没有轮廓)，并且认识到这是在不同时间点具有不同颜色/亮度的相同区域(可能需要适应相机白平衡/曝光/增益等)。当变化超过预定义的阈值时，该区域是成为轮廓的候选。

图1B是根据本发明的其他实施例的***的框图。除了图1A中所示的所有部件之外，这里的轮廓是由三个区域12A、12B和12C构成的复合轮廓，其中12C比12A、12B更暗。这意味着对于两个光或辐射源中的每一个，物体10都会投射阴影。根据本发明的实施例，复合轮廓被分割成由单个光源生成的轮廓，并且对于其中的每一个，均以与上文解释的相似的方式导出对应的光或辐射源的属性。

图1C是根据本发明的又一其他实施例的***的框图。在此说明场景中的光或辐射源的属性是如何导出的；与光源相关的新导出的数据可以重复并使用，从而在检测到的阴影的基础上来检测场景中更多的物体。因此，例如，如上所述，可以基于阴影12A至12C和物体10导出光或辐射源14A和14B的属性。现在，与光或辐射源14A和14B有关的数据可以与捕获的轮廓14D一起使用，以便对物体10A及其属性进行检测。物体10A的位置可以基于由光或辐射源14A和14B投射的轮廓14D导出。

图1D是根据本发明的又一其他实施例的***的框图。前述场景还可包括一个或多个反射表面，例如镜面40。光或辐射源14A的图像14D也可照射场景并且作为其自身的辐射或光源。

在提供关于场景中的反射表面的信息(位置和属性)的情况下，可以分析光或辐射真实源14A的反射(光或辐射图像源14D)，和/或分析通过反射表面40的光或辐射线，以获得关于光或辐射真实源14A的更多信息。

例如，对于真实光或辐射源14A和一个物体10，存在一个阴影12A。在镜面40已知的情况下(例如其等式或仅仅是位置和方向)，辅助阴影12D也会存在。分析两个阴影以及真实和图像光或辐射源(或回溯追踪它们的光线)将提供关于真实光源14A的属性的更多理解。

图2是根据本发明的实施例的***的一个方面。在横截面200A中，光或辐射源20出现，且轮廓24A投射在表面26上。诸如22A和22B两个物体(或更多)可以是轮廓光源(或辐射源)对的候选。这一歧义可以通过如图所示的200B横截面解决，200B显示在20A的顶部上有附加光或辐射源20B。在此，复合(或合成)轮廓24B与两个光或辐射源一起作用将有助于将物体22B识别为唯一的一个物体。

图3是方法300的高级流程图，显示基于对场景中存在的轮廓的分析，来识别影响场景的光或辐射源的方法。方法300可以包括以下步骤：感测场景(包含表面和物体)中的至少一个图像，其中该场景由至少一个清晰的光或辐射源310照射；维护场景的数据库，该数据库存储场景320中的至少一些物体的近似位置；识别被怀疑由至少一个清晰的光源或辐射源330投射的至少一个候选剪影；以及基于至少一个已识别的轮廓，并进一步基于数据库340导出的数据，导出至少一个清晰的光或辐射源的属性。

根据本发明的一些实施例，清晰的光或辐射源被定义为非环境光源。

根据本发明的一些实施例，导出至少一个清晰的光或辐射源的属性包括将场景映射到关于至少一个清晰的光或辐射源的存在和属性的可能性和置信度的映射图中。

根据本发明的一些实施例，基于从数据库120导出的场景中的物体的边界，通过从至少一个候选剪影12的轮廓回溯光或辐射线来实现光源属性的导出。

根据本发明的一些实施例，该方法还包括一个步骤，即基于至少一个清晰的光或辐射源的导出属性计算轮廓，并检查计算的轮廓所在的实际轮廓是否存在，以验证至少一个清晰光源的导出属性。

根据本发明的一些实施例，该方法还包括一个步骤，即基于计算的轮廓的属性与验证的轮廓的属性之间的差异，如形状、颜色(带宽)、位置等，更新至少一个清晰的光或辐射源的属性。

根据本发明的一些实施例，该方法还包括一个步骤，即检测场景中没有轮廓的区域，并基于从数据库导出的数据来计算清晰的光或辐射源不能位于的位置。

根据本发明的一些实施例，该方法还包括一个步骤，即获得场景中的环境光或辐射水平并基于该环境光或辐射水平来归一化至少一个清晰的光或辐射源的导出属性。

在上述描述中，实施例是本发明的例子或本发明的实践。“一个实施例”，“实施例”或“一些实施例”的各种表述不一定都指代相同的实施例。

虽然本发明的各种特征可通过单个实施例来体现，但是这些特征也可以单独提供或以任何合适的组合提供。相反，尽管为了清楚起见本发明可以利用分开的实施例在文中体现，但是本发明也可以在单个实施例中实现。

说明书中对“一些实施例”、“实施例”、“一个实施例”或“其他实施例”的引用意味着所描述的特定特征、结构或特性可在本发明的至少一些实施例中体现，但不一定在本发明的所有实施例中体现。

应该理解的是，文中使用的措辞和术语不应被解释为限制，而是仅用于描述性目的。

参考所附说明书、附图和实施例可以更好地理解本发明的原理和用途。

应该理解的是，文中阐述的细节并不构成对本发明的应用的限制。

此外，应理解的是，本发明可以以各种方式实施或实践，并且本发明可以在除以上描述中概述的实施例之外的实施例中实现。

应理解的是，术语“包括”、“包含”、“由......组成”及其语法变体不排除添加一个或多个组件、特征、步骤、整体或组合，且这些术语将被解释为指定组件、特征、步骤或整体。

如果说明书或权利要求涉及“附加”元件，则不排除存在多于一个附加元件。

应理解的是，在权利要求或说明书提及“一”或“一个”元件的情况下，这种引用不被解释为仅存在一个该元件。

应理解的是，在说明书陈述组件、特征、结构或特性“可能”、“会”、“能够”、或“可以”被包括的情况下，该特定组件、特征、结构或特性不一定必须包括在内。

在适用的情况下，虽然可以使用状态图、流程图或两者结合来描述实施例，但是本发明不限于这些图或相应的描述。例如，流程不需要贯穿每个图示的框或状态，或者采用与图示和描述完全相同的顺序。

本发明的方法可以通过手动、自动或其组合来执行或完成选定的步骤或任务来实施。

在权利要求和说明书中给出的描述、示例、方法和材料不应被解释为限制性的，而是仅仅是说明性的。

除非另外定义，否则本文使用的技术和科学术语的含义可被本发明所属领域的普通技术人员所理解。

本发明可以采用与本文所述相同或相似的方法和材料在测试或实践中实施。

尽管已经根据有限数量的实施例对本发明进行了描述，但是这些描述不应该被解释为对本发明范围的限制，而是作为一些优选实施例的范例。其他可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围不应受到本文至此所描述的内容的限制，而是由所附权利要求及其法定等同物来限制。

Claims (14)

1.一种用于确定场景中的波源特性的方法，包括：

感测包含表面和物体的场景的至少一个图像，其中，所述场景由至少一个清晰的辐射源照射；

维护所述场景的数据库，所述数据库存储所述场景中至少一些所述物体的至少部分的近似位置；

识别被怀疑由所述至少一个清晰的辐射源投射的至少一个候选剪影；

基于从所述数据库导出的数据，基于至少一个所识别的轮廓，导出所述至少一个清晰的辐射源的属性；

基于至少一个清晰的光源的所导出的属性计算剪影，并检查所计算的剪影所在的实际剪影是否存在，以验证所述至少一个清晰的辐射源的所导出的属性；以及

基于所计算的剪影的属性与所述实际剪影的属性之间的差异，更新所述至少一个清晰的辐射源的属性。

2.根据权利要求1所述的方法，其中，将清晰的辐射源定义为非环境辐射源。

3.根据权利要求1所述的方法，其中，导出所述至少一个清晰的辐射源的属性包括：将所述场景映射到关于所述至少一个清晰的辐射源的存在和属性的可能性和置信度的映射图中。

4.根据权利要求1所述的方法，其中，基于从所述数据库导出的所述场景中的所述物体的边界，通过从至少一个所述候选剪影的轮廓回溯辐射线来实现辐射源属性的导出。

5.根据权利要求1所述的方法，进一步包括：检测所述场景中没有剪影的区域，并基于所检测的区域和从所述数据库导出的数据来计算清晰的光或辐射源不能位于的地方。

6.根据权利要求1所述的方法，进一步包括：获得所述场景中的环境辐射水平，并基于所述环境辐射水平，归一化所述至少一个清晰的辐射源的所导出的属性。

7.根据权利要求1所述的方法，进一步包括：获得与所述场景中至少一个反射表面相关的信息，并且其中，所述至少一个清晰的辐射源的属性的导出进一步基于已知由所述至少一个反射表面反射的所述至少一个清晰的辐射源的反射所投射的至少一个已识别的剪影。

8.一种用于确定场景中的波源特性的***，包括：

感测装置，被配置为感测包含表面和物体的场景的至少一个图像，其中，所述场景由至少一个辐射源照射；

所述场景的数据库，被配置为存储所述场景中至少一些所述物体的至少部分的近似位置；以及

计算机处理器，被配置为：

识别被怀疑由至少一个物体投射的至少一个候选剪影，

基于至少一个已识别的剪影和至少一个相应的物体，导出所述至少一个辐射源的至少一些属性，

基于至少一个清晰的光源的所导出的属性计算剪影，并检查所计算的剪影所在的实际剪影是否存在，以验证所述至少一个清晰的辐射源的所导出的属性；以及

基于所计算的剪影的属性与所述实际剪影的属性之间的差异，更新所述至少一个清晰的辐射源的属性。

9.根据权利要求8所述的***，其中，清晰的辐射源被定义为非环境辐射源。

10.根据权利要求8所述的***，其中，导出至少一个清晰的辐射源的属性包括：将所述场景映射到关于所述至少一个清晰的辐射源的存在和属性的可能性和置信度的映射图中。

11.根据权利要求8所述的***，其中，基于从所述数据库导出的所述场景中的所述物体的边界，通过从至少一个所述候选剪影的轮廓回溯辐射线来实现辐射源属性的导出。

12.根据权利要求8所述的***，其中，所述计算机处理器进一步被配置为：检测所述场景中没有剪影的区域，并基于所检测的区域和从所述数据库导出的数据来计算清晰的光或辐射源不能位于的地方。

13.根据权利要求8所述的***，其中，所述计算机处理器进一步被配置为：获得所述场景中的环境辐射水平，并基于所述环境辐射水平，归一化至少一个清晰的辐射源的所导出的属性。

14.根据权利要求8所述的***，其中所述计算机处理器进一步被配置为：获得与所述场景中至少一个反射表面相关的信息，其中，所述至少一个清晰的辐射源的属性的导出进一步基于已知由所述至少一个反射表面反射的所述至少一个清晰的辐射源的反射所投射的至少一个已识别的剪影。