发明内容
照相机常常可能仅能够看到单个光源,例如当在室内并且面向上使用时,和/或因为内置到像电话或平板电脑这样的设备中的典型照相机可能仅具有有限的视场。在这样的情况中,这意味着不能执行光源之间的三角测量。将期望的是,提供不一定依赖于处于视图内的多个不同光源的可替换技术。
如本文所公开的,这可以使用分析如出现在所采集的图像中的给定照明器的视角失真形状的几何视角(perspective)计算来实现。然而,一种阻碍在于典型的光源往往具有对称形状,例如在诸如光源将安装于其上的天花板之类的表面的平面中对称。例如,形状可以具有旋转对称性(旋转对称的阶是二或更多)或者镜像对称性(轴对称)。这将歧义性引入计算,例如正方形从四个不同的角度看起来相同。因此,基于常规照明器,编码光检测器将需要在其视场中具有至少两个照明器以便从图像知晓其取向。根据本公开,可以将光效果引入到由光源发射的光以便破坏对称性,优选地对人眼而言不可感知的效果,诸如以高频调制到光中的非对称编码光分布。当光源的图像由照相机采集时,几何视角计算可以在图像上执行以基于非对称光分布确定照相机相对于光源的取向。
因此,根据本文所公开的一方面,提供了一种用于使用在基于照相机所采集的照明器的图像确定照相机的取向中的照明器。照明器包括具有其中它发射光的接通状态和其中它不发射光的关断状态的光源,光源具有带有对称性的形状并且在关断状态中看起来具有所述对称性。照明器还包括被配置成控制光源以发射具有破坏所述对称性的照明效果的接通状态中的所述光的控制器。
优选地,所述照明效果对人类视觉而言不可感知并且对照相机而言可感知。光源因而发射具有对人类而言对称的外观的光,而照明效果在由照相机检测到时破坏对称性。
在优选应用中,照明器用于安装在诸如天花板、地板或墙壁之类的限定平面的表面上,并且对称性处于所述表面的平面中。在实施例中,用于破坏对称性的照明效果在所述表面的平面中不具有对称性。
为了实现非对称性,可以将光源分成非对称区段,并且控制器可以被配置成通过从不同区段不同地发射光来产生所述照明效果。
控制器可以被配置成使用编码光产生所述照明效果。
控制器可以被配置成通过从每一个所述区段不同地发射编码光或者从一个区段发射编码光而同时从另一区段发射非编码光来产生所述照明效果。
根据本文所公开的另一方面,提供了一种用于基于从照相机所接收的图像数据来确定照相机的取向的设备,图像数据包括发射光并且具有带有对称性的形状的光源的图像。设备包括被配置成通过基于光源的图像而执行几何视角计算来确定照相机相对于光源的取向的图像分析模块。图像分析模块被配置成通过检测破坏所述对称性的光源所发射的光中的照明效果来解决取向中的歧义性。
取向是指照相机从其面对光源的方向的任何度量。例如,可以根据适合的方向参考系中的两个角度或者单位向量来表达方向。适合的方向参考系的一个示例是其中正Z轴面向上并且正X轴面向地平线上的北方的3D坐标系。适合的方向参考系的另一示例是将灯或灯壳的几何中心当作(0,0,0)原点坐标并且将灯或灯壳外部的两个预确定的物理标记当作例如(1,0,0)单位向量和(0,1,0)单位向量点通过的点的3D坐标系。在实施例中,几何视角计算还可以基于光源的所采集图像来确定照相机相对于该光源的距离。距离是坐标系中的照相机与光源之间的空间幅度的度量。组合地,取向和距离给出照相机的位置的度量,例如,其可以根据相对于(方向)参考系中的固定点的向量或者坐标来表达,要么是相对于光源要么是平移到某个其他参考点或参考系。因此,图像分析模块可以被配置为一起使用所确定的距离和取向来确定照相机相对于所讨论的光源的位置。例如,相对于光源的位置可以被确定为3D(x,y,z)坐标系中的坐标,其中灯处于位置(0,0,0)处,以米为单位,负Z轴指向下,并且正X轴指向地平线上的北方。
在另外的实施例中,如果设备还具有地图或地球上的光源的绝对位置的知识,则其还可以通过将关于光源的绝对位置的信息与照相机相对于光源的位置组合来确定照相机的绝对位置。该确定还可能要求例如以灯的几何形状为根据的方向参考系关于地图或者地球的北/南/东/西/上/下参考系如何取向的知识。
在优选的应用中,设备包括照相机,照相机安置在设备中或者物理地安装在设备上,或者以其他方式基本上共同定位和附接以便与设备一同移动。例如,设备可以是诸如移动电话或者平板电脑之类的移动终端。在这样的实例中,可以假定设备的取向基本上是照相机的取向。然而,不排除设备与设备分离,例如通过接线、无线链路或者网络连接,并且期望的是远程地确定照相机的取向。
尽管可以可选地使用多个光源的图像,但是技术不依赖于处于视场内的多个光源并且可以基于来自一个上部的任何数目光源来确定距离信息。
根据本文所公开的另外的方面,可以提供用于执行本文所公开的照明器和/或设备的操作的对应方法和/或计算机程序产品。
具体实施方式
以下描述具有照相机的设备可以通过其基于编码光检测与几何分析的组合检测其取向、地点或位置的技术。还描述了对于基于编码光的定位特别有益的编码光启用的照明装置。技术包括对编码光解码以获得源的标识符(ID)、获得与光源相关联的物理尺寸、以及使用几何视角计算来从照相机图像中的光源的外观确定照相机的位置。在优选的实施例中,编码光被用于使光源与照相机非对称地出现,同时其保持与人眼对称的外观。由于光源与人类用户在外观上对称,同时其以非对称方式发射编码光,因而这可以在不中断照明的用户体验的情况下改进其作为位置信标的有用性。在实施例中,以下所公开的教导甚至适用于其中仅具有对称外观的单个编码光源在照相机的视野内的情况。
图1示出了其中可以部署本文所公开的实施例的示例空间或者环境5。例如,空间5可以包括办公室、家、学校、医院、博物馆或者其他室内空间的一个或多个房间和/或走廊;或者诸如停车场、街道、体育场等等的室外空间;或者诸如露台或者车辆内部之类的另一空间。空间5安装有照明***,其包括以一个或多个照明装置的形式的一个或多个照明设备4。出于说明性目的,示出了三个照明装置4i、4ii和4iii,但是将理解到,可以存在其他数目。可以在中央控制下或者作为分离的独立单元而实现照明装置4。在空间5中还存在用户终端6,优选地诸如智能电话或者平板电脑之类的移动设备。
图2给出了如可以用于实现一个或多个照明装置4中的一个、一些或全部的照明装置的框图。照明装置4包括光源12,其包括诸如LED、LED阵列或荧光管之类的一个或多个发光元件。照明装置4还包括耦合到照明源12的驱动器10和耦合到驱动器10的控制器8。控制器8被配置为将信号输出给驱动器10以便驱动光源12来发射期望的光输出。控制器8可以以代码的形式实现,该代码存储在计算机可读存储介质或媒体上并且被布置为在包括一个或多个处理单元的处理器上执行。可替换地,不排除在诸如FPGA之类的可重新配置的电路或者专用硬件电路中实现控制器8中的一些或全部。控制器8可以本地实现在照明装置4处或者可以与一个或多个其他照明装置4共享的中央控制器处,或者这些的组合。一般地,部件8、10和12可以或可以不集成到相同外壳中。
控制器8被配置为控制由光源12所发射的光以利用编码光分量进行调制。编码光是指借以将信号嵌入由照明装置所发射的可见光中的技术。因此,光包括用于光照诸如房间之类的目标环境(典型地,光的主要目的)的可见光照贡献和用于将信息提供到环境中的嵌入式信号二者。为了做到这一点,以一个或多个特定调制频率(典型地调制对于人类视觉不可觉察的足够高的频率)调制光。例如,调制可以采取正弦、矩形波或者其他波形的形式。典型地,调制频率是指调制的单个或者基本频率,即波形在其之上重复的时段的频率。在一些最简单的情况中,信号可以包括调制到来自给定照明装置的光中的单个色调。在其他情况中,可以将包括更复杂的数据的信号嵌入光中。例如,使用频率键控,给定照明装置可操作为在两个(或两个以上)不同的调制频率上发射并且通过在不同的调制频率之间切换而传送数据位(或者更一般地符号)。在实施例中,相同空间5中的多个照明装置4中的每一个可以被布置为发射利用充当相应照明装置的标识符(ID)的不同相应编码光分量调制的光,使得可以基于ID区分光所来自的照明装置4。ID至少在特定空间5(例如在特定房间或建筑)中的那些照明装置之中是唯一的。在编码光分量是单个色调的情况中,不同的照明装置4可以被布置为发射具有充当ID的不同相应调制频率的光。可替换地,可以例如使用频率键控将ID编码在数据中。在另外的实施例中,可以将可替换的或者附加的数据编码到光中。
图3给出了移动设备6的框图。设备6包括具有二维图像采集元件的照相机14和耦合到照相机14的编码光检测模块15。编码光检测模块15被配置为处理由图像采集元件所采集的信号并且检测从其采集图像的光中的编码光分量。设备6还包括耦合到照相机14的图像分析模块16,其被配置为基于由该照相机14所采集的光源的图像来确定照相机14相对于一个照明装置4i的光源12的位置。而且,设备可以包括耦合到图像分析模块16的位置确定模块17,其被配置为将从图像分析模块所确定的位置与光源4i的位置组合以确定照相机14的绝对位置。这可以是相对于地球表面的绝对地理位置或者诸如城镇地图或者建筑平面图之类的地图上的绝对位置。如果照相机14安置在与设备相同的外壳内或者物理地安装在其外壳上以便与设备6一同移动(与仅通过比如说柔性电缆附接相反),那么可以将照相机14的位置或地点当作设备6的位置或地点。
编码光检测模块15、图像分析模块16和/或位置确定模块17可以以代码的形式实现,该代码存储在计算机可读存储介质或媒体上并且被布置为在包括一个或多个处理单元的处理器上执行。可替换地,不排除在诸如FPGA之类的可重新配置的电路或者专用硬件电路中实现这些部件中的一些或全部。一般地,部件14、15、16和/或17可以或可以不集成到相同外壳中。而且,不排除编码光检测模块15(唯一地或者附加地)耦合到与照相机14不同的编码光灵敏检测器,例如第二照相机还可用于移动设备6或者光电二极管可用于移动设备6,并且这可以用作以下检测编码光的可替换方式。
一个或多个照明装置4被配置为将光发射到空间5中并且从而光照该环境的至少一部分。移动设备6的用户能够将设备的照相机16指向一个照明装置4的光源12,比如说以图示的方式标示4i的照明装置。因此,照相机14可以采集光源12的图像。如本文所描述的光源12可以是指包括一个或多个发光元件的照明装置4(例如4i)的可见部分。这将具有特定形状,例如正方形、长方形或圆形。例如,这可以是单个暴露发光元件的形状(例如,荧光管的形状)、发光元件的阵列(例如,LED的阵列)的形状、一个或多个发光元件安置在其后面的扩散材料的形状、或者一个或多个照明元件的装配或周围的形状(光源的形状不严格地限于仅被视为一个或多个单独的照明元件的形状,尽管这是一种可能性)。当由照相机14从远处并且典型地还以某一角度观看,然后投影到图像采集元件的二维平面上时,根据视角的效果,光源12的形状(其大小和/或相对比例)看起来失真。例如,如果安装在天花板上,则可以从下面观看光源,例如参见图4。
图像分析模块16可以使用该视角失真形状以基于几何视角计算确定照相机14与光源12的距离。图像分析模块16还可以在视角失真形状上执行几何视角计算以便确定照相机14相对于光源12的取向(例如,作为照相机的视场的中心轴线的向量或者二维或三维角度)。距离和取向的组合可以用于给出照相机14的位置(例如,地板和/或天花板的平面中的二维位置或者甚至三维位置)。在实施例中,这可以被当作设备6自身的位置。用于分析诸如正方形、长方形和圆形之类的几何形状的视角失真外观的适合的计算的细节对于技术人员而言将是已知的。
然而,为了执行该计算,图像分析模块16将要求关于光源12的一个或多个实际尺寸的一些信息,以便将实际尺寸与如其在光源12的所采集图像中出现的尺寸相比较。根据本公开,可以基于嵌入来自由照相机14观看的照明装置4i的光源12的光中的编码光信号而获得该信息。
在实施例中,这可以基于嵌入来自相应光源12的光中的照明装置4(例如4i)的ID而完成。在该情况中,ID可以用于查找适合的数据仓库中的相应光源12的一个或多个所要求的尺寸,所述数据仓库包括将ID映射到关于(多个)对应光源尺寸的信息的数据库或者查找表。例如,数据仓库可以预存储在设备6自身内的本地存储中,或者可以实现在诸如本地网络或者像因特网这样的广域网之类的网络上。设备6的编码光检测模块15处理由照相机所采集的光样本以便检测编码到光中的ID,并且然后使用诸如本地无线连接(例如,Wi-fi或者蓝牙)或者蜂窝无线连接(例如,3GPP)之类的适合的网络接口来访问数据仓库。因此,编码光检测模块15能够将ID提交给数据仓库,接收回关于(多个)对应光源尺寸的信息并且将该信息传递给图像分析模块16以用于在视角计算中使用。
在可替换的或者附加的实施例中,控制器8可以被配置为将关于相关光源12的一个或多个尺寸的信息明确地编码到由相应照明装置4i的光源12所发射的光中。在该情况中,编码光检测模块15能够直接从由相关光源12所发射的光检索信息,并且将该信息传递给图像分析模块16以用于在视角计算中使用。
在任一情况中,有利地,设备6基于照相机所观看的相同对象的相同图像而获得光源12的(多个)实际尺寸以便获得(多个)明显的视角失真尺寸。
关于光源12的一个或多个尺寸的信息可以足以确定照相机14距该光源12的距离。例如,信息可以包括光源12是圆形的指示以及其半径、直径和圆周的指示。这将允许图像分析模块16确定距光源12的距离。类似地,如果光源12是正方形,那么可以从正方形的侧边的指示和形状是正方形的指示来确定距离,或者如果光源12是长方形,那么可以从两侧或一侧和两侧的比例的指示以及形状是长方形或者矩形的指示来确定距离。如果针对特定环境预先设计,则图像分析模块16可以甚至被预配置为假定形状是比如说圆形或正方形,或者可以被配置为从视角失真图像估计形状的类型,在该情况中,作为最低限度,图像分析模块16仅需要提供有例如半径或者边缘的单个测量结果。
然而,应当指出,许多光源的形状将具有对称性。例如,形状可以具有旋转对称,即至少为二的旋转对称的阶。旋转对称的阶是在关于某个轴旋转通过全360度圆周或等效地关于围绕该轴全360度观看时形状将匹配或者重复自身的次数。阶1不表示旋转地对称。注意,这也不意指光源12实际上必须能够旋转,仅意指如果旋转或等效地从不同角度观看,则形状将具有该性质。光源的形状还可以或者可替换地具有镜像对称(还被称为反射对称或者线对称)。即,如果关于对称的一个或多个线反射或翻转,则形状将与自身相同(再次注意,这不一定意指光源实际上必须物理地翻转,仅意指如果翻转,则形状将具有该性质)。在典型的应用中,光源12将安装在诸如天花板或者可能地墙之类的表面上,并且对称性是该表面的平面中的对称性。如果期望知道照相机14相对于光源的取向,则这样的对称性将引入歧义性到计算中。
为了说明这一点,如果如图4中所示的长方形照明装置发射具有嵌入其中的其ID的编码光,则具有如图4中所示的视点的编码光检测器将能够(从ID)确定其靠近哪个照明装置。假定编码光沿着其光源的长度基本上一致地发射,那么就涉及编码光检测器而言,照明装置将具有180度旋转对称。类似地,正方形照明装置将具有90度旋转对称,或者圆形照明装置将从任何角度看起来相同。因此,基于该信息,检测器可以“知道”其靠近哪个照明装置并且潜在地其离照明装置多远,但是将不知道其面向哪个方向。典型地,因为光源轮廓具有对称外观,所以存在光源轮廓从其将看起来这样的房间中的多个候选位置。针对图5和6中示意性地90度旋转对称的情况图示这一点。给定图4中的图像数据和光源12的(多个)已知尺寸,检测器可以将它从其观看光源的可能位置的数目限制为关于光源12的房间中的四个位置(或者取向),由图5(透视图)和6(自上而下视图)中的A、B、C和D中指示。对于镜像对称光源而言,一般地,将存在不能消除歧义的两个位置,例如图5中的位置A和B。
因此,在没有其他修改的情况下,编码光检测器将需要具有其视场中的至少两个这样的照明装置以便从图像知道其取向,或者以其它方式取向将必须由可替换装置获得。
为了解决这一点,本公开提供在关闭时对称但是在开启时非对称地发射光的光源。为了实现这一点,光源可以分为不同的区段,其不同地发射光以便破坏对称性。优选地,非对称性对于照相机14是可察觉的,但是对于人类视觉是不可察觉的。这可以实现为具有编码光的非对称分布的编码光启用的照明装置。
图8图示了编码光启用的照明装置——从内部区段内发射的光(由叠加在图像上的内部矩形线示意性地示出)与由照明装置所发射的光的其余部分是可区分的。
例如,在具有两个或两个以上管的照明装置中,管可以被布置为发射相互不同的编码光,或者仅一个管发射编码光。许多其他实施例是可能的,例如如以下所讨论的。因此,编码光检测模块15可以将该信息传递给图像分析模块16,其由于缺乏对称性而因此可能在几何视角计算中明白地确定照相机的取向——甚至是仅一个照明装置4i处于其视场中时。
考虑如由面向上的智能电话类型照相机所采集的图4和图8中的灯的图像。在这两个图像中,仅单个(接通的)光源在视场中是可见的。这些光源发射以编码光的形式的ID。位置确定如下进行。
图像分析模块16分析图像以定位光源12。而且,编码光检测模块15对由光源12所发射的编码光解码以获得该光源的ID。编码光检测模块15使用ID获得几何数据,其可以包括光源12(的可见部分)的形状和可选地源在建筑中的位置。在可替换的实施例中,几何数据直接编码在编码光中。总之,编码光检测模块15将几何数据传递给图像分析模块16。图像分析模块16识别图像中的形状。例如,可以利用边缘检测识别轮廓,例如参见叠加在图8中所示的图像上的外线。
通过使用轮廓的已知大小并且在其出现于图像中时将其匹配到视角失真形状,可以确定到光源的距离和角度。典型地,因为光源轮廓具有对称外观,所以存在光源轮廓从其将看起来这样的房间中的多个候选位置。此处,轮廓具有2个对称轴,这导致房间中的四个可能位置A、B、C和D。参见图5和6。
为了在这些可能的位置之间消除歧义,图像分析模块16使用光源配备有破坏对称性的编码光生成装置这一事实。例如,如图7(光源的底视图)中所示,源的发光部分被分为两个分区或者区段1和2。区段1发射编码光,而区段2不发射,或者发射另一编码光代码,或者相同的代码但是以使得可以将两个区段区分的方式进行编码。为了消除歧义,确定编码光发射的一个区段的位置或形状,例如参见叠加在如图8中所示的图像上的内线。将这与已经确定的其他几何方面相比较。最终结果是,可以明白地确定照相机关于光源12的位置和因此房间(并且通过扩展,建筑)中的设备的位置。
为了关于哪个不同的非对称视图对应于哪个原本有歧义的方向而通知图像分析模块16,关于照明器4i的非对称配置的信息还可以基于编码光而传递到设备6。例如,编码光检测模块可以在其发射的编码光中检测照明器4i的ID,并且使用它来查找将ID映射到尺寸的本地或远程数据仓库中的不同区段1,2的某些特征尺寸(类似于关于获取照明器的(多个)总体尺寸所描述的技术)。在另一示例中,信息可以显式编码到从照明器4i发射的编码光中,并且由编码光检测模块15直接从编码光检索。可替换地,图像分析模块16可以预配置有关于预期非对称性的信息,如果其意图与照明器的特定设计一同工作或者在特定环境中工作的话。
图9和10示出了用于实现具有圆形发射开口的光源中的非对称编码光的可替换选项,以及因此旋转对称。图9示意性地图示了从较宽圆形光源的中心偏移的内部圆形区段1,即具有不同的中心。第二区段2是未由区段1占据的圆形光源区域的其余部分。在图10中,区段1是圆的楔形或者“扇形”,并且区段2是圆的其余部分。与图7的示例类似,两个区段1、2中的一个发射编码光而另一个不发射,或者两个区段不同地发射编码光。
图11给出了另一示例。此处,图示了LED照明装置的下侧,其中光扩散材料被切除和单独的LED元件被示为小圆18。LED分为不同的非对称区段。可以利用编码光驱动分区1中的LED,而可以利用“正常”光或不同地编码光驱动分区2中的其余LED。
在另一示例中,图12示出了具有改型编码光发射器(小正方形)19的荧光管照明装置的下侧。通过将发射器放在非对称位置中,这提供实现非对称编码光输出的另一方式。
一旦已经确定照相机6的距离和取向,则位置确定模块17可以使用该信息来微调照相机16或设备6的位置估计。例如,位置确定模块可以被配置为通过获得所观看的照明装置4i的位置来获得设备的绝对位置的粗略估计。例如,这可以通过从由该照明装置的光源12所发射的编码光检测照明装置4i的ID并且查找将ID映射到照明装置坐标的数据仓库中的照明装置的ID而完成,或者可以将坐标直接编码到由该照明装置的光源所发射的编码光中。然后,相对于照明装置4i的设备6的位置可以与照明装置的绝对位置组合,例如添加向量,以获得设备6的绝对位置。
这样的技术可以例如适于诸如基于位置的广告或者人类或者机器人的室内导航之类的位置***。
将理解到,已经仅以示例的方式描述以上所阐述的实施例。
一般地,可以相互独立或一起使用距照明装置的距离和相对于照明装置的取向的确定。而且,信息不是必须用于最终确定照相机16或设备6的绝对位置。例如,仅从光源的图像获得照相机16的取向可以是有用的。例如,设备可以从诸如GPS之类的其它构件确定其坐标但是不具有其取向的度量,在这种情况下,其可以从光源12的图像确定取向并且将它与GPS坐标组合,例如以向地图应用上的位置指示符添加方向箭头。在另一示例中,比方说在室内导航应用中,用户可能只是希望知道沿走廊走哪条路。另外,在其中非对称光发射用于破坏光源中的对称性的情况下,这可以使用除编码光之外的其它措施来实现。例如,光源12的不同区段可以布置成以非对称方式发射不同偏振的光。另外,非对称光发射破坏所有对称性(例如旋转对称的所有阶)可能并不总是必要的。例如,如果光源是矩形的并且仅希望能够分辨出照相机16或设备6沿走廊面对哪条路,则光可以仅破坏沿走廊长度的对称性。在以上示例中,已经将对称性描述为通过将光源分成不同空间区段1或2来破坏。在另外的实施例中,想法不限于将光源分成仅两个不同区段或者所说明的特定配置,并且可以基于使得能够解决所不希望的歧义性的任何数目区段而使用其它配置。另外,在其它实施例中,想法不限于使用光源的不同空间区段来破坏对称性。例如,光源可以被配置成以不同角度发射不同光,例如发射编码有沿走廊的一个方向的一个代码的光和编码有沿走廊的另一方向的另一代码的光。
在另外的实施例中,分析还可以使用出现在图像中的其他对象以进一步改善几何视角计算。例如,其可以在其计算中使用天花板(例如,具有可见边缘的天花板)的其他对象的几何特征。
通过研究附图、说明书和随附权利要求书,本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中,词语“包括”不排除其他元件或者步骤,并且不定冠词“一”或“一个”不排除多个。单个处理器或者其他单元可以实现权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定措施的仅有事实并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在诸如连同其他硬件一起或者作为其一部分提供的光学存储介质或者固态介质之类的适合的介质上,而且可以以诸如经由因特网或其他有线或无线电信***之类的其他形式分布。权利要求中的附图标记不得被解释为对范围的限制。