CN109636850A - 面向室内智能灯下的可见光定位方法 - Google Patents

Abstract

本发明请求保护一种面向室内智能灯下的可见光定位方法，本发明属于通信网技术领域。此方法在手机照相机采集的带有2盏LED灯的图像的基础上，提出了手机平行于天花板，手机旋转和倾斜于天花板下的定位算法。前者利用小孔成像，视觉分析技术提出平行条件下的定位算法，补充了目前算法必须需要多余2盏LED灯才能定位的条件；后者进一步考虑手机旋转和倾斜的情形，利用摄影学原理，像点位移技术提出旋转与倾斜下的定位算法，能够使得接收端在任何条件下都实现定位。本发明综合考虑了在手机拍摄的图片仅有2盏LED灯下的定位算法，能够使得可见光定位算法不在局限于需要不少于3盏灯的条件，提高了定位算法的健壮性，普适性。

Description

面向室内智能灯下的可见光定位方法

技术领域

本发明属于通信网络技术领域，涉及室内智能灯下的可见光定位(Visible LightPositioning)算法。

背景技术

智能LED灯是指利用电力电子、信息处理、传感器和通信等技术，形成智能化照明的一项技术。智能照明控制方式是根据传感器检测的环境信息和用户的调光和定时设置，控制器进行分析和响应，通过通信技术把数据传输给要控制的灯具，如有必要对相应的结果进行存储或者显示出来，经过这样的控制流程，达到用户所要求的照明环境，同时也可以实现节约电能。人们对智能灯的需求也越来越高，迫切要求智能LED灯行业的快速发展和壮大。而智能LED照明的飞速发展和可见光通信技术的普及为定位技术提供了契机，通过直接改造室内照明LED设备的方式来构建发送端，并在接收端设计定位算法来实现对于接收端位置的估计，这就是可见光室内定位技术(Visible Light Positioning)。

目前定位技术的应用范围越来越广泛，例如在普通的商业活动、地质勘探、科学研究和抢险搜救等众多领域都有重要的应用。全球定位***(Global Positioning System，GPS)，GPS技术早就己经在室外的环境中得到了广泛的应用。但是在一些人类活动最为频繁的室内环境中，由于无线信号的衰减和多径效应的影响，GPS的定位精度十分有限，因此无法为使用者提供可靠的位置服务。另外，在某些特定的场合，无线通信技术是被限制使用的，比如医院、飞机机舱、矿井和加油站等场所。基于以上的分析原因，室内利用可见光定位技术的研究就显得越来越为重要。这种技术相对于传统室内无线定位技术具有定位精度高、附加模块少、保密性好、兼顾通信与照明等优点。在一些没有无线信号覆盖的场合，现有的无线通信室内定位***无法工作。因此，利用可见光来实现定位是一个有效的方案。

尽管可见光定位***能提供高精度的，实时的室内定位方案，但是由于其定位算法中需要智能手机捕获的照片多于3盏智能LED灯的条件大大限制了其技术的普适性与健壮性。室内空间智能LED灯的布局依据房间的大小，照明需求，实际工程等问题来设计的，由于智能手机摄像头具有一定的视场角(Field of View,FoV)，不可能每次摄像的图片都出现多于3盏灯情形。根据室内照明的普遍布局，手机摄像的图像出现2盏智能灯的概率较大。因此，设计一种针对2盏智能LED灯下的高精度定位算法对建设室内可见光定位***技术有着重要的理论意义和应用价值。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种在保证定位算法的实时性和手持智能手机的习惯性的前提下，增强可见光定位***的精度和普适性的面向室内智能灯下的可见光定位方法。本发明的技术方案如下：

一种面向室内智能灯下的可见光定位方法，其在智能手机照相机采集的带有2盏智能LED灯的图像的基础上，当智能手机平行于天花板、智能手机旋转和倾斜于天花板时，具体包括以下步骤：

当智能手机平行于天花板时，在二维平面内，以天花板的西南角为原点建立真实世界坐标系，以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，当图像坐标系和真实世界坐标系完全平行的情况下，使用视觉分析和比例因子的算法原理来定位智能手机；

当智能手机仅在水平面上旋转时，智能手机的水平图像坐标系围绕着图像的中心点M旋转了θ角，形成了旋转图像坐标系，出现旋转角度，随着智能手机的旋转，相机图像预览也旋转，利用视觉分析和比例因子算法的原理找到等效的水平图像坐标系中的坐标；

在智能手机三维倾斜的情形下，通过等效坐标系和补偿图像位移的方式实现了对手机的定位。

进一步的，所述当智能手机平行于天花板时，在二维平面内，以天花板的西南角为原点建立真实世界坐标系，以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，具体包括：在二维平面内，以天花板的西南角为原点建立真实世界坐标系，记P为待求的定位点，坐标为(X,Y)，A和B为两盏LED灯，坐标分别为(X_A,Y_A)和(X_B,Y_B)，A和B之间的空间距离为S₁；以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，记图像的中心点的像素坐标为(X_mid,Y_mid)，图像中两组条纹中心的像素坐标分别记为(X_a,Y_a)和(X_b,Y_b)，它们之间的像素距离记为S₂，最终目标是找到定位坐标(X,Y)，当图像坐标系和真实世界坐标系完全平行的情况下，根据摄相机的视觉分析原理，有如下几何关系：

通过上式(1)～(4)求得当前定位坐标(X,Y)为：

通过上述公式(1)～(6)，获得智能手机的真实世界坐标。

进一步的，所述智能手机仅在水平面上旋转时，通过两盏灯的连线与世界坐标系的夹角和捕捉到的图像中的两盏灯连线与旋转相机坐标系的夹角这两者之间的关系可以获得手机旋转的角度θ。

进一步的，所述当智能手机仅在水平面上旋转时，智能手机的水平图像坐标系围绕着图像的中心点M旋转了θ角，形成了旋转图像坐标系，出现旋转角度，随着智能手机的旋转，相机图像预览也旋转，利用视觉分析和比例因子算法的原理找到水平图像坐标系中的等效坐标，具体包括：

步骤1：建立如(7)所示的旋转矩阵；

其中(x′,y′)是两个LED在水平图像坐标系下的坐标，(x_r′,y_r′)是它们在旋转图像坐标系下的坐标，θ为智能手机水平旋转的角度；

步骤2：唯一未知的值θ通过捕捉到的图像中的隐藏信息来获得，AB与真实世界坐标系的X轴夹角为α，AB与旋转图像坐标系的X_r轴夹角为β，利用视觉分析的方法来获得θ、α、β三个角之间的关系，则θ、α、β有如(8)所示的关系：

θ＝β-α (8)

在正确的获得了θ的值之后，便可以利用公式(1)～(8)实现手机水平旋转情况下的定位计算。

进一步的，所述在智能手机三维倾斜的情形下，通过等效坐标系和补偿图像位移的方式实现了对手机的定位，具体包括：

建立倾斜图像的坐标系，并通过视觉分析和摄影测量学的方法，依据坐标系中等角点、等角线、方位角和矢量半径关系将图像等效转换为水平坐标系下；

在手机同时水平旋转和三维倾斜的情况下，定位算法将两种算法整合，先处理倾斜情形，再处理水平旋转情形。

本发明的优点及有益效果如下：

本发明依据智能手机所摄像的图像中智能LED灯的数量对室内可见光定位算法的影响，本发明提出一种在智能手机摄像的图片仅有2盏智能LED灯下的室内可见光定位算法，本算法综合考虑在摄像图片仅有2盏LED的情形下，智能手机坐标系平行于天花板坐标系，智能手机水平旋转平行于天花板坐标系，智能手机坐标系倾斜于天花板坐标系的情形下的定位算法，在保证定位算法的实时性和手持智能手机的习惯性的前提下，增强可见光定位***的精度和普适性。

本发明所提出的基于2盏智能LED灯的室内高精度可见光定位算法。解决了传统室内可见光定位算法中需要多余3盏LED灯的问题，主要包括以下内容，在智能手机照相机采集的带有2盏智能LED灯的图像的基础上，提出了智能手机平行于天花板，智能手机水平旋转，智能手机倾斜于天花板下的高精度定位算法。

之前的研究中基于智能手机相机捕获的图像的可见光定位***需要至少三盏LED作为信标，这在现实世界场景中是并不实际的。例如，在现代建筑中可调光LED的布局使得用户很难一次拍到3盏灯。此外，智能手机的倾斜角度通常在10-40度之间，从智能手机到地面的高度在1.3-1.6米之间。在这种情况下，由于智能手机相机的视野，拍摄的图像上并不总是有大于或等于3个智能LED灯。虽然在前人的研究中提出了一种基于一盏LED灯的定位，但它需要许多辅助传感器，例如加速度传感器，陀螺仪，光传感器等。由于传感器固有的不稳定性，这些辅助传感器将会导致不准确的定位。此外，其需要提前准备一个图像数据库，需要在定位之前拍摄所有灯光的图像。当室内环境中有很多智能灯的情况下，这是不实际和不方便的。进一步的，由于实际中的硬件和软件限制，在商用现货设备上构建这样的***将是一项非常重要的任务。

本发明提出了一种新颖的定位算法，该算法仅需要两个智能LED灯，其核心原理是依据视觉分析和比例因子所带来的成像原理，其使用智能手机捕获图像中的LED之间的相对位置信息来实现高精度定位。本发明首先考虑智能手机坐标系平行于天花板的水平面上的情况，然后考虑智能手机旋转和倾斜的情形。***分别在世界坐标系和摄像机坐标系中获得由两个LED组成的线和X轴形成的两个角。然后定位***利用这两个角度来定位智能手机。当本发明考虑智能手机倾斜的情况时，定位***需要补偿图像的位移以等效地将倾斜图像变换为水平图像，进而实现定位。***使用商用现货设备实现高精度的定位***，并通过大量实验评估其有效性。

本发明在智能手机照相机采集的带有2盏LED灯的图像的基础上，提出了智能手机平行于天花板，智能手机水平旋转和三维倾斜于天花板下的高精度定位算法。

附图说明

图1是本发明提供优选实施例智能LED灯下的可见光定位***的***架构图。

图2为基于视觉分析和比例因子算法的定位原理图，是本发明的核心原理。

图3为当智能手机在水平面上水平旋转时的定位原理图，它展示了水平坐标系和旋转坐标系之间的数学与几何关系。

图4为当智能手机在空间上三维倾斜时的定位原理图，它展示了倾斜图像和水平图像之间的数学与几何关系。

图5为本发明定位算法的总体流程图。

图6为本发明对于手机水平旋转角度和实际定位误差之间的关系作出的评估。

图7为本发明对于手机三维倾斜角度和实际定位误差之间的关系作出的评估。

图8为本发明给出的定位误差的累积分布函数。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明智能LED灯下的可见光定位***的***架构图如图1所示。本发明可见光定位***由三个主要模块组成:可调光LED信标作为发送端，智能手机作为接收端，云服务器进行数据处理，可调光LED可根据周围的阳光调节亮度。智能手机的前置摄像头作为接收器定期捕捉图像，每个图像中至少包含两盏LED灯。***将这些图像传输到云服务器进行图像处理，当捕获的图像传输到云服务器时，将对图像中的信标进行解码。它的关键过程主要包括三项操作：二阶多项式拟合、直方图均衡化和Sobel滤波，这三项操作可以很好地处理捕获图像中的模糊现象。解码成功后，将根据信标查找数据表以获取每个LED的世界坐标。根据世界坐标系和相机坐标系,便可以通过使用视觉分析和比例因子算法的原理，在仅需要使用重力传感器的值的条件下实现对于智能手机的定位。一旦确定了智能手机的位置，它就可以应用于一系列的室内定位服务。

当智能手机坐标系与天花板坐标系完全平行时，本发明使用视觉分析和比例因子的算法原理来定位智能手机。基于两盏LED灯的可见光定位原理如图2所示，在二维平面内，以天花板的西南角为原点建立真实世界坐标系，记P为待求的定位点，坐标为(X,Y)，A和B为两盏LED灯，坐标分别为(X_A,Y_A)和(X_B,Y_B)，A和B之间的空间距离为S₁；以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，记图像的中心点的像素坐标为(X_mid,Y_mid)，图像中两组条纹中心的像素坐标分别记为(X_a,Y_a)和(X_b,Y_b)，它们之间的像素距离记为S₂。最终目标是找到定位坐标(X,Y)，当图像坐标系和真实世界坐标系完全平行的情况下，根据摄相机的视觉分析原理，有如下几何关系：

通过上式(1)～(4)可求得当前定位坐标(X,Y)为：

通过上述公式(1)～(6)，可以获得智能手机的真实世界坐标。然而，这是基于图像坐标系和真实世界坐标系完全平行的假设。在实际情况中，智能手机可能会随机旋转或倾斜，两个坐标系将形成各种角度。这时，公式(1)～(6)均将失效，需重新设计算法实现定位。当智能手机的图像坐标系仅在水平面上旋转时，如图3所示，记旋转角度为θ，XOY是与真实世界坐标系平行的图像坐标系，随着智能手机的旋转，预览的图像也会随之旋转，这意味着智能手机的水平图像坐标系围绕着图像的中心点M旋转了θ角，形成了旋转图像坐标系。在这种情况下，捕捉完图像后，A、B两个LED的坐标位于由X_r轴和Y_r轴组成的旋转图像坐标系下，本发明利用视觉分析和比例因子算法的原理成功找到了水平图像坐标系中A、B两点的等效坐标，于是便可以使用公式(1)～(6)来实现定位。具体方法如下：

步骤1：建立旋转矩阵。本发明为了解决智能手机在水平旋转的情况下的定位问题，建立了如(7)所示的旋转矩阵。

其中(x′,y′)是两个LED在水平图像坐标系下的坐标，(x_r′,y_r′)是它们在旋转图像坐标系下的坐标，θ为智能手机水平旋转的角度。

步骤2：唯一未知的值θ角可以通过捕捉到的图像中的隐藏信息来获得，AB与真实世界坐标系的X轴夹角为α，AB与旋转图像坐标系的X_r轴夹角为β。利用视觉分析的方法来获得θ、α、β三个角之间的关系。则θ、α、β有如(8)所示的关系：

θ＝β-α (8)

在正确的获得了θ的值之后，便可以利用公式(1)～(8)实现手机水平旋转情况下的定位计算。

在实际情况中，智能手机通常保持三维倾斜角度，大约5～60度。本发明在手机水平旋转的基础上进一步解决了手机三维倾斜一定角度情况时的定位。根据基于摄像头的针孔成像原理，智能手机的三维倾斜角度会引起图像的位移，如图4所示。点M是智能手机相机的凸透镜。当智能手机屏幕与天花板平行时，相机形成水平图像平面P，水平图像平面P中的点a是LED的映射点。当智能手机倾斜角度为γ时，形成倾斜图像平面P_t。本发明将倾斜图像平面坐标系等效成水平图像坐标系，并成功找到对应的等效坐标。于是便可以使用公式(1)～(8)实现定位。具体步骤如下：

步骤1：LED被映射到指向a_t，f是焦距，即从智能手机相机的凸透镜到成像平面的距离。可以通过查询智能手机的说明书来获得焦距值。O和O_t分别是水平成像平面和3D倾斜成像平面的中心点，C点是等角点，h_c是等角线。r_tc和r_c是矢半径，它们是从等角点C到点a和a_t的线。和是方位角，它们分别由等角线h_c和矢半径r_tc、r_c形成。根据摄影测量学相关知识，得到如下结论：

OC＝O_tC (9)

步骤2：建立极坐标系，等角点C为极点，等角线h_c为极轴。由摄影测量学的知识可知，矢半径r_tc、r_c是共线的。图像的位移于矢半径、智能手机的倾斜角γ和方位角之间的关系如下：

步骤3：获得手机的倾斜角度。在等式(11)中，唯一未知的值是手机的倾斜角γ。其值可以通过手机的重力传感器来计算。方法如下：

最后，本发明将这三种情况进行整合，使用方程(5)和(7)进行定位。当水平旋转和三维倾斜同时发生时，先处理三维倾斜，再处理水平旋转。

如图5所示为本发明定位算法总体流程图。具体步骤的详细说明如下：

步骤1：解调捕获到的图片中的LED信标信息。

步骤2：将解调出的LED信标信息和数据库中的信标信息进行匹配，如果匹配成功，便进行下一步操作。如果解匹配失败，便重新拍照，再次进行解调。

步骤3：获取图片中两盏LED灯的照相机坐标，并计算旋转角θ。

步骤4：获取手机的重力传感器参数，并计算倾斜角γ。

步骤5：判断倾斜角是否为0，如果倾斜角不为0将进行步骤6，如果倾斜角为0，将进行步骤7。

步骤6：在倾斜角不为0的情况下，利用视觉分析和摄影测量学的原理消除倾斜角引起的像点位移，再进行定位计算。

步骤7：在倾斜角为0的情况下，直接利用步骤3中的旋转角θ进行定位计算。

图6是本发明对于手机水平旋转角度和实际定位误差之间的关系作出的评估。本发明测试了智能手机在不同水平旋转角度下的定位精度。在本发明的实验中，智能手机与天花板之间的距离为2.19米，并始终保持在水平面上，使其不受三维倾斜角度的影响。在拍摄过程中，智能手机被放在适当的位置，以便其前置摄像头在360度水平旋转角度内的视场中始终可以拍摄到至少两个LED灯。在图6中可以看到，旋转角度对智能手机的定位精度并没有影响，这表明本发明可以应对来自智能手机水平旋转角度的影响。

图7是本发明对于手机三维倾斜角度和实际定位误差之间的关系作出的评估。本发明测试了智能手机在不同三维倾斜角度下的定位精度。在本发明的实验中，智能手机和天花板之间的距离为1.69米。并且此评估只考虑三维倾斜角度，并不考虑水平旋转角度。这意味着，当三维倾斜图像平面的坐标转换为水平图像平面的坐标时，智能手机相机坐标系与世界坐标系是完全平行的。这样做的目的是——只讨论倾斜角度对定位精度的影响而不考虑水平旋转角度。智能手机的三维倾斜角度设置为-60度至60度。如图7所示当倾斜角度增加时定位误差增加。这主要是因为随着倾斜角度的增加，在捕获的图像中明暗条纹的质心将是不准确的。这将进一步导致图像的位移不准确，最终导致定位中更大的误差。另外，灯罩的高度也会导致图像的位移不准确，这也增加了定位的误差。

图8为本发明给出的定位误差的累积分布函数。本发明随机选择了房间中的40个位置来测试该定位***，并在每个位置的实验测量中，接收端智能手机的旋转角度和倾斜角度也是随机生成的。然后通过比较实际的定位坐标和估计的定位坐标来计算每个位置的定位误差。在实验中，智能手机与天花板之间的距离为1.76米。图8显示了定位误差的累积分布函数与定位精度之间的关系，定位误差的上限为9cm，平均定位精度为4.54cm。这表明本发明的定位***可以实现高精度定位。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种面向室内智能灯下的可见光定位方法，其特征在于，在智能手机照相机采集的带有2盏智能LED灯的图像的基础上，当智能手机平行于天花板、智能手机旋转和倾斜于天花板时，具体包括以下步骤：

当智能手机平行于天花板时，在二维平面内，以天花板的西南角为原点建立真实世界坐标系，以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，当图像坐标系和真实世界坐标系完全平行的情况下，使用视觉分析和比例因子的算法原理来定位智能手机；

当智能手机仅在水平面上旋转时，智能手机的水平图像坐标系围绕着图像的中心点M旋转了θ角，形成了旋转图像坐标系，出现旋转角度，随着智能手机的旋转，相机图像预览也旋转，利用视觉分析和比例因子算法的原理找到等效的水平图像坐标系中的坐标；

在智能手机三维倾斜的情形下，通过等效坐标系和补偿图像位移的方式实现了对手机的定位。

2.根据权利要求1所述的一种面向室内智能灯下的可见光定位方法，其特征在于，所述当智能手机平行于天花板时，在二维平面内，以天花板的西南角为原点建立真实世界坐标系，以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，具体包括：在二维平面内，以天花板的西南角为原点建立真实世界坐标系，记P为待求的定位点，坐标为(X,Y)，A和B为两盏LED灯，坐标分别为(X_A,Y_A)和(X_B,Y_B)，A和B之间的空间距离为S₁；以智能手机相机拍摄的图像的左上角为原点建立图像坐标系，记图像的中心点的像素坐标为(X_mid,Y_mid)，图像中两组条纹中心的像素坐标分别记为(X_a,Y_a)和(X_b,Y_b)，它们之间的像素距离记为S₂，最终目标是找到定位坐标(X,Y)，当图像坐标系和真实世界坐标系完全平行的情况下，根据摄相机的视觉分析原理，有如下几何关系：

通过上式(1)～(4)求得当前定位坐标(X,Y)为：

通过上述公式(1)～(6)，获得智能手机的真实世界坐标。

3.根据权利要求2所述的一种面向室内智能灯下的可见光定位方法，其特征在于，所述智能手机仅在水平面上旋转时，通过两盏灯的连线与世界坐标系的夹角和捕捉到的图像中的两盏灯连线与旋转相机坐标系的夹角这两者之间的关系可以获得手机旋转的角度θ。

4.根据权利要求3所述的一种面向室内智能灯下的可见光定位方法，其特征在于，所述当智能手机仅在水平面上旋转时，智能手机的水平图像坐标系围绕着图像的中心点M旋转了θ角，形成了旋转图像坐标系，出现旋转角度，随着智能手机的旋转，相机图像预览也旋转，利用视觉分析和比例因子算法的原理找到水平图像坐标系中的等效坐标，具体包括：

步骤1：建立如(7)所示的旋转矩阵；

其中(x′,y′)是两个LED在水平图像坐标系下的坐标，(x_r′,y_r′)是它们在旋转图像坐标系下的坐标，θ为智能手机水平旋转的角度；

步骤2：唯一未知的值θ通过捕捉到的图像中的隐藏信息来获得，AB与真实世界坐标系的X轴夹角为α，AB与旋转图像坐标系的X_r轴夹角为β，利用视觉分析的方法来获得θ、α、β三个角之间的关系，则θ、α、β有如(8)所示的关系：

θ＝β-α (8)

在正确的获得了θ的值之后，便可以利用公式(1)～(8)实现手机水平旋转情况下的定位计算。

5.根据权利要求3所述的一种面向室内智能灯下的可见光定位方法，其特征在于，所述在智能手机三维倾斜的情形下，通过等效坐标系和补偿图像位移的方式实现了对手机的定位，具体包括：

建立倾斜图像的坐标系，并通过视觉分析和摄影测量学的方法，依据坐标系中等角点、等角线、方位角和矢量半径关系将图像等效转换为水平坐标系下；

在手机同时水平旋转和三维倾斜的情况下，定位算法将两种算法整合，先处理倾斜情形，再处理水平旋转情形。