CN109974687A - 一种基于深度摄像头的多传感器室内协同定位方法、装置及*** - Google Patents

Abstract

本发明提供了一种基于深度摄像头的多传感器室内协同定位方法、装置及其***，用于至少根据深度摄像头对目标终端进行定位导航，包括如下步骤：a.获取所述目标终端第一定位信息、点云信息以及运动轨迹信息；b.通过所述远程服务器基于所述第一定位信息、所述点云信息、所述运动轨迹信息以及所述目标终端当前位置所在场景平面图获取第二定位信息。本发明通过在深度摄像头的基础上，结合Wi‑Fi，iBeacon,陀螺仪和加速度计等传感设备共同对目标终端进行精确的空间定位并导航。本发明可以满足在大小型室内定位导航的需求。

Description

一种基于深度摄像头的多传感器室内协同定位方法、装置及 ***

技术领域

本发明属于室内定位技术领域，尤其涉及一种基于深度摄像头的多传感器室内协同定位方法、装置及其***。

背景技术

目前的定位技术主要有GPS，RFID，红外激光、超声、，WLAN(Wi-Fi)等。其中，GPS全球定位***，广泛应用于室外定位，而且精度可以达到厘米等级。由于GPS需要用到卫星通讯和测量，容易受到建筑物墙壁和其他障碍物的影响，GPS信号会变得非常弱并且不稳定。故不能在室内应用。单一的WLAN(Wi-Fi)定位技术可分为两种，基于指纹数据库和基于场景实时计算的。前者需要繁琐的指纹提取过程以及容易受环境变化影响，后者需要多个接收器协同工作，也需要修改固件或者使用专门芯片。成本和安装难度都很大，不适合大场景的定位需求。RFID(射频)定位技术采用类似刷卡的方式，由发送端和接收端设备根据一定频率的电磁波来确定相对位置，利用接收端受到的多个位置发出的信号强度，确定时间差，以此来定位。这种方式无法做到实时定位，而且定位精度低。红外激光和超声波定位的精度有保证，也能做到实时定位。但是对于大型室内场景来说，安装的难度和设备维护的成本也相对高很多。

上述现有的定位、导航技术通常使用单一的传感器，无法提供较为全面和准确的数据，即便采用多种传感器，通常也是将各传感器采集的数据不合理地结合，导致定位导航效果不佳。

发明内容

针对现有技术存在的技术缺陷，本发明的目的是提供一种基于深度摄像头的多传感器室内协同定位方法，用于至少根据深度摄像头对目标终端进行定位，其特征在于，包括如下步骤：

a.获取所述目标终端第一定位信息、点云信息以及运动轨迹信息；

b.通过所述远程服务器基于所述第一定位信息、所述点云信息、所述运动轨迹信息以及所述目标终端当前位置所在场景平面图获取第二定位信息。

优选地，所述第一定位信息通过iBeacon蓝牙通讯模组获取。

优选地，所述点云信息通过如下方式获取：

通过深度摄像头模组获取所述目标终端当前位置以及当前朝向的图像以获取深度信息；

通过坐标转换算法将所述深度信息转换为所述点云信息。

优选地，所述图像包括彩色图像以及深度图像。

优选地，所述运动轨迹信息通过如下方式获取：

分别读取陀螺仪以及加速度计获取的第一测量数据以及第二测量数据；

通过高斯模型算法分别对所述第一测量数据以及所述第二测量数据进行去噪处理，以获取所述目标终端当前朝向以及所述目标终端的移动距离。

优选地，在所述步骤b中还包括如下步骤：

b1.通过Wi-Fi模组将所述第一定位信息、所述点云信息以及所述运动轨迹信息打包并发送至所述远程服务器。

优选地，所述步骤b还包括如下步骤：

b2.基于所述第一定位信息对应的所述点云信息与所述第一定位信息在所述场景平面图对应的图像信息对所述第一定位信息进行校正；

b3.基于所述运动轨迹对应的所述运动轨迹信息与所述运动轨迹在所述场景平面图对应的图像信息对所述运动轨迹进行校正；

b4.基于所述步骤b2中校正后的第一定位信息和所述步骤b3中校正后的运动轨迹获得所述第二定位信息。

优选地，还包括如下步骤：

c.基于所述场景平面图设定目的地信息；

d.基于所述第二定位信息以及所述目的地信息生成导航路径信息。

优选地，所述导航路径信息由所述远程服务器存储并发送至所述目标终端。

本发明还提供一种基于深度摄像头的多传感器室内协同定位装置，通过本发明的多传感器室内协同定位方法对目标终端进行定位，其包括传感器模组、图像处理模块以及Wi-Fi模组，其中，

所述传感器模组包括：iBeacon蓝牙通讯模组、陀螺仪、加速度计以及深度摄像头模组；

所述图像处理模块用于将所述深度摄像头模组获取的图像的深度信息转换为点云信息；

所述Wi-Fi模组用于实现所述目标终端与所述远程服务器的连接与通讯。

优选地，所述深度摄像头模组包括：红外激光发射模组、红外镜头以及彩色RGB镜头，所述红外激光发射模组、红外镜头以及彩色RGB镜头配合获取深度图像以及彩色图像。

优选地，所述iBeacon蓝牙通讯模组包括，分布在所述场景中的至少一个iBeacon发射器，以及置于所述目标终端的接收器。

本发明还涉及一种基于深度摄像头的多传感器协同室内定位***，包括目标终端以及远程服务器，所述远程服务器通过本发明所述的多传感器协同室内定位装置对所述目标终端进行定位导航控制。

本发明通过在深度摄像头的基础上，结合Wi-Fi，iBeacon,陀螺仪和加速度计等传感设备共同对目标终端进行精确的空间定位并导航。本发明可以满足在大小型室内定位导航的需求。本发明功能强大，实用性强、操作简单，具有极高的商业价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位方法的具体流程示意图；

图2示出了本发明的具体实施方式的，另一种基于深度摄像头的多传感器室内协同定位方法的具体流程示意图；

图3示出了本发明的具体实施方式的，对第一定位信息校正后获取第二定位信息的具体流程示意图；

图4示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位导航方法的具体流程示意图；

图5示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位装置的模块结构示意图；

图6示出本发明的具体实施方式的，深度摄像头模组的模块结构示意图；以及

图7示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位***的结构示意图。

具体实施方式

为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。

本领域技术人员理解，本发明的目的在于提供一种可用于室内的获取终端当前位置以及导航的方法，在RGB-D深度摄像头的基础上加以iBeacon，Wi-Fi，陀螺仪和加速度计的多传感器室内协同定位方法，通过多传感器的高效融合，实现对需要定位目标终端在室内环境的三维空间精确定位，并进一步用于对目标终端的室内导航。

图1示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位方法的具体流程示意图。所述基于深度摄像头的多传感器室内协同定位方法用于至少根据深度摄像头对目标终端进行定位。需要说明的是，所述深度摄像头可以获取目标终端所在环境的三维深度图像，三维深度图像是将摄像头与拍摄目标的各个像素点的距离读取并储存而获得的图像数据，采用不同的灰度来体现图像中像素点的距离信息，以适应在室内空间定位的需求。

具体地，如图1所示，本发明所述的基于深度摄像头的多传感器室内协同定位方法包括如下步骤：

步骤S101，获取所述目标终端第一定位信息、点云信息以及运动轨迹信息。具体地，在该步骤中，所述目标终端及需要在室内环境中进行定位的终端。其具体可以是扫地机器人、微型机器人等可自由移动的智能终端设备。所述第一定位信息、所述点云信息以及所述运动轨迹信息可以通过安装在所述目标终端上货在所述室内环境或通过其他远程传感器获取。进一步地，所述定位信息是指获取的所述目标终端的相对粗略的定位信息，即所述第一定位信息可以通过任意现有定位手段获取，其定位精度相对于本发明的定位精度相对较低，需要进一步通过本发明的方法进行校正以获取更为精确的定位信息。所述第一定位信息的获取包括但不限于GPS全球定位***、WLAN(Wi-Fi)定位技术、射频定位技术或者红外激光和超声波定位等方式实现，在此不予赘述。所述点云信息是指在一个三维坐标***中的一组向量的集合，其还可以表示一个点的RGB颜色、灰度值、深度、分割结果等信息。本领域技术人员理解，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。在本发明中，所述点云信息可以通过所述深度摄像头获取，所述深度摄像头智能化测量物体表面的大量的点的信息，然后以数据文件的形式输出点云数据。所述运动轨迹信息包括所述目标终端从任意起始点到目的地的运动路径中每个测量位置相对于前一测量位置的相对坐标。所述运动轨迹的获取可以采用加速度计、陀螺仪等设备结合获取，更为具体地，将在后述具体实施例中作更为详细的描述。

随后在步骤S102中，通过所述远程服务器基于所述第一定位信息、所述点云信息、所述运动轨迹信息以及所述目标终端当前位置所在场景平面图获取第二定位信息。具体地，所述远程服务器通过互联网或相关无线网络通讯接口等方式实现与所述目标终端之间的通讯和数据传输。所述远程服务器用于执行数据运算和控制指令的发送，通过对应的执行机构执行，更为具体地，将在后述具体实施例中作更为详细的说明。所述目标终端将自身采集的上述第一定位信息、点云信息以及运动轨迹信息通过无线通讯方式发送至所述远程服务器，所述远程服务器接收并存储所述第一定位信息、所述点云信息以及所述运动轨迹信息。本领域技术人员理解，所述第一定位信息、所述点云信息以及所述运动轨迹信息分别从不同的维度对所述目标终端在室内环境中的位置、环境、运动状态信息作了相对全面和准确的覆盖与体现。所述远程服务器通过采用相应的算法和程序运行对获取的所述第一运动信息、所述点云信息以及所述运动轨迹信息进行相应的处理和分析。同时，在该步骤中，结合所述目标终端当前位置所在场景平面图，将根据所述第一定位信息、所述点云信息以及所述运动轨迹信息对所述目标终端在所述目标终端当前位置所在场景平面图中的坐标，场景周边情况以及运动情况进行综合分析处理，通过运算修正所述第一定位信息的误差，从而获取更为精准的所述目标终端的定位信息，即所述第二定位信息，所述第二定位信息可以通过三维坐标等方式表征，同时，所述第二定位信息并不仅仅表征所述目标终端的位置，所述第二定位信息还包括基于所述点云信息，所述运动轨迹信息以及所述目标终端当前位置所在场景平面图中的其他相关信息，在此不予赘述。

在本发明的一个优选变化例中，所述第一定位信息通过iBeacon蓝牙通讯模组获取。本领域技术人员理解，iBeacon蓝牙通讯技术可以弥补传统GPS无法覆盖室内定位的场景，所述iBeacon蓝牙通讯模组是具有低功耗蓝牙通讯功能的模组，可用于辅助定位。其工作原理是利用蓝牙BLE自身的发射功率和无线信号接收端的RSSI，可以计算出两者的距离。可用公式表示为：

D＝10^((abs(RSSI)-A)/(10*n)

其中，D是计算距离，RSSI是信号强度，A为发射端和接收端相隔1米时的信号强度，n是环境衰减因子。对于不同的蓝牙设备具有不同的值，同样的设备在不同的发射功率情况下其信号强度也不同，而且对于同是1米的情况下，环境对于信号强度也有影响。n是环境衰减因子，一般取经验值，在此不予赘述。具体地，在本发明中，所述iBeacon蓝牙通讯模组包括分布在室内场景内的多个iBeacon发射器以及安装在所述目标终端的接收器组成。多个所述iBeacon发射器在室内场景的不同位置通过蓝牙近场感应，传送统一编码的唯一ID(UUID)，所述接收器抓取所述UUID和RSSI信息，再由所述目标终端上的APP根据抓取的UUID和RSSI信息，将其转化为物理位置。本领域技术人员理解，由于iBeacon发射器本身只发送唯一标识符(UUID)，此标识符可通过查询服务器上的设备位置信息即可获得当前位置，因此，最低只需要获得到一个iBeacon发射器所发出的信息就可以完成定位。

进一步地，在本发明中，所述点云信息由深度摄像头通过采集深度图像转化获取。具体地，在本发明的优选具体实施例中，所述点云信息通过如下方式获取：

首先通过深度摄像头模组获取所述目标终端当前位置以及当前朝向的图像以获取深度信息。所述深度摄像头可用于探测所述目标终端距离周围环境障碍物的距离信息，通常为周围环境的三维点云，即所述点云信息。可用于地图构建、定位、实施避障等。更为具体地，所述深度摄像头包含一个红外激光发射模组，红外镜头和彩色RGB镜头，能够实时获得彩色图像和深度图像。深度摄像头能够获取1米到8米距离范围的深度信息以及最高320*640的分辨率。所述红外激光发射模组发出红外光光线，照射到物体后反射并通过相应的红外传感模块感知，根据反射红外光线的相位差计算照射到物体的每个像素点的深度，以获取所述深度信息。

随后，通过坐标转换算法将所述深度信息转换为所述点云信息。由内置的处理器，所述处理器可以为常用的arm系列处理器或者低功耗的MIPS处理器通过对所述深度图像的所述深度信息进行压缩、平滑、旋转、点转换等操作，利用坐标转换算法将所述深度信息转换为所述点云信息。从而获得以所述目标终端为圆心，半径至少5米范围的点云信息。

需要说明的是，在该实施例中，所述图像除所述深度图像外，还包括彩色图像。通过对所述深度图像和所述彩色图像的数据进行整合，对不同坐标系获得的所述深度信息进行点云配准，实现三维坐标系的变换、整合。由所述深度信息得到的坐标变换矩阵对所述彩色图像的彩色数据进行三维映射，实现三维重建。

进一步地，在图1所示实施例的具体变化例中，所述运动轨迹信息可以通过如下方式获取：

分别读取陀螺仪以及加速度计获取的第一测量数据以及第二测量数据。具体地，所述第一测量数据为所述陀螺仪读取的所述目标终端的瞬时角速度；所述第二测量数据由所述加速度计读取的所述目标终端的瞬时线加速度值。所述陀螺仪配合所述加速度计获取所述目标终端的运动状态参数，通过读取陀螺仪和加速度计模组的数据，可以获得当前位置的朝向以及所述目标终端的移动轨迹。具体处理过程是：先通过高斯模型算法，将得到的所述第一测量数据和所述第二测量数据分别进行去噪，通过去噪后的所述第一测量数据获得当前朝向，通过过滤后的所述第二测量数据获得所述目标终端的移动距离。由此获得所述目标终端的运动轨迹。

图2示出了本发明的具体实施方式的，另一种基于深度摄像头的多传感器室内协同定位方法的具体流程示意图。在这样的实施例中，首先执行步骤S201，获取所述目标终端第一定位信息、点云信息以及运动轨迹信息。具体地，本领域技术人员可以参考上述图1中步骤S101实现，在此不予赘述。

随后，执行步骤S2021，通过Wi-Fi模组将所述第一定位信息、所述点云信息以及所述运动轨迹信息打包数据并发送至所述远程服务器。具体地，所述Wi-Fi模组用于连接网络，实现所述目标终端与远程服务器的通讯以实现数据传输。本领域技术人员理解，通过本发明的传感器模组诸如iBeacon蓝牙通讯模组、深度摄像头、陀螺仪以及加速度计等获取的数据都通过所述Wi-Fi模组，由所述目标终端上传至所述远程服务器，并可用于所述目标终端的高精度的定位信息的获取以及设备的远程控制。进一步地，在该步骤中，打包数据中包括所述第一定位信息、所述点云信息以及所述运动轨迹信息，通过所述Wi-Fi模组将包含所述目标终端的多个维度的上述信息上传至所述远程服务器进行分析处理。

最后，通过步骤S2022，通过所述远程服务器基于所述第一定位信息、所述点云信息、所述运动轨迹信息以及所述目标终端当前位置所在场景平面图获取第二定位信息。参考上述图1中步骤S102，所述远程服务器通过采用相应的算法和程序运行对获取的所述第一运动信息、所述点云信息以及所述运动轨迹信息进行相应的处理和分析。同时，在该步骤中，结合所述目标终端当前位置所在场景平面图，将根据所述第一定位信息、所述点云信息以及所述运动轨迹信息对所述目标终端在所述目标终端当前位置所在场景平面图中的坐标，场景周边情况以及运动情况进行综合分析处理，通过运算修正所述第一定位信息的误差，从而获取更为精准的所述目标终端的定位信息，即所述第二定位信息，所述第二定位信息可以通过三维坐标等方式表征，同时，所述第二定位信息并不仅仅表征所述目标终端的位置，所述第二定位信息还包括基于所述点云信息，所述运动轨迹信息以及所述目标终端当前位置所在场景平面图中的其他相关信息，在此不予赘述。

图3示出了本发明的具体实施方式的，对第一定位信息校正后获取第二定位信息的具体流程示意图。作为上述图1、图2中步骤S102以及步骤S2022的一个共同子实施例。图3所示实施例具体阐述了基于所述深度摄像头获取的所述点云信息，所述陀螺仪和所述加速度计获取的所述第一测量数据、所述第二测量数据以及所述目标终端当前位置所在场景平面图信息对精度相对较低的所述第一定位信息进行校正获取高精度的所述第二定位信息。

如图3所示，首先通过步骤S3021，基于所述第一定位信息对应的所述点云信息与所述第一定位信息在所述场景平面图对应的图像信息对所述第一定位信息进行校正。具体地，所述第一定位信息对应的所述点云信息用于确定所述目标终端所处的三维空间的几何特征，所述第一定位信息在所述场景平面图对应的图像信息用于对所述目标终端在所述场景中进行图像匹配。

具体地，对所述点云数据的特征分析通常可以利用法矢提取特征点，即根据局部区域上点的法向量变化平缓，则表明该区域较为平坦；反之，则表明该区域起伏变化较大。或者利用曲率提取特征点，具体地，曲率用于度量曲线弯曲程度，平均曲率用于局部地描述一个曲面嵌入周围空间的曲率；高斯曲率表示曲面的凹凸性质的量，当这个量变化较大、较快时表明曲面内部变化较大，即光滑程度较低。通过根据所述点云数据获取的不同区域的局部平均曲率与平均曲率进行比较，若局部平均曲率小于平均曲率，则说明该区域点分布较为平坦，反之，则说明该区域点分布较为陡峭。综上，通过对所述目标终端的所在定位所在平面进行图像匹配和对点云数据的特征点分析，可以实现对所述第一定位数据的校正。

步骤S3022中，基于所述运动轨迹对应的所述运动轨迹信息与所述运动轨迹在所述场景平面图对应的图像信息对所述运动轨迹进行校正。该步骤中，通过将所述运动轨迹信息在所述场景平面图进行图像匹配，从而确定所述目标终端在不同时刻的坐标，对所述运动轨迹进行校正。本领域技术人员理解，上述步骤S3021和步骤S3022相互独立，可以并发进行。

进一步地，在步骤S3023中，基于所述步骤S3021中校正后的所述第一定位信息和所述步骤S3022中校正后的所述运动轨迹信息获得所述第二定位信息。所述第二定位信息在所述第一定位信息的基础上根据所述目标终端所处环境的三维空间、平面坐标以及实时运动轨迹获得，能够更为精确的表征所述目标终端的位置和运动情况。

进一步地，图4示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位导航方法的具体流程示意图。在这样的实施例中，依次包括如下步骤：

步骤S401，获取所述目标终端第一定位信息、点云信息以及运动轨迹信息；步骤S4021，通过Wi-Fi模组将所述第一定位信息、所述点云信息以及所述运动轨迹信息打包发送至所述远程服务器；步骤S4022，通过所述远程服务器基于所述第一定位信息、所述点云信息、所述运动轨迹信息以及所述目标终端当前位置所在场景平面图获取第二定位信息。本领域技术人员可以参考上述图2中步骤S201，步骤S2021，步骤S2023实现，在此不予赘述。

继续参考图4，在获取所述第二定位信息后，还包括步骤S403，基于所述场景平面图设定目的地信息。具体地，当所述目标终端需要到达所述场景平面图中特定位置时，将该特定位置设定为目的地，并获取所述目的地信息，所述目的地信息至少包括所述目的地在所述场景平面图中的定位信息。

随后，步骤S404中，基于所述第二定位信息以及所述目的地信息生成导航路径信息。具体地，结合从所述远程服务器获得的较高精度的所述第二定位信息确定起始点，根据所述起始点与所述目的地之间的路径信息，所述路径信息用于反应在所述场景中，由所述起始点到所述目的地之间的路况。需要说明的是，所述路径信息由所述远程服务器存储。

以下结合附图对本发明的装置部分进行详细描述。需要说明的是，本发明的控制方法是通过本发明装置部分的各种逻辑单元，采用数字信号处理器、特殊用途集成电路、现场可编程门阵列或者其它可编程逻辑器件、硬件元器件(例如寄存器和FIFO)、执行一系列固件指令的处理器以及编程软件组合实现。

图5示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位装置的模块结构示意图。具体地，所述基于深度摄像头的多传感器室内协同定位装置可被安装在例如扫地机器人等智能终端中，通过本发明的方法实施例进行控制。其包括传感器模组、图像处理模块以及Wi-Fi模组。具体地，所述传感器为多传感器融合组成，可用于对目标终端的包括定位信息等信息进行探测。进一步地，所述传感器模组还包括iBeacon蓝牙通讯模组、陀螺仪、加速度计以及深度摄像头模组。其中，所述iBeacon蓝牙通讯模组包括分布在室内场景内的多个iBeacon发射器以及安装在所述目标终端的接收器组成。多个所述iBeacon发射器在室内场景的不同位置通过蓝牙近场感应，传送统一编码的唯一ID(UUID)，所述接收器抓取所述UUID和RSSI信息，再由所述目标终端上的APP根据抓取的UUID和RSSI信息，将其转化为物理位置。所述陀螺仪用于读取所述目标终端的瞬时角速度，所述加速度计用于读取所述目标终端的瞬时线加速度值。所述陀螺仪配合所述加速度计获取所述目标终端的运动状态参数，通过读取陀螺仪和加速度计模组的数据，可以获得当前位置的朝向以及所述目标终端的移动轨迹。所述深度摄像头模组可以实时获取所述目标终端当前位置以及当前朝向的彩色图像和深度图像。进一步地，所述图像处理模块可以为常用的arm系列处理器或者低功耗的MIPS处理器，所述图像处理器通过坐标转换算法将由所述深度摄像头采集的深度图像的深度信息转换为点云信息。所述Wi-Fi模块用于连接网络，上传所述目标终端获得的图像和所述陀螺仪以及所述加速度计测量数据到所述远程服务器，并可以用于所述目标终端的高精度定位信息的获取以及所述目标终端的远程控制。更为优选地，所述Wi-Fi模块还可以在所述目标终端部署特定的交互功能。

进一步地，图6示出本发明的具体实施方式的，深度摄像头模组的模块结构示意图。如图6所示，所述深度摄像头模组还包括红外激光发射模组、红外镜头以及彩色RGB镜头，所述红外激光发射模组、红外镜头以及彩色RGB镜头配合获取深度图像以及彩色图像。通过这样的设置，使得所述深度摄像头能够获取1米到8米距离范围的深度信息以及最高320*640的分辨率。所述红外激光发射模组发出红外光光线，照射到物体后反射并通过相应的红外传感模块感知，根据反射红外光线的相位差计算照射到物体的每个像素点的深度，以获取所述深度信息。需要说明的是，本发明中，所述iBeacon蓝牙通讯模组包括，分布在所述场景中的至少一个iBeacon发射器和置于所述目标终端的接收器。本领域技术人员理解，由于iBeacon发射器本身只发送唯一标识符(UUID)，此标识符可通过查询所述远程服务器上的所述目标终端位置信息即可获得当前位置即所述第一定位信息，因此，最低只需要获得到一个iBeacon发射器所发出的信息就可以完成定位。

图7示出了本发明的具体实施方式的，一种基于深度摄像头的多传感器室内协同定位***的结构示意图。在这样的实施例中，在所述基于深度摄像头的多传感器室内协同定位***构建的应用场景中，所述目标终端在特定的室内场景中运行，所述目标终端可以是扫地机器人或手机等智能终端。所述远程服务器与所述目标终端优选通过Wi-Fi近场通讯方式连接并通讯。所述远程服务器通过本发明的如上具体实施例所述的多传感器室内协同定位装置并采用本发明的多传感器室内协同定位方法对本发明对所述目标终端进行精确的室内定位并进一步地根据定位结果，和所述目标终端的目的地位置信息以及室内场景的地图信息对所述目标终端进行路径导航规划，以提高本发明的实用性，在此不予赘述。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (13)

1.一种基于深度摄像头的多传感器室内协同定位方法，用于至少根据深度摄像头对目标终端进行定位，其特征在于，包括如下步骤：

a.获取所述目标终端第一定位信息、点云信息以及运动轨迹信息；

b.通过所述远程服务器基于所述第一定位信息、所述点云信息、所述运动轨迹信息以及所述目标终端当前位置所在场景平面图获取第二定位信息。

2.根据权利要求1所述的多传感器室内协同定位方法，其特征在于，所述第一定位信息通过iBeacon蓝牙通讯模组获取。

3.根据权利要求1所述的多传感器室内协同定位方法，其特征在于，所述点云信息通过如下方式获取：

通过深度摄像头模组获取所述目标终端当前位置以及当前朝向的图像以获取深度信息；

通过坐标转换算法将所述深度信息转换为所述点云信息。

4.根据权利要求3所述的多传感器室内协同定位方法，其特征在于，所述图像包括彩色图像以及深度图像。

5.根据权利要求1所述的多传感器室内协同定位方法，其特征在于，所述运动轨迹信息通过如下方式获取：

分别读取陀螺仪以及加速度计获取的第一测量数据以及第二测量数据；

通过高斯模型算法分别对所述第一测量数据以及所述第二测量数据进行去噪处理，以获取所述目标终端当前朝向以及所述目标终端的移动距离。

6.根据权利要求1至5中任一项所述的多传感器室内协同定位方法，其特征在于，在所述步骤b中还包括如下步骤：

b1.通过Wi-Fi模组将所述第一定位信息、所述点云信息以及所述运动轨迹信息打包并发送至所述远程服务器。

7.根据权利要求1至6中任一项所述的多传感器室内协同定位方法，其特征在于，所述步骤b还包括如下步骤：

b2.基于所述第一定位信息对应的所述点云信息与所述第一定位信息在所述场景平面图对应的图像信息对所述第一定位信息进行校正；

b3.基于所述运动轨迹对应的所述运动轨迹信息与所述运动轨迹在所述场景平面图对应的图像信息对所述运动轨迹进行校正；

b4.基于所述步骤b2中校正后的第一定位信息和所述步骤b3中校正后的运动轨迹获得所述第二定位信息。

8.根据权利要求7所述的多传感器室内协同定位方法，其特征在于，还包括如下步骤：

c.基于所述场景平面图设定目的地信息；

d.基于所述第二定位信息以及所述目的地信息生成导航路径信息。

9.根据权利要求8所述的多传感器室内协同定位方法，其特征在于，所述导航路径信息由所述远程服务器存储并发送至所述目标终端。

10.一种基于深度摄像头的多传感器室内协同定位装置，通过权利要求1至9中任一项所述的多传感器室内协同定位方法对目标终端进行定位，其特征在于，包括传感器模组、图像处理模块以及Wi-Fi模组，其中，

所述传感器模组包括：iBeacon蓝牙通讯模组、陀螺仪、加速度计以及深度摄像头模组；

所述图像处理模块用于将所述深度摄像头模组获取的图像的深度信息转换为点云信息；

所述Wi-Fi模组用于实现所述目标终端与所述远程服务器的连接与通讯。

11.根据权利要求10所述的多传感器室内协同定位***，其特征在于，所述深度摄像头模组包括：红外激光发射模组、红外镜头以及彩色RGB镜头，所述红外激光发射模组、红外镜头以及彩色RGB镜头配合获取深度图像以及彩色图像。

12.根据权利要求10或11所述的多传感器室内协同定位***，其特征在于，所述iBeacon蓝牙通讯模组包括，分布在所述场景中的至少一个iBeacon发射器，以及置于所述目标终端的接收器。

13.一种基于深度摄像头的多传感器协同室内定位***，其特征在于，包括目标终端以及远程服务器，所述远程服务器通过权利要求10至12中任一项所述的多传感器协同室内定位装置对所述目标终端进行定位导航控制。