CN105866779A

CN105866779A - 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法

Info

Publication number: CN105866779A
Application number: CN201610212637.6A
Authority: CN
Inventors: 龙宁波; 汪凯巍; 杨恺伦; 胡伟健; 赵向东
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2016-04-06
Filing date: 2016-04-06
Publication date: 2016-08-17

Abstract

本发明涉及一种基于双目相机与毫米波雷达的可穿戴避障装置及避障方法，属于可穿戴设备领域，主要用在帮助视觉障碍人士，或运动设备等，躲避障碍物。该方法包括以下步骤：步骤1，对双目相机进行标定，以满足获得深度图像的基本条件；步骤2，分别利用毫米波雷达和双目相机进行数据采集；步骤3，分别对毫米波雷达和双目相机采集的数据进行处理，得到障碍物相对行人或设备的距离，速度，方向等信息；步骤4，综合毫米波雷达和双目相机的数据处理结果，给出两种设备相互验证后的结果。本发明融合了毫米波雷达和双目相机的信息，能够解决单一设备测量结果不可靠等问题，提高测量的精度和可靠度，帮助视觉障碍人士或者运动设备躲避存在的障碍物。

Description

基于双目相机与毫米波雷达的可穿戴避障装置及避障方法

技术领域

本发明涉及可穿戴设备领域，尤其涉及一种基于双目相机与毫米波雷达的可穿戴避障装置及避障方法，具体涉及了双目相机和毫米波雷达技术，是融合双目相机的深度图像和毫米波雷达信息，帮助视觉障碍人士或运动设备，躲避障碍物的装置和方法。

背景技术

眼睛是人类获取外部信息最多的器官，存在视觉障碍的人，很难应对日常生活中经常出现的障碍物。简单的盲杖提供的帮助有限，经常会出现漏检的情况；导盲犬则需要长达数年的专业训练，并且在有的场合不允许进入；仿生眼植入对人体有创伤，并且高昂的费用，并不适合普通视觉障碍人士使用。而传统的电子视觉辅助工具主要包括双目视觉辅助***、主动光深度相机辅助***、激光测距***等。

基于双目相机的视觉辅助技术可以提供一定范围内的深度图像，为视觉障碍人士躲避障碍物能够提供一定的帮助，但是单套双目相机***，对于图像匹配有很高的要求，对于纹理不显著的地方容易造成漏检，并且需要的匹配算法复杂，需要的计算量大，容易造成处理结果延迟。

主动光深度相机相比双目相机优点在于能够实时获取稠密精确深度图像，但是在室外受日光的影响较大，造成远处障碍物无法准确探测。并且相机都有固定的视场角，不能准确探测视场角以外的环境状况。而激光测距或者超声波测距***只能针对单点物体测距，不能有限探测障碍物的整体形貌，也很容易造成障碍物的误判和漏判。

随着电子技术的发展，小型化低功耗的毫米波雷达***已经出现，并开始大规模应用。探测距离超过10m，功耗仅有200mW左右的毫米波雷达天线已经出现，非常适合用在可穿戴设备领域，帮助视觉障碍人士躲避存在的障碍物。小体积低功耗的特点也使其在无人机等注重体积和功耗的运动设备领域有广阔的应用。

发明内容

本发明针对现有技术的不足，提供了一种基于双目相机与毫米波雷达的可穿戴避障装置及避障方法。

为了实现上述目的，本发明采用如下技术方案予以解决：一种基于双目相机与毫米波雷达的可穿戴避障装置的避障方法，具体包括下述步骤：

步骤1、对双目相机进行标定，获取双目相机参数，校正双目相机图片，并进行图像匹配，以获取相机视场内的深度图像；

步骤2、开启双目相机和毫米波雷达，接受双目相机和毫米波雷达的数据；

步骤3、对双目相机的数据结果进行处理分析，获取运动路径上的障碍物的距离和方向，

步骤4、对毫米波雷达的数据进行处理分析，排除虚假目标，获取运动路径上的障碍物的距离，方向和运动速度；

步骤5、根据步骤3和步骤4得到双目相机和毫米波雷达的数据处理结果，给出两种设备相互验证后的结果，并通过交互模块告知使用者，帮助其躲避存在的障碍物。

进一步的，所述步骤3具体为：

步骤3.1、用双目相机获取视场范围内的RGB图像和红外图像；

步骤3.2、通过双目相机两个单目图像的匹配，计算出深度图像信息；

步骤3.2、根据步骤3.2获得的深度图像信息判断障碍物的位置和尺寸；

步骤3.3、根据前后测量多帧图像来获得运动物体的运动速度和运动方向。

进一步的，所述步骤4具体为：

步骤4.1、毫米波雷达采用FMCW模式，将三角波输入到毫米波雷达天线的VCO端口；

步骤4.2、天线向外辐射电磁波，该电磁波在遇到行人、行车或其它障碍物时，返回信号；

步骤4.3、对返回的信号依次进行放大处理、AD转化以及数字时域滤波；

步骤4.4、对步骤4.3得到的信号进行加窗处理，以防止在进行傅里叶变换的时候出现数据断点或数据不平滑；

步骤4.5、对加窗处理后的数据的顺序进行位置变化；

步骤4.6、对步骤4.5位置变化后的数据进行快速傅里叶变换；

步骤4.7、将步骤4.6快速傅里叶变换后的数据在频域再次对其进行滤波处理；

步骤4.8、根据三角波调制的计算公式计算出障碍物的运动速度、与设备佩戴者之间的距离和角度信息。

进一步的，所述三角波调制的计算公式计算出障碍物的运动速度，与设备佩戴者之间的距离信息，具体如下：

v = \frac{c_{0} \cdot (f_{u p} + f_{d o w n})}{4 \cdot f_{0}}

R = \frac{(| f_{u p} - f_{d o w n} | \cdot c_{o} \cdot T)}{4 \cdot Δ f}

其中c₀为光速，f_up为发射波在三角波调制时一个周期内前半周期和后半周期的频率差值和f_down为接受波在三角波调制时一个周期内前半周期和后半周期的频率差值，Δf为调频宽度，T为调制信号周期，f₀为雷达发射频率，v为物体运动速度，R为障碍物和雷达之间的距离。

进一步的，所述步骤5具体包括以下步骤：

步骤5.1、比较双目相机给出的计算结果和毫米波雷达给出的计算结果，如果两个结果相同，则直接将这个结果通过交互模块告知使用者；

步骤5.2、如果两个结果相差不大，则将两个结果进行平均，然后将平均值通过交互模块告知使用者；

步骤5.3、如果两个结果相差很大，则将该结果排除，等待下次计算结果。

一种基于双目相机与毫米波雷达的可穿戴避障装置，包括双目相机、毫米波雷达、处理模块和交互模块；所述双目相机、毫米波雷达和交互模块均与处理模块相连；所述双目相机通过双目匹配的方法获得深度图像；所述毫米波雷达用于检测障碍物的后向散射电磁波；所述处理模块接收双目相机和毫米波雷达的数据，并将这些数据进行计算，排除虚假信息，进行数据互验，融合的处理；处理模块将处理好的障碍物运动速度，与设备佩戴者之间的距离和方向数据通过交互模块实时与使用者进行信息交互。

进一步的，所述毫米波雷达是一种功耗很低体积很小的新型毫米波雷达。

进一步的，所述交互模块包括合成语音的语音合成器和振动电机构成的触觉传感器。

本发明的有益效果是：本发明融合了毫米波雷达和双目相机的信息，能够解决单一设备测量结果不可靠等问题，提高测量的精度和可靠度，帮助视觉障碍人士或者运动设备躲避存在的障碍物。

附图说明

图1为本发明***流程图；

图2为本发明的毫米波雷达信号处理流程图；

图3为本发明的FMCW毫米波雷达三角波调制计算方法示意图。

具体实施方式

下面结合附图对本发明作进一步的说明。

本发明提出了一种基于双目相机与毫米波雷达的可穿戴避障装置，旨在帮助视觉障碍人士或运动设备躲避存在的障碍物。将双目相机***和低功耗毫米波雷达***有机结合起来，以提高整个***的稳定性和鲁棒性。该装置包括双目相机、毫米波雷达、处理模块和交互模块；所述双目相机、毫米波雷达和交互模块均与处理模块相连；所述双目相机通过双目匹配的方法获得深度图像；所述毫米波雷达用于检测障碍物的后向散射电磁波；所述处理模块接收双目相机和毫米波雷达的数据，并将这些数据进行计算，排除虚假信息，进行数据互验，融合的处理；处理模块将处理好的障碍物运动速度，与设备佩戴者之间的距离和方向数据通过交互模块实时与使用者进行信息交互

如图1所示，可穿戴避障装置的避障方法包括以下步骤：

步骤1、对双目相机进行标定，以满足获得深度图像的基本条件；用双目相机对标准的棋盘格进行照相，对双目相机产生的两幅RGB图像进行图像匹配，获取双目相机参数，得到视场内的深度图像；

步骤2、佩戴该可穿戴避障装置的视觉障碍人士，或者运动设备，在行走(运动)过程中开启双目相机和毫米波雷达，接受双目相机和毫米波雷达***的数据；

步骤3、对步骤2中双目相机检测到的数据结果进行处理分析，获取运动路径上的障碍物的距离和方向，具体包括以下步骤：

步骤3.1、用双目相机获取视场范围内的RGB图像和红外图像；

步骤3.3、根据前后测量多帧图像来获得运动物体的运动速度和运动方向；

步骤4、对步骤2中毫米波雷达检测到的数据进行处理分析，排除虚假目标，获取运动路径上的障碍物的距离、方向和运动速度，如图2所示，具体包括以下步骤：

步骤4.1、毫米波雷达采用FMCW模式，并且使用三角波调制，***MCU的DAC产生频率一定的三角波，或采用其它方式产生频率稳定的三角波，输入到天线的VCO端口；

步骤4.3、由于该信号十分微弱，需要低噪声前置放大器给予放大，并将其进行AD转化，变成数字信号，然后进行数字时域滤波，以消除其它信号的干扰；

步骤4.4、数字时域滤波后，对该信号进行加窗处理，以防止在进行傅里叶变换的时候出现数据断点或数据不平滑；

步骤4.5、由于快速傅里叶变换是基于蝶形运算的，所以加窗处理后的数据的顺序需要根据需求进行位置变化，以方便进行快速傅里叶变换；

步骤4.6、对步骤4.5位置变化后的数据进行快速傅里叶变换；

步骤4.8、根据三角波调制的计算公式计算出障碍物的运动速度，与设备佩戴者之间的距离等信息；

三角波调制毫米波雷达的计算公式如下(示意图见图3)：

v = \frac{c_{0} \cdot (f_{u p} + f_{d o w n})}{4 \cdot f_{0}}

R = \frac{(| f_{u p} - f_{d o w n} | \cdot c_{o} \cdot T)}{4 \cdot Δ f}

其中c₀为光速，f_up为发射波在三角波调制时一个周期内前半周期和后半周期的频率差值和f_down为接受波在三角波调制时一个周期内前半周期和后半周期的频率差值，Δf为调频宽度，T为调制信号周期，f₀为雷达发射频率，v为物体运动速度，R为障碍物和雷达之间的距离；

步骤5、根据步骤3和步骤4得到双目相机和毫米波雷达的数据处理结果，给出两种设备相互验证后的结果，并通过交互模块告知使用者，帮助其躲避存在的障碍物；具体包括以下步骤：

步骤5.3、如果两个结果相差很大，则将该结果排除，等待下次计算结果；

步骤5.4、交互模块包括合成语音的语音合成器和振动电机构成的触觉传感器。

Claims

1.一种基于双目相机与毫米波雷达的可穿戴避障装置的避障方法，其特征在于，具体包括下述步骤：

2.根据权利要求1所述的基于双目相机与毫米波雷达的可穿戴避障装置的避障方法，其特征在于，所述步骤3具体为：

步骤3.1、用双目相机获取视场范围内的RGB图像和红外图像；

3.根据权利要求1所述的基于双目相机与毫米波雷达的可穿戴避障装置的避障方法，其特征在于，所述步骤4具体为：

步骤4.5、对加窗处理后的数据的顺序进行位置变化；

步骤4.6、对步骤4.5位置变化后的数据进行快速傅里叶变换；

4.根据权利要求3所述的基于双目相机与毫米波雷达的可穿戴避障装置的避障方法，其特征在于，所述三角波调制的计算公式计算出障碍物的运动速度，与设备佩戴者之间的距离信息，具体如下：

v = \frac{c_{0} \cdot (f_{u p} + f_{d o w n})}{4 \cdot f_{0}}

R = \frac{(| f_{u p} - f_{d o w n} | \cdot c_{o} \cdot T)}{4 \cdot Δ f}

5.根据权利要求1所述的基于双目相机与毫米波雷达的可穿戴避障装置的避障方法，其特征在于，所述步骤5具体包括以下步骤：

6.一种基于双目相机与毫米波雷达的可穿戴避障装置，其特征在于，包括双目相机、毫米波雷达、处理模块和交互模块；所述双目相机、毫米波雷达和交互模块均与处理模块相连；所述双目相机通过双目匹配的方法获得深度图像；所述毫米波雷达用于检测障碍物的后向散射电磁波；所述处理模块接收双目相机和毫米波雷达的数据，并将这些数据进行计算，排除虚假信息，进行数据互验，融合的处理；处理模块将处理好的障碍物运动速度，与设备佩戴者之间的距离和方向数据通过交互模块实时与使用者进行信息交互。

7.根据权利要求6所述的基于双目相机与毫米波雷达的可穿戴避障装置，其特征在于，所述毫米波雷达是一种功耗很低体积很小的新型毫米波雷达。

8.根据权利要求6所述的基于双目相机与毫米波雷达的可穿戴避障装置，其特征在于，所述交互模块包括合成语音的语音合成器和振动电机构成的触觉传感器。