CN110244746A - 一种基于视觉注意的机器人动态障碍物避开方法及*** - Google Patents

Abstract

本发明公开了一种基于视觉注意的机器人动态障碍物避开方法，其步骤包括：S1、获取机器人上的两个摄像头所获取的两路视频信息；S2、对两路视频信息进行处理获得视觉注意图；S3、将视觉注意图中视觉注意值高于危险阈值的动态物体确定为危险动态物体；S4、估计危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到危险动态物体的预测动态量；S5、使用ICP算法对两路视频信息进行特征匹配得到机器人的机器人动态量；S6、结合机器人动态量和预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；本发明还公开了一种机器人动态障碍物避开***，通过本发明的技术方案，可以实现移动机器人对动态障碍物体更高效更精确的躲避。

Description

一种基于视觉注意的机器人动态障碍物避开方法及***

技术领域

本发明属于机器人视觉检测领域，具体涉及一种基于视觉注意的机器人动态障碍物避开方法及***。

背景技术

对环境中的动态障碍物进行避开的功能，对于移动机器人的应用有着重要的作用，其使得机器人的一些关键应用如机器人环境自动探测，导航等得到良好的效果。随着机器人技术的发展，其在机器人应用具有广阔的发展前途，其研发也占据着越来越重要的地位。

目前，公知的机器人动态障碍物避开的方法主要包括基于人工势场方法(Artificial Potential Field)、基于概率的避障方法和基于控制理论的避障方法。但基于人工势场方法没有考虑障碍物的动态，缺乏对动态障碍物的运动估计，当机器人工作在复杂的环境时仍然存在一定的安全隐患。基于概率的避障方法考虑到了动态环境的不确定性，机器人避障效率较高，但缺点是计算复杂，内存消耗巨大，需要高性能的CPU处理器。基于控制理论的避障方法可以考虑更多的约束条件，但机器人工作复杂的环境中，太多的约束条件(比如环境中存在许多的动态障碍物)导致***的计算量呈指数增长，从而使得计算效率降低和资源消耗增大。

由上可知，现有的机器人动态障碍物避开方法普遍存在效率低、资源消耗大的问题。

发明内容

本发明的目的在于针对现有技术的缺陷，提供一种基于视觉注意的机器人动态障碍物避开方法及***，采用基于视觉显著性的视觉检测方法，结合数字信号处理(DSP)***，可实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性。

本发明的技术方案如下：

一种基于视觉注意的机器人动态障碍物避开方法，包括如下步骤:

S1、获取机器人上的两个摄像头所获取的两路视频信息；

S2、对所述两路视频信息进行处理获得视觉注意图；所述视觉注意图包括多个动态物体的视觉注意值；

S3、将所述视觉注意图中视觉注意值高于危险阈值的动态物体确定为危险动态物体；

S4、估计所述危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到所述危险动态物体在下一时刻的预测动态量；所述预测动态量包括所述危险动态物体在下一时刻的位移、速度及加速度；

S5、使用ICP算法对所述两路视频信息进行特征匹配，得到机器人的机器人动态量；所述机器人动态量包括机器人的位移、速度及加速度；

S6、结合所述机器人动态量和所述预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；所述机器人控制量用于控制机器人避开所述危险动态物体。

与现有技术相比，本方法的有益技术效果如下：

本方法提供了一种基于视觉注意的机器人动态障碍物避开方法，通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性。

本方法的进一步改进在于，所述步骤S2的具体步骤包括：

S21、对所述两路视频信息中相邻两帧图像通过块匹配算法处理得到初始视觉注意图；

S22、对所述两路视频信息进行动态目标分离后提取得到目标特征，对所述目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；

S23、对所述两路视频信息通过聚类算法进行图像分割后，与所述特征视觉注意图合成得到正向激励视觉注意图；

S24、对所述两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；

S25、将所述初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成所述视觉注意图。

本方法的进一步改进在于，所述步骤S22中通过均值漂移算法对所述两路视频信息进行动态目标分离。

本方法的进一步改进在于，所述步骤S22中，在对所述目标特征进行离线特征学习时，使用预设的特征库对所述目标特征进行分类；对所述目标特征进行在线特征学习时，使用贝叶斯分类算法那或向量机分类算法对两路视频信息的所实时提取的目标特征进行实时分类。

本方法的进一步改进在于，所述步骤S23中的聚类算法为K-均值聚类算法。

本方法的进一步改进在于，所述步骤S24中采用以下公式对两路视频信息进行处理得到所述反向激励视觉注意图：

ΔM＝M_img-M_o

其中Φ₂(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，M_o为显著目标特征的像数均值，M_img为视频信息中的整副图像的像素均值，X_i为初期视觉注意图，为所述反向激励视觉注意图。

本方法的进一步改进在于，所述步骤S4的具体步骤包括：

S41、采用以下公式对所述危险动态物体当前时刻的速度及加速度进行估计：

其中：Δs为每相邻两帧图像中所述危险动态物体的特征点位移的变化量，为每相邻两帧图像的时间间隔；Δs₁为相邻3帧图像中的第1帧图像和第2帧图像的所述危险动态物体的位移变化量，Δs₂为第2帧图像和第3帧图像的所述危险动态物体的位移变化量；v为所述危险动态物体当前时刻的速度；a为所述危险动态物体当前时刻的加速度；

S42、使用B样条函数根据所述危险动态物体当前时刻的速度及加速度，计算所述危险动态物体的B样条曲线，以及预测所述危险动态物体下一时刻的所述预测动态量。

本方法的进一步改进在于，所述步骤S6中的约束条件为：

D＝Max(r_i)<D_max

其中r_i为所预估的机器人的位置到估计的所述危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，D_max为给定的距离阈值。

本方法的进一步改进在于，所述步骤S6中的代价函数为：

其中ξ₁为机器人的实际行驶路径和理想行驶路劲间的路径偏差；ξ₂为所述机器人控制变量；ξ₃为所述机器人动态量；R_i为惩罚矩阵；D为所述约束条件；分别为所述预测动态量和所述机器人动态量。

本发明还对应公开了一种基于视觉注意的机器人动态障碍物避开***，包括移动机器人和数字信号处理***；所述移动机器人包括：

通讯模块，用于与所述数字信号处理***建立连接并传输数据及指令；

机器人控制单元，用于根据接收到的机器人控制量控制机器人的移动；

两个摄像头，对周围环境进行摄取而得到两路视频信息；

所述数字信号处理***为嵌入式***，包括：

通讯模块，用于与所述移动机器人建立连接并传输数据及指令；

数字信号处理器，用于执行上述方法中的步骤以获得所述机器人控制量。

与现有技术相比，本***的有益技术效果如下：

本***提供了一种基于视觉注意的机器人动态障碍物避开***，数字信号处理器通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性，同时由于***尺寸较小且易嵌入其它***，增加了其使用的多样性及简便性。

附图说明

图1是本发明实施例1的一种基于视觉注意的机器人动态障碍物避开方法的流程示意图。

图2是本发明实施例2的一种基于视觉注意的机器人动态障碍物避开***的结构示意图。

具体实施方式

为了充分地了解本发明的目的、特征和效果，以下将结合附图对本发明的几种优选的实施方式进行说明。

实施例1

如图1所示，本实施例1公开了一种基于视觉注意的机器人动态障碍物避开方法，包括如下步骤:

S1、获取机器人上的两个摄像头所获取的两路视频信息；

S2、对两路视频信息进行处理获得视觉注意图；视觉注意图包括多个动态物体的视觉注意值；

具体的，步骤S2的具体步骤包括：

S21、对两路视频信息中相邻两帧图像通过块匹配(Block Matching)算法处理得到初始视觉注意图；

S22、对两路视频信息通过均值漂移算法进行动态目标分离后提取得到目标特征，对目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；

具体的，进行离线特征学习时，使用预设的特征库对目标特征进行分类，进行在线特征学习时，使用贝叶斯分类(Bayes)算法对两路视频信息的所实时提取的目标特征进行实时分类。

S23、对两路视频信息通过K-均值聚类算法进行图像分割后，与特征视觉注意图合成得到正向激励视觉注意图；

S24、对两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；具体的，采用以下公式对两路视频信息进行处理：

ΔM＝M_img-M_o

其中Φ₂(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，M_o为显著目标的像数均值，M_img为视频信息中的整副图像的像素均值，X_i为初期视觉注意图，为反向激励视觉注意图。

S25、根据以下公式将初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成最终的视觉注意图：

其中分别为正向激励视觉注意图和反向激励视觉注意图，X_i为初期视觉注意图，S为最终的视觉注意图。

S3、根据以下公式将视觉注意图S中视觉注意值高于危险阈值的动态物体确定为危险动态物体：

D_i＝S_i>S_T

其中，D表示动态物体的危险度；S即最终的视觉注意图中动态物体的视觉注意值；i表示第i个动态物体；S_T为预设的危险阈值。

S4、估计危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到危险动态物体在下一时刻的预测动态量；预测动态量包括危险动态物体在下一时刻的位移、速度及加速度；

具体的，步骤S4的具体步骤包括：

S41、采用以下公式对危险动态物体当前时刻的速度及加速度进行估计：

其中：Δs为每相邻两帧图像中危险动态物体的特征点位移的变化量，为每相邻两帧图像的时间间隔；Δs₁为相邻3帧图像中的第1帧图像和第2帧图像的危险动态物体的位移变化量，Δs₂为第2帧图像和第3帧图像的危险动态物体的位移变化量；v为危险动态物体当前时刻的速度；a为危险动态物体当前时刻的加速度；

S42、使用B样条函数根据危险动态物体当前时刻的速度及加速度，计算危险动态物体的B样条曲线，以及预测危险动态物体下一时刻的预测动态量。

S5、使用ICP算法对两路视频信息进行特征匹配，得到机器人的机器人动态量；机器人动态量包括机器人的位移、速度及加速度；

S6、结合机器人动态量和预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；机器人控制量用于控制机器人避开危险动态物体。

具体的，约束条件为：

D＝Max(r_i)<D_max

其中r_i为所预估的机器人的位置到估计的危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，D_max为给定的距离阈值。

具体的，代价函数为：

其中ξ₁为机器人的实际行驶路径和理想行驶路劲间的路径偏差；ξ₂为机器人控制变量；ξ₃为机器人动态量；R_i为惩罚矩阵，会被赋予一个初始值，并在求解过程中不断优化调整；D为约束条件；分别为预测动态量和机器人动态量。

本实施例公开了一种基于视觉注意的机器人动态障碍物避开方法，通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性。

实施例2

如图2所示，本实施例公开了一种基于视觉注意的机器人动态障碍物避开***，其包括移动机器人和数字信号处理***；移动机器人包括：

通讯模块1，用于与数字信号处理***建立连接并传输数据及指令；

机器人控制单元2，用于根据接收到的机器人控制量控制机器人的移动；

两个摄像头3，对周围环境进行摄取而得到视频信息；

数字信号处理***为嵌入式***，包括：

通讯模块4，用于与移动机器人建立连接并传输数据及指令；

数字信号处理器5，内置有执行代码，用于执行以下步骤以获得机器人控制量:

S1、获取机器人上的两个摄像头所获取的两路视频信息；

S2、对两路视频信息进行处理获得视觉注意图；视觉注意图包括多个动态物体的视觉注意值；

具体的，步骤S2的具体步骤包括：

S21、对两路视频信息中相邻两帧图像通过块匹配(Block Matching)算法处理得到初始视觉注意图；

S22、对两路视频信息通过均值漂移算法进行动态目标分离后提取得到目标特征，对目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；

具体的，进行离线特征学习时，使用预设的特征库对目标特征进行分类，进行在线特征学习时，使用贝叶斯分类(Bayes)算法对两路视频信息的所实时提取的目标特征进行实时分类。

S23、对两路视频信息通过K-均值聚类算法进行图像分割后，与特征视觉注意图合成得到正向激励视觉注意图；

S24、对两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；具体的，采用以下公式对两路视频信息进行处理：

ΔM＝M_img-M_o

其中Φ₂(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，M_o为显著目标的像数均值，M_img为视频信息中的整副图像的像素均值，X_i为初期视觉注意图，为反向激励视觉注意图。

S25、根据以下公式将初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成最终的视觉注意图：

其中分别为正向激励视觉注意图和反向激励视觉注意图，X_i为初期视觉注意图，S为最终的视觉注意图。

S3、根据以下公式将视觉注意图S中视觉注意值高于危险阈值的动态物体确定为危险动态物体：

D_i＝S_i>S_T

其中，D表示动态物体的危险度；S即最终的视觉注意图中动态物体的视觉注意值；i表示第i个动态物体；S_T为预设的危险阈值。

S4、估计危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到危险动态物体在下一时刻的预测动态量；预测动态量包括危险动态物体在下一时刻的位移、速度及加速度；

具体的，步骤S4的具体步骤包括：

S41、采用以下公式对危险动态物体当前时刻的速度及加速度进行估计：

其中：Δs为每相邻两帧图像中危险动态物体的特征点位移的变化量，为每相邻两帧图像的时间间隔；Δs₁为相邻3帧图像中的第1帧图像和第2帧图像的危险动态物体的位移变化量，Δs₂为第2帧图像和第3帧图像的危险动态物体的位移变化量；v为危险动态物体当前时刻的速度；a为危险动态物体当前时刻的加速度；

S42、使用B样条函数算法根据危险动态物体当前时刻的速度及加速度，计算危险动态物体的B样条曲线，以及预测危险动态物体下一时刻的预测动态量。

S5、使用ICP算法对两路视频信息进行特征匹配估计得到机器人的机器人动态量；机器人动态量包括机器人的位移、速度及加速度；

S6、结合机器人动态量和预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；机器人控制量用于控制机器人避开危险动态物体。

具体的，约束条件为：

D＝Max(r_i)<D_max

其中r_i为所预估的机器人的位置到估计的危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，D_max为给定的距离阈值。

具体的，代价函数为：

其中ξ₁为机器人的实际行驶路径和理想行驶路劲间的路径偏差；ξ₂为机器人控制变量；ξ₃为机器人动态量；R_i为惩罚矩阵，会被赋予一个初始值，并在求解过程中不断优化调整；D为约束条件；分别为预测动态量和机器人动态量。

具体的，数字信号处理***可选择嵌入至机器人内作为机器人的信号处理中枢，以执行上述方法步骤对机器人的两个摄像头所获取的视频信息进行处理并求解得到机器人的控制量。

本实施例公开了一种基于视觉注意的机器人动态障碍物避开***，数字信号处理器6通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，并通过机器人控制单元2可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性，同时由于数字信号处理***为嵌入式***，其尺寸较小且易嵌入其它***，增加了其使用的多样性及简便性。

以上详细描述了本发明的较佳具体实施例，应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明构思在现有技术基础上通过逻辑分析、推理或者根据有限的实验可以得到的技术方案，均应该在由本权利要求书所确定的保护范围之中。

Claims (10)

1.一种基于视觉注意的机器人动态障碍物避开方法，其特征在于，包括如下步骤:

S1、获取机器人上的两个摄像头所获取的两路视频信息；

S2、对所述两路视频信息进行处理获得视觉注意图；所述视觉注意图包括多个动态物体的视觉注意值；

S3、将所述视觉注意图中视觉注意值高于危险阈值的动态物体确定为危险动态物体；

S4、估计所述危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到所述危险动态物体在下一时刻的预测动态量；所述预测动态量包括所述危险动态物体在下一时刻的位移、速度及加速度；

S5、使用ICP算法对所述两路视频信息进行特征匹配，得到机器人的机器人动态量；所述机器人动态量包括机器人的位移、速度及加速度；

S6、结合所述机器人动态量和所述预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；所述机器人控制量用于控制机器人避开所述危险动态物体。

2.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S2的具体步骤包括：

S21、对所述两路视频信息中相邻两帧图像通过块匹配算法处理得到初始视觉注意图；

S22、对所述两路视频信息进行动态目标分离后提取得到目标特征，对所述目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；

S23、对所述两路视频信息通过聚类算法进行图像分割后，与所述特征视觉注意图合成得到正向激励视觉注意图；

S24、对所述两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；

S25、将所述初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成所述视觉注意图。

3.如权利要求2所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S22中通过均值漂移算法对所述两路视频信息进行动态目标分离。

4.如权利要求2所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S22中，在对所述目标特征进行离线特征学习时，使用预设的特征库对所述目标特征进行分类；对所述目标特征进行在线特征学习时，使用贝叶斯分类算法对两路视频信息的所实时提取的目标特征进行实时分类。

5.如权利要求2所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S23中的聚类算法为K-均值聚类算法。

6.如权利要求2所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S24中采用以下公式对两路视频信息进行处理得到所述反向激励视觉注意图：

ΔM＝M_img-M_o

其中Φ₂(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，M_o为显著目标特征的像数均值，M_img为视频信息中的整副图像的像素均值，X_i为初期视觉注意图，为所述反向激励视觉注意图。

7.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S4的具体步骤包括：

S41、采用以下公式对所述危险动态物体当前时刻的速度及加速度进行估计：

其中：Δs为每相邻两帧图像中所述危险动态物体的特征点位移的变化量，为每相邻两帧图像的时间间隔；Δs₁为相邻3帧图像中的第1帧图像和第2帧图像的所述危险动态物体的位移变化量，Δs₂为第2帧图像和第3帧图像的所述危险动态物体的位移变化量；v为所述危险动态物体当前时刻的速度；a为所述危险动态物体当前时刻的加速度；

S42、使用B样条函数根据所述危险动态物体当前时刻的速度及加速度，计算所述危险动态物体的B样条曲线，以及预测所述危险动态物体下一时刻的所述预测动态量。

8.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S6中的约束条件为：

D＝Max(r_i)<D_max

其中r_i为所预估的机器人的位置到估计的所述危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，D_max为给定的距离阈值。

9.如权利要求4所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S6中的代价函数为：

其中ξ₁为机器人的实际行驶路径和理想行驶路劲间的路径偏差；ξ₂为所述机器人控制变量；ξ₃为所述机器人动态量；R_i为惩罚矩阵；D为所述约束条件；分别为所述预测动态量和所述机器人动态量。

10.一种基于视觉注意的机器人动态障碍物避开***，其特征在于，包括移动机器人和数字信号处理***；所述移动机器人包括：

通讯模块，用于与所述数字信号处理***建立连接并传输数据及指令；

机器人控制单元，用于根据接收到的机器人控制量控制机器人的移动；

两个摄像头，对周围环境进行摄取而得到两路视频信息；

所述数字信号处理***为嵌入式***，包括：

通讯模块，用于与所述移动机器人建立连接并传输数据及指令；

数字信号处理器，用于执行如权利要求1-9任一项所述的方法的步骤以求得所述机器人控制量。