CN106023211A - 基于深度学习的机器人图像定位方法及*** - Google Patents

Abstract

本发明为基于深度学习的机器人图像定位方法，至少包括以下步骤：A、深度训练学习获得图像模型以及匹配规则；B、机器人逐方位采集环境图像，并根据获得的图像模型以及匹配规则对采集到的图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息；C、采用随机抽样一致算法剔除上述图像中所述匹配点中的误配点，再由图像中获取至少两个关键点的三维坐标；D、采用冒泡排序法，获得关键点的三维坐标；E、采用绝对定向算法获得每两方位下的旋转矩阵以及偏移向量，依次迭代定位到机器人的运动轨迹。解决了机器人在室内捕捉不到特征信息时导致定位失效的问题。本发明还提出了一种使用基于深度学习的机器人图像定位方法的机器人图像定位***。

Description

基于深度学习的机器人图像定位方法及***

技术领域

本发明涉及图像定位技术领域，尤其涉及一种基于深度学习的机器人图像定位方法以及定位***。

背景技术

在基于视觉的机器人导航定位中，特征信息的提取和匹配是首要的关键技术，特征提取的好坏直接会影响机器人定位的精度。而常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征等。提取颜色特征的常用方法有颜色直方图、颜色集、颜色距、颜色聚合向量和颜色相关图，提取纹理特征的常用方法有灰度共生矩阵、几何法、模型法和信号处理法，提取形状特征的常用方法有边界特征法、傅里叶形状描述法、几何参数法和形状不变距法。近年来，在形状的表示和匹配方面的工作还包括有限元法、旋转函数和小波描述符等方法。而提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。但是，这些提取方法都不能够自主发现特征，且未具有组合能力。

而对于室内机器人导航定位技术是目前研究的热点，由于视觉传感器具有信息量大，连续性强，受光线影响小等特点，而被广泛应用于机器人自主定位中，但单独的视觉传感器会引起累积误差，所以形成一个图像的闭环检测***对机器人的位置进行实时修正是十分必要的，又当机器人在特征信息贫乏的室内环境导航时，容易失效。而这其中的关键技术就是混合特征信息的提取和匹配，特征提起和匹配的精度直接影响计算机器人参数的效果，所以有必要研究一种可以高精度提取和匹配特征的算法。

图像特征和基于特征的图像配准算法，是计算机视觉图像分析的起点。在自然条件下获取的图像由于受日照、遮挡等环境因素的干扰，或受到平移、缩放、旋转等拍摄状况的改变，且目标自身存在多样性，造成特征的提取与匹配困难。很多提取图像特征的算法，比如Harris角点、hough线和hough圆、Prewitt算子、Laplace算子、Sobel算子、Canny轮廓的提取，都是针对已知的特定特征，从图像中匹配满足这些特征的区域。但是归纳起来，它们都是单一图像特征，没有和图像内容相匹配，而且不具有自主发现能力。单一特征的稳定性和精度有限，使得匹配过程的微小误差影响到整体的图像配准精度。因此，在图像特征提取与匹配问题中如何使图像特征自适应于图像内容，如何使图像特征具有自主组合与发现能力，是突破现有图像配准中精度低和误匹配的关键技术。

发明内容

本发明目的是提供一种基于深度学习的机器人图像定位方法及***，用以解决机器人在室内捕捉不到特征信息时导致定位失效的问题。

本发明解决技术问题采用如下技术方案：一种基于深度学习的机器人图像定位方法，其特征在于，至少包括以下步骤：

A、深度训练学习获得图像模型以及匹配规则；

B、机器人逐方位采集环境图像，并根据获得的图像模型以及匹配规则对采集到的图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息；

C、采用随机抽样一致算法剔除上述图像中所述匹配点中的误配点，再由图像中获取至少两个关键点的三维坐标；

D、采用冒泡排序法，获得关键点的三维坐标；

E、采用绝对定向算法获得每两方位下的旋转矩阵以及便宜向量，依次迭代定位到机器人的运动轨迹。

其中，所述步骤A至少包括以下步骤：

A1、机器人闭环获取室内环境图像并进行图像自主配置，获得图像特征；

A2、基于所提取到的特征进行训练，获得图像模型；

A3、采用模糊逻辑建立区域的多特征匹配准则；

A4、基于栅格结构分解计算过程并在小型机群上并行化。

其中，所述的步骤A1至少包括以下步骤：

A11、机器人实时采集室内环境视频流，获得原始RGB图像以及深度图像；

A12、对获得的图像进行单一发现和匹配处理；提取所采集的图像的点特征，线特征以及轮廓特征。

其中，所述的步骤A2至少包括以下步骤：

结合支持向量机的深度学习，由步骤A12所获得的图像特征提取图像的点、线以及面的特征，具体为，所述的深度学习包括：

A21、自下上升非监督学习，对特征进行训练和学习，建立第一学习图像模型；

A22、自顶向下的监督学习，通过带标签的数据去训练，误差自顶向下传输，对网络进行微调，建立第二学习图像模型；

A23、统一所述的第一以及第二学习图像模型，构建组合图像特征，获得图像特征。

本发明还提出一种基于深度学习的机器人图像定位***，包括机器人的图像获取模块以及中央控制模块，其特征在于，至少还包括以下模块：

学习训练模块，用于在中央控制模块对机器人的控制下进行深度训练学习获得图像模型以及匹配规则；

关键点获取模块，用于接收所述机器人的图像获取模块获得的环境图像，并根据所述学习训练模块获得的图像模型以及匹配规则对所述环境图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息传递至所述误配点剔除模块；

误配点剔除模块，用于采用随机抽样一致算法剔除所述关键点获取模块中所述匹配点中的误配点，获取至少两个关键点的三维坐标传递至所述坐标确定模块；

坐标确定模块，用于采用冒泡排序法获得关键点的三维坐标，并传递至所述的定位模块；

定位模块，用于采用绝对定向算法获得每两方位下的旋转矩阵以及便宜向量，依次迭代定位到机器人的运动轨迹。

本发明具有如下有益效果：

1、本发明在机器人面对特征信息贫乏的室内环境时，仍可以很好的提取和匹配特征；可以较好得利用深度学习模型提取精确的特征信息，来提高计算机器人移动参数的精度，从而使机器人的定位精度得到改善，并可以满足室内机器人实时定位的需求；

2、本发明的一种基于深度学习的机器人图像定位方法解决了机器人在室内捕捉不到特征信息时导致的定位失效问题，且提取和匹配的特征能够自适应图像的内容，精度高，速度快等特点，可以满足机器人在室内定位的实时需求，并改善机器人的定位精度。

附图说明

图1为本发明所述的基于深度学习的机器人图像定位方法流程图；

图2为本发明的基于深度学习的图像自主配置方法流程图；

图3为本发明的实施例的基于深度学习的机器人图像定位方法中的算法流程图。

具体实施方式

下面结合实施例及附图对本发明的技术方案作进一步阐述。如图1所示，为本发明的基于深度学习的机器人图像定位方法的流程图，在本发明主要包括以下步骤：

A、深度训练学习获得图像模型以及匹配规则；

B、机器人逐方位采集环境图像，并根据获得的图像模型以及匹配规则对采集到的图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息；

C、采用随机抽样一致算法剔除上述图像中所述匹配点中的误配点，再由图像中获取至少两个关键点的三维坐标；

D、采用冒泡排序法，获得关键点的三维坐标；

E、采用绝对定向算法获得每两方位下的旋转矩阵以及便宜向量，依次迭代定位到机器人的运动轨迹。

在本发明的方法中，所述步骤A至少包括以下步骤：A1、机器人闭环获取室内环境图像并进行图像自主配置，获得图像特征；A2、基于所提取到的特征进行训练，获得图像模型；A3、采用模糊逻辑建立区域的多特征匹配准则；A4、基于栅格结构分解计算过程并在小型机群上并行化。

而在本发明中，其中步骤A1中，图像特征的获取至少包括以下步骤：A11、机器人实时采集室内环境视频流，获得原始RGB图像以及深度图像；A12、对获得的图像进行单一发现和匹配处理，提取所采集的图像的点特征，线特征以及轮廓特征。本发明的步骤A2至少包括以下步骤：结合支持向量机的深度学习，由步骤A12所获得的图像特征提取图像的点、线以及面的特征，具体为，所述的深度学习包括：A21、自下上升非监督学习，对特征进行训练和学习，建立第一学习图像模型；A22、自顶向下的监督学习，通过带标签的数据去训练，误差自顶向下传输，对网络进行微调，建立第二学习图像模型；A23、统一所述的第一以及第二学习图像模型，构建组合图像特征，获得图像特征。

在本发明的实施例中，在进行上述的步骤A时，机器人在进行室内环境进行图像采集时，采用Kinect图像传感器，并让机器人行走一个闭环路线，这样采集的图像就可以形成一个图像的闭环检测***，可以矫正因基于Kinect图像定位算法所带来的累积误差；并采用深度学习算法对Kinect所采集的RGB图像进行离线训练，并得到深度学习模型，利用深度学习模型生成特征的匹配规则。，利用所述得到的深度学习模型对室内机器人实时行走时采集的相邻RGB图像进行特征提取和匹配。而在本实施例中，利用深度学习提取到的特征信息运用到图像导航算法中，使机器人定位的精度和稳定性得到很好的改善。

如图2所示，所示基于深度学习的图像自主配置方法包括以下步骤：利用Kinect对室内环境进行实时采集视频流，基于得到的视频流通过线采样获得多幅原始RGB图像和深度图像；先对特征进行单一发现和匹配，对采集的图像分别使用SIFT/SURF提取点特征、HOUGH/LSD提取线特征、Canny提取轮廓。采用e-Learning环境下的深度学习方法(结合支持向量机的深度学习)模拟单一图像特征(SIFT特征点、Hough线、Canny面)，分别提取图像的点、线、面的特征；其中利用深度学习方法对提取特征进行训练，具体步骤，

1)使用自下上升非监督学习对特征进行训练和学习，即采用无标定数据分成训练各层参数，也就是利用无监督训练对特征进行学习，具体先采用无标定数据训练第一层，先学习第一层的参数，且这一层可以得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型可以学习到数据本身的结构，从而得到比输入更具有表示能力的特征，在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，从而分别得到各层的参数；

2)自顶向下的监督学习，通过带标签的数据去训练，误差自顶向下传输，对网络进行微调；基于上述得到的各层参数进一步调优整个多层模型的参数，这一步是一个有监督训练过程，第一步类似神经网络的随机初始化初值过程，是通过学习输入数据的结构进行初始化，因而这个初值更接近全局最优，能够取得更好的效果。

继续参考图2，在进行深度学习后，将不同深度学习模型统一到单一模型，发现组合特征，以构建组合图像特征；在进行并行的匹配与重采样，即使用模糊逻辑建立区域的多特征匹配准则，并基于栅格结构分解计算过程，使用MPI/OpenMP在小型机群上并行化。

参考图3所示，为本发明的实施例上述的基于深度学习的图像自主配置方法的机器人定位方法，同时参考图1的方法流程图，根据处理步骤可见本方法主要包括：关键点的检测，去除误匹配点，提高数据可靠性，计算运动参数。具体过程如下：

首先，开始机器人定位方法，机器人获取室内环境的图像，如获得到图像Image1以及图像Image2，然后，利用深度学习训练得到的模型和匹配规则(即基于深度学习的图像自主配准方式)对两幅相邻RGB图像进行特征提取和匹配，再从深度图像获得所有匹配点对的三维坐标，具体是先用基于深度学习的自主配准方法在图像Image1和Image2中提取共同的关键点，并分别获取在RGB图像中的像点坐标SIFTData1、SIFTData2。

尽管利用深度学习提取的特征更能适应于图像内容，但也存在少许误匹配特征对，为了使得到的特征匹配对更加精确，在本实施例中，采用RANSAC算法(随机抽样一致算法(Random Sample Consensus)，简称RANSAC)进一步剔除初始匹配点对中的误匹配点，从而提高了参数的计算精度，然后再由这些新位置信息Data1、Data2从深度图像中获取关键点的三维坐标Depth1、Depth2。本实施例中的RANSAC算法可以采用现有技术来实现，再此不再进行赘述。

在本发明的实施例中，所述机器人是采用Kinect进行图像采集的，而Kinect主要是由红外摄像头组成，而红外线会受天气影响，如雨天等不良天气会影响传播距离，主要是因为红外线具有波的性质，能够发生反射，不能穿透不透明物体，而且强太高会使传感器饱和，从而影响Kinect的定位精度。又当特征点太密集时也会使测得的数据不稳定，鉴于以上考虑，为了提高数据精度，在本实施例采用Kinect作为图像采集设备时候，在经过RANSAC算法剔除误匹配点后，继续采用冒泡排序法获得坐标，即选取四个间隔较大的关键点，然后再这四个点的周围取附近点的三维坐标，求平均值。本发明也可以采用其他的摄像头来实现图像的采集，基于类似的原理以及处理过程，在此不再赘述。

继续参考图3，去除误匹配点及提高了数据的可靠性后，剩余两组为正确和精度比较高的对应匹配点集和图像采集装置参考系下的三维坐标，假定Kinect第一个方位拍摄获得的特征点集三维坐标为data1，其第二个方位拍摄获得的特征点集三维坐标为data2，data1、data2经过SIFT和RANSAC算法处理后，并采用绝对定向算法计算两个方位下的旋转矩阵R和偏移向量T。设定机器人初始方位为坐标原点，当机器人移动到第三个方位时，获得新的特征点集三维坐标为newdata,以第二个方位Kinect获取的特征点三维坐标为新的data1，以第三个方位获取的特征点三维坐标为新的data2，以新的data1，data2计算机器人第二个方位到第三个方位的相对运动参数，依次迭代就可以获得机器人运动的轨迹，可以解决因室内环境特性信息少而无法让机器人继续自主定位的问题，而且得到的定位精度得到改善。

综上所述，本发明的基于深度学***移参数，更精确的得到机器人定位的轨迹。

在本发明的实施例中还提出一种基于深度学习的机器人图像定位***，包括机器人的图像获取模块以及中央控制模块，至少还包括以下模块：学习训练模块，用于在中央控制模块对机器人的控制下进行深度训练学习获得图像模型以及匹配规则；关键点获取模块，用于接收所述机器人的图像获取模块获得的环境图像，并根据所述学习训练模块获得的图像模型以及匹配规则对所述环境图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息传递至所述误配点剔除模块；误配点剔除模块，用于采用随机抽样一致算法剔除所述关键点获取模块中所述匹配点中的误配点，获取至少两个关键点的三维坐标传递至所述坐标确定模块；坐标确定模块，用于采用冒泡排序法获得关键点的三维坐标，并传递至所述的定位模块；定位模块，用于采用绝对定向算法获得每两方位下的旋转矩阵以及便宜向量，依次迭代定位到机器人的运动轨迹。本***的工作流程与上述方法相对应，在此不再进行赘述。

以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于深度学习的机器人图像定位方法，其特征在于，至少包括以下步骤：

A、深度训练学习获得图像模型以及匹配规则；

B、机器人逐方位采集环境图像，并根据获得的图像模型以及匹配规则对采集到的图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息；

C、采用随机抽样一致算法剔除上述图像中所述匹配点中的误配点，再由图像中获取至少两个关键点的三维坐标；

D、采用冒泡排序法，获得关键点的三维坐标；

E、采用绝对定向算法获得每两方位下的旋转矩阵以及便宜向量，依次迭代定位到机器人的运动轨迹。

2.根据权利要求1所述的基于深度学习的机器人图像定位方法，其特征在于，所述步骤A至少包括以下步骤：

A1、机器人闭环获取室内环境图像并进行图像自主配置，获得图像特征；

A2、基于所提取到的特征进行训练，获得图像模型；

A3、采用模糊逻辑建立区域的多特征匹配准则；

A4、基于栅格结构分解计算过程并在小型机群上并行化。

3.根据权利要求2所述的基于深度学习的机器人图像定位方法，其特征在于，所述的步骤A1至少包括以下步骤：

A11、机器人实时采集室内环境视频流，获得原始RGB图像以及深度图像；

A12、对获得的图像进行单一发现和匹配处理,提取到所采集的图像的点特征，线特征以及轮廓特征。

4.根据权利要求2或3所述的基于深度学习的机器人图像定位方法，其特征在于，所述的步骤A2至少包括以下步骤：；

结合支持向量机的深度学习，由步骤A12所获得的图像特征提取图像的点、线以及面的特征，具体为，所述的深度学习包括：

A21、自下上升非监督学习，对特征进行训练和学习，建立第一学习图像模型；

A22、自顶向下的监督学习，通过带标签的数据去训练，误差自顶向下传输，对网络进行微调，建立第二学习图像模型；

A23、统一所述的第一以及第二学习图像模型，构建组合图像特征，获得图像特征。

5.一种基于深度学习的机器人图像定位***，包括机器人的图像获取模块以及中央控制模块，其特征在于，至少还包括以下模块：

学习训练模块，用于在中央控制模块对机器人的控制下进行深度训练学习获得图像模型以及匹配规则；

关键点获取模块，用于接收所述机器人的图像获取模块获得的环境图像，并根据所述学习训练模块获得的图像模型以及匹配规则对所述环境图像进行特征提取及特征匹配获得所有匹配点的三维坐标，并获得至少两图像的共同关键点信息传递至所述误配点剔除模块；

误配点剔除模块，用于采用随机抽样一致算法剔除所述关键点获取模块中所述匹配点中的误配点，获取至少两个关键点的三维坐标传递至所述坐标确定模块；

坐标确定模块，用于采用冒泡排序法获得关键点的三维坐标，并传递至所述的定位模块；

定位模块，用于采用绝对定向算法获得每两方位下的旋转矩阵以及便宜向量，依次迭代定位到机器人的运动轨迹。