CN109341692B - 一种沿线导航方法及机器人 - Google Patents

Abstract

本发明提供了一种沿线导航方法及机器人，其方法包括：拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；识别所述环境图像中的消失点；根据所述消失点确定机器人的起始位置；根据所述起始位置和所述消失点确定移动方向；在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地，根据所述目的地与所述起始位置计算得到距离值；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；根据所述移动方向和所述距离值进行移动，直至到达所述目的地。本发明实现低成本、准确高效的引导帮助机器人进出电梯空间的目的。

Description

一种沿线导航方法及机器人

技术领域

本发明涉及智能控制技术领域，尤指一种沿线导航方法及机器人。

背景技术

近年来，随着机器人技术的发展和人工智能研究不断深入，智能机器人在人类生活中扮演越来越重要的角色，在诸多领域得到广泛应用。

在某些应用场合，机器人可能会被用于跨楼层的场景中，比如跨楼层进行用户引导、送物品等等，而在此场景中，机器人往往是基于乘坐电梯来实现跨楼层作业的。

由于电梯空间小，乘坐电梯的人多，当机器人与人共用电梯时，其进出电梯则需要格外小心。现有技术采用两种方式使得机器人进出电梯，一是专人辅助机器人进出电梯，这种方式需要额外增设人员辅助机器人，增加不必要的人工成本。二是采用单线激光进行导航进出电梯，这种方式往往很难在人来人往的电梯空间进行准确判断，无法保障机器人有效的进出电梯。因此，如何实现低成本、准确高效的引导帮助机器人进出电梯空间是亟需解决的问题。

发明内容

本发明的目的是提供一种沿线导航方法及机器人，实现低成本、准确高效的引导帮助机器人进出电梯空间。采用极其简单方便的导引线粘贴，这种方法确保了对环境的改造程度小，同时成本低，操作简单，并且可以适应多种场景。

本发明提供的技术方案如下：

本发明提供一种沿线导航方法，包括步骤：

拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

识别所述环境图像中的消失点；

根据所述消失点确定机器人的起始位置；

根据所述起始位置和所述消失点确定移动方向；

在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

根据所述目的地与所述起始位置计算得到的距离值进行移动，直至到达所述目的地。

进一步的，所述识别所述环境图像中的消失点具体包括步骤：

对所述环境图像进行灰度处理；

将灰度处理后的图像进行进行边缘直线提取，得到两条目标导引线对应的竖直直线；所述两条目标导引线在所述环境图像上的成像起点分别与所述机器人在所述环境图像上的成像中心点相邻，且所述两个成像起点分别与所述成像中心点之间距离最近；

计算所述竖直直线的延长线的交点，确定所述交点为所述消失点。

进一步的，所述根据所述消失点确定机器人的起始位置具体包括步骤：

获取所述消失点和所述成像起点的像素坐标；

根据所述消失点和所述成像起点的像素坐标得到两条目标导引线分别与辅助线之间的夹角；所述辅助线为根据所述消失点绘制的垂直于成像水平线的直线；所述成像水平线根据所述两个成像起点生成；

将所述成像起点的像素坐标、所述夹角代入下列公式中计算得到起始点像素坐标；

根据所述起始点像素坐标计算得到所述机器人的起始位置；

其中，x为所述起始点像素坐标，a为第一目标导引线与所述辅助线之间的夹角，b为第二目标导引线与所述辅助线之间的夹角，Pa为所述第一目标导引线对应的成像起点的像素坐标，Pb为所述第二目标导引线对应的成像起点的像素坐标。

进一步的，所述在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地具体包括步骤：

对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别；

当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别；

当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地。

进一步的，所述当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别具体包括步骤：

当所述移动过程中拍摄得到的环境图像具有定位图像时，对所述定位图像进行二值分割，并从分割后的二值化图像中提取外形轮廓；

根据预存的标签图像模板所对应的外形轮廓的共性特征，根据分组神经网络估测具有所述共性特征的外形轮廓在所述定位图像中的候选位置，根据所述候选位置提取具有所述共性特征的外形轮廓作为备选轮廓；

获取所述备选轮廓的正视图；

对所述备选轮廓的正视图进行识别，当所述备选轮廓的正视图与预存的所述标签图像模板的相似度达到预设阈值时，确定所述定位图像中存在所述标签图像。

本发明还提供一种机器人，包括：

拍摄模块，用于拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

消失点识别模块，与所述拍摄模块连接，用于识别所述环境图像中的消失点；

起始位置确定模块，与所述消失点识别模块连接，用于根据所述消失点确定机器人的起始位置；

移动方向确定模块，与所述起始位置确定模块连接，用于根据所述起始位置和所述消失点确定移动方向；

处理模块，分别与所述拍摄模块、所述起始位置确定模块和所述移动方向确定模块连接，用于所述机器人在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地，根据所述目的地与所述起始位置计算得到距离值；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

移动模块，分别与所述移动方向确定模块和所述处理模块连接，用于根据所述移动方向和所述距离值进行移动，直至到达所述目的地。

进一步的，所述消失点识别模块包括：

图像处理单元，用于对所述环境图像进行灰度处理；

边缘直线提取单元，与所述图像处理单元连接，用于将灰度处理后的图像进行进行边缘直线提取，得到两条目标导引线对应的竖直直线；所述两条目标导引线在所述环境图像上的成像起点分别与所述机器人在所述环境图像上的成像中心点相邻，且所述两个成像起点分别与所述成像中心点之间距离最近；

消失点确定单元，与所述边缘直线提取单元连接，用于计算所述竖直直线的延长线的交点，确定所述交点为所述消失点。

进一步的，所述起始位置确定模块包括：

像素坐标获取单元，用于获取所述消失点和所述成像起点的像素坐标；

夹角获取单元，与所述像素坐标获取单元连接，用于根据所述消失点和所述成像起点的像素坐标得到两条目标导引线分别与辅助线之间的夹角；所述辅助线为根据所述消失点绘制的垂直于成像水平线的直线；所述成像水平线根据所述两个成像起点生成；

起始点像素坐标计算单元，分别与所述像素坐标获取单元、所述夹角获取单元连接，用于将所述成像起点的像素坐标、所述夹角代入下列公式中计算得到起始点像素坐标；

起始位置确定单元，与所述起始点像素坐标计算单元连接，用于根据所述起始点像素坐标计算得到所述机器人的起始位置；

其中，x为所述起始点像素坐标，a为第一目标导引线与所述辅助线之间的夹角，b为第二目标导引线与所述辅助线之间的夹角，Pa为所述第一目标导引线对应的成像起点的像素坐标，Pb为所述第二目标导引线对应的成像起点的像素坐标。

进一步的，所述处理模块包括：

图像识别单元，用于对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别，当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别；

处理单元，与所述图像识别单元连接，用于当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地；

计算单元，与所述处理单元连接，用于根据所述目的地与所述起始位置计算得到距离值。

进一步的，所述图像识别单元包括：

图像处理子单元，用于当所述移动过程中拍摄得到的环境图像具有定位图像时，对所述定位图像进行二值分割，并从分割后的二值化图像中提取外形轮廓；

轮廓提取子单元，与所述图像处理子单元连接，用于根据预存的标签图像模板所对应的外形轮廓的共性特征，根据分组神经网络估测具有所述共性特征的外形轮廓在所述定位图像中的候选位置，根据所述候选位置提取具有所述共性特征的外形轮廓作为备选轮廓；

轮廓正视图获取子单元，与所述轮廓提取子单元连接，用于获取所述备选轮廓的正视图；

图像识别子单元，与所述轮廓正视图获取子单元连接，用于对所述备选轮廓的正视图进行识别，当所述备选轮廓的正视图与预存的所述标签图像模板的相似度达到预设阈值时，确定所述定位图像中存在所述标签图像。

通过本发明提供的一种沿线导航方法及机器人，能够带来以下至少一种有益效果：采用极其简单方便的导引线粘贴，这种方法确保了对环境的改造程度小，同时成本低，操作简单，并且可以适应多种场景。实现低成本、准确高效的引导帮助机器人进出电梯空间。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种沿线导航方法及机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明沿线导航方法的一个实施例的流程图；

图2是本发明沿线导航方法的另一个实施例的流程图；

图3是本发明消失点检测和起始点像素坐标的示意图；

图4是本发明沿线导航方法的另一个实施例的流程图；

图5是本发明沿线导航方法的另一个实施例的流程图；

图6是本发明机器人的一个实施例的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种沿线导航的方法，包括：

S100拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

具体的，预先根据需求在目标地面(电梯内以及距离电梯进出口预设距离范围内的地面)上黏贴铺设与目标地面颜色色差较大的颜色的导引线，导引线的延伸方向与电梯进出方向一致，且导引线的数量至少为两条且相互平行。例如目标地面的颜色为黑色时，导引线的颜色可以是红色、绿色、黄色等等与黑色色差较大的颜色。基于人与机器人共同乘坐电梯的便利性需求，可以在电梯内以及距离电梯进出口预设距离范围内只铺设两条导引线，当机器人通过激光导航技术、视觉导航技术导航到达电梯进出口处需要进入乘坐电梯时，通过机器人上设置的摄像头拍摄获取包括导引线的环境图像。当机器人在电梯内需要离开电梯时，由于机器人上设置有摄像头，通过机器人上设置的摄像头拍摄获取包括导引线的环境图像。根据需求，也可以在电梯内以及距离电梯进出口预设距离范围内黏贴铺设两条以上的导引线，黏贴铺设的导引线的位置不同，可以引导机器人停留在电梯内的不同位置，也可以引导机器人离开电梯后停留在距离电梯进出口预设距离范围内的不同位置。

S200识别所述环境图像中的消失点；

S300根据所述消失点确定机器人的起始位置；

S400根据所述起始位置和所述消失点确定移动方向；

具体的，消失点即为灭点，根据透视原理可知，摄像头采集到的环境图像由于包括至少两条相互平行的导引线，因此在导引线成像在相机平面时能够检测出灭点。由于摄像头或者相机的相机坐标系与机器人所在空间的世界坐标系的物理空间关系是固定的，只需要提前标定获取相机坐标系与世界坐标系之间的转换矩阵，就能在识别出消失点后，根据加权计算以及相机坐标系与世界坐标系之间的转换矩阵计算得到机器人实际的起始位置。计算得到消失点在世界坐标系上的位置，从而根据起始位置和消失点在世界坐标系上的位置得到进行计算得到机器人的移动方向。

S500在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

具体的，由于外界环境的多样化，使得机器人进出电梯时无法准确判断出是否成功进入或者离开电梯，因此黏贴铺设在目标地面上的导引线的直线起点和直线终点位置处需要设置目标图案，该目标图案包括定位图像和标签图像，定位图像可以是任意形状、颜色和大小组合的图像。标签图像是棋盘标定算法中的黑白矩形图形组合的标签标识图形。结合定位图像和标签图像相对于只使用定位图像，或者只使用标签图像进行识别确定进行目的地检测而言，由于标签图像的多样性可以提升定位图像的多样性，定位图像检测可以快速的帮助确定标签图像的位置，降低标签图像识别的计算量，缩小检测识别标签图像的范围，从而降低误识别概率。标签图像由于是黑白矩形图形组合的标签标识图形可以克服误检测的问题，从而也能降低误识别概率。因此结合定位图像和标签图像进行目的地检测，既能够降低误识别概率，又能够提升检测识别目的地的效率，两者具有较强的互补特性。

S600根据所述目的地与所述起始位置计算得到的距离值进行移动，直至到达所述目的地。

具体的，本实施例中，在确定了机器人的起始位置和目的地后计算得到机器人从起始位置无障碍移动到目的地的距离值，然后机器人就直接根据确定的移动方向从起始位置进行移动直至移动距离达到该距离值后就到达了目的地，完成机器人进出电梯的目的。

优选的，假设目标地面设置有至少两条相互平行的导引线，则机器人进出电梯时，一旦拍摄获取的环境图像中识别出根据移动方向从起始位置根据XX导引线、YY导引线进行沿线导航移动的过程中存在人、宠物或者其他障碍物时。可以通过设于机器人上的语音播放器进行语音播放“烦请离开XX导引线和YY导引线之间的范围内”提示电梯内的人本身移动远离XX导引线和YY导引线之间的范围。或者提示电梯内的人将宠物、临时放置的箱子等障碍物搬离XX导引线和YY导引线之间的范围，使得机器人能够正常根据XX导引线、YY导引线进出电梯。

本发明利用导引线进行消失点检测获取起始位置和移动方向，同时将标签图像嵌入到定位图像中结合目标检测与标签识别、多视几何进行目标定位得到的方法判断目的地，从而根据起始位置计算得到到达目的地的距离，以此来实现沿线导航并在目的地停止，为机器人进出电梯提出了一种快速、高精度、高鲁棒性的方法。采用在地面上粘贴导引线的方法进行具体行进路线确定，简单方便，确保了对环境的改造程度小，同时成本低，操作简单，并且可以适应多种场景。

基于前述实施例，如图2所示，本实施例中：

S100拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

S210对所述环境图像进行灰度处理；

S220将灰度处理后的图像进行进行边缘直线提取，得到两条目标导引线对应的竖直直线；所述两条目标导引线在所述环境图像上的成像起点分别与所述机器人在所述环境图像上的成像中心点相邻，且所述两个成像起点分别与所述成像中心点之间距离最近；

S230计算所述竖直直线的延长线的交点，确定所述交点为所述消失点；

具体的，如图3所示，对导引线进行边缘直线提取，然后检测确定消失点VP。对导引线进行边缘直线提取具体为：对环境图像进行边缘检测处理，得到边缘二值图像，可以使用Canny边缘检测算法，即用高斯滤波器平滑环境图像检测环境图像中明显的边缘，用一阶偏导的有限差分来计算梯度的幅值和方向，对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘，由于灰度处理后的导引线的边缘与背景对比明显，所以通过边缘检测算法，可以突出导引线的边缘直线。

对环境图像进行边缘检测处理得到包含图像中待测包裹边缘的边缘二值图像后，可以用Hough变换检测直线的方法从边缘二值图像中寻找所有存在的直线，Hough变换检测直线的方法的已多有论述，此处不再深入讨论。Hough变换检测直线也只是一种优选的方式，亦可选用其他的检测直线的方法。

优选的，可以适配多种导引线的色彩，根据不同的颜色空间转换，比如红色线的最佳提取通道为Lab空间中的a通道，然后提取直线。如果边缘检测获取的直线较多，则需要进行过滤处理，采用简单的过滤原则。由于只有在开启沿线导航的任务才开启该操作，那么默认机器人的摄像头镜头中是具有导引线的，设定一个先验假设即环境图像中导引线是存在的且其中一条导引线的直线长度是提取到的所有直线中最长的，那么根据预设直线间隔、夹角可以轻易排除干扰。

S310获取所述消失点和所述成像起点的像素坐标；

S320根据所述消失点和所述成像起点的像素坐标得到两条目标导引线分别与辅助线之间的夹角；所述辅助线为根据所述消失点绘制的垂直于成像水平线的直线；所述成像水平线根据所述两个成像起点生成；

S330将所述成像起点的像素坐标、所述夹角代入下列公式中计算得到起始点像素坐标；

S340根据所述起始点像素坐标计算得到所述机器人的起始位置；

其中，x为所述起始点像素坐标，a为第一目标导引线与所述辅助线之间的夹角，b为第二目标导引线与所述辅助线之间的夹角，Pa为所述第一目标导引线对应的成像起点的像素坐标，Pb为所述第二目标导引线对应的成像起点的像素坐标；

具体的，从图3中可以看到，根据消失点VP绘制的垂直于成像水平线L_PaPb的直线就是辅助线L0，机器人在环境图像上的成像中心点是比较靠右边的直线L2即第二导引线在环境图像上的竖直直线，且远离靠左边的直线L1即第一导引线在环境图像上的竖直直线的，如果直接对两条目标导引线环境图像上成像时的竖直直线在底部的位置进行平均来确定起始位置，那么会在实际位置中偏右，因此，通过上述加权公式计算得到起始点像素坐标后，根据相机坐标系与世界坐标系之间的转换矩阵，就能在识别出消失点后，根据相机坐标系与世界坐标系之间的转换矩阵计算得到起始点像素坐标和消失点对应的世界坐标，从而根据起始点像素坐标对应的世界坐标确定机器人实际的起始位置。

S400根据所述起始位置和所述消失点确定移动方向；

S500在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

S600根据所述目的地与所述起始位置计算得到的距离值进行移动，直至到达所述目的地。

本发明利用导引线进行消失点检测，检测到消失点后，根据相机坐标系和世界坐标系之间的转换矩阵获取起始位置，并根据消失点在世界坐标系上的位置和起始位置确定移动方向，能够有效、准确的检测出机器人的起始位置和移动方向，从而为机器人根据导引线进行沿线导航提供准确的数据，实现全自动校正检测起始位置和移动方向，减少了沿线导航过程中的误差，实现精准、可靠的导航进出电梯。

基于前述实施例，如图4所示，本实施例中：

S100拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

S200识别所述环境图像中的消失点；

S300根据所述消失点确定机器人的起始位置；

S400根据所述起始位置和所述消失点确定移动方向；

S510对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别；

S520当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别；

S530当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地；

S600根据所述目的地与所述起始位置计算得到的距离值进行移动，直至到达所述目的地。

具体的，机器人在移动过程中提供摄像头实时采集机器人周围的环境图像，对移动过程中拍摄得到的环境图像进行图像识别，即提取环境图像中的图像特征，将提取的图像特征输入预训练得到的神经网络模型中，由神经网络模型对提取的图像特征进行分类识别，检测提取的图像特征是否与预先储存的定位图像特征样本之间的相似度是否大于预设阈值，如果大于则确认移动过程中拍摄得到的环境图像具有定位图像。然后，对定位图像的图像区域进行标签图像识别，即对定位图像中的与标签图像外形轮廓相同的图形进行识别，如果识别结果为与标签图像外形轮廓相同的图形的图像特征与预先储存的标签图像样本特征之间的相似度大于预设阈值，如果大于则确认定位图像中具有标签图像。每一个设置在导引线上的标签图像在世界坐标系上的坐标信息储存在数据库中，因此识别出标签图像后，根据标签图像查找数据库得到其在世界坐标系上的坐标信息，将该坐标信息对应的位置作为目的地。

本发明通过神经网络模型识别目标图像中是否存在定位图像，然后再确定目标图像中存在定位图像时，进一步识别定位图像中是否存在标签图像，这样，能避免只识别标签图像时，需要对全部的目标图像进行遍历式的图像特征提取和识别，根据定位图像缩小识别标签图像所在范围，降低标签图像识别计算量，从而提升标签图像识别效率，进而加快计算得到目的地的进度。此外，将标签图像嵌入在定位图像中，能够提升定位图像的多样性，而标签图像因为其具有编码的特性具有标识定位图像的功能，从而降低误检测的概率。实际使用中，在机器人需要停止的位置黏贴目标图像，然后机器人在沿线导航运动的过程中进行目标图像的感知，如果感知到了目标图像则停止沿线导航。具体来说，将标签图像嵌入到定位图案中，这样能够利用目标检测进行候选区域提取，然后采用标签识别技术确定其ID，再利用检测技术进行关键点回归，根据4个关键点(标签图像的四个轮廓顶点)、相机内参利用pnp(可以很容易的利用opencv中提供的pnp计算函数实现)进行计算得到距离信息。

基于前述实施例，如图5所示，本实施例中：

S100拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

S200识别所述环境图像中的消失点；

S300根据所述消失点确定机器人的起始位置；

S400根据所述起始位置和所述消失点确定移动方向；

S510对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别；

S521当所述移动过程中拍摄得到的环境图像具有定位图像时，对所述定位图像进行二值分割，并从分割后的二值化图像中提取外形轮廓；

S522根据预存的标签图像模板所对应的外形轮廓的共性特征，根据分组神经网络估测具有所述共性特征的外形轮廓在所述定位图像中的候选位置，根据所述候选位置提取具有所述共性特征的外形轮廓作为备选轮廓；

S523获取所述备选轮廓的正视图；

S524对所述备选轮廓的正视图进行识别，当所述备选轮廓的正视图与预存的所述标签图像模板的相似度达到预设阈值时，确定所述定位图像中存在所述标签图像；

S530当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地；

S600根据所述目的地与所述起始位置计算得到的距离值进行移动，直至到达所述目的地。

具体的，对定位图像进行二值分割，二值分割即将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白视觉效果，并将图像中具有特殊涵义的不同区域分开来，这些区域互不相交，每个区域都满足特定区域的一致性。也可以利用自适应性阈值对摄像头获取的图像进行二值分割。对定位图像进行二值分割处理后，需要识别出标签图像模板，由于摄像头可能从不同角度拍摄得到了不同的视频，因此，采集的标签图像模板并不一定是正视图的样子。那么需要先提取出从各个角度拍摄出的标签图像模板，并对该标签图像模板进行边缘检测，获取该标签图像模板的外形轮廓的共性特征，再将这个共性特征预先进行存储，便于在采集目标图像后对该标签图像模板进行识别。具体的，在对定位图像进行二值分割后，提取分割后的各图像的外形轮廓，获取标签图像模板外形轮廓的的共性特征，根据分组神经网络估测具有共性特征的外形轮廓在定位图像中的候选位置，然后根据候选位置提取具有共性特征的外形轮廓作为备选轮廓，对具有共性特征的外形轮廓进行多边形拟合，舍弃那些非凸多边形的，以及那些不是四边形的外形轮廓。此外，还可以使用一些额外的限制条件来剔除那些不可能是标签图像模板的四边形轮廓，如四边形一边明显小于其余的边(形状比较瘦长)，轮廓周长或面积过小等，剩下的符合条件的轮廓即为标签图像模板可能对应的的备选轮廓。比如，如果选择的标签图像模板是正方形，那么经过边缘检测后可获得其外形轮廓的共性特征为四边形，那么便据此从提取出的外形轮廓中，排除那些非凸多边形的，以及不是四边形的轮廓等。获得备选轮廓后，下一步就是获取各个备选轮廓的正视图，也就是说将标签图像模板可能对应的备选轮廓图像区域变为正视图，从而进一步判断该备选轮廓区域是否为标签图像模板对应的图像。具体的，通过将每个备选轮廓的正视图与预先存储的该标签图像模板模板进行比对，当出现有比对一致的情况下便可判断出这个备选轮廓即为标签图像模板的外形轮廓，这个备选轮廓对应的图像就是标签图像模板的图像，至此，确定定位图像中存在标签图像。标签图像模板的形状可以是矩形、菱形或者正方形等等形状。

较佳的，在上述实施例的基础上，设置在导引线上且嵌入定位图像中的标签图像模板为正方形，根据预存的标签图像模板所对应的外形轮廓的共性特征中预存的标签图像模板所对应的外形轮廓的共性特征是标签图像模板所对应的外形轮廓为四边形。设置的标签图像模板不同，那么对应的外形轮廓的共性特征也会不同。在选取标签图像模板时尽量选取易于辨识的，特征点比较明显的标签图像模板为佳。比如正方形，具有四个顶点，由于正方形的四个边长一致，加上四个顶点比较有利于后续的定位运算，使得运算起来也更为简单。

以YOLO目标检测为基本框架，修改了其主干网络部分，同时增加了关键点回归的任务，预测标签图像的四个顶点位置，以便。分组神经网络的模型结构如表1所示。其中Detection layer中增加了图案中标签的四个顶点的预测。

表1分组神经网络的模型结构

本发明通过分组神经网络模型进行估测标签图像在定位图像的候选位置，从而提取候选位置处的备选轮廓进行标签识别，分组神经网络对于普通神经网络而言大大减少了参数，比如当input channel为256，output channel也为256，kernel size为3*3，普通神经网络的计算参数为256*3*3*256。若分组神经网络的group为8，每个group的input channel和output channel均为32，分组神经网络的计算参数为8*32*3*3*32，是原来的八分之一，因此大大的降低了计算量，从而提升标签识别效率，进而加快获取目的地的进度，减少机器人沿线导航进出电梯的等待时间，提升机器人进出电梯的效率。

本发明的一个实施例，如图6所示，一种机器人包括：

拍摄模块，用于拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

消失点识别模块，与所述拍摄模块连接，用于识别所述环境图像中的消失点；

起始位置确定模块，与所述消失点识别模块连接，用于根据所述消失点确定机器人的起始位置；

移动方向确定模块，与所述起始位置确定模块连接，用于根据所述起始位置和所述消失点确定移动方向；

处理模块，分别与所述拍摄模块、所述起始位置确定模块和所述移动方向确定模块连接，用于所述机器人在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地，根据所述目的地与所述起始位置计算得到距离值；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

移动模块，分别与所述移动方向确定模块和所述处理模块连接，用于根据所述移动方向和所述距离值进行移动，直至到达所述目的地。

具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。

基于前述实施例，本实施例中，所述消失点识别模块包括：

图像处理单元，用于对所述环境图像进行灰度处理；

边缘直线提取单元，与所述图像处理单元连接，用于将灰度处理后的图像进行进行边缘直线提取，得到两条目标导引线对应的竖直直线；所述两条目标导引线在所述环境图像上的成像起点分别与所述机器人在所述环境图像上的成像中心点相邻，且所述两个成像起点分别与所述成像中心点之间距离最近；

消失点确定单元，与所述边缘直线提取单元连接，用于计算所述竖直直线的延长线的交点，确定所述交点为所述消失点。

具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。

基于前述实施例，本实施例中，所述起始位置确定模块包括：

像素坐标获取单元，用于获取所述消失点和所述成像起点的像素坐标；

夹角获取单元，与所述像素坐标获取单元连接，用于根据所述消失点和所述成像起点的像素坐标得到两条目标导引线分别与辅助线之间的夹角；所述辅助线为根据所述消失点绘制的垂直于成像水平线的直线；所述成像水平线根据所述两个成像起点生成；

起始点像素坐标计算单元，分别与所述像素坐标获取单元、所述夹角获取单元连接，用于将所述成像起点的像素坐标、所述夹角代入下列公式中计算得到起始点像素坐标；

起始位置确定单元，与所述起始点像素坐标计算单元连接，用于根据所述起始点像素坐标计算得到所述机器人的起始位置；

其中，x为所述起始点像素坐标，a为第一目标导引线与所述辅助线之间的夹角，b为第二目标导引线与所述辅助线之间的夹角，Pa为所述第一目标导引线对应的成像起点的像素坐标，Pb为所述第二目标导引线对应的成像起点的像素坐标。

具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。

基于前述实施例，本实施例中，所述处理模块包括：

图像识别单元，用于对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别，当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别；

处理单元，与所述图像识别单元连接，用于当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地；

计算单元，与所述处理单元连接，用于根据所述目的地与所述起始位置计算得到距离值。

具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。

基于前述实施例，本实施例中，所述图像识别单元包括：

图像处理子单元，用于当所述移动过程中拍摄得到的环境图像具有定位图像时，对所述定位图像进行二值分割，并从分割后的二值化图像中提取外形轮廓；

轮廓提取子单元，与所述图像处理子单元连接，用于根据预存的标签图像模板所对应的外形轮廓的共性特征，根据分组神经网络估测具有所述共性特征的外形轮廓在所述定位图像中的候选位置，根据所述候选位置提取具有所述共性特征的外形轮廓作为备选轮廓；

轮廓正视图获取子单元，与所述轮廓提取子单元连接，用于获取所述备选轮廓的正视图；

图像识别子单元，与所述轮廓正视图获取子单元连接，用于对所述备选轮廓的正视图进行识别，当所述备选轮廓的正视图与预存的所述标签图像模板的相似度达到预设阈值时，确定所述定位图像中存在所述标签图像。

具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种沿线导航方法，其特征在于，包括步骤：

拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

识别所述环境图像中的消失点；

获取所述消失点和成像起点的像素坐标，两条目标导引线在所述环境图像上的成像起点分别与机器人在所述环境图像上的成像中心点相邻，且两个所述成像起点分别与所述成像中心点之间距离最近；

根据所述消失点和所述成像起点的像素坐标得到两条目标导引线分别与辅助线之间的夹角；所述辅助线为根据所述消失点绘制的垂直于成像水平线的直线；所述成像水平线根据所述两个成像起点生成；

根据所述成像起点的像素坐标、所述夹角计算得到起始点像素坐标；

根据所述起始点像素坐标计算得到所述机器人的起始位置；

根据所述起始位置和所述消失点确定移动方向；

在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

根据所述目的地与所述起始位置计算得到的距离值进行移动，直至到达所述目的地。

2.根据权利要求1所述的沿线导航方法，其特征在于，所述识别所述环境图像中的消失点具体包括步骤：

对所述环境图像进行灰度处理；

将灰度处理后的图像进行边缘直线提取，得到两条目标导引线对应的竖直直线；

计算所述竖直直线的延长线的交点，确定所述交点为所述消失点。

3.根据权利要求2所述的沿线导航方法，其特征在于，所述的将所述成像起点的像素坐标、所述夹角计算得到起始点像素坐标，具体包括：

将所述成像起点的像素坐标、所述夹角代入下列公式中计算得到所述起始点像素坐标；

其中，x为所述起始点像素坐标，a为第一目标导引线与所述辅助线之间的夹角，b为第二目标导引线与所述辅助线之间的夹角，Pa为所述第一目标导引线对应的成像起点的像素坐标，Pb为所述第二目标导引线对应的成像起点的像素坐标。

4.根据权利要求1-3任一项所述的沿线导航方法，其特征在于，所述在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地具体包括步骤：

对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别；

当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别；

当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地。

5.根据权利要求4所述的沿线导航方法，其特征在于，所述当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别具体包括步骤：

当所述移动过程中拍摄得到的环境图像具有定位图像时，对所述定位图像进行二值分割，并从分割后的二值化图像中提取外形轮廓；

根据预存的标签图像模板所对应的外形轮廓的共性特征，根据分组神经网络估测具有所述共性特征的外形轮廓在所述定位图像中的候选位置，根据所述候选位置提取具有所述共性特征的外形轮廓作为备选轮廓；

获取所述备选轮廓的正视图；

对所述备选轮廓的正视图进行识别，当所述备选轮廓的正视图与预存的所述标签图像模板的相似度达到预设阈值时，确定所述定位图像中存在所述标签图像。

6.一种机器人，其特征在于，包括：

拍摄模块，用于拍摄获取环境图像；所述环境图像包括至少两条相互平行的导引线；

消失点识别模块，与所述拍摄模块连接，用于识别所述环境图像中的消失点；

起始位置确定模块，与所述消失点识别模块连接，用于根据所述消失点确定机器人的起始位置；

移动方向确定模块，与所述起始位置确定模块连接，用于根据所述起始位置和所述消失点确定移动方向；

处理模块，分别与所述拍摄模块、所述起始位置确定模块和所述移动方向确定模块连接，用于所述机器人在根据所述移动方向进行移动过程中识别拍摄得到的环境图像，当识别到所述环境图像具有目标图案时确定目的地，根据所述目的地与所述起始位置计算得到距离值；所述目标图案包括定位图像和标签图像，且所述标签图像嵌入所述定位图像；

移动模块，分别与所述移动方向确定模块和所述处理模块连接，用于根据所述移动方向和所述距离值进行移动，直至到达所述目的地；

所述起始位置确定模块包括：

像素坐标获取单元，用于获取所述消失点和成像起点的像素坐标，两条目标导引线在所述环境图像上的成像起点分别与机器人在所述环境图像上的成像中心点相邻，且两个所述成像起点分别与所述成像中心点之间距离最近；

夹角获取单元，与所述像素坐标获取单元连接，用于根据所述消失点和所述成像起点的像素坐标得到两条目标导引线分别与辅助线之间的夹角；所述辅助线为根据所述消失点绘制的垂直于成像水平线的直线；所述成像水平线根据所述两个成像起点生成；

起始点像素坐标计算单元，分别与所述像素坐标获取单元、所述夹角获取单元连接，用于根据所述成像起点的像素坐标、所述夹角计算得到起始点像素坐标；

起始位置确定单元，与所述起始点像素坐标计算单元连接，用于根据所述起始点像素坐标计算得到所述机器人的起始位置。

7.根据权利要求6所述的机器人，其特征在于，所述消失点识别模块包括：

图像处理单元，用于对所述环境图像进行灰度处理；

边缘直线提取单元，与所述图像处理单元连接，用于将灰度处理后的图像进行边缘直线提取，得到两条目标导引线对应的竖直直线；

消失点确定单元，与所述边缘直线提取单元连接，用于计算所述竖直直线的延长线的交点，确定所述交点为所述消失点。

8.根据权利要求7所述的机器人，其特征在于，所述起始点像素坐标计算单元将所述成像起点的像素坐标、所述夹角代入下列公式中计算得到起始点像素坐标；

其中，x为所述起始点像素坐标，a为第一目标导引线与所述辅助线之间的夹角，b为第二目标导引线与所述辅助线之间的夹角，Pa为所述第一目标导引线对应的成像起点的像素坐标，Pb为所述第二目标导引线对应的成像起点的像素坐标。

9.根据权利要求6-8任一项所述的机器人，其特征在于，所述处理模块包括：

图像识别单元，用于对根据所述移动方向进行移动过程中拍摄得到的环境图像进行图像识别，当所述移动过程中拍摄得到的环境图像具有定位图像时，进一步对所述定位图像进行识别；

处理单元，与所述图像识别单元连接，用于当所述定位图像中存在标签图像时，在数据库中查找所述标签图像对应的坐标信息为所述目的地；

计算单元，与所述处理单元连接，用于根据所述目的地与所述起始位置计算得到距离值。

10.根据权利要求9所述的机器人，其特征在于，所述图像识别单元包括：

图像处理子单元，用于当所述移动过程中拍摄得到的环境图像具有定位图像时，对所述定位图像进行二值分割，并从分割后的二值化图像中提取外形轮廓；

轮廓提取子单元，与所述图像处理子单元连接，用于根据预存的标签图像模板所对应的外形轮廓的共性特征，根据分组神经网络估测具有所述共性特征的外形轮廓在所述定位图像中的候选位置，根据所述候选位置提取具有所述共性特征的外形轮廓作为备选轮廓；

轮廓正视图获取子单元，与所述轮廓提取子单元连接，用于获取所述备选轮廓的正视图；

图像识别子单元，与所述轮廓正视图获取子单元连接，用于对所述备选轮廓的正视图进行识别，当所述备选轮廓的正视图与预存的所述标签图像模板的相似度达到预设阈值时，确定所述定位图像中存在所述标签图像。

Images