CN112130555B - 基于激光导航雷达及计算机视觉感知融合的自行走机器人及*** - Google Patents

Abstract

本发明提供了一种基于激光导航雷达及计算机视觉感知融合的自行走机器人及***，包括机器人本体、激光雷达、竖直设置的伸缩支架、及设置在伸缩支架顶端的全景摄像模组，伸缩支架与全景摄像模组转动副连接，伸缩支架与全景摄像模组之间设置有矢量角度传感器，矢量角度传感器用于获取全景摄像模组相对于伸缩支架转动时的转角大小和转动方向，全景摄像模组距离地面的高度大于激光雷达距离地面的高度，伸缩支架用于自动调节全景摄像模组距离地面的高度，并为矢量角度传感器提供固定参考基准，激光雷达用于获取机器人本体与其周围障碍物之间的距离，全景摄像模组用于获取机器人本体周围障碍物的第一彩色图像。

Description

基于激光导航雷达及计算机视觉感知融合的自行走机器人及 ***

技术领域

本发明涉及机器人技术领域，特别是涉及一种基于激光导航雷达及计算机视觉感知融合的自行走机器人及***。

背景技术

目前，自行走机器人一般采用磁条或激光雷达导航，磁条导航不仅成本较高，而且受环境限制，制约因素较多。而激光雷达由于无法更多维度的对环境中的事物信息进行采集，只能适用于对一些特定目标的距离进行测量，因此采用该激光雷达导航的自行走机器人只能在一些宽广且地形简单的区域活动，应用场景受到很大的限制。

例如，如图1所示，由多个固定遮挡物2和一个可移动遮挡物3围成的圆形围栏，其中，可移动遮挡物3的颜色与固定遮挡物2的颜色均不同，或直接在可移动遮挡物3上写“出口”字样等。此时若将激光雷达导航自行走机器人1放在其中，它获取的雷达数据将是一个圆形围栏，无法获取到可移动遮挡物3是出口的数据，也就导致自身无法确定正确的行动路线走出围栏。

再例如图2所示的情形，在一个由中间隔离带4分割成的两条路径上(路径一和路径二)以不同的方式放置多个固定遮挡物2，形成不同的可通过路径。其中，路径一和路径二的起始路口摆放的固定遮挡物2的方式是相同的。此时，若将激光雷达导航自行走机器人1放在路口让它从道路中通过，它对前方可能遇到的障碍以及难易程度将是相同的，将无法获取最优路径通过，而很显然，路径二比路径一更优。

发明内容

基于上述，提供一种能够适用于更复杂环境下的自行走机器人，并提供了一种适用于该机器人的***。

此外，还提供了一种上述自行走机器人的控制方法。

一种基于激光导航雷达及计算机视觉感知融合的自行走机器人，包括用于行走运动的机器人本体、设置在所述机器人本体上的激光雷达、竖直固定设置在所述机器人本体上的第一伸缩支架、及设置在所述第一伸缩支架顶端的第一全景摄像模组；所述第一伸缩支架与所述第一全景摄像模组转动副连接；所述第一伸缩支架与所述第一全景摄像模组之间设置有第一矢量角度传感器；所述第一矢量角度传感器用于获取所述第一全景摄像模组相对于所述第一伸缩支架转动时的转角大小和转动方向，以便修正所述第一全景摄像模组获取的画面中的物体方位与激光雷达获取的该物体的方位因所述第一全景摄像模组相对于所述第一伸缩支架转动带来的偏差，使得二者获取的同一物体的方位相同；所述第一全景摄像模组距离地面的高度大于所述激光雷达距离地面的高度；所述第一伸缩支架用于自动调节所述第一全景摄像模组距离地面的高度，并为所述第一矢量角度传感器提供第一固定参考基准；所述激光雷达用于获取所述机器人本体与其周围障碍物之间的距离；所述第一全景摄像模组用于获取所述机器人本体周围障碍物的第一彩色图像，以辅助判周围断障碍物的物理和/或化学属性。

在其中一个实施例中，所述第一全景摄像模组与所述第一伸缩支架之间通过第一相机稳定器连接；所述第一相机稳定器与所述第一伸缩支架之间转动副连接；所述第一全景摄像模组包括第一镜头模块、第一镜头支撑杆和第一重力块；所述第一镜头支撑杆垂直固定安装在所述第一相机稳定器的相机安装座上；所述第一镜头模块设置在所述第一镜头支撑杆的顶端；所述第一重力块设置在所述相机安装座的背面，以降低所述第一全景摄像模组的重心，以及提高所述相机安装座相对于所述第一相机稳定器的扭矩，从而使得所述第一镜头支撑杆保持竖直状态；所述第一矢量角度传感器设置在所述第一伸缩支架与所述第一相机稳定器之间，用以获取所述第一相机稳定器相对于所述第一伸缩支架转动时的转角大小和转动方向，以便修正所述第一全景摄像模组获取的画面中的物体方位与激光雷达获取的该物体的方位因所述第一全景摄像模组相对于所述第一伸缩支架转动带来的偏差，使得二者获取的同一物体的方位相同。

在其中一个实施例中，所述第一镜头模块包括第一广角镜头、第二广角镜头和第三广角镜头；所述第一广角镜头、所述第二广角镜头和所述第三广角镜头的拍摄角度各为120度，以此通过拼接合成获得一个360度全景摄像头。

在其中一个实施例中，还包括第二伸缩支架、及设置在所述第二伸缩支架顶端的第二全景摄像模组；所述第二伸缩支架与所述第二全景摄像模组转动副连接；所述第二伸缩支架与所述第二全景摄像模组之间设置有第二矢量角度传感器；所述第二矢量角度传感器用于获取所述第二全景摄像模组相对于所述第二伸缩支架转动时的转角大小和转动方向，以便修正所述第二全景摄像模组获取的画面中的物体方位与激光雷达获取的该物体的方位因所述第二全景摄像模组相对于所述第二伸缩支架转动带来的偏差，使得二者获取的同一物体的方位相同。第二伸缩支架竖直设置，并与所述机器人本体固定连接；所述第二全景摄像模组距离地面的高度大于所述激光雷达距离地面的高度，小于所述第一全景摄像模组距离地面的高度；所述第二伸缩支架用于自动调节所述第二全景摄像模组距离地面的高度，并为所述第二矢量角度传感器提供第二固定参考基准；所述第二固定参考基准与所述第一固定参考基准相同；所述第二全景摄像模组与所述第一全景摄像模组之间的水平距离大于0；所述第二伸缩支架与所述第一伸缩支架之间的距离大于0；所述第二全景摄像模组用于获取所述机器人本体周围障碍物的第二彩色图像，与所述第一彩色图像合成三维图像。该方式最多可以合成6幅三维图像，并且最多可以看清事物5个基准面情况。

在其中一个实施例中，所述第二全景摄像模组与所述第二伸缩支架之间通过第二相机稳定器连接；所述第二相机稳定器与所述第二伸缩支架之间转动副连接；所述第二全景摄像模组包括第二镜头模块、第二镜头支撑杆和第二重力块；所述第二镜头支撑杆垂直固定安装在所述第二相机稳定器的相机安装座上；所述第二镜头模块设置在所述第二镜头支撑杆的顶端；所述第二重力块设置在所述相机安装座的背面，以降低所述第二全景摄像模组的重心，以及提高所述相机安装座相对于所述第二相机稳定器的扭矩，从而使得所述第二镜头支撑杆保持竖直状态；所述第二矢量角度传感器设置在所述第二伸缩支架与所述第二相机稳定器之间，用以获取所述第二相机稳定器相对于所述第二伸缩支架转动时的转角大小和转动方向，以便修正所述第二全景摄像模组获取的画面中的物体方位与激光雷达获取的该物体的方位因所述第二全景摄像模组相对于所述第二伸缩支架转动带来的偏差，使得二者获取的同一物体的方位相同。

在其中一个实施例中，所述第二镜头模块包括第四广角镜头、第五广角镜头和第六广角镜头；所述第四广角镜头、所述第五广角镜头和所述第六广角镜头的拍摄角度各为120，以此通过拼接合成获得一个360度全景摄像头。

在其中一个实施例中，还包括音频接收器、设置在所述机器人本体上的机械臂、及设置在所述机械臂末端用于敲击的锤子；所述音频接收器用于接收所述锤子敲击物体的声音。

在其中一个实施例中，还包括音频接收器、末端电机、及设置在所述机器人本体上的机械臂、机械臂安装座和第三伸缩支架；所述机械臂通过所述机械臂安装座与所述机器人本体连接；所述机械臂为一伸缩型直杆；所述机械臂与所述机械臂安装座转动副连接；所述机械臂与所述第三伸缩支架转动副连接，使得第三伸缩支架的伸长和缩短能够带动所述机械臂绕着所述机械臂安装座转动。所述机械臂末端设置有电控弹射锤模组；所述电控弹射锤模组与所述机械臂末端转动副连接，并通过末端电机带动所述电控弹射锤模组与所述机械臂之间的相对转动；所述音频接收器设置在所述电控弹射锤模组上，并使得音频接收端面向所述电控弹射锤模组击打物体的方向。

在其中一个实施例中，还包括音频接收器及超声波发射器；所述超声波发射器用于发射超声波；所述音频接收器用于接收所述超声波发射器发射出的并经障碍物反射回来的超声波，以实现在阴雨、大雾等天气情况的导航功能。

在其中一个实施例中，还包括第一通讯模组和第二通讯模组；所述第一通讯模组用于与互联网连接，以实现远程控制和数据维护；所述第二通讯模组用于与同地区的其他机器人配对后实时通讯，以实现机器人之间互相学习的功能。

在其中一个实施例中，还包括设置在所述机器人本体上的风速仪模组；所述风速仪模组用于测量所述机器人本体所在位置的风速。由于本申请方案中全景摄像模组架设在可伸缩的支架上，正常情况下位置较高，如果风速太大会导致扭臂过大，因此，设置风速仪模组，当测量的风速大于设定值时，将控制使架设全景摄像模组的可伸缩支架缩短，以减少扭臂。

在其中一个实施例中，还包括设置在所述机器人本体上的风向仪模组；所述风速仪模组用于测量所述机器人本体所在位置的风向。如此设置，可以根据风向调整所述机器人本体的姿态，以最小风阻的方式运行。

在其中一个实施例中，所述机器人本体的四周依次设置有第一激光雷达、第二激光雷达、第三激光雷达及第四激光雷达；所述第一激光雷达、所述第二激光雷达、所述第三激光雷达和第四激光雷达用于分别获取机器人与四周障碍物之间的距离。

上述提供的基于激光导航雷达及计算机视觉感知融合的自行走机器人，通过在竖直设置的可伸缩支架上安置全景摄像模组，可以获取到激光雷达获取不到的色彩信息或文字信息，以此可以辅助判断机器人周围断障碍物的物理和/或化学属性，提高自行走机器人对周围环境的认识程度，从而拓宽自行走机器人的适用场景。

根据上述内容，本申请还提供了一种基于激光导航雷达及计算机视觉感知融合的自行走机器人***。

一种基于激光导航雷达及计算机视觉感知融合的自行走机器人***，包括中央处理器、图像数据处理模块、激光导航雷达数据处理模块、第一全景摄像模组、第一矢量角度传感器及激光导航雷达模组；所述图像数据处理模块、所述激光导航雷达数据处理模块与所述中央处理器连接；所述第一全景摄像模组与所述图像数据处理模块连接；所述激光导航雷达模组与所述所述激光导航雷达数据处理模块连接；所述第一矢量角度传感器分别与所述第一全景摄像模组和所述中央处理器连接；所述激光导航雷达模组用于获取机器人本体与其周围障碍物之间的距离；所述第一全景摄像模组用于获取机器人本体周围障碍物的第一彩色图像，以辅助判周围断障碍物的物理和/或化学属性；所述图像数据处理模块用于对所述第一全景摄像模组进行控制，并对所述第一彩色图像进行第一级数据处理；所述激光导航雷达数据处理模块用于对所述激光导航雷达模组进行控制，并对所述激光导航雷达模组获取的数据进行第一级处理；所述第一矢量角度传感器用于获取所述第一全景摄像模组相对于所述激光导航雷达模组的基准偏差的角度大小和方向；所述中央处理器通过所述第一矢量角度传感器获取的数据对所述图像数据处理模块和所述激光导航雷达数据处理模块输出的数据进行第二级数据处理，修正所述第一全景摄像模组因转动导致相对于所述激光导航雷达模组的基准偏差，使得所述第一彩色图像中的物体方位所述激光导航雷达获取的该物体方位相同。

在其中一个实施例中，还第二全景摄像模组、第二矢量角度传感器；所述第二全景摄像模组与所述图像数据处理模块连接；所述第二矢量角度传感器分别与所述第二全景摄像模组和所述中央处理器连接；所述第二全景摄像模组用于获取机器人本体周围障碍物的第二彩色图像，与所述第一彩色图像合成三维图像；所述第二矢量角度传感器用于获取所述第二全景摄像模组相对于所述激光导航雷达模组的基准偏差的角度大小和方向；所述中央处理器通过所述第二矢量角度传感器获取的数据对所述图像数据处理模块和所述激光导航雷达数据处理模块输出的数据进行第二级数据处理，修正所述第二全景摄像模组因转动导致相对于所述激光导航雷达模组的基准偏差，使得所述第二彩色图像中的物体方位所述激光导航雷达获取的该物体方位相同；所述中央处理器或所述第二全景摄像模组还用于将所述第一彩色图像和所述第二彩色图像合成三维图像。

在其中一个实施例中，所述第一全景摄像模组包括第一广角镜头、第二广角镜头、第三广角镜头；所述第二全景摄像模组包括第四广角镜头、第五广角镜头、第六广角镜头；所述第一广角镜头与所述第六广角镜头配对连接后与所述图像数据处理模块连接；所述第二广角镜头与所述第五广角镜头配对连接后与所述图像数据处理模块连接；所述第三广角镜头与所述第四广角镜头配对连接后与所述图像数据处理模块连接；所述中央处理器还用于通过所述第一矢量角度传感器和所述第二矢量角度传感器的数据对所述第一全景摄像模组和所述第二全景摄像模组的相对转角进行修正。

在其中一个实施例中，所述激光导航雷达模组包括第一激光雷达、第二激光雷达、第三激光雷达及第四激光雷达；所述第一激光雷达、所述第二激光雷达、所述第三激光雷达和第四激光雷达用于依次设置在机器人的四周分别获取机器人与四周障碍物之间的距离；所述激光导航雷达数据处理模块还用于将所述第一激光雷达、所述第二激光雷达、所述第三激光雷达和第四激光雷达获取的数据拼接合成一个完整的雷达图，并输出给所述中央处理器做进一步处理。

在其中一个实施例中，还包括分别与所述中央处理器连接的电控弹射锤模组及音频接收器；所述电控弹射锤模组用于敲击物体使发出声音；所述音频接收器用于接收所述电控弹射锤模组敲击物体发出的声音；所述中央处理器还用于对所述电控弹射锤模组敲击物体发出的声音进行频谱分析，并输出被敲击物体的种类和基本的物理和/或化学属性。

在其中一个实施例中，还包括与所述中央处理器连接的超声波发射器；所述超声波发射器用于发射超声波；所述音频接收器还用于接收所述超声波发射器发射出的并经障碍物反射回来的超声波，以实现机器人在阴雨、大雾等天气情况的导航功能。

在其中一个实施例中，所述超声波发射器还与所述音频接收器连接。

在其中一个实施例中，还包括与所述中央处理器连接的第一通讯模组和第二通讯模组；所述第一通讯模组用于与互联网连接，以实现远程控制和数据维护；所述第二通讯模组用于与同地区的其他机器人配对后实时通讯，以实现机器人之间互相学习的功能。

在其中一个实施例中，还包括与所述中央处理器连接的风向仪模组；所述风向仪模组用于测量机器人所在位置的风向。

在其中一个实施例中，还包括与所述中央处理器连接的风速仪模组；所述风速仪模组用于测量机器人所在位置的风速。

在其中一个实施例中，还包括与所述中央处理器连接的存储模块；所述存储模块存储有可被所述中央处理器运行的控制程序和常见物体的属性信息，以及用于存储各功能模块运行时产生的信息。

上述提供的基于激光导航雷达及计算机视觉感知融合的自行走机器人***，通过设置全景摄像模组，可以获取到激光雷达获取不到的色彩信息或文字信息，以此可以辅助判断机器人周围断障碍物的物理和/或化学属性，提高自行走机器人对周围环境的认识程度，从而拓宽自行走机器人的适用场景。

此外，本申请还提供了一种基于激光导航雷达及计算机视觉感知融合的自行走机器人的控制方法。

一种基于激光导航雷达及计算机视觉感知融合的自行走机器人的控制方法，所述自行走机器人为上述任何一项实施例中的自行走机器人，方法包括:所述激光导航雷达获取机器人周围的障碍物反射面；所述中央处理器判断障碍物之间的最大距离是否小于机器人的最小通过距离，若是，则启动所述第一全景摄像模组。

在其中一个实施例中，所述方法还包括，测试所述激光导航雷达能够获取机器人周围障碍物的最大距离；判断该最大距离是否小于或等于第一设定值，若是，则启动所述超声波发射器和所述音频接收器。

上述提供的方法，通过激光导航雷达对周围障碍环境的初步判断，当仅通过激光雷达导航无法满足要求时，启动计算机视觉感知对周围环境进行更深层次的认识，从而寻找出最佳的行动路径。

附图说明

图1背景技术中用于暴露现有机器人缺点而设置的障碍围栏示意图；

图2背景技术中用于暴露现有机器人缺点而设置的路障示意图；

图3为一实施例提供的设置有一个全景摄像模组的自行走机器人结构示意图；

图4为一实施例提供的设置有两个全景摄像模组的自行走机器人结构示意图；

图5为一实施例提供的基于激光导航雷达及计算机视觉感知融合的自行走机器人***结构示意图。

附图标记说明：

1.激光雷达导航自行走机器人；2.固定遮挡物；3.可移动遮挡物；4.中间隔离带；

10.机器人本体；21.第一伸缩支架；22.第一相机稳定器；23.第二伸缩支架；24.第二相机稳定器；31.机械臂；32.机械臂安装座；33.第三伸缩支架；34.末端电机；

110.第一激光雷达；120.第二激光雷达；130.第三激光雷达；140.第四激光雷达；210.第一全景摄像模组；211.第一广角镜头；212.第二广角镜头；213.第三广角镜头；214.第一镜头支撑杆；215.第一重力块；220.第二全景摄像模组；221.第四广角镜头；222.第五广角镜头；223.第六广角镜头；224.第二镜头支撑杆；225.第二重力块；300.电控弹射锤模组；410.音频接收器；420.超声波发射器；510.第一矢量角度传感器；520.第二矢量角度传感器；610.第一通讯模组；620.第二通讯模组；710.风速仪模组；720.风向仪模组；810.中央处理器；820.图像数据处理模块；830.激光导航雷达数据处理模块；840.存储模块。

具体实施方式

在本专利文件中，下面讨论的图1-5和用于描述本公开的原理或方法的各种实施例只用于说明，而不应以任何方式解释为限制了本公开的范围。本领域的技术人员应理解的是，本公开的原理或方法可在任何适当布置的机器人中实现。参考附图，本公开的优选实施例将在下文中描述。在下面的描述中，将省略众所周知的功能或配置的详细描述，以免以不必要的细节混淆本公开的主题。而且，本文中使用的术语将根据本发明的功能定义。因此，术语可能会根据用户或操作者的意向或用法而不同。因此，本文中使用的术语必须基于本文中所作的描述来理解。

一种基于激光导航雷达及计算机视觉感知融合的自行走机器人，如图3所示，包括用于行走运动的机器人本体10、设置在机器人本体10上的激光雷达、竖直固定设置在机器人本体10上的第一伸缩支架21、及设置在第一伸缩支架21顶端的第一全景摄像模组210。第一伸缩支架21与第一全景摄像模组210转动副连接。第一伸缩支架21与第一全景摄像模组210之间设置有第一矢量角度传感器510。第一矢量角度传感器510用于获取第一全景摄像模组210相对于第一伸缩支架21转动时的转角大小和转动方向，以便修正第一全景摄像模组210获取的画面中的物体方位与激光雷达获取的该物体的方位因第一全景摄像模组210相对于第一伸缩支架21转动带来的偏差，使得二者获取的同一物体的方位相同。第一全景摄像模组210距离地面的高度大于激光雷达距离地面的高度。第一伸缩支架21用于自动调节第一全景摄像模组210距离地面的高度，并为第一矢量角度传感器510提供第一固定参考基准。激光雷达用于获取机器人本体10与其周围障碍物之间的距离。第一全景摄像模组210用于获取机器人本体10周围障碍物的第一彩色图像，以辅助判周围断障碍物的物理和/或化学属性。

在其中一个实施例中，如图3所示，第一全景摄像模组210与第一伸缩支架21之间通过第一相机稳定器22连接。第一相机稳定器22与第一伸缩支架21之间转动副连接。第一全景摄像模组210包括第一镜头模块、第一镜头支撑杆214和第一重力块215。第一镜头支撑杆214垂直固定安装在第一相机稳定器22的相机安装座上。第一镜头模块设置在第一镜头支撑杆214的顶端。第一重力块215设置在相机安装座的背面，以降低第一全景摄像模组210的重心，以及提高相机安装座相对于第一相机稳定器22的扭矩，从而使得第一镜头支撑杆214保持竖直状态。第一矢量角度传感器510设置在第一伸缩支架21与第一相机稳定器22之间，用以获取第一相机稳定器22相对于第一伸缩支架21转动时的转角大小和转动方向，以便修正第一全景摄像模组210获取的画面中的物体方位与激光雷达获取的该物体的方位因第一全景摄像模组210相对于第一伸缩支架21转动带来的偏差，使得二者获取的同一物体的方位相同。

在其中一个实施例中，如图3所示，第一镜头模块包括第一广角镜头211、第二广角镜头212和第三广角镜头213。第一广角镜头211、第二广角镜头212和第三广角镜头213的拍摄角度各为120，以此通过拼接合成获得一个360度全景摄像头。

在其中一个实施例中，如图4所示，还包括第二伸缩支架23、及设置在第二伸缩支架23顶端的第二全景摄像模组220。第二伸缩支架23与第二全景摄像模组220转动副连接。第二伸缩支架23与第二全景摄像模组220之间设置有第二矢量角度传感器520。第二矢量角度传感器520用于获取第二全景摄像模组220相对于第二伸缩支架23转动时的转角大小和转动方向，以便修正第二全景摄像模组220获取的画面中的物体方位与激光雷达获取的该物体的方位因第二全景摄像模组220相对于第二伸缩支架23转动带来的偏差，使得二者获取的同一物体的方位相同。第二伸缩支架23竖直设置，并与机器人本体10固定连接。第二全景摄像模组220距离地面的高度大于激光雷达距离地面的高度，小于第一全景摄像模组210距离地面的高度。第二伸缩支架23用于自动调节第二全景摄像模组220距离地面的高度，并为第二矢量角度传感器520提供第二固定参考基准。第二固定参考基准与第一固定参考基准相同。第二全景摄像模组220与第一全景摄像模组210之间的水平距离大于0。第二伸缩支架23与第一伸缩支架21之间的距离大于0。第二全景摄像模组220用于获取机器人本体10周围障碍物的第二彩色图像，与第一彩色图像合成三维图像。该方式最多可以合成6幅三维图像，并且最多可以看清事物5个基准面情况。

在其中一个实施例中，如图4所示，第二全景摄像模组220与第二伸缩支架23之间通过第二相机稳定器24连接。第二相机稳定器24与第二伸缩支架23之间转动副连接。第二全景摄像模组220包括第二镜头模块、第二镜头支撑杆224和第二重力块225。第二镜头支撑杆224垂直固定安装在第二相机稳定器24的相机安装座上。第二镜头模块设置在第二镜头支撑杆224的顶端。第二重力块225设置在相机安装座的背面，以降低第二全景摄像模组220的重心，以及提高相机安装座相对于第二相机稳定器24的扭矩，从而使得第二镜头支撑杆224保持竖直状态。第二矢量角度传感器520设置在第二伸缩支架23与第二相机稳定器24之间，用以获取第二相机稳定器24相对于第二伸缩支架23转动时的转角大小和转动方向，以便修正第二全景摄像模组220获取的画面中的物体方位与激光雷达获取的该物体的方位因第二全景摄像模组220相对于第二伸缩支架23转动带来的偏差，使得二者获取的同一物体的方位相同。

在其中一个实施例中，如图4所示，第二镜头模块包括第四广角镜头221、第五广角镜头222和第六广角镜头223。第四广角镜头221、第五广角镜头222和第六广角镜头223的拍摄角度各为120，以此通过拼接合成获得一个360度全景摄像头。

在其中一个实施例中，如图3或图4所示，还包括音频接收器410、设置在10上的机械臂31、及设置在机械臂31末端用于敲击的锤子(可看作是标记300)。音频接收器410用于接收锤子敲击物体的声音。

在其中一个实施例中，如图3或图4所示，还包括音频接收器410、末端电机34、及设置在机器人本体10上的机械臂31、机械臂安装座32和第三伸缩支架33。机械臂31通过机械臂安装座32与机器人本体10连接。机械臂31为一伸缩型直杆。机械臂31与机械臂安装座32转动副连接。机械臂31与第三伸缩支架33转动副连接，使得第三伸缩支架33的伸长和缩短能够带动机械臂31绕着机械臂安装座32转动。机械臂31末端设置有电控弹射锤模组300。电控弹射锤模组300与机械臂31末端转动副连接，并通过末端电机34带动电控弹射锤模组300与机械臂31之间的相对转动。音频接收器410设置在电控弹射锤模组300上，并使得音频接收端面向电控弹射锤模组300击打物体的方向。

在其中一个实施例中，如图3或图4所示，还包括音频接收器410及超声波发射器420。超声波发射器420用于发射超声波。音频接收器410用于接收超声波发射器420发射出的并经障碍物反射回来的超声波，以实现在阴雨、大雾等天气情况的导航功能。

在其中一个实施例中，如图3或图4所示，还包括第一通讯模组610和第二通讯模组620。第一通讯模组610用于与互联网连接，以实现远程控制和数据维护。第二通讯模组620用于与同地区的其他机器人配对后实时通讯，以实现机器人之间互相学习的功能。

在其中一个实施例中，如图3或图4所示，还包括设置在机器人本体10上的风速仪模组710。风速仪模组710用于测量机器人本体10所在位置的风速。由于本申请方案中全景摄像模组架设在可伸缩的支架上，正常情况下位置较高，如果风速太大会导致扭臂过大，因此，设置风速仪模组710，当测量的风速大于设定值时，将控制使架设全景摄像模组的可伸缩支架缩短，以减少扭臂。

在其中一个实施例中，如图3或图4所示，还包括设置在机器人本体10上的风向仪模组720。风速仪模组710用于测量机器人本体10所在位置的风向。如此设置，可以根据风向调整10的姿态，以最小风阻的方式运行。

在其中一个实施例中，如图3或图4所示，机器人本体10的四周依次设置有第一激光雷达110、第二激光雷达120、第三激光雷达130及第四激光雷达140(图中未显示)。第一激光雷达110、第二激光雷达120、第三激光雷达130和第四激光雷达140用于分别获取机器人与四周障碍物之间的距离。

上述提供的基于激光导航雷达及计算机视觉感知融合的自行走机器人，通过在竖直设置的可伸缩支架上安置全景摄像模组，可以获取到激光雷达获取不到的色彩信息或文字信息，以此可以辅助判断机器人周围断障碍物的物理和/或化学属性，提高自行走机器人对周围环境的认识程度，从而拓宽自行走机器人的适用场景。

根据上述内容，本申请还提供了一种基于激光导航雷达及计算机视觉感知融合的自行走机器人***。

一种基于激光导航雷达及计算机视觉感知融合的自行走机器人***，如图5所示，包括中央处理器810、图像数据处理模块820、激光导航雷达数据处理模块830、第一全景摄像模组210、第一矢量角度传感器510及激光导航雷达模组。图像数据处理模块820、激光导航雷达数据处理模块830与中央处理器810连接。第一全景摄像模组210与图像数据处理模块820连接。激光导航雷达模组与激光导航雷达数据处理模块830连接。第一矢量角度传感器510分别与第一全景摄像模组210和中央处理器810连接。激光导航雷达模组用于获取10与其周围障碍物之间的距离。第一全景摄像模组210用于获取机器人本体10周围障碍物的第一彩色图像，以辅助判周围断障碍物的物理和/或化学属性。图像数据处理模块820用于对第一全景摄像模组210进行控制，并对第一彩色图像进行第一级数据处理。激光导航雷达数据处理模块830用于对激光导航雷达模组进行控制，并对激光导航雷达模组获取的数据进行第一级处理。第一矢量角度传感器510用于获取第一全景摄像模组210相对于激光导航雷达模组的基准偏差的角度大小和方向。中央处理器810通过第一矢量角度传感器510获取的数据对图像数据处理模块820和激光导航雷达数据处理模块830输出的数据进行第二级数据处理，修正第一全景摄像模组210因转动导致相对于激光导航雷达模组的基准偏差，使得第一彩色图像中的物体方位激光导航雷达获取的该物体方位相同。

在其中一个实施例中，如图5所示，还第二全景摄像模组220、第二矢量角度传感器520。第二全景摄像模组220与图像数据处理模块820连接。第二矢量角度传感器520分别与第二全景摄像模组220和中央处理器810连接。第二全景摄像模组220用于获取机器人本体10周围障碍物的第二彩色图像，与第一彩色图像合成三维图像。第二矢量角度传感器520用于获取第二全景摄像模组220相对于激光导航雷达模组的基准偏差的角度大小和方向。中央处理器810通过第二矢量角度传感器520获取的数据对图像数据处理模块820和激光导航雷达数据处理模块830输出的数据进行第二级数据处理，修正第二全景摄像模组220因转动导致相对于激光导航雷达模组的基准偏差，使得第二彩色图像中的物体方位激光导航雷达获取的该物体方位相同。中央处理器810或第二全景摄像模组220还用于将第一彩色图像和第二彩色图像合成三维图像。

在其中一个实施例中，如图5所示，第一全景摄像模组210包括第一广角镜头211、第二广角镜头212、第三广角镜头213。第二全景摄像模组220包括第四广角镜头221、第五广角镜头222、第六广角镜头223。第一广角镜头211与第六广角镜头223配对连接后与图像数据处理模块820连接。第二广角镜头212与第五广角镜头222配对连接后与图像数据处理模块820连接。第三广角镜头213与第四广角镜头221配对连接后与图像数据处理模块820连接。中央处理器810还用于通过第一矢量角度传感器510和第二矢量角度传感器520的数据对第一全景摄像模组210和第二全景摄像模组220的相对转角进行修正。

在其中一个实施例中，如图5所示，激光导航雷达模组包括第一激光雷达110、第二激光雷达120、第三激光雷达130及第四激光雷达140。第一激光雷达110、第二激光雷达120、第三激光雷达130和第四激光雷达140用于依次设置在机器人的四周分别获取机器人与四周障碍物之间的距离。激光导航雷达数据处理模块830还用于将第一激光雷达110、第二激光雷达120、第三激光雷达130和第四激光雷达140获取的数据拼接合成一个完整的雷达图，并输出给中央处理器810做进一步处理。

在其中一个实施例中，如图5所示，还包括分别与中央处理器810连接的电控弹射锤模组300及音频接收器410。电控弹射锤模组300用于敲击物体使发出声音。音频接收器410用于接收电控弹射锤模组300敲击物体发出的声音。中央处理器810还用于对电控弹射锤模组300敲击物体发出的声音进行频谱分析，并输出被敲击物体的种类和基本的物理和/或化学属性。

在其中一个实施例中，如图5所示，还包括与中央处理器810连接的超声波发射器420。超声波发射器420用于发射超声波。音频接收器410还用于接收超声波发射器420发射出的并经障碍物反射回来的超声波，以实现机器人在阴雨、大雾等天气情况的导航功能。

在其中一个实施例中，如图5所示，超声波发射器420还与音频接收器410连接。

在其中一个实施例中，如图5所示，还包括与中央处理器810连接的第一通讯模组610和第二通讯模组620。第一通讯模组610用于与互联网连接，以实现远程控制和数据维护。第二通讯模组620用于与同地区的其他机器人配对后实时通讯，以实现机器人之间互相学习的功能。

在其中一个实施例中，如图5所示，还包括与中央处理器810连接的风向仪模组720。风向仪模组720用于测量机器人所在位置的风向。

在其中一个实施例中，如图5所示，还包括与中央处理器810连接的风速仪模组710。风速仪模组710用于测量机器人所在位置的风速。

在其中一个实施例中，如图5所示，还包括与中央处理器810连接的存储模块840。存储模块840存储有可被中央处理器810运行的控制程序和常见物体的属性信息，以及用于存储各功能模块运行时产生的信息。

上述提供的基于激光导航雷达及计算机视觉感知融合的自行走机器人***，通过设置全景摄像模组，可以获取到激光雷达获取不到的色彩信息或文字信息，以此可以辅助判断机器人周围断障碍物的物理和/或化学属性，提高自行走机器人对周围环境的认识程度，从而拓宽自行走机器人的适用场景。

此外，本申请还提供了一种基于激光导航雷达及计算机视觉感知融合的自行走机器人的控制方法。

一种基于激光导航雷达及计算机视觉感知融合的自行走机器人的控制方法，自行走机器人为上述任何一项实施例中的自行走机器人，方法包括步骤S110-S140:

S110:激光导航雷达获取机器人周围的障碍物反射面。

S120:中央处理器810判断障碍物之间的最大距离是否小于机器人的最小通过距离，若是，则执行步骤S130，否则执行步骤S140。

S130:启动第一全景摄像模组210。

S140：只启动激光导航雷达继续运行。

在其中一个实施例中，方法还包括，步骤S210-S240:

S210:测试激光导航雷达能够获取机器人周围障碍物的最大距离。

S220:判断该最大距离是否小于或等于第一设定值，若是，则执行步骤S230，否则执行步骤S240。

S230:启动超声波发射器420和音频接收器410。

S240:只启动激光导航雷达继续运行。

上述提供的方法，通过激光导航雷达对周围障碍环境的初步判断，当仅通过激光雷达导航无法满足要求时，启动计算机视觉感知对周围环境进行更深层次的认识，从而寻找出最佳的行动路径。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于激光导航雷达及计算机视觉感知融合的自行走机器人，其特征在于，包括用于行走运动的机器人本体、设置在所述机器人本体上的激光雷达、竖直固定设置在所述机器人本体上的第一伸缩支架、及设置在所述第一伸缩支架顶端的第一全景摄像模组；所述第一伸缩支架与所述第一全景摄像模组转动副连接；所述第一伸缩支架与所述第一全景摄像模组之间设置有第一矢量角度传感器；所述第一矢量角度传感器用于获取所述第一全景摄像模组相对于所述第一伸缩支架转动时的转角大小和转动方向；所述第一全景摄像模组距离地面的高度大于所述激光雷达距离地面的高度；所述第一伸缩支架用于自动调节所述第一全景摄像模组距离地面的高度，并为所述第一矢量角度传感器提供第一固定参考基准；所述激光雷达用于获取所述机器人本体与其周围障碍物之间的距离；所述第一全景摄像模组用于获取所述机器人本体周围障碍物的第一彩色图像，以辅助判周围断障碍物的物理和/或化学属性；还包括音频接收器、末端电机、及设置在所述机器人本体上的机械臂、机械臂安装座和第三伸缩支架；所述机械臂通过所述机械臂安装座与所述机器人本体连接；所述机械臂为一伸缩型直杆；所述机械臂与所述机械臂安装座转动副连接；所述机械臂与所述第三伸缩支架转动副连接；所述机械臂末端设置有电控弹射锤模组；所述电控弹射锤模组与所述机械臂末端转动副连接，并通过末端电机带动所述电控弹射锤模组与所述机械臂之间的相对转动；所述音频接收器设置在所述电控弹射锤模组上，并使得音频接收端面向所述电控弹射锤模组击打物体的方向。

2.根据权利要求1所述的自行走机器人，其特征在于，所述第一全景摄像模组与所述第一伸缩支架之间通过第一相机稳定器连接；所述第一相机稳定器与所述第一伸缩支架之间转动副连接；所述第一全景摄像模组包括第一镜头模块、第一镜头支撑杆和第一重力块；所述第一镜头支撑杆垂直固定安装在所述第一相机稳定器的相机安装座上；所述第一镜头模块设置在所述第一镜头支撑杆的顶端；所述第一重力块设置在所述相机安装座的背面，以降低所述第一全景摄像模组的重心，以及提高所述相机安装座相对于所述第一相机稳定器的扭矩，从而使得所述第一镜头支撑杆保持竖直状态；所述第一矢量角度传感器设置在所述第一伸缩支架与所述第一相机稳定器之间，用以获取所述第一相机稳定器相对于所述第一伸缩支架转动时的转角大小和转动方向。

3.根据权利要求1所述的自行走机器人，其特征在于，还包括第二伸缩支架、及设置在所述第二伸缩支架顶端的第二全景摄像模组；所述第二伸缩支架与所述第二全景摄像模组转动副连接；所述第二伸缩支架与所述第二全景摄像模组之间设置有第二矢量角度传感器；所述第二矢量角度传感器用于获取所述第二全景摄像模组相对于所述第二伸缩支架转动时的转角大小和转动方向；第二伸缩支架竖直设置，并与所述机器人本体固定连接；所述第二全景摄像模组距离地面的高度大于所述激光雷达距离地面的高度，小于所述第一全景摄像模组距离地面的高度；所述第二伸缩支架用于自动调节所述第二全景摄像模组距离地面的高度，并为所述第二矢量角度传感器提供第二固定参考基准；所述第二固定参考基准与所述第一固定参考基准相同；所述第二全景摄像模组与所述第一全景摄像模组之间的水平距离大于0；所述第二伸缩支架与所述第一伸缩支架之间的距离大于0；所述第二全景摄像模组用于获取所述机器人本体周围障碍物的第二彩色图像，与所述第一彩色图像合成三维图像。

4.根据权利要求1所述的自行走机器人，其特征在于，还包括音频接收器、设置在所述机器人本体上的机械臂、及设置在所述机械臂末端用于敲击的锤子；所述音频接收器用于接收所述锤子敲击物体的声音。

5.根据权利要求1所述的自行走机器人，其特征在于，还包括第一通讯模组和第二通讯模组；所述第一通讯模组用于与互联网连接，以实现远程控制和数据维护；所述第二通讯模组用于与同地区的其他机器人配对后实时通讯，以实现机器人之间互相学习的功能。

6.一种基于激光导航雷达及计算机视觉感知融合的自行走机器人***，所述自行走机器人为权利要求1-5任何一项所述的基于激光导航雷达及计算机视觉感知融合的自行走机器人，其特征在于，包括中央处理器、图像数据处理模块、激光导航雷达数据处理模块、第一全景摄像模组、第一矢量角度传感器及激光导航雷达模组；所述图像数据处理模块、所述激光导航雷达数据处理模块与所述中央处理器连接；所述第一全景摄像模组与所述图像数据处理模块连接；所述激光导航雷达模组与所述所述激光导航雷达数据处理模块连接；所述第一矢量角度传感器分别与所述第一全景摄像模组和所述中央处理器连接；所述激光导航雷达模组用于获取机器人本体与其周围障碍物之间的距离；所述第一全景摄像模组用于获取机器人本体周围障碍物的第一彩色图像，以辅助判周围断障碍物的物理和/或化学属性；所述图像数据处理模块用于对所述第一全景摄像模组进行控制，并对所述第一彩色图像进行第一级数据处理；所述激光导航雷达数据处理模块用于对所述激光导航雷达模组进行控制，并对所述激光导航雷达模组获取的数据进行第一级处理；所述第一矢量角度传感器用于获取所述第一全景摄像模组相对于所述激光导航雷达模组的基准偏差的角度大小和方向；所述中央处理器通过所述第一矢量角度传感器获取的数据对所述图像数据处理模块和所述激光导航雷达数据处理模块输出的数据进行第二级数据处理，修正所述第一全景摄像模组因转动导致相对于所述激光导航雷达模组的基准偏差，使得所述第一彩色图像中的物体方位所述激光导航雷达获取的该物体方位相同；还包括分别与所述中央处理器连接的电控弹射锤模组及音频接收器；所述电控弹射锤模组用于敲击物体使发出声音；所述音频接收器用于接收所述电控弹射锤模组敲击物体发出的声音；所述中央处理器还用于对所述电控弹射锤模组敲击物体发出的声音进行频谱分析，并输出被敲击物体的种类和基本的物理和/或化学属性。

7.根据权利要求6所述的***，其特征在于，还包括与所述中央处理器连接的超声波发射器；所述超声波发射器用于发射超声波；所述音频接收器还用于接收所述超声波发射器发射出的并经障碍物反射回来的超声波，以实现机器人在阴雨、大雾等天气情况的导航功能。

8.根据权利要求6-7任何一项所述的***，其特征在于，

还包括与所述中央处理器连接的第一通讯模组和第二通讯模组

所述第一通讯模组用于与互联网连接，以实现远程控制和数据维护；

所述第二通讯模组用于与同地区的其他机器人配对后实时通讯，以实现机器人之间互相学习的功能。