CN115797817B - 一种障碍物识别方法、障碍物显示方法、相关设备和*** - Google Patents

一种障碍物识别方法、障碍物显示方法、相关设备和*** Download PDF

Info

Publication number
CN115797817B
CN115797817B CN202310075235.6A CN202310075235A CN115797817B CN 115797817 B CN115797817 B CN 115797817B CN 202310075235 A CN202310075235 A CN 202310075235A CN 115797817 B CN115797817 B CN 115797817B
Authority
CN
China
Prior art keywords
obstacle
map
target
image
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310075235.6A
Other languages
English (en)
Other versions
CN115797817A (zh
Inventor
孙境廷
李华清
张圆
钟锟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202310075235.6A priority Critical patent/CN115797817B/zh
Publication of CN115797817A publication Critical patent/CN115797817A/zh
Application granted granted Critical
Publication of CN115797817B publication Critical patent/CN115797817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种障碍物识别方法、障碍物显示方法、相关设备和***,其中,采用本发明提供的障碍物识别方法可识别出机器人的使用场景中障碍物的类型,还可确定出识别出类型的障碍物在地图中的占地区域,将包含这些信息的地图信息发送至显示设备进行显示后,用户可获知障碍物的类型、障碍物在地图中的位置和占地大小,用户对障碍物具体情况的获知有利于消除用户对机器人工作能力的质疑,即,障碍物具体信息的展示有利于增强用户对机器人的工作能力的信任,另外,障碍物具体信息的展示还可以帮助用户寻找遗失物品,用户体验较好。

Description

一种障碍物识别方法、障碍物显示方法、相关设备和***
技术领域
本发明涉及智能避障技术领域,尤其涉及一种障碍物识别方法、障碍物显示方法、相关设备和***。
背景技术
随着人工智能技术的发展,机器人(比如清洁机器人)增加了智能避障、自动充电、自主导航路径规划等功能,这些功能的增加使得机器人的智能化程度大幅提升。其中,智能避障指的是,机器人在移动过程中,如果遇到障碍物,能够自动躲避障碍物。
在机器人的使用过程中,对机器人前进方向上的障碍物进行识别并将识别的障碍物在地图中显示,可以增强用户对机器人的工作能力的信任,还可以帮助用户寻找遗失物品,从而进一步提高产品使用体验。
目前的障碍物识别及显示方法,能够确定障碍物在二维地图中的点位,进而在显示设备上显示地图时,可在确定出的点位处通过显示一个点向用户指示此处有障碍物。然而,用户通过显示设备显示的地图,仅能获知地图中何处有障碍物,而无法获知障碍物的具体情况,不了解障碍物的具体情况会导致用户对机器人的工作能力存在质疑,以清洁机器人为例,当其绕障距离相对较远时,用户可能会质疑机器人的清扫路径覆盖不全。
发明内容
有鉴于此,本发明提供了一种障碍物识别方法、障碍物显示方法、相关设备和***,用以解决目前的障碍物识别及显示方法无法使用户获知障碍物的具体情况,进而导致用户对机器人的工作能力存在质疑的问题,其技术方案如下:
一种障碍物识别方法,应用于处理设备,所述方法包括:
在机器人移动的过程中,获取所述机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和所述障碍物图像对应的障碍物距离信息;
基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型;
基于目标障碍物的障碍物图像和/或障碍物距离信息,确定所述目标障碍物在地图中的占地区域,其中,所述目标障碍物为识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
将包含所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便所述显示设备在地图中显示所述目标障碍物的类型和目标障碍物的占地区域。
可选的,所述基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型,包括:
结合所述障碍物图像对应的障碍物距离信息,基于预先训练得到的障碍物类型预测模型,预测所述障碍物图像中所包含的障碍物的类型;
其中,所述障碍物类型预测模型采用标注有障碍物类型的训练障碍物图像以及所述训练障碍物图像对应的障碍物距离信息训练得到。
可选的,所述目标障碍物的障碍物距离信息包括多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为,采用设置于所述机器人上的测距设备在该角度针对所述目标障碍物上的可测点位测得的距离信息;
基于目标障碍物的障碍物距离信息,确定所述目标障碍物在地图中的占地区域,包括:
基于所述多个角度分别对应的障碍物距离信息,确定所述多个角度分别对应的局部地图信息,其中,所述局部地图信息包括所述目标障碍物在局部地图中的形状信息;
基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域。
可选的,所述目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于所述机器人上的图像采集设备在该角度采集的包含所述目标障碍物的图像;
基于目标障碍物的障碍物图像,确定所述目标障碍物在地图中的占地区域,包括:
将每个角度对应的障碍物图像输入预先建立的地图信息预测模型,得到所述地图信息预测模型输出的局部地图信息,以得到多个角度分别对应的局部地图信息;其中,所述局部地图信息包括所述目标障碍物在局部地图中的形状信息,所述地图信息预测模型采用训练障碍物图像和所述训练障碍物图像对应的局部地图信息训练得到;
基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域。
可选的,所述目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于所述机器人上的图像采集设备在该角度采集的包含所述目标障碍物的图像;
所述目标障碍物的障碍物距离信息包括所述多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为该角度对应的障碍物图像对应的障碍物距离信息;
基于目标障碍物的障碍物图像和障碍物距离信息,确定所述目标障碍物在地图中的占地区域,包括:
将每个角度对应的障碍物图像和障碍物距离信息,输入预先建立的地图信息预测模型,得到所述地图信息预测模型输出的局部地图信息,以得到所述多个角度分别对应的局部地图信息;其中,所述局部地图信息包括所述目标障碍物在局部地图中的形状信息,所述地图信息预测模型采用训练障碍物图像、所述训练障碍物图像对应的障碍物距离信息以及所述训练障碍物图像对应的局部地图信息训练得到;
基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域。
可选的,所述基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域,包括:
基于所述多个角度分别对应的局部地图信息、所述机器人的位姿以及所述机器人在地图中的位置,确定所述目标障碍物在整个地图中的形状信息;
基于所述目标障碍物在整个地图中的形状信息,确定所述目标障碍物在地图中的占地区域。
可选的,所述基于所述目标障碍物在整个地图中的形状信息,确定所述目标障碍物在地图中的占地区域,包括:
基于所述目标障碍物在整个地图中的形状信息,确定所述目标障碍物在地图中的轮廓;
将所述目标障碍物在地图中的轮廓所包围的区域确定为所述目标障碍物在地图中的占地区域。
可选的,所述障碍物识别方法还包括:
在获得所述目标障碍物的类型和所述目标障碍物在地图中的占地区域后,每获得一包含所述目标障碍物的图像,针对地图中与当前获得的图像相关的每个栅格:
获取基于当前获得的图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率,作为当前获得的图像在该栅格对应的概率;
将当前获得的图像在该栅格对应的概率与若干历史障碍物图像在该栅格分别对应的概率融合,其中,一历史障碍物图像在该栅格对应的概率为基于该历史障碍物图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率;
基于融合后概率确定该栅格是否存在障碍物,以及存在障碍物时的障碍物类型,作为该栅格对应的识别结果;
基于确定出的各栅格分别对应的识别结果,更新目标障碍物的类型以及目标障碍物在地图中的占地区域。
一种障碍物显示方法,应用于显示设备,包括:
接收处理设备发送的包含目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息,其中,所述目标障碍物为所述处理设备识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
基于所述地图信息,显示地图,并在地图中显示所述目标障碍物的类型和占地区域。
可选的,所述障碍物显示方法还包括:
在障碍物图库中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的障碍物指示图,作为目标障碍物指示图;
在地图中所述目标障碍物的占地区域显示所述目标障碍物指示图。
可选的,所述障碍物图库中包括贴图集和图标集;
所述在障碍物图库中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的障碍物指示图,包括:
基于地图的缩放尺寸,从所述贴图集和所述图标集中确定目标图集;
若所述目标图集为所述贴图集,则从所述贴图集中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的贴图;
若所述目标图集为所述图标集,则从所述图标集中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的图标。
可选的,若所述目标障碍物指示图为目标贴图,则所述在地图中所述目标障碍物的占地区域显示所述目标障碍物指示图,包括:
将所述目标贴图处理成与所述目标障碍物在地图中的占地区域尺寸和/或朝向匹配的贴图;
在地图中所述目标障碍物的占地区域显示处理后的目标贴图。
可选的,所述障碍物显示方法还包括:
当用户缩放地图时,基于地图的缩放尺寸,调整所述目标障碍物指示图的类型;
和/或,当用户平移和/或旋转地图时,基于地图的平移距离和/或旋转角度调整地图中所述目标障碍物指示图的朝向和/或位置。
一种障碍物识别装置,应用于处理设备,所述装置包括:障碍物数据获取模块、障碍物类型识别模块、障碍物占地区域确定模块和地图信息发送模块;
所述障碍物数据获取模块,用于在机器人移动的过程中,获取所述机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和所述障碍物图像对应的障碍物距离信息;
所述障碍物类型识别模块,用于基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型;
所述障碍物占地区域确定模块,用于基于目标障碍物的障碍物图像和/或障碍物距离信息,确定所述目标障碍物在地图中的占地区域,其中,所述目标障碍物为识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
所述地图信息发送模块,用于将包含所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便所述显示设备在地图中显示所述目标障碍物的类型和目标障碍物的占地区域。
一种障碍物显示装置,应用于显示设备,所述装置包括:地图信息接收模块和地图信息显示模块;
所述地图信息接收模块,用于接收处理设备发送的包含目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息,其中,所述目标障碍物为所述处理设备识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
所述地图信息显示模块,用于基于所述地图信息,显示地图,并在地图中显示所述目标障碍物的类型和占地区域。
一种处理设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现上述任一项所述的障碍物识别方法的各个步骤。
一种显示设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现上述任一项所述的障碍物显示方法的各个步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一项所述的障碍物识别方法的各个步骤,和/或实现上述任一项所述的障碍物显示方法的各个步骤。
一种处理***,包括:处理设备和显示设备;
所述处理设备,用于在机器人移动的过程中,获取所述机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和所述障碍物图像对应的障碍物距离信息,基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型,基于目标障碍物的障碍物图像和/或障碍物距离信息,确定所述目标障碍物在地图中的占地区域,以及将包含所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息发送至显示设备;其中,所述目标障碍物为识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
所述显示设备,用于在接收到所述地图信息后,根据所述地图信息,显示地图,并在地图中显示所述目标障碍物的类型和占地区域。
本发明提供的障碍物识别方法,首先在机器人移动的过程中,获取机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和障碍物图像对应的障碍物距离信息,然后基于障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型,接着基于识别出类型的障碍物的障碍物图像和/或障碍物距离信息,确定识别出类型的障碍物在地图中的占地区域,最后将包含识别出的类型和识别出类型的障碍物在地图中的占地区域的地图信息发送至显示设备,显示设备采用本发明提供的障碍物显示方法在地图中显示识别出的类型和识别出类型的障碍物所占的区域。采用本发明提供的障碍物识别方法可识别出机器人的使用场景中障碍物的类型,还可确定出识别出类型的障碍物在地图中的占地区域,采用本发明提供的障碍物显示方法可在地图中显示识别出的类型和识别出类型的障碍物的占地区域,用户通过展示的信息可获知障碍物的类型、障碍物在地图中的位置和占地大小,用户对障碍物具体情况的获知有利于消除用户对机器人工作能力的质疑,即,障碍物具体信息的展示有利于增强用户对机器人的工作能力的信任,另外,障碍物具体信息的展示还可以帮助用户寻找遗失物品,用户体验较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的障碍物识别方法的流程示意图;
图2为本发明实施例提供的基于目标障碍物的障碍物距离信息,确定目标障碍物在地图中的占地区域的流程示意图;
图3为本发明实施例提供的基于目标障碍物的障碍物图像信息,确定目标障碍物在地图中的占地区域的流程示意图;
图4为本发明实施例提供的基于目标障碍物的障碍物图像和障碍物距离信息,确定目标障碍物在地图中的占地区域的流程示意图;
图5为本发明实施例提供的障碍物显示方法的流程示意图;
图6为本发明实施例提供的在地图中显示目标障碍物的占地区域的示意图;
图7为本发明实施例提供的只显示目标障碍物指示图的示意图;
图8为本发明实施例提供的同时显示目标障碍物的占地区域以及目标障碍物指示图的示意图;
图9为本发明实施例提供的同时显示插线板贴图和插线板电线的占地区域的示意图;
图10为本发明实施例提供的障碍物识别装置的结构示意图;
图11为本发明实施例提供的障碍物显示装置的结构示意图;
图12为本发明实施例提供的处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的障碍物识别及显示方法仅能使用户获知地图中何处有障碍物,而无法使用户获知障碍物的具体情况,不了解障碍物的具体情况会导致用户对机器人的工作能力存在质疑。
针对现有的障碍物识别及显示方法存在的缺陷,进行了研究,通过不断研究,最终提出了一种障碍物识别方法和障碍物显示方法,提出的障碍物识别方法可识别出机器人所处场景中障碍物的类型和障碍物在地图中的占地区域,提出的障碍物显示方法可在地图中显示通过障碍物识别方法识别出的障碍物的类型和占地区域,用户通过地图中显示的障碍物的类型和占地区域可获知障碍物为何种障碍物,以及障碍物在地图中的位置和占地大小。
在介绍本发明提供的障碍物识别方法和障碍物显示方法之前,先对本发明涉及的硬件架构进行说明。
在一种可能的实现方式中,本发明涉及的硬件架构可以包括:机器人和显示设备,其中,机器人和显示设备可进行通信。
示例性的,机器人可以但不限定为清洁机器人、搬运机器人等。
示例性的,显示设备可以但不限定为PC、笔记本、智能电视、PAD、手机等。
机器人在移动的过程,获取其前进方向上障碍物的相关数据,对获取的数据进行识别处理,得到其所处场景中障碍物的类型和障碍物在地图中的占地区域,然后将包括障碍物的类型和障碍物在地图中的占地区域的地图信息发送至显示设备,显示设备显示地图,并在地图中显示障碍物的类型和障碍物在地图中的占地区域。
在另一种可能的实现方式中,本发明涉及的硬件架构可以包括:机器人、处理设备和显示设备,其中,机器人可与处理设备进行通信,处理设备可与显示设备进行通信。
示例性的,机器人可以但不限定为清洁机器人、搬运机器人等。
示例性的,处理设备可以但不限定为服务器,服务器可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务器中心。服务器可以包括处理器、存储器以及网络接口等。
示例性的,显示设备可以但不限定为PC、笔记本、智能电视、PAD、手机等。
机器人在移动的过程,获取其前进方向上障碍物的相关数据,将获取的障碍物的相关数据发送至处理设备(比如服务器),处理设备对接收的数据进行识别处理,得到机器人所处场景中障碍物的类型和障碍物在地图中的占地区域,然后将包括障碍物的类型和障碍物在地图中的占地区域的地图信息发送至显示设备,显示设备显示地图,并在地图中显示障碍物的类型和障碍物在地图中的占地区域。
本领域技术人员应能理解,上述的机器人、处理设备、显示设备仅为举例,其它现有的或今后可能出现的设备如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
接下来通过下述实施例对本发明提供的障碍物识别方法和障碍物显示方法进行介绍。
请参阅图1,示出了本发明实施例提供的障碍物识别方法的流程示意图,该障碍物识别方法可应用于处理设备,该处理设备可以为机器人,也可以为其它具有数据处理能力的设备,比如服务器,该障碍物识别方法可以包括:
步骤S101:在机器人移动的过程中,获取机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和障碍物图像对应的障碍物距离信息。
其中,障碍物距离信息为障碍物与机器人的距离信息。
可选的,可基于机器人上设置的图像采集设备获取机器人前进方向上障碍物的图像。示例性的,图像采集设备可以为视觉传感器。
可选的,可基于机器人上设置的测距设备获取机器人前进方向上障碍物的距离信息,以得到障碍物图像对应的障碍物距离信息。示例性的,测距设备可以为测距传感器。
需要说明的是,除了可基于机器人上设置的测距设备获取障碍物距离信息外,还可采用其它方式,比如,可基于深度信息预测模型预测障碍物图像对应的深度信息,作为障碍物图像对应的障碍物距离信息。
步骤S102:基于障碍物图像和障碍物图像对应的障碍物距离信息,识别障碍物图像中所包含的障碍物的类型。
识别障碍物图像中所包含的障碍物的类型,即识别障碍物图像中包括哪些类型的障碍物。在本实施例中,可根据机器人的使用场景,预设多种障碍物类型,在对障碍物的类型进行识别时,从多种障碍物类型中,确定障碍物图像中所包含的障碍物的类型。
步骤S103:基于目标障碍物的障碍物图像和/或障碍物距离信息,确定目标障碍物在地图中的占地区域。
其中,目标障碍物为识别出类型的障碍物,目标障碍物的障碍物图像为包含目标障碍物的图像,目标障碍物的障碍物距离信息为机器人与目标障碍物的距离信息。
假设识别出障碍物图像中所包含的障碍物为沙发,则目标障碍物为沙发,步骤S103的目的在于,基于包含沙发的图像和/或机器人与沙发的距离信息,确定沙发在地图中的占地区域。
需要说明的是,目标障碍物在地图中的占地区域能够指示目标障碍物在地图中的位置和占地大小。
可选的,在获得目标障碍物的类型和目标障碍物在地图中的占地区域后,每获得一包含目标障碍物的图像,可针对地图中与当前获得的图像相关的每个栅格执行如下过程:获取基于当前获得的图像确定的该栅格存在各设定类型的障碍物和不存在障碍物概率,作为当前获得的图像在该栅格对应的概率;将当前获得的图像在该栅格对应的概率与若干历史障碍物图像在该栅格分别对应的概率融合,其中,一历史障碍物图像在该栅格对应的概率为基于该历史障碍物图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率;根据融合后概率确定该栅格是否存在障碍物,以及存在障碍物时的障碍物类型,作为该栅格对应的识别结果;根据确定出的各栅格分别对应的识别结果,更新目标障碍物的类型以及目标障碍物在地图中的占地区域。
示例性的,当前获得的图像为I1, 若干历史障碍物图像为I2、I3(I1、I2、I3均为包含目标障碍物的图像),设定障碍物类型有m-1个,再加上一个非障碍物类型,总共有m个类型,I1在该栅格对应的概率为P1={p11,p12,…p1m}, I2在该栅格对应的概率为P2={p21,p22,…p2m}, I3在该栅格对应的概率为P3={p31,p32,…p3m},则将p11、p21、p31融合(比如加权求和),得到融合后概率p1,将p12、p22、p32融合(比如加权求和),得到融合后概率p2,…,将p1m、p2m、p3m融合(比如加权求和),得到融合后概率pm,在获得p1~pm后,可将p1~pm中的最大概率对应的类型确定为该栅格对应的类型,若该栅格对应的类型为某个障碍物类型,则说明该栅格中存在该类型的障碍物。
步骤S104:将包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便显示设备在地图中显示目标障碍物的类型和目标障碍物的占地区域。
其中,显示设备可以为任何具有显示功能的设备,比如PC、笔记本电脑、手机、智能电视、PAD等等。
地图信息中还可以包括机器人的运动轨迹信息,显示设备在获得地图信息后,显示地图,并在地图中显示目标障碍物的类型、目标障碍物在地图中的占地区域以及机器人的运动轨迹,用户通过显示的信息,可获知机器人遇到了何种障碍物,还可获知障碍物所处的位置和占地大小。
本发明实施例提供的障碍物识别方法可识别出机器人的使用场景中障碍物的类型,还可确定出识别出类型的障碍物在地图中的占地区域,将包含这些信息的地图信息发送至显示设备进行显示后,用户可获知障碍物的类型、障碍物在地图中的位置和占地大小,用户对障碍物具体情况的获知有利于消除用户对机器人工作能力的质疑(比如,用户获知了障碍物的占地大小就能了解为何机器人会采用较大的绕障距离进行绕障),即,障碍物具体信息的展示有利于增强用户对机器人的工作能力的信任,另外,障碍物具体信息的展示还可以帮助用户寻找遗失物品,用户体验较好。
在本发明的另一实施例中,对上述实施例中“步骤S102:基于障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型”的具体实现过程进行介绍。
在一种可能的实现方式中,基于障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型的过程可以包括:结合障碍物图像对应的障碍物距离信息,基于预先训练得到的障碍物类型预测模型,预测障碍物图像中所包含的障碍物的类型。
具体的,可将障碍物图像和障碍物图像对应的障碍物距离信息,输入预先训练得到的障碍物类型预测模型,得到障碍物类型预测模型输出的障碍物图像中所包含的障碍物的类型。
需要说明的是,在机器人移动的过程中,会不断获取机器人前进方向上障碍物的图像和距离信息,可在每获得一幅障碍物图像和其对应的障碍物距离信息后,将当前获得的障碍物图像和其对应的障碍物距离信息,输入障碍物类型预测模型,以得到当前获得的障碍物图像中所包含的障碍物的类型。当然,也可在获得多幅障碍物图像和多幅障碍物图像分别对应的障碍物距离信息后,再将每幅障碍物图像和其对应的障碍物距离信息,输入障碍物类型预测模型。
本实施例中的障碍物类型预测模型采用标注有障碍物类型的训练障碍物图像以及训练障碍物图像对应的障碍物距离信息训练得到。
在一种可能的实现方式中,障碍物类型预测模型可以为基于图像语义分割的障碍物类型预测模型,在该实现方式中,需要标注训练障碍物图像中每个像素点的类型,即训练障碍物图像的标注信息为训练障碍物图像中每个像素点的类型,每个像素点的类型为若干类型中的一个,若干类型包括若干设定障碍物类型和非障碍物类型。
在训练得到基于图像语义分割的障碍物类型预测模型后,模型能够预测输入的障碍物图像中每个像素点属于各设定障碍物类型的障碍物以及非障碍物的概率,在此基础上能确定出输入的障碍物图像中每个像素点的类型,进而通过边缘连通性可判断并划分出不同类型的障碍物。
在另一种可能的实现方式中,障碍物类型预测模型可以为基于目标检测的障碍物类型预测模型,在该实现方式中,训练障碍物图像中需要框出障碍物,并标注框出的障碍物的类型,框出的障碍物的类型为若干设定障碍物类型中的一种。
在训练得到基于目标检测的障碍物类型预测模型后,模型能够通过矩形框将输入的障碍物图像中的障碍物框出并给出框出的障碍物的类型。
不管是哪种障碍物类型预测模型,在将障碍物图像和障碍物图像对应的障碍物距离信息输入障碍物类型预测模型后,障碍物类型预测模型均能确定出障碍物在障碍物图像中的位置以及障碍物的类型。
在本发明的另一实施例中,对上述实施例中的“步骤S103:基于目标障碍物的障碍物图像和/或障碍物距离信息,确定目标障碍物在地图中的占地区域”的实现过程进行介绍。
在介绍步骤S103的具体实现过程之前,首先对目标障碍物的障碍物图像、目标障碍物的障碍物距离信息进行说明。
在机器人移动的过程中,设置于机器人上的图像采集设备会从多个不同角度采集到包含目标障碍物的图像,即,目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像(一个角度对应的障碍物图像为,采用设置于机器人上的图像采集设备在该角度采集的包含目标障碍物的图像)。
目标障碍物的障碍物距离信息包括多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为该角度对应的障碍物图像所对应的障碍物距离信息。在机器人上设置有测距传感器的情况下,一个角度对应的障碍物距离信息可基于测距传感器获得(即,一个角度对应的障碍物距离信息为采用设置于机器人上的测距设备在该角度针对目标障碍物上的可测点位测得的距离信息),也可由深度信息预测模型基于该角度对应的障碍物图像预测得到,在机器人上未设置有测距传感器的情况下,一个角度对应的障碍物距离信息可由深度信息预测模型基于该角度对应的障碍物图像预测得到。
首先对基于目标障碍物的障碍物距离信息,确定目标障碍物在地图中的占地区域的实现过程进行介绍。
请参阅图2,示出了基于目标障碍物的障碍物距离信息,确定目标障碍物在地图中的占地区域的流程示意图,可以包括:
步骤S201:基于多个角度分别对应的障碍物距离信息,确定多个角度分别对应的局部地图信息。
其中,每个角度对应的障碍物距离信息包括机器人与障碍物上的多个可测点位之间的距离。
针对多个角度中的每个角度,将机器人与障碍物上的多个点位之间的距离转换到地图上,便可获得该角度对应的局部地图信息。其中,局部地图信息包括目标障碍物在局部地图中的形状信息。
步骤S202:基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域。
具体的,基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域的过程可以包括:
步骤S2021:基于多个角度分别对应的局部地图信息、机器人的位姿以及机器人在地图中的位置,确定目标障碍物在整个地图中的形状信息。
需要说明的是,局部地图信息并非地图坐标系中的信息,因此,需要将其处理成地图坐标系中的信息,为此,结合机器人的位姿以及机器人在地图中的位置将多个角度分别对应的局部地图信息处理成地图坐标系中的信息,从而得到目标障碍物在整个地图中的形状信息。
步骤S2022:基于目标障碍物在整个地图中的形状信息,确定目标障碍物在地图中的占地区域。
具体的,基于目标障碍物在整个地图中的形状信息,确定目标障碍物在地图中的占地区域的过程可以包括:基于目标障碍物在整个地图中的形状信息,确定目标障碍物在地图中的轮廓;将目标障碍物在地图中的轮廓所包围的区域确定为目标障碍物在地图中的占地区域。
接下来对基于目标障碍物的障碍物图像信息,确定目标障碍物在地图中的占地区域的实现过程进行介绍。
请参阅图3,示出了基于目标障碍物的障碍物图像信息,确定目标障碍物在地图中的占地区域的流程示意图,可以包括:
步骤S301:将每个角度对应的障碍物图像输入预先建立的地图信息预测模型,得到地图信息预测模型输出的局部地图信息,以得到多个角度分别对应的局部地图信息。
其中,局部地图信息包括目标障碍物在局部地图中的形状信息。
其中,地图信息预测模型采用训练障碍物图像和训练障碍物图像对应的局部地图信息,以使根据训练障碍物图像预测的局部地图信息与训练障碍物图像对应的局部地图信息趋于一致为目标训练得到。需要说明的是,训练障碍物图像对应的局部地图信息包括训练障碍物图像中的障碍物在局部地图中的形状信息。
步骤S302:基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域。
步骤S302的具体实现过程可参见步骤S202的实现过程,本实施例在此不做赘述。
最后对基于目标障碍物的障碍物图像和障碍物距离信息,确定目标障碍物在地图中的占地区域的实现过程进行介绍。
请参阅图4,示出了基于目标障碍物的障碍物图像和障碍物距离信息,确定目标障碍物在地图中的占地区域的流程示意图,可以包括:
步骤S401:将每个角度对应的障碍物图像和障碍物距离信息,输入预先建立的地图信息预测模型,得到地图信息预测模型输出的局部地图信息,以得到多个角度分别对应的局部地图信息。
其中,局部地图信息包括目标障碍物在局部地图中的形状信息。
其中,地图信息预测模型采用训练障碍物图像、训练障碍物图像对应的障碍物距离信息以及训练障碍物图像对应的局部地图信息,以使根据训练障碍物图像和训练障碍物图像对应的障碍物距离信息预测的局部地图信息与训练障碍物图像对应的局部地图信息趋于一致为目标训练得。
步骤S402:基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域。
步骤S402的具体实现过程可参见步骤S202的实现过程,本实施例在此不做赘述。
经由本实施例提供的方法,可确定出目标障碍物在地图中的占地区域。
在上述实施例提供的障碍物识别方法的基础上,本发明实施例提供了一种障碍物显示方法,该障碍物显示方法应用于显示设备,请参阅图5,示出了该障碍物显示方法的流程示意图,可以包括:
步骤S501:接收处理设备发送的包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息。
其中,目标障碍物为处理设备根据机器人前进方向上障碍物的图像和距离信息识别出类型的障碍物,目标障碍物在地图中的占地区域能够指示目标障碍物在地图中的位置和占地大小。目标障碍物的类型以及目标障碍物在地图中的占地区域由处理设备采用上述实施例提供的障碍物识别方法获得。
步骤S502:基于地图信息,显示地图,并在地图中显示目标障碍物的类型和占地区域。
请参阅图6,示出了在地图中显示目标障碍物的占地区域的示例,用户通过显示的地图中目标障碍物的占地区域,可获知障碍物所处的位置和占地大小,通过地图中显示的目标障碍物的类型可获知占地区域处的障碍物为何种障碍物。
地图信息中除了包括目标障碍物的类型以及目标障碍物在地图中的占地区域外,还可以包括机器人的运动轨迹信息。用户通过地图中显示的障碍物类型、障碍物占地区域以及机器人的运动轨迹,可清晰地观察机器人的运动轨迹是否符合预期,尤其是对于清洁机器人而言,可以更加清晰地观察并了解清洁机器人的清洁覆盖率。
可选的,本发明实施例提供的障碍物显示方法还可以包括:
步骤S503:在障碍物图库中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的障碍物指示图,作为目标障碍物指示图。
在一种可能的实现方式中,障碍物图库中可以包括贴图集和图标集,其中,贴图集中包括若干设定障碍物类型的障碍物贴图,图标集中包括若干设定障碍物类型的障碍物图标。
在障碍物图库中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的障碍物指示图的过程可以包括:
步骤S5031、基于地图的缩放尺寸,从贴图集和图标集中确定目标图集。
步骤S5031的本质在于,确定在地图中目标障碍物的占地区域显示何种类型的障碍物指示图,即,确定在地图中目标障碍物的占地区域处显示贴图还是图标。
若当前的地图尺寸满足贴图的使用要求,则确定目标图集为贴图集,若当前的地图尺寸不满足贴图的使用要求,则确定目标图集为图标集。
步骤S5032a、若目标图集为贴图集,则从贴图集中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的贴图。
示例性的,目标障碍物的类型为沙发,可从贴图集中查找沙发的贴图,沙发的贴图可以有单人沙发的贴图、双人沙发的贴图、三人沙发的贴图、L型沙发的贴图等,可进一步从若干种沙发的贴图中查找与沙发在地图中的占地区域的形状匹配的贴图,比如双人沙发的贴图。
步骤S5032b、若目标图集为图标集,则从图标集中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的图标。
示例性的,目标障碍物的类型为沙发,可从图标集中查找沙发的图标,沙发的贴图可以有单人沙发的图标、双人沙发的图标、三人沙发的图标、L型沙发的图标等,可进一步从若干种沙发的图标中查找与沙发在地图中的占地区域的形状匹配的图标,比如双人沙发的图标。
步骤S504:在地图中目标障碍物的占地区域显示目标障碍物指示图。
可选的,若目标障碍物指示图为目标贴图,则在地图中目标障碍物的占地区域显示目标障碍物指示图时,可先对目标贴图进行处理(比如旋转、缩放等),将目标贴图处理成与目标障碍物在地图中的占地区域尺寸和/或朝向匹配的贴图,然后在地图中目标障碍物的占地区域处显示处理后的目标贴图。
可选的,在地图中目标障碍物的占地区域显示目标障碍物指示图时,可只显示目标障碍物指示图,如图7所示,也可同时显示目标障碍物的占地区域以及目标障碍物指示图,如图8所示。同时显示目标障碍物的占地区域以及目标障碍物指示图可以使用户直观获知目标障碍物的类型和占地大小,如此用户可清晰地观察并了解机器人的避障运动轨迹。如图9所示,插线板所带的电线长度较长,在地图中,插线板展示为贴图时所占区域较小,但通过电线的占地大小,用户可以清晰地观察并了解机器人的避障运动轨迹。
可选的,在同时显示目标障碍物的占地区域以及目标障碍物指示图时,可将目标障碍物的占地区域与目标障碍物指示图分层显示。
可选的,地图中目标障碍物的占地区域可半透明显示,目标障碍物指示图也可半透明显示。
可选的,不同障碍物在地图中的占地区域存在交集时,可将不同障碍物的障碍物指示图分层显示。比如,床底下放置有体重秤,则在地图中,床的贴图与体重秤的贴图可分层显示。将不同障碍物的障碍物指示图分层显示,一方面能够帮助用户寻找遗失物品,另一方面便于用户理解机器人的运动轨迹,尤其对于清扫机器人而言,能够便于用户理解机器人在沙发、床底清扫时的避障运动轨迹。
可选的,本发明实施例提供的障碍物显示方法还可以包括:当用户缩放地图时,基于地图的缩放尺寸,动态调整目标障碍物指示图的类型。比如,地图中目标障碍物的占地区域起初显示的是贴图,后来用户调整了地图的缩放尺寸(地图尺寸变小),调整后的地图尺寸不再满足贴图的使用要求,则将地图中目标障碍物的占地区域处显示的贴图调整为图标。再比如,地图中目标障碍物的占地区域起初显示的是图标,后来用户调整了地图的缩放尺寸(地图尺寸变大),调整后的地图尺寸满足贴图的使用要求,则将地图中目标障碍物的占地区域处显示的图标调整为贴图。
可选的,本发明实施例提供的障碍物显示方法还可以包括:当用户平移和/或旋转地图时,基于地图的平移距离和/或旋转角度动态调整地图中目标障碍物指示图的朝向和/或位置。比如,当用户逆时针旋转地图90°时,地图上显示的目标障碍物指示图也随之逆时针旋转90°。再比如,当用户将地图向左拖动2cm时,目标障碍物指示图也随之移动2cm。
本发明实施例提供的障碍物显示方法可在地图中显示识别出的障碍物类型和识别出障碍物类型的障碍物的占地区域,用户通过展示的信息可获知障碍物的类型、障碍物在地图中的位置和占地大小,用户对障碍物具体情况的获知有利于消除用户对机器人工作能力的质疑,即,障碍物具体信息的展示有利于增强用户对机器人的工作能力的信任,另外,障碍物具体信息的展示还可以帮助用户寻找遗失物品,用户体验较好。
本发明实施例还提供了一种障碍物识别装置,下面对本发明实施例提供的障碍物识别装置进行描述,下文描述的障碍物识别装置与上文描述的障碍物识别方法可相互对应参照。
请参阅图10,示出了本发明实施例提供的障碍物识别装置的结构示意图,该障碍物识别装置应用于处理设备,该障碍物识别装置可以包括:障碍物数据获取模块1001、障碍物类型识别模块1002、障碍物占地区域确定模块1003和地图信息发送模块1004。
障碍物数据获取模块1001,用于在机器人移动的过程中,获取机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和障碍物图像对应的障碍物距离信息。
障碍物类型识别模块1002,用于基于所障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型。
障碍物占地区域确定模块1003,用于基于目标障碍物的障碍物图像和/或障碍物距离信息,确定目标障碍物在地图中的占地区域。
其中,目标障碍物为识别出类型的障碍物,占地区域能够指示目标障碍物在地图中的位置和占地大小。地图信息发送模块1004,用于将包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便显示设备在地图中显示目标障碍物的类型和目标障碍物的占地区域。
可选的,障碍物类型识别模块1002在基于障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型时,具体用于:
结合障碍物图像对应的障碍物距离信息,基于预先训练得到的障碍物类型预测模型,预测障碍物图像中所包含的障碍物的类型。
其中,障碍物类型预测模型采用标注有障碍物类型的训练障碍物图像以及训练障碍物图像对应的障碍物距离信息训练得到。
可选的,目标障碍物的障碍物距离信息包括多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为,采用设置于机器人上的测距设备在该角度针对目标障碍物上的可测点位测得的距离信息。
障碍物占地区域确定模块1003在基于目标障碍物的障碍物距离信息,确定目标障碍物在地图中的占地区域时,具体用于:
基于多个角度分别对应的障碍物距离信息,确定多个角度分别对应的局部地图信息,其中,局部地图信息包括目标障碍物在局部地图中的形状信息;
基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域。
可选的,目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于所述机器人上的图像采集设备在该角度采集的包含目标障碍物的图像。
障碍物占地区域确定模块1003在基于目标障碍物的障碍物图像,确定目标障碍物在地图中的占地区域时,具体用于:
将每个角度对应的障碍物图像输入预先建立的地图信息预测模型,得到地图信息预测模型输出的局部地图信息,以得到多个角度分别对应的局部地图信息;其中,局部地图信息包括目标障碍物在局部地图中的形状信息,地图信息预测模型采用训练障碍物图像和训练障碍物图像对应的局部地图信息训练得到;
基于所述多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域。
可选的,目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于机器人上的图像采集设备在该角度采集的包含目标障碍物的图像;目标障碍物的障碍物距离信息包括多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为该角度对应的障碍物图像对应的障碍物距离信息。
障碍物占地区域确定模块1003在基于目标障碍物的障碍物图像和障碍物距离信息,确定目标障碍物在地图中的占地区域时,具体用于:
将每个角度对应的障碍物图像和障碍物距离信息,输入预先建立的地图信息预测模型,得到地图信息预测模型输出的局部地图信息,以得到多个角度分别对应的局部地图信息;其中,局部地图信息包括目标障碍物在局部地图中的形状信息,地图信息预测模型采用训练障碍物图像、训练障碍物图像对应的障碍物距离信息以及训练障碍物图像对应的局部地图信息训练得到;
基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域。
可选的,障碍物占地区域确定模块1003在基于多个角度分别对应的局部地图信息,确定目标障碍物在地图中的占地区域时,具体用于:
基于多个角度分别对应的局部地图信息、机器人的位姿以及机器人在地图中的位置,确定目标障碍物在整个地图中的形状信息;
基于目标障碍物在整个地图中的形状信息,确定目标障碍物在地图中的占地区域。
可选的,障碍物占地区域确定模块1003在基于目标障碍物在整个地图中的形状信息,确定目标障碍物在地图中的占地区域时,具体用于:
基于目标障碍物在整个地图中的形状信息,确定目标障碍物在地图中的轮廓;
将目标障碍物在地图中的轮廓所包围的区域确定为目标障碍物在地图中的占地区域。
可选的,本发明实施例提供的避障装置还可以包括:识别结果优化模块。识别结果优化模块,用于:
在获得目标障碍物的类型和目标障碍物在地图中的占地区域后,每获得一包含目标障碍物的图像,针对地图中与当前获得的图像相关的每个栅格:
获取基于当前获得的图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率,作为当前获得的图像在该栅格对应的概率;
将当前获得的图像在该栅格对应的概率与若干历史障碍物图像在该栅格分别对应的概率融合,其中,一历史障碍物图像在该栅格对应的概率为基于该历史障碍物图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率;
根据融合后概率确定该栅格是否存在障碍物,以及存在障碍物时的障碍物类型,作为该栅格对应的识别结果;
根据确定出的各栅格分别对应的识别结果,更新目标障碍物的类型以及目标障碍物在地图中的占地区域。
本发明实施例提供的障碍物识别装置可识别出机器人的使用场景中障碍物的类型,还可确定出识别出类型的障碍物在地图中的占地区域,将包含这些信息的地图信息发送至显示设备进行显示后,用户可获知障碍物的类型、障碍物在地图中的位置和占地大小,用户对障碍物具体情况的获知有利于消除用户对机器人工作能力的质疑(比如,用户获知了障碍物的占地大小就能了解为何机器人会采用较大的绕障距离进行绕障),即,障碍物具体信息的展示有利于增强用户对机器人的工作能力的信任,另外,障碍物具体信息的展示还可以帮助用户寻找遗失物品,用户体验较好。
本发明实施例还提供了一种障碍物显示装置,下面对本发明实施例提供的障碍物显示装置进行描述,下文描述的障碍物显示装置与上文描述的障碍物显示方法可相互对应参照。
请参阅图11,示出了本发明实施例提供的障碍物显示装置的结构示意图,该障碍物显示装置应用于显示设备,该障碍物显示装置可以包括:地图信息接收模块1101和地图信息显示模块1102。
地图信息接收模块1101,用于接收处理设备发送的包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息。
其中,目标障碍物为处理设备识别出类型的障碍物,目标障碍物在地图中的占地区域能够指示目标障碍物在地图中的位置和占地大小。
地图信息显示模块1102,用于基于所地图信息,显示地图,并在地图中显示目标障碍物的类型和占地区域。
可选的,本发明实施例提供的障碍物显示装置还可以包括:障碍物指示图显示模块。障碍物指示图显示模块用于:
在障碍物图库中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的障碍物指示图,作为目标障碍物指示图;在地图中目标障碍物的占地区域显示目标障碍物指示图。
可选的,障碍物图库中包括贴图集和图标集。
障碍物指示图显示模块在障碍物图库中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的障碍物指示图时,具体用于:
根据地图的缩放尺寸,从贴图集和图标集中确定目标图集;
若目标图集为贴图集,则从贴图集中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的贴图;若目标图集为图标集,则从图标集中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的图标。
可选的,若目标障碍物指示图为目标贴图,则障碍物指示图显示模块在地图中目标障碍物的占地区域显示目标障碍物指示图时,具体用于:
将目标贴图处理成与目标障碍物在地图中的占地区域尺寸和/或朝向匹配的贴图;
在地图中目标障碍物的占地区域显示处理后的目标贴图。
可选的,本发明实施例提供的障碍物显示装置还可以包括:调整模块。调整模块用于:
当用户缩放地图时,根据地图的缩放尺寸,调整目标障碍物指示图的类型;
和/或,当用户平移和/或旋转地图时,根据地图的平移距离和/或旋转角度调整地图中目标障碍物指示图的朝向和/或位置。
本发明实施例提供的障碍物显示装置可在地图中显示识别出的障碍物类型和识别出障碍物类型的障碍物的占地区域,用户通过展示的信息可获知障碍物的类型、障碍物在地图中的位置和占地大小,用户对障碍物具体情况的获知有利于消除用户对机器人工作能力的质疑,即,障碍物具体信息的展示有利于增强用户对机器人的工作能力的信任,另外,障碍物具体信息的展示还可以帮助用户寻找遗失物品,用户体验较好。
本发明实施例还提供了一种处理设备,请参阅图12,示出了该处理设备的结构示意图,该处理设备可以包括:处理器1201、通信接口1202、存储器1203和通信总线1204;
在本发明实施例中,处理器1201、通信接口1202、存储器1203、通信总线1204的数量为至少一个,且处理器1201、通信接口1202、存储器1203通过通信总线1204完成相互间的通信;
处理器1201可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器1203可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
在机器人移动的过程中,获取机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和障碍物图像对应的障碍物距离信息;
基于障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型;
基于目标障碍物的障碍物图像和/或障碍物距离信息,确定目标障碍物在地图中的占地区域,其中,目标障碍物为识别出类型的障碍物,目标障碍物在地图中的占地区域能够指示目标障碍物在地图中的位置和占地大小;
将包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便显示设备在地图中显示目标障碍物的类型和目标障碍物的占地区域。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有适于处理器执行的程序,所述程序用于:
在机器人移动的过程中,获取机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和障碍物图像对应的障碍物距离信息;
基于障碍物图像和障碍物距离信息,识别障碍物图像中所包含的障碍物的类型;
基于目标障碍物的障碍物图像和/或障碍物距离信息,确定目标障碍物在地图中的占地区域,其中,目标障碍物为识别出类型的障碍物,目标障碍物在地图中的占地区域能够指示目标障碍物在地图中的位置和占地大小;
将包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便显示设备在地图中显示目标障碍物的类型和目标障碍物的占地区域。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供了一种显示设备,该显示设备可以包括:显示单元、处理器、通信接口、存储器和通信总线;
在本发明实施例中,显示单元、处理器、通信接口、存储器、通信总线的数量为至少一个,且显示单元、处理器、通信接口、存储器通过通信总线完成相互间的通信;
处理器可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
接收处理设备发送的包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息,其中,目标障碍物为处理设备识别出类型的障碍物,占地区域能够指示目标障碍物在地图中的位置和占地大小;
根据地图信息,显示地图,并在地图中显示目标障碍物的类型和占地区域。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有适于处理器执行的程序,所述程序用于:
接收处理设备发送的包含目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息,其中,目标障碍物为处理设备识别出类型的障碍物,占地区域能够指示目标障碍物在地图中的位置和占地大小;
根据地图信息,显示地图,并在地图中显示目标障碍物的类型和占地区域。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供了一种处理***,该处理***可以包括:处理设备和显示设备。
处理设备,用于在机器人移动的过程中,获取机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和障碍物图像对应的障碍物距离信息,基于障碍物图像和所述障碍物距离信息,识别障碍物图像中所包含的障碍物的类型,基于目标障碍物的障碍物图像和/或障碍物距离信息,确定目标障碍物在地图中的占地区域,以及将包含所述目标障碍物的类型以及目标障碍物在地图中的占地区域的地图信息发送至显示设备。
其中,目标障碍物为识别出类型的障碍物,目标障碍物在地图中的占地区域能够指示目标障碍物在地图中的位置和占地大小。
处理设备识别障碍物类型和障碍物在地图中的占地区域的具体实现过程可参见上述障碍物识别方法实施例中的相关部分,本实施例在此不做赘述。
可选的,处理设备可以为机器人,还可为其它具有数据处理能力的设备,比如,可与机器人进行通信的服务器,服务器可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务器中心。
显示设备,用于在接收到地图信息后,根据地图信息,显示地图,并在地图中显示目标障碍物的类型和占地区域。
显示设备可以但不限定为PC、笔记本、智能电视、PAD、手机等。
可选的,显示设备,还用于在障碍物图库中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的障碍物指示图,作为目标障碍物指示图,在地图中目标障碍物的占地区域显示目标障碍物指示图。
可选的,障碍物图库中包括贴图集和图标集,显示设备在障碍物图库中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的障碍物指示图时,可根据地图的缩放尺寸,从贴图集和图标集中确定目标图集,若目标图集为贴图集,则从贴图集中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的贴图,若目标图集为图标集,则从图标集中查找与目标障碍物的类型和目标障碍物在地图中的占地区域匹配的图标。
可选的,若目标障碍物指示图为目标贴图,则显示设备在地图中目标障碍物的占地区域显示目标障碍物指示图时,可将目标贴图处理成与目标障碍物在地图中的占地区域尺寸和/或朝向匹配的贴图,在地图中目标障碍物的占地区域显示处理后的目标贴图。
可选的,显示设备,还用于当用户缩放地图时,根据地图的缩放尺寸,调整目标障碍物指示图的类型;和/或,当用户平移和/或旋转地图时,根据地图的平移距离和/或旋转角度调整地图中目标障碍物指示图的朝向和/或位置。
显示设备进行信息显示更为具体的方式和相关说明可参见上述障碍物显示方法实施例中的相关部分,本实施例在此不做赘述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种障碍物识别方法,其特征在于,应用于处理设备,所述方法包括:
在机器人移动的过程中,获取所述机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和所述障碍物图像对应的障碍物距离信息;
基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型;
基于目标障碍物的障碍物图像和障碍物距离信息,确定所述目标障碍物在地图中的占地区域,其中,所述目标障碍物为识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
将包含所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便所述显示设备在地图中显示所述目标障碍物的类型和所述目标障碍物的占地区域;
其中,所述目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于所述机器人上的图像采集设备在该角度采集的包含所述目标障碍物的图像;
所述目标障碍物的障碍物距离信息包括所述多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为该角度对应的障碍物图像对应的障碍物距离信息;
基于目标障碍物的障碍物图像和障碍物距离信息,确定所述目标障碍物在地图中的占地区域,包括:
将每个角度对应的障碍物图像和障碍物距离信息,输入预先建立的地图信息预测模型,得到所述地图信息预测模型输出的局部地图信息,以得到所述多个角度分别对应的局部地图信息;其中,所述局部地图信息包括所述目标障碍物在局部地图中的形状信息,所述地图信息预测模型采用训练障碍物图像、所述训练障碍物图像对应的障碍物距离信息以及所述训练障碍物图像对应的局部地图信息训练得到;
基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域。
2.根据权利要求1所述的障碍物识别方法,其特征在于,所述基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型,包括:
结合所述障碍物图像对应的障碍物距离信息,基于预先训练得到的障碍物类型预测模型,预测所述障碍物图像中所包含的障碍物的类型;
其中,所述障碍物类型预测模型采用标注有障碍物类型的训练障碍物图像以及所述训练障碍物图像对应的障碍物距离信息训练得到。
3.根据权利要求1所述的障碍物识别方法,其特征在于,所述基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域,包括:
基于所述多个角度分别对应的局部地图信息、所述机器人的位姿以及所述机器人在地图中的位置,确定所述目标障碍物在整个地图中的形状信息;
基于所述目标障碍物在整个地图中的形状信息,确定所述目标障碍物在地图中的占地区域。
4.根据权利要求3所述的障碍物识别方法,其特征在于,所述基于所述目标障碍物在整个地图中的形状信息,确定所述目标障碍物在地图中的占地区域,包括:
基于所述目标障碍物在整个地图中的形状信息,确定所述目标障碍物在地图中的轮廓;
将所述目标障碍物在地图中的轮廓所包围的区域确定为所述目标障碍物在地图中的占地区域。
5.根据权利要求2所述的障碍物识别方法,其特征在于,还包括:
在获得所述目标障碍物的类型和所述目标障碍物在地图中的占地区域后,每获得一包含所述目标障碍物的图像,针对地图中与当前获得的图像相关的每个栅格:
获取基于当前获得的图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率,作为当前获得的图像在该栅格对应的概率;
将当前获得的图像在该栅格对应的概率与若干历史障碍物图像在该栅格分别对应的概率融合,其中,一历史障碍物图像在该栅格对应的概率为基于该历史障碍物图像确定的该栅格存在各设定类型的障碍物和不存在障碍物的概率;
基于融合后概率确定该栅格是否存在障碍物,以及存在障碍物时的障碍物类型,作为该栅格对应的识别结果;
基于确定出的各栅格分别对应的识别结果,更新目标障碍物的类型以及目标障碍物在地图中的占地区域。
6.一种障碍物显示方法,其特征在于,应用于显示设备,包括:
接收处理设备发送的包含目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息,其中,所述目标障碍物为所述处理设备识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小,所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域由所述处理设备采用如权利要求1~5中任一项所述的障碍物识别方法获得;
基于所述地图信息,显示地图,并在地图中显示所述目标障碍物的类型和占地区域。
7.根据权利要求6所述的障碍物显示方法,其特征在于,还包括:
在障碍物图库中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的障碍物指示图,作为目标障碍物指示图;
在地图中所述目标障碍物的占地区域显示所述目标障碍物指示图。
8.根据权利要求7所述的障碍物显示方法,其特征在于,所述障碍物图库中包括贴图集和图标集;
所述在障碍物图库中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的障碍物指示图,包括:
基于地图的缩放尺寸,从所述贴图集和所述图标集中确定目标图集;
若所述目标图集为所述贴图集,则从所述贴图集中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的贴图;
若所述目标图集为所述图标集,则从所述图标集中查找与所述目标障碍物的类型和所述目标障碍物在地图中的占地区域匹配的图标。
9.根据权利要求8所述的障碍物显示方法,其特征在于,若所述目标障碍物指示图为目标贴图,则所述在地图中所述目标障碍物的占地区域显示所述目标障碍物指示图,包括:
将所述目标贴图处理成与所述目标障碍物在地图中的占地区域尺寸和/或朝向匹配的贴图;
在地图中所述目标障碍物的占地区域显示处理后的目标贴图。
10.根据权利要求7~9中任一项所述的障碍物显示方法,其特征在于,还包括:
当用户缩放地图时,根据地图的缩放尺寸,调整所述目标障碍物指示图的类型;
和/或,当用户平移和/或旋转地图时,根据地图的平移距离和/或旋转角度调整地图中所述目标障碍物指示图的朝向和/或位置。
11.一种障碍物识别装置,其特征在于,应用于处理设备,所述装置包括:障碍物数据获取模块、障碍物类型识别模块、障碍物占地区域确定模块和地图信息发送模块;
所述障碍物数据获取模块,用于在机器人移动的过程中,获取所述机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和所述障碍物图像对应的障碍物距离信息;
所述障碍物类型识别模块,用于基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型;
所述障碍物占地区域确定模块,用于基于目标障碍物的障碍物图像和障碍物距离信息,确定所述目标障碍物在地图中的占地区域,其中,所述目标障碍物为识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
所述地图信息发送模块,用于将包含所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息发送至显示设备,以便所述显示设备在地图中显示所述目标障碍物的类型和目标障碍物的占地区域;
其中,所述目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于所述机器人上的图像采集设备在该角度采集的包含所述目标障碍物的图像;
所述目标障碍物的障碍物距离信息包括所述多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为该角度对应的障碍物图像对应的障碍物距离信息;
所述障碍物占地区域确定模块在基于目标障碍物的障碍物图像和障碍物距离信息,确定目标障碍物在地图中的占地区域时,具体用于:
将每个角度对应的障碍物图像和障碍物距离信息,输入预先建立的地图信息预测模型,得到所述地图信息预测模型输出的局部地图信息,以得到所述多个角度分别对应的局部地图信息;其中,所述局部地图信息包括所述目标障碍物在局部地图中的形状信息,所述地图信息预测模型采用训练障碍物图像、所述训练障碍物图像对应的障碍物距离信息以及所述训练障碍物图像对应的局部地图信息训练得到;
基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域。
12.一种障碍物显示装置,其特征在于,应用于显示设备,所述装置包括:地图信息接收模块和地图信息显示模块;
所述地图信息接收模块,用于接收处理设备发送的包含目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息,其中,所述目标障碍物为所述处理设备识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小,所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域基于如权利要求11所述的障碍物识别装置获得;
所述地图信息显示模块,用于根据所述地图信息,显示地图,并在地图中显示所述目标障碍物的类型和占地区域。
13.一种处理设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~5中任一项所述的障碍物识别方法的各个步骤。
14.一种显示设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求6~10中任一项所述的障碍物显示方法的各个步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~5中任一项所述的障碍物识别方法的各个步骤,和/或,实现如权利要求6~10中任一项所述的障碍物显示方法的各个步骤。
16.一种处理***,其特征在于,包括:处理设备和显示设备;
所述处理设备,用于在机器人移动的过程中,获取所述机器人前进方向上障碍物的图像和距离信息,以得到障碍物图像和所述障碍物图像对应的障碍物距离信息,基于所述障碍物图像和所述障碍物距离信息,识别所述障碍物图像中所包含的障碍物的类型,基于目标障碍物的障碍物图像和障碍物距离信息,确定所述目标障碍物在地图中的占地区域,以及将包含所述目标障碍物的类型以及所述目标障碍物在地图中的占地区域的地图信息发送至显示设备;其中,所述目标障碍物为识别出类型的障碍物,所述占地区域能够指示所述目标障碍物在地图中的位置和占地大小;
所述显示设备,用于在接收到所述地图信息后,根据所述地图信息,显示地图,并在地图中显示所述目标障碍物的类型和占地区域;
其中,所述目标障碍物的障碍物图像包括多个角度分别对应的障碍物图像,一个角度对应的障碍物图像为,采用设置于所述机器人上的图像采集设备在该角度采集的包含所述目标障碍物的图像;
所述目标障碍物的障碍物距离信息包括所述多个角度分别对应的障碍物距离信息,一个角度对应的障碍物距离信息为该角度对应的障碍物图像对应的障碍物距离信息;
基于目标障碍物的障碍物图像和障碍物距离信息,确定所述目标障碍物在地图中的占地区域,包括:
将每个角度对应的障碍物图像和障碍物距离信息,输入预先建立的地图信息预测模型,得到所述地图信息预测模型输出的局部地图信息,以得到所述多个角度分别对应的局部地图信息;其中,所述局部地图信息包括所述目标障碍物在局部地图中的形状信息,所述地图信息预测模型采用训练障碍物图像、所述训练障碍物图像对应的障碍物距离信息以及所述训练障碍物图像对应的局部地图信息训练得到;
基于所述多个角度分别对应的局部地图信息,确定所述目标障碍物在地图中的占地区域。
CN202310075235.6A 2023-02-07 2023-02-07 一种障碍物识别方法、障碍物显示方法、相关设备和*** Active CN115797817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310075235.6A CN115797817B (zh) 2023-02-07 2023-02-07 一种障碍物识别方法、障碍物显示方法、相关设备和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310075235.6A CN115797817B (zh) 2023-02-07 2023-02-07 一种障碍物识别方法、障碍物显示方法、相关设备和***

Publications (2)

Publication Number Publication Date
CN115797817A CN115797817A (zh) 2023-03-14
CN115797817B true CN115797817B (zh) 2023-05-30

Family

ID=85430271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310075235.6A Active CN115797817B (zh) 2023-02-07 2023-02-07 一种障碍物识别方法、障碍物显示方法、相关设备和***

Country Status (1)

Country Link
CN (1) CN115797817B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898669A (zh) * 2018-07-17 2018-11-27 网易(杭州)网络有限公司 数据处理方法、装置、介质和计算设备
CN109190485A (zh) * 2018-07-31 2019-01-11 李明 数据处理方法、装置、计算机设备和存储介质
CN110968083A (zh) * 2018-09-30 2020-04-07 科沃斯机器人股份有限公司 栅格地图的构建方法、避障的方法、设备及介质
CN111336984A (zh) * 2020-03-20 2020-06-26 北京百度网讯科技有限公司 障碍物测距方法、装置、设备和介质
CN111462192A (zh) * 2020-02-24 2020-07-28 江苏大学 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法
CN111931765A (zh) * 2020-07-24 2020-11-13 上海明略人工智能(集团)有限公司 一种食品分拣方法、***及计算机可读存储介质
CN113358110A (zh) * 2021-06-15 2021-09-07 云鲸智能(深圳)有限公司 机器人障碍物地图的构建方法、装置、机器人及存储介质
CN114532918A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 清洁机器人及其目标检测方法、装置及存储介质
CN114750696A (zh) * 2022-04-18 2022-07-15 智道网联科技(北京)有限公司 车辆视觉呈现的方法、车载设备及车辆
CN114913338A (zh) * 2022-04-19 2022-08-16 支付宝(杭州)信息技术有限公司 分割模型的训练方法及装置、图像识别方法及装置
CN115376109A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质
CN115469312A (zh) * 2022-09-15 2022-12-13 重庆长安汽车股份有限公司 车辆的可通行区域检测方法、装置、电子设备及存储介质
CN115629612A (zh) * 2022-12-19 2023-01-20 科大讯飞股份有限公司 一种避障方法、装置、设备及存储介质
CN115690739A (zh) * 2022-10-31 2023-02-03 阿波罗智能技术(北京)有限公司 多传感器融合障碍物存在性检测方法和自动驾驶车辆

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532171B2 (ja) * 2004-06-01 2010-08-25 富士重工業株式会社 立体物認識装置
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US11182916B2 (en) * 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
KR20210135389A (ko) * 2020-05-04 2021-11-15 현대자동차주식회사 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
US20220057806A1 (en) * 2020-08-18 2022-02-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for obstacle detection using a neural network model, depth maps, and segmentation maps

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898669A (zh) * 2018-07-17 2018-11-27 网易(杭州)网络有限公司 数据处理方法、装置、介质和计算设备
CN109190485A (zh) * 2018-07-31 2019-01-11 李明 数据处理方法、装置、计算机设备和存储介质
CN110968083A (zh) * 2018-09-30 2020-04-07 科沃斯机器人股份有限公司 栅格地图的构建方法、避障的方法、设备及介质
CN111462192A (zh) * 2020-02-24 2020-07-28 江苏大学 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法
CN111336984A (zh) * 2020-03-20 2020-06-26 北京百度网讯科技有限公司 障碍物测距方法、装置、设备和介质
CN111931765A (zh) * 2020-07-24 2020-11-13 上海明略人工智能(集团)有限公司 一种食品分拣方法、***及计算机可读存储介质
CN113358110A (zh) * 2021-06-15 2021-09-07 云鲸智能(深圳)有限公司 机器人障碍物地图的构建方法、装置、机器人及存储介质
CN114532918A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 清洁机器人及其目标检测方法、装置及存储介质
CN114750696A (zh) * 2022-04-18 2022-07-15 智道网联科技(北京)有限公司 车辆视觉呈现的方法、车载设备及车辆
CN114913338A (zh) * 2022-04-19 2022-08-16 支付宝(杭州)信息技术有限公司 分割模型的训练方法及装置、图像识别方法及装置
CN115469312A (zh) * 2022-09-15 2022-12-13 重庆长安汽车股份有限公司 车辆的可通行区域检测方法、装置、电子设备及存储介质
CN115376109A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质
CN115690739A (zh) * 2022-10-31 2023-02-03 阿波罗智能技术(北京)有限公司 多传感器融合障碍物存在性检测方法和自动驾驶车辆
CN115629612A (zh) * 2022-12-19 2023-01-20 科大讯飞股份有限公司 一种避障方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾玉宛 等.连续状态空间下机器人避障方法研究.2023,第第35卷卷(第第1期期),第68-77页. *

Also Published As

Publication number Publication date
CN115797817A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
US10192113B1 (en) Quadocular sensor design in autonomous platforms
CN113256712B (zh) 定位方法、装置、电子设备和存储介质
CN109313810A (zh) 用于对环境进行测绘的***和方法
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
TWI525303B (zh) 用以自適應地將基於位置的數位資訊視覺化之方法及裝置
US20210350560A1 (en) Depth estimation
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
KR101708061B1 (ko) 제어 장치, 제어 방법 및 기록 매체
CN109084746A (zh) 用于具有辅助传感器的自主平台引导***的单目模式
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
US11347238B2 (en) System and method for probabilistic multi-robot SLAM
CN103761539B (zh) 一种基于环境特征物体的室内定位方法
CN207115193U (zh) 一种用于处理任务区域的任务的移动电子设备
WO2021093679A1 (zh) 视觉定位方法和装置
CN104333564A (zh) 目标操作方法、***及设备
WO2021061241A1 (en) Contextual memory map representation for 3d reconstruction
CN108367436A (zh) 针对三维空间中的物***置和范围的主动相机移动确定
CN107193820A (zh) 位置信息获取方法、装置及设备
US20220012494A1 (en) Intelligent multi-visual camera system and method
CN115797817B (zh) 一种障碍物识别方法、障碍物显示方法、相关设备和***
WO2021244114A1 (zh) 视觉定位方法和装置
EP3863235B1 (en) Method and apparatus for processing data
CN110779533B (zh) 导航方法、***和电子设备
CN114707392A (zh) 一种局部slam构建方法、全局slam构建方法和构建装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant