CN115235485A - 作业地图构建方法、装置、割草机器人以及存储介质 - Google Patents

作业地图构建方法、装置、割草机器人以及存储介质 Download PDF

Info

Publication number
CN115235485A
CN115235485A CN202210806394.4A CN202210806394A CN115235485A CN 115235485 A CN115235485 A CN 115235485A CN 202210806394 A CN202210806394 A CN 202210806394A CN 115235485 A CN115235485 A CN 115235485A
Authority
CN
China
Prior art keywords
target
map
obstacle
working area
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210806394.4A
Other languages
English (en)
Inventor
王宁
杜鹏举
黄振昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agilex Robotics Shenzhen Lt
Original Assignee
Agilex Robotics Shenzhen Lt
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilex Robotics Shenzhen Lt filed Critical Agilex Robotics Shenzhen Lt
Priority to CN202210806394.4A priority Critical patent/CN115235485A/zh
Publication of CN115235485A publication Critical patent/CN115235485A/zh
Priority to PCT/CN2023/105187 priority patent/WO2024008016A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Harvester Elements (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

本申请实施例公开了一种作业地图构建方法、装置、割草机器人以及存储介质,包括:采集目标地图对应环境中的激光点云数据;根据所述激光点云数据,在所述目标地图中确定候选障碍物;获取所述候选障碍物的特征图像,并基于所述特征图像在所述候选障碍物中确定目标障碍物;根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域,该方案可以提高作业地图构建效率。

Description

作业地图构建方法、装置、割草机器人以及存储介质
技术领域
本申请涉及计算机技术领域,具体涉及一种作业地图构建方法、装置、割草机器人以及存储介质。
背景技术
割草机器人被广泛应用于家庭庭院草坪的维护和大型草地的修剪。割草机器人融合了运动控制、多传感器融合以及路径规划等技术。为了控制割草机器人实现割草作业,需要对割草机器人的割草路径进行规划,使其可以完全覆盖所有的作业区域。
割草机器人在对新的环境进行割草时,需要工作人员对场地进行实时检测,并将数据传输至割草机器人中,从而建立电子地图,以供割草机器人进行使用,针对不同草坪,都需要重新进行测量与输入,即,目前的作业地图构建效率低下。
发明内容
本申请实施例提供一种作业地图构建方法、装置、割草机器人以及存储介质,可以提高作业地图构建效率。
第一方面,本申请实施例提供了一种作业地图构建方法,包括:
获取预设的割草区域;
采集目标地图对应环境中的激光点云数据;
根据所述激光点云数据,在所述目标地图中确定候选障碍物;
获取所述候选障碍物的特征图像,并基于所述特征图像在所述候选障碍物中确定目标障碍物;
根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域。
可选地,在一些实施例中,所述根据所述激光点云数据,在所述目标地图中确定候选障碍物,包括:
获取所述目标地图的地图坐标系;
从所述激光点云数据中提取每个三维激光点对应的反射值和三维坐标;
基于所述地图坐标、所述三维激光点对应的反射值和三维坐标,在所述目标地图中确定候选障碍物。
可选地,在一些实施例中,所述基于所述地图坐标、所述三维激光点对应的反射值和三维坐标,在所述目标地图中确定候选障碍物,包括:
确定所述激光点云数据对应的点云坐标系;
基于所述三维激光点对应的三维坐标、以及所述地图坐标系与点云坐标系之间的转换关系,将所述三维激光点对应的反射值渲染至所述目标地图中;
根据渲染后的目标地图中的像素值,在所述目标地图中确定候选障碍物。
可选地,在一些实施例中,所述基于所述三维激光点对应的三维坐标、以及所述地图坐标系与点云坐标系之间的转换关系,将所述三维激光点对应的反射值渲染至所述目标地图中,包括:
基于所述地图坐标系与点云坐标系之间的转换关系,对所述三维激光点对应的三维坐标进行转换,得到所述三维激光点在所述目标地图中的地图坐标;
根据所述三维激光点在所述目标地图中的地图坐标,将所述三维激光点对应的反射值渲染至所述目标地图中。
可选地,在一些实施例中,所述基于所述特征图像在所述候选障碍物中确定目标障碍物,包括:
将所述特征图像输入至预设图像分类网络中,得到所述候选障碍物的分类标签;
将所述分类标签为目标标签的候选障碍物确定为目标障碍物。
可选地,在一些实施例中,所述根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域,包括:
至少获取所述目标障碍物低于预设高度下的轮廓信息;
根据所述轮廓信息以及所述目标障碍物在所述目标地图中的位置,输出包围所述目标障碍物的隔离曲线;
将所述隔离曲线内的区域确定为非作业区域,并将除所述非作业区域之外的区域确定为作业区域。
可选地,在一些实施例中,所述根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域之后,还包括
采用第一颜色高亮地显示所述作业区域,以及;
采用第二颜色高亮地显示所述非作业区域。
第二方面,本申请实施例提供了一种作业地图构建装置,包括:
采集模块,用于采集目标地图的激光点云数据;
第一确定模块,用于根据所述激光点云数据,在所述目标地图中确定候选障碍物;
获取模块,用于获取所述候选障碍物的特征图像;
第二确定模块,用于基于所述特征图像在所述候选障碍物中确定目标障碍物;
划分模块,用于根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域。
本申请实施例在采集目标地图对应环境中的激光点云数据后,根据所述激光点云数据,在所述目标地图中确定候选障碍物,然后,获取所述候选障碍物的特征图像,并基于所述特征图像在所述候选障碍物中确定目标障碍物,最后,根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域,在本申请提供的割草方案中,利用激光点云数据在目标地图中确定候选障碍物,并根据候选障碍物的特征图像,确定目标障碍物,最后,根据该目标障碍物,在目标地图中划分作业区域和非作业区域,即,通过图像视觉技术和激光点云技术的结合,可以避免人工划分作业区域和非作业区域而出现漏划分或错误划分的问题,由此,提高了作业地图构建效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的作业地图构建方法的场景示意图;
图1b是本申请实施例提供的作业地图构建方法的流程示意图;
图2a是本申请实施例提供的作业地图构建装置的结构示意图;
图2b是本申请实施例提供的作业地图构建装置的另一结构示意图
图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本申请实施例提供一种作业地图构建方法、装置、割草机器人和存储介质。
其中,该作业地图构建装置具体可以集成在割草机器人的微控制单元(Microcontroller Unit,MCU)中,还可以集成在智能终端或服务器中,MCU又称单片微型计算机(Single Chip Microcomputer)或者单片机,是把中央处理器(Central ProcessUnit,CPU)的频率与规格做适当缩减,并将内存(memory)、计数器(Timer)、USB、模数转换/数模转换、UART、PLC、DMA等周边接口,形成芯片级的计算机,为不同的应用场合做不同组合控制。割草机器人可以自动行走,防止碰撞,范围之内自动返回充电,具备安全检测和电池电量检测,具备一定爬坡能力,尤其适合家庭庭院、公共绿地等场所进行草坪修剪维护,其特点是:自动割草、清理草屑、自动避雨、自动充电、自动躲避障碍物、外形小巧、电子虚拟篱笆、网络控制等。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器,本申请在此不做限制。
例如,请参阅图1a,本申请提供一种割草***,包括相互之间建立有通信连接的割草机器人10、服务器20以及用户设备30。割草机器人10上安装有激光雷达,其可以通过激光雷达采集目标地图对应环境中的激光点云数据,然后,割草机器人10可以根据该激光点云数据,在目标地图中确定候选障碍物,其中,该目标地图可以为环境地图,也可以为电子地图,随后,割草机器人10中的摄像头获取候选障碍物的特征图像,并基于该特征图像在候选障碍物中确定目标障碍物,最后,割草机器人10根据目标障碍物,在目标地图中划分作业区域和非作业区域,在划分作业区域和非作业区域后,割草机器人10可以将作业区域的数据和非作业区域的数据同步至服务器20和用户设备30中,以便于后续监控割草机器人10的割草作业。本申请提供的割草方案,利用激光点云数据在目标地图中确定候选障碍物,并根据候选障碍物的特征图像,确定目标障碍物,最后,根据该目标障碍物,在目标地图中划分作业区域和非作业区域,即,通过图像视觉技术和激光点云技术的结合,可以避免人工划分作业区域和非作业区域而出现漏划分或错误划分的问题;另外,由于激光雷达统一扫描作业环境,可一次性确定所有障碍物的位置,无需逐个对障碍物进行圈定,避免了因障碍物的体量大导致障碍物整体圈定速度慢、建图效率低的问题。由此,本方案提高了作业地图构建效率。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
一种作业地图构建方法,包括:采集目标地图对应环境中的激光点云数据,根据激光点云数据,在目标地图中确定候选障碍物,获取候选障碍物的特征图像,并基于特征图像在候选障碍物中确定目标障碍物,根据目标障碍物,在目标地图中划分作业区域和非作业区域。
请参阅图1b,图1b为本申请实施例提供的作业地图构建方法的流程示意图。该作业地图构建方法的具体流程可以如下:
101、采集目标地图对应环境中的激光点云数据。
目标地图为割草机器人对应的割草地图,割草机器人可以在该目标地图对应的区域内进行割草作业,后续可以在该目标地图中划分作业区域和非作业区域,且在该目标地图内未包含有房子等无法进行作业的建筑物等。
例如,具体的,可以在割草机器人的机身上安装三维激光雷达,该三维激光雷达是通过激光测距原理(包括脉冲激光和相位激光),瞬时测得空间三维坐标值的测量仪器,利用三维激光扫描技术获取的空间点云数据,可快速建立结构复杂、不规则的场景的三维可视化模型。
在实际应用时,三维激光雷达基于即时定位与地图构建(SLAM,simultaneouslocalization and mapping)方法,获取各采集点对应的位姿信息和三维点云。三维激光雷达可以是手持式、背包式或者车载式等可以移动的方式,从而实现移动扫描。
比如,以三维激光雷达初始采集的采集点作为坐标原点,并构建点云坐标系,此处的初始采集是指三维激光雷达采集该三维点云地图对应的第一帧三维点云。采集点可以是三维采集设备的重心所处位置或者设备上的某一固定参考点,满足建立坐标系并定义坐标原点的要求即可。在一示例中,点云坐标系中,Z轴位于竖向扫描面内,向上为正,X、Y轴都位于横向扫描面内且三者相互垂直构成左手坐标系。在移动扫描过程中,依据SLAM方法可以实时获取三维激光雷达的实时位姿和该时刻的三维点云。
102、根据激光点云数据,在目标地图中确定候选障碍物。
其中,反射强度是激光传感器的一个重要特性,它可以反映环境中的物质特性,因此,可以利用该反射强度在目标地图中确定候选障碍物,即,可选地,在一些实施例中,步骤“根据激光点云数据,在目标地图中确定候选障碍物”,具体可以包括:
(11)获取目标地图的地图坐标系;
(12)从激光点云数据中提取每个三维激光点对应的反射值和三维坐标;
(13)基于地图坐标、三维激光点对应的反射值和三维坐标,在目标地图中确定候选障碍物。
例如,可以根据每个三维激光点对应的反射值,在目标地图中渲染相应的像素值,如反射值为a的三维激光点,其对应的像素值为10,反射值为b的三维激光点,其对应的像素值为45,具体可以根据实际情况进行设置,在此不再赘述。
其中,目标地图的地图坐标系为二维坐标系,而三维激光点的坐标还包含有高度信息,还需要获取该激光点云数据对应的点云坐标系,以便后续在目标地图中确定候选障碍物,即,可选地,在一些实施例中,步骤“基于地图坐标、三维激光点对应的反射值和三维坐标,在目标地图中确定候选障碍物”,具体可以包括:
(21)确定激光点云数据对应的点云坐标系;
(22)基于三维激光点对应的三维坐标、以及地图坐标系与点云坐标系之间的转换关系,将三维激光点对应的反射值渲染至目标地图中;
(23)根据渲染后的目标地图中的像素值,在目标地图中确定候选障碍物。
例如,具体的,可以根据地图坐标系与点云坐标系之间的转换关系,将三维激光点对应的三维坐标转换为目标地图中的地图坐标,随后,基于转换后的地图坐标,将三维激光点对应的反射值渲染至目标地图中,最后,根据渲染后的目标地图中的像素值,在目标地图中确定候选障碍物。
可选地,在一些实施例中,步骤“基于三维激光点对应的三维坐标、以及地图坐标系与点云坐标系之间的转换关系,将三维激光点对应的反射值渲染至目标地图中”,具体可以包括:
(41)基于地图坐标系与点云坐标系之间的转换关系,对三维激光点对应的三维坐标进行转换,得到三维激光点在所述目标地图中的地图坐标;
(42)根据三维激光点在所述目标地图中的地图坐标,将三维激光点对应的反射值渲染至目标地图中。
其中,可以通过预设公式将对三维激光点对应的三维坐标进行转换,该预设公式表征了三维坐标系和二维坐标系之间的转换关系,即,点云坐标系和地图坐标系之间的转换关系,需要说明的是,在图像处理领域中,坐标系转换就是为了将空间的三维世界坐标系转换至图像处理的二维像素坐标系,常用的坐标系包括世界坐标系、相机坐标系和图像坐标系,世界坐标系(world coordinate)(xw,yw,zw),也称为测量坐标系,是一个三维直角坐标系,以其为基准可以描述相机和待测物体的空间位置;相机坐标系(camera coordinate)(xc,yc,zc),也是一个三维直角坐标系,原点位于镜头光心处,xc、yc轴分别与像面的两边平行,zc轴为镜头光轴,与像平面垂直;图像坐标系(image coordinate)(x,y),是图像平面上的二维直角坐标系。图像坐标系的原点为镜头光轴与像平面的交点(也称主点,principal point),它的x轴与相机坐标系的xc轴平行,它的y轴与相机坐标系的yc轴平行。
具体的,该坐标转换关系可根据激光雷达设备与图像采集设备(即目标地图的采集设备)之间的外参,以及图像采集设备的内参进行确定。外参指的是图像采集设备在世界坐标系中的参数,如图像采集设备的位置和旋转方向等;内参指的是与图像采集设备自身特性相关的参数,如图像采集设备的焦距和像素大小等
例如,将点云三维坐标pij转换为地图二维坐标p’i’j’,可以按照以下方式进行转换:
x’=(x/z)*fx+cx
y’=(y/z)*fy+cy
其中,fx,fy为图像采集设备的焦距,cx,cy是图像采集设备的主点,在点云三维坐标pij(x,y,z),对应的地图二维坐标为p’i’j’(x’,y’)。
103、获取候选障碍物的特征图像,并基于特征图像在候选障碍物中确定目标障碍物。
需要说明的是,由于该候选障碍物是通过激光点云数据确定,即,障碍物的确定是基于激光雷达信号的反射而确定的,然而,割草机器人一般用于室外作业,如果在扫描器和被测物之间有其它部分透光的物质,比如在室外环境中常见的雨雪尘等,部分的激光能量就会提前反射回来,只要达到触发阈值就会被认为是被测物而导致测量的错误,因此,根据激光点云数据所确定的候选障碍物可能并不是真实存在的障碍物,故,在本申请中,结合视觉技术和点云技术对障碍物进行定位识别。
例如,具体的,可以采集该候选障碍物的图像,并对采集的图像进行特征提取,得到候选障碍物的特征图像,具体的,可以采用卷积神经网络(Convolutional NeuralNetworks,CNN)对采集的图像进行特征提取,进一步的,还可以利用该卷积神经网络在候选障碍物中确定目标障碍物,即,可选地,在一些实施例中,步骤“基于特征图像在候选障碍物中确定目标障碍物”,具体可以包括:
(51)将特征图像输入至预设图像分类网络中,得到候选障碍物的分类标签;
(52)将分类标签为目标标签的候选障碍物确定为目标障碍物。
其中,该图像分类网络可以是预先训练得到的,该图像分类网络具体可以包括:
卷积层:主要用于对输入的图像(比如训练样本或需要识别的图像)进行特征提取,其中,卷积核大小以及卷积核的数量可以根据实际应用而定,比如,从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7,7),(5,5),(3,3),(3,3);可选的,为了降低计算的复杂度,提高计算效率,在本实施例中,这四层卷积层的卷积核大小可以都设置为(3,3),激活函数均采用“relu(线性整流函数,Rectified Linear Unit)”,而padding(padding,指属性定义元素边框与元素内容之间的空间)方式均设置为“same”,“same”填充方式可以简单理解为以0填充边缘,左边(上边)补0的个数和右边(下边)补0的个数一样或少一个。可选的,卷积层与卷积层之间可以通过直连的方式连接,从而加快网络收敛速度,为了进一步减少计算量,还可以在第二至第四层卷积层中的所有层或任意1~2层进行下采样(pooling)操作,该下采样操作与卷积的操作基本相同,只不过下采样的卷积核为只取对应位置的最大值(max pooling)或平均值(average pooling)等,为了描述方便,在本发明实施例中,将均以在第二层卷积层和第三次卷积层中进行下采样操作,且该下采样操作具体为maxpooling为例进行说明。
需说明的是,为了描述方便,在本申请实施例中,将激活函数所在层和下采样层(也称为池化层)均归入卷积层中,应当理解的是,也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层,当然,还可以包括用于输入数据的输入层和用于输出数据的输出层,在此不再赘述。
全连接层:可以将学到的特征映射到样本标记空间,其在整个卷积神经网络中主要起到“分类器”的作用,全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连,其中,全连接层的一个结点即称为全连接层中的一个神经元,全连接层中神经元的数量可以根据实际应用的需求而定,比如,在该文本检测模型中,全连接层的神经元数量可以均设置为512个,或者,也可以均设置为128个,等等。与卷积层类似,可选的,在全连接层中,也可以通过加入激活函数来加入非线性因素,比如,可以加入激活函数sigmoid(S型函数)。
具体的,可以利用该图像分类网络对特征图像进行识别,得到候选障碍物属于每类障碍物的概率,并基于该概率输出相应的分类标签,最后,将分类标签为目标标签的候选障碍物确定为目标障碍物,比如,将分类标签为花坛的候选障碍物确定为目标障碍物。
104、根据目标障碍物,在目标地图中划分作业区域和非作业区域。
具体的,可以获取该目标障碍物的轮廓信息,在目标地图中划分作业区域和非作业区域,例如,输出一条曲线包围该目标障碍物,在确定非作业区域后,基于预先设定的作业边界和非作业区域,在目标地图中划分作业区域,即,可选地,在一些实施例中,步骤“根据目标障碍物,在目标地图中划分作业区域和非作业区域”,具体可以包括:
(61)至少获取目标障碍物低于预设高度下的轮廓信息;
(62)根据轮廓信息以及目标障碍物在目标地图中的位置,输出包围目标障碍物的隔离曲线;
(63)将隔离曲线内的区域确定为非作业区域,并将除非作业区域之外的区域确定为作业区域。
可选地,该预设高度可以设置为略高于割草机器人的高度,比如,割草机器人的高度为30厘米,那么可以将预设高度设置为35厘米,确保割草机器人在执行割草作业时不会收到障碍物的阻挡而中断割草作业。
需要说明的是,当目标地图中存在有多个目标障碍物时,可以计算相邻目标障碍物之间的距离,将距离小于阈值的目标障碍物划分至同一非作业区域中,该阈值可以根据割草机器人的尺寸进行设置,可以避免圈定出的作业区域过小而导致割草机器人无法进行作业的问题,进而避免该类型的作业区域影响后续割草作业的流程,由此,可以提高后续的割草效率。
进一步的,在一些实施例中,可以通过不同颜色的区分作业区域和非作业区域,即,可选地,步骤“根据目标障碍物,在目标地图中划分作业区域和非作业区域”之后,具体还可以包括:
采用第一颜色高亮地显示作业区域,以及采用第二颜色高亮地显示非作业区域。
例如,具体的,该第一颜色可以为黄色,第二颜色可以为红色,具体可以根据实际情况进行选择,在此不再赘述。
本申请实施例在采集目标地图对应环境中的激光点云数据后,根据激光点云数据,在目标地图中确定候选障碍物,然后,获取候选障碍物的特征图像,并基于特征图像在候选障碍物中确定目标障碍物,最后,根据目标障碍物,在目标地图中划分作业区域和非作业区域。在本申请提供的割草方案中,利用激光点云数据在目标地图中确定候选障碍物,并根据候选障碍物的特征图像,确定目标障碍物,最后,根据该目标障碍物,在目标地图中划分作业区域和非作业区域,即,通过图像视觉技术和激光点云技术的结合,可以避免人工划分作业区域和非作业区域而出现漏划分或错误划分的问题;另外,由于激光雷达统一扫描作业环境,可一次性确定所有障碍物的位置,无需逐个对障碍物进行圈定,避免了因障碍物的体量大导致障碍物整体圈定速度慢、建图效率低的问题。由此,本方案提高了作业地图构建效率。
请参阅图2a,图2a为本申请实施例提供的作业地图构建装置的结构示意图,其中该作业地图构建装置可以包括采集模块201、第一确定模块202、获取模块203、第二确定模块204以及划分模块205,具体可以如下:
采集模块201,用于采集目标地图对应环境中的激光点云数据。
例如,具体的,采集模块201可以利用三维激光扫描技术获取的空间点云数据,可快速建立结构复杂、不规则的场景的三维可视化模型。
第一确定模块202,用于根据激光点云数据,在目标地图中确定候选障碍物。
可选地,在一些实施例中,第一确定模块202具体可以包括:
获取单元,用于获取目标地图的地图坐标系;
提取单元,用于从激光点云数据中提取每个三维激光点对应的反射值和三维坐标;
确定单元,用于基于地图坐标、三维激光点对应的反射值和三维坐标,在目标地图中确定候选障碍物。
可选地,在一些实施例中,确定单元具体可以包括:
第一确定子单元,用于确定激光点云数据对应的点云坐标系;
渲染子单元,用于基于三维激光点对应的三维坐标、以及地图坐标系与点云坐标系之间的转换关系,将三维激光点对应的反射值渲染至目标地图中;
第二确定子单元,用于根据渲染后的目标地图中的像素值,在目标地图中确定候选障碍物。
可选地,在一些实施例中,渲染子单元具体可以用于:)基于地图坐标系与点云坐标系之间的转换关系,对三维激光点对应的三维坐标进行转换,得到三维激光点在所述目标地图中的地图坐标;根据三维激光点在所述目标地图中的地图坐标,将三维激光点对应的反射值渲染至目标地图中。
获取模块203,用于获取候选障碍物的特征图像。
第二确定模块204,用于基于特征图像在候选障碍物中确定目标障碍物。
第二确定模块204具体可以利用卷积神经网络在候选障碍物中确定目标障碍物,可选地,在一些实施例中,第二确定模块204具体可以用于:将特征图像输入至预设图像分类网络中,得到候选障碍物的分类标签;将分类标签为目标标签的候选障碍物。
划分模块205,用于根据目标障碍物,在目标地图中划分作业区域和非作业区域。
具体的,划分模块205可以获取该目标障碍物的轮廓信息,在目标地图中划分作业区域和非作业区域,即,可选地,在一些实施例中,划分模块205具体可以用于:至少获取目标障碍物在目标地图中的轮廓信息;根据轮廓信息以及目标障碍物在目标地图中的位置,输出包围目标障碍物的隔离曲线;将隔离曲线内的区域确定为非作业区域,并将除非作业区域之外的区域确定为作业区域。
可选地,在一些实施例中,请参阅图2b,本申请的作业地图构建装置具体还可以包括显示模块206,该显示模块206具体可以用于:采用第一颜色高亮地显示作业区域,以及采用第二颜色高亮地显示非作业区域。
本申请实施例的采集模块201在采集目标地图对应环境中的激光点云数据后,第一确定模块202根据激光点云数据,在目标地图中确定候选障碍物,然后,获取模块203获取候选障碍物的特征图像,第二确定模块204基于特征图像在候选障碍物中确定目标障碍物,最后,划分模块205根据目标障碍物,在目标地图中划分作业区域和非作业区域。在本申请提供的割草方案中,利用激光点云数据在目标地图中确定候选障碍物,并根据候选障碍物的特征图像,确定目标障碍物,最后,根据该目标障碍物,在目标地图中划分作业区域和非作业区域,即,通过图像视觉技术和激光点云技术的结合,可以避免人工划分作业区域和非作业区域而出现漏划分或错误划分的问题,由此,提高了作业地图构建效率。
此外,本申请实施例还提供一种割草机器人,如图3所示,其示出了本申请实施例所涉及的割草机器人的结构示意图,具体来讲:
该割草机器人可以包括控制模块301、行进机构302、切割模块303以及电源304等部件。本领域技术人员可以理解,图3中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
控制模块301是该割草机器人的控制中心,该控制模块301具体可以包括中央处理器(Central Process Unit,CPU)、存储器、输入/输出端口、***总线、定时器/计数器、数模转换器和模数转换器等组件,CPU通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,执行割草机器人的各种功能和处理数据;优选的,CPU可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到CPU中。
存储器可用于存储软件程序以及模块,CPU通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供CPU对存储器的访问。
行进机构302与控制模块301电性相连,用于响应控制模块301传递的控制信号,调整割草机器人的行进速度和行进方向,实现割草机器人的自移动功能。
切割模块303与控制模块301电性相连,用于响应控制模块传递的控制信号,调整切割刀盘的高度和转速,实现割草作业。
电源304可以通过电源管理***与控制模块301逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源304还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,该割草机器人还可以包括通信模块、传感器模块、提示模块等,在此不再赘述。
通信模块用于收发信息过程中信号的接收和发送,通过与用户设备、基站或服务器建立通信连接,实现与用户设备、基站或服务器之间的信号收发。
传感器模块用于采集内部环境信息或外部环境信息,并将采集到的环境数据反馈给控制模块进行决策,实现割草机器人的精准定位和智能避障功能。可选地,传感器可以包括:超声波传感器、红外传感器、碰撞传感器、雨水感应器、激光雷达传感器、惯性测量单元、轮速计、图像传感器、位置传感器及其他传感器,对此不做限定。
提示模块用于提示用户当前割草机器人的工作状态。本方案中,提示模块包括但不限于指示灯、蜂鸣器等。例如,割草机器人可以通过指示灯提示用户当前的电源状态、电机的工作状态、传感器的工作状态等。又例如,当检测到割草机器人出现故障或被盗时,可以通过蜂鸣器实现告警提示。
具体在本实施例中,控制模块301中的处理器会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器中,并由处理器来运行存储在存储器中的应用程序,从而实现各种功能,如下:
采集目标地图对应环境中的激光点云数据,根据激光点云数据,在目标地图中确定候选障碍物,获取候选障碍物的特征图像,并基于特征图像在候选障碍物中确定目标障碍物,根据目标障碍物,在目标地图中划分作业区域和非作业区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本申请实施例在采集目标地图对应环境中的激光点云数据后,根据激光点云数据,在目标地图中确定候选障碍物,然后,获取候选障碍物的特征图像,并基于特征图像在候选障碍物中确定目标障碍物,最后,根据目标障碍物,在目标地图中划分作业区域和非作业区域。在本申请提供的割草方案中,利用激光点云数据在目标地图中确定候选障碍物,并根据候选障碍物的特征图像,确定目标障碍物,最后,根据该目标障碍物,在目标地图中划分作业区域和非作业区域,即,通过图像视觉技术和激光点云技术的结合,可以避免人工划分作业区域和非作业区域而出现漏划分或错误划分的问题,由此,提高了作业地图构建效率;另外,由于激光雷达统一扫描作业环境,可一次性确定所有障碍物的位置,无需逐个对障碍物进行圈定,避免了因障碍物的体量大导致障碍物整体圈定速度慢、建图效率低的问题。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种作业地图构建方法中的步骤。例如,该指令可以执行如下步骤:
采集目标地图对应环境中的激光点云数据,根据激光点云数据,在目标地图中确定候选障碍物,获取候选障碍物的特征图像,并基于特征图像在候选障碍物中确定目标障碍物,根据目标障碍物,在目标地图中划分作业区域和非作业区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种作业地图构建方法中的步骤,因此,可以实现本申请实施例所提供的任一种作业地图构建方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种作业地图构建方法、装置、割草机器人以及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种作业地图构建方法,其特征在于,包括:
采集目标地图对应环境中的激光点云数据;
根据所述激光点云数据,在所述目标地图中确定候选障碍物;
获取所述候选障碍物的特征图像,并基于所述特征图像在所述候选障碍物中确定目标障碍物;
根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述激光点云数据,在所述目标地图中确定候选障碍物,包括:
获取所述目标地图的地图坐标系;
从所述激光点云数据中提取每个三维激光点对应的反射值和三维坐标;
基于所述地图坐标、所述三维激光点对应的反射值和三维坐标,在所述目标地图中确定候选障碍物。
3.根据权利要求2所述的方法,其特征在于,所述基于所述地图坐标、所述三维激光点对应的反射值和三维坐标,在所述目标地图中确定候选障碍物,包括:
确定所述激光点云数据对应的点云坐标系;
基于所述三维激光点对应的三维坐标、以及所述地图坐标系与点云坐标系之间的转换关系,将所述三维激光点对应的反射值渲染至所述目标地图中;
根据渲染后的目标地图中的像素值,在所述目标地图中确定候选障碍物。
4.根据权利要求3所述的方法,其特征在于,所述基于所述三维激光点对应的三维坐标、以及所述地图坐标系与点云坐标系之间的转换关系,将所述三维激光点对应的反射值渲染至所述目标地图中,包括:
基于所述地图坐标系与点云坐标系之间的转换关系,对所述三维激光点对应的三维坐标进行转换,得到所述三维激光点在所述目标地图中的地图坐标;
根据所述三维激光点在所述目标地图中的地图坐标,将所述三维激光点对应的反射值渲染至所述目标地图中。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述特征图像在所述候选障碍物中确定目标障碍物,包括:
将所述特征图像输入至预设图像分类网络中,得到所述候选障碍物的分类标签;
将所述分类标签为目标标签的候选障碍物确定为目标障碍物。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域,包括:
至少获取所述目标障碍物低于预设高度下的轮廓信息;
根据所述轮廓信息以及所述目标障碍物在所述目标地图中的位置,输出包围所述目标障碍物的隔离曲线;
将所述隔离曲线内的区域确定为非作业区域,并将除所述非作业区域之外的区域确定为作业区域。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域之后,还包括
采用第一颜色高亮地显示所述作业区域,以及;
采用第二颜色高亮地显示所述非作业区域。
8.一种作业地图构建装置,其特征在于,包括:
采集模块,用于采集目标地图对应环境中的激光点云数据;
第一确定模块,用于根据所述激光点云数据,在所述目标地图中确定候选障碍物;
获取模块,用于获取所述候选障碍物的特征图像;
第二确定模块,用于基于所述特征图像在所述候选障碍物中确定目标障碍物;
划分模块,用于根据所述目标障碍物,在所述目标地图中划分作业区域和非作业区域。
9.一种割草机器人,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1-7所述作业地图构建方法的步骤。
10.一种存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-7所述作业地图构建方法的步骤。
CN202210806394.4A 2022-07-08 2022-07-08 作业地图构建方法、装置、割草机器人以及存储介质 Pending CN115235485A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210806394.4A CN115235485A (zh) 2022-07-08 2022-07-08 作业地图构建方法、装置、割草机器人以及存储介质
PCT/CN2023/105187 WO2024008016A1 (zh) 2022-07-08 2023-06-30 作业地图构建方法、装置、割草机器人以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210806394.4A CN115235485A (zh) 2022-07-08 2022-07-08 作业地图构建方法、装置、割草机器人以及存储介质

Publications (1)

Publication Number Publication Date
CN115235485A true CN115235485A (zh) 2022-10-25

Family

ID=83671263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210806394.4A Pending CN115235485A (zh) 2022-07-08 2022-07-08 作业地图构建方法、装置、割草机器人以及存储介质

Country Status (2)

Country Link
CN (1) CN115235485A (zh)
WO (1) WO2024008016A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024008016A1 (zh) * 2022-07-08 2024-01-11 松灵机器人(深圳)有限公司 作业地图构建方法、装置、割草机器人以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术(北京)有限公司 高精地图生成方法和装置
CN106447697A (zh) * 2016-10-09 2017-02-22 湖南穗富眼电子科技有限公司 一种基于动平台的特定动目标快速跟踪方法
CN109658432A (zh) * 2018-12-27 2019-04-19 南京苏美达智能技术有限公司 一种移动机器人的边界生成方法及***
CN112419494A (zh) * 2020-10-09 2021-02-26 腾讯科技(深圳)有限公司 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN112486184A (zh) * 2020-12-10 2021-03-12 北京小狗吸尘器集团股份有限公司 一种扫地机器人及其避障路径确定方法
CN113115622A (zh) * 2021-03-08 2021-07-16 深圳拓邦股份有限公司 视觉机器人避障控制方法、装置及割草机器人
CN113359692A (zh) * 2020-02-20 2021-09-07 杭州萤石软件有限公司 一种障碍物的避让方法、可移动机器人
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102352360B1 (ko) * 2020-03-13 2022-01-18 한양대학교 산학협력단 운전자의 시선에 기반한 장애물 후보들에 대한 분석 우선순위를 이용하여 장애물을 분석하는 방법 및 시스템
CN113079801A (zh) * 2021-04-27 2021-07-09 河南科技大学 基于ros***的智能割草机器人及激光扫描雷达地图构建方法
CN115235485A (zh) * 2022-07-08 2022-10-25 松灵机器人(深圳)有限公司 作业地图构建方法、装置、割草机器人以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术(北京)有限公司 高精地图生成方法和装置
CN106447697A (zh) * 2016-10-09 2017-02-22 湖南穗富眼电子科技有限公司 一种基于动平台的特定动目标快速跟踪方法
CN109658432A (zh) * 2018-12-27 2019-04-19 南京苏美达智能技术有限公司 一种移动机器人的边界生成方法及***
CN113359692A (zh) * 2020-02-20 2021-09-07 杭州萤石软件有限公司 一种障碍物的避让方法、可移动机器人
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及***
CN112419494A (zh) * 2020-10-09 2021-02-26 腾讯科技(深圳)有限公司 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN112486184A (zh) * 2020-12-10 2021-03-12 北京小狗吸尘器集团股份有限公司 一种扫地机器人及其避障路径确定方法
CN113115622A (zh) * 2021-03-08 2021-07-16 深圳拓邦股份有限公司 视觉机器人避障控制方法、装置及割草机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张文敏: "基于数字图像处理的草坪场景障碍物识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 2, 15 February 2021 (2021-02-15), pages 038 - 2348 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024008016A1 (zh) * 2022-07-08 2024-01-11 松灵机器人(深圳)有限公司 作业地图构建方法、装置、割草机器人以及存储介质

Also Published As

Publication number Publication date
WO2024008016A1 (zh) 2024-01-11

Similar Documents

Publication Publication Date Title
US9840003B2 (en) Apparatus and methods for safe navigation of robotic devices
CN110163930A (zh) 车道线生成方法、装置、设备、***及可读存储介质
WO2024022337A1 (zh) 障碍物检测方法、装置、割草机器人以及存储介质
CN108710367B (zh) 激光数据识别方法、装置、机器人及存储介质
CN113741438A (zh) 路径规划方法、装置、存储介质、芯片及机器人
WO2021143543A1 (zh) 机器人及其控制方法
WO2019232804A1 (zh) 软件更新方法、***、移动机器人及服务器
WO2024008016A1 (zh) 作业地图构建方法、装置、割草机器人以及存储介质
CN115016502A (zh) 智能避障方法、割草机器人以及存储介质
WO2024001880A1 (zh) 智能避障方法、装置、割草机器人以及存储介质
WO2023115658A1 (zh) 智能避开障碍的方法及装置
CN108107916A (zh) 一种智能无人机搜寻***
CN115268438A (zh) 智能避障方法、装置、割草机器人以及存储介质
CN115291605A (zh) 路径规划方法、装置、割草机器人以及存储介质
CN115039561A (zh) 割草方法、装置、割草机器人以及存储介质
US11797013B2 (en) Collision avoidance method and mobile machine using the same
CN115136781A (zh) 割草方法、装置、割草机器人以及存储介质
CN115250720A (zh) 割草方法、装置、割草机器人以及存储介质
CN207937876U (zh) 一种智能无人机搜寻***
CN115617053B (zh) 障碍物遍历方法、装置、割草机器人以及存储介质
CN115359245A (zh) 障碍物检测方法、装置、割草机器人以及存储介质
Shang Survey of mobile robot vision selflocalization
CN115191213A (zh) 机器人定位方法、装置、割草机器人以及存储介质
CN115713690A (zh) 草地边界识别方法、装置、割草机器人以及存储介质
CN113419469B (zh) 电子设备***、设备控制方法、装置、存储介质和芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 518000 9/F, Building A3, Nanshan Zhiyuan, No. 1001, Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Kuma Technology Co.,Ltd.

Address before: 518000 1201, Tianlong mobile headquarters building, Tongfa South Road, Xili community, Xili street, Nanshan District, Shenzhen, Guangdong Province

Applicant before: Songling robot (Shenzhen) Co.,Ltd.

Country or region before: China