CN111123278A - 分区方法、设备及存储介质 - Google Patents

分区方法、设备及存储介质 Download PDF

Info

Publication number
CN111123278A
CN111123278A CN201911398734.9A CN201911398734A CN111123278A CN 111123278 A CN111123278 A CN 111123278A CN 201911398734 A CN201911398734 A CN 201911398734A CN 111123278 A CN111123278 A CN 111123278A
Authority
CN
China
Prior art keywords
ground
area
boundary
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911398734.9A
Other languages
English (en)
Other versions
CN111123278B (zh
Inventor
武乾康
单俊杰
谢凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecovacs Robotics Suzhou Co Ltd
Original Assignee
Ecovacs Robotics Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecovacs Robotics Suzhou Co Ltd filed Critical Ecovacs Robotics Suzhou Co Ltd
Priority to CN201911398734.9A priority Critical patent/CN111123278B/zh
Publication of CN111123278A publication Critical patent/CN111123278A/zh
Application granted granted Critical
Publication of CN111123278B publication Critical patent/CN111123278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请实施例提供一种分区方法、设备及存储介质。在本申请实施例中,采集自移动设备作业区域内的地面三维点云数据,基于地面三维点云数据识别地面特征信息,进而基于地面特征信息对作业区域进行分区。其中,借助于精度较高的地面三维点云数据,有利于更加准确地对作业区域进行分区,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,作业分区的范围可以更小、更精确,有利于提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。

Description

分区方法、设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种分区方法、设备及存储介质。
背景技术
随着人工智能技术的发展,机器人也趋向于智能化。例如,家庭服务机器人可凭借一定的人工智能,绘制环境地图,并依赖环境地图在作业区域自动完成相应任务。但是,现有机器人在作业区域内执行任务时,执行效果并不理想。
发明内容
本申请的多个方面提供一种分区方法、设备及存储介质,用以提高自主移动设备的自能分区的能力。
本申请实施例提供一种分区方法,包括:获取自主移动设备作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
本申请实施例还提供一种分区方法,适用于自主移动设备,所述方法包括:采集作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
本申请实施例还提供一种计算设备,包括:一个或多个存储器以及一个或多个处理器;一个或多个存储器,用于存储计算机程序;一个或多个处理器与一个或多个存储器耦合,用于执行计算机程序以用于:获取自主移动设备作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现上面实施例方法中的步骤。
本申请实施例还提供一种自主移动设备,包括:设备本体,设备本体上设有一个或多个处理器以及一个或多个存储计算机程序的存储器;一个或多个处理器与一个或多个存储器耦合,用于执行所述计算机程序以用于:采集作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
在本申请实施例中,利采集自移动设备作业区域内的地面三维点云数据,基于地面三维点云数据识别地面特征信息,进而基于地面特征信息对作业区域进行分区,其中,地面三维点云数据精度较高,有利于更加准确地对作业区域进行分区,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,作业分区的范围可以更小、更精确,有利于提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1a为本申请示例性实施提供的一种结构光模组的结构示意图;
图1b为图1a所示实施例提供的结构光模组在自主移动设备上的安装状态及应用状态示意图;
图2a为本申请示例性实施提供的另一种结构光模组的结构示意图;
图2b为本申请示例性实施提供的又一种结构光模组的结构示意图;
图2c为本申请示例性实施例提供的再一种结构光模组的结构示意图;
图3a-图3e分别为图2b所示实施例提供的结构光模组的前视图、仰视图、俯视图、后视图和***图;
图4为图2b所示实施例提供的结构光模组的另一种结构示意图;
图5a为本申请示例性实施例提供的一种分区方法的流程示意图;
图5b为本申请示例性实施例提供的一种自主移动设备所在***的结构示意图;
图6a为本申请示例性实施例提供的另一种分区方法的流程示意图;
图6b-图6d为本申请示例性实施例提供的几种地面纹理示意图;
图7a为本申请示例性实施提供的几种地面分界线的样式示意图;
图7b为本申请示例性实施例针对具有分界线特征的不同候选区域的示意图;
图8a为本申请示例性实施例提供的以卧室为例的初始分区结果示意图;
图8b为采用本申请实施例提供的分区方法对图8a所示初始分区结果进行修正后的结构示意图;
图8c为本申请示例性实施例提供的以客厅和阳台为例的初始分区结果示意图;
图8d为采用本申请实施例提供的分区方法对图8c所示初始分区结果进行修正后的结构示意图;
图9a为本申请示例性实施例提供的家庭户型以及对其初始分区结果的示意图;
图9b为为采用本申请实施例提供的分区方法对图9a所示初始分区结果进行修正后的结构示意图;
图10为本申请示例性实施例提供的又一种分区方法的流程示意图;
图11为本申请示例性实施例提供的一种计算设备的结构示意图;
图12为本申请示例性实施例提供的一种自主移动设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有自主移动设备基本带有LDS或视觉传感器,用于采集周围环境信息,构建环境地图,基于环境地图对作业区域分区,这样自主移动设备可基于分区执行作业任务,执行作业任务的灵活度、效率和/质量相对较高。现有技术一般是在构建环境地图过程中,识别作业区域的边界,根据识别到的边界对作业区域分区。鉴于传感器精度问题,现有技术中所识别出的作业区域的边界不够准确,导致分区准确度不够,进而导致基于分区执行作业任务的效果不是很理想。
鉴于上述问题,在本申请一些实施例中,采集自主移动设备作业区域内的地面三维点云数据;基于地面三维点云数据识别地面特征信息,进而基于地面特征信息对作业区域进行分区。其中,采集到的地面三维点云数据具有较高的精度,基于精度更高的地面三维点云数据,有利于更加准确地对作业区域进行分区,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,作业分区的范围可以更小、更精确,有利于提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
在此说明,本申请实施例提供的各种方法可由自主移动设备实施,也可以由不同于自主移动设备的其它计算设备执行,其它计算设备可以是自主移动设备提供商提供的常规服务器、云端服务器、服务器阵列等服务端设备,也可以是不同于自主移动设备及其服务端设备的其它计算设备,例如可以个人笔记本、平板电脑等终端类设备,也可以是第三方提供的常规服务器、云端服务器、服务器阵列等服务端设备。为便于描述可将第三方提供的服务端设备简称为第三方服务端设备。本申请后续实施例会对不同执行主体执行的分区方法进行分别说明。
在本申请实施例中,自主移动设备可以是任何能够在其所在环境中高度自主地进行空间移动的机械设备,例如,可以是机器人、净化器、无人驾驶车辆等。其中,机器人可以包括扫地机器人、陪护机器人或引导机器人等。这里对“自主移动设备”进行的解释说明适用于本申请所有实施例,在后续各实施例中不再做重复性说明。
在本申请实施例中,自主移动设备作业区域内的地面三维点云数据是指利用传感器对作业区域内的地面进行信息采集得到的地面点数据的集合。地面点数据是一种三维数据,其精度更高。作业区域是指自主移动设备执行作业任务所在的环境区域,根据应用场景的不同,自主移动设备的实现形态会有所不同,其所处的作业区域也会有所不同。以扫地机器人为例,其所处的作业区域可以是整个家庭环境或者是家庭环境中厨房、客厅、卫生间、阳台以及卧室等中一个或几个区域;或者,其所处的作业区域也可以是商场、超市、库房、地铁、火车站等场所或场所中的部分区域,等等。
在本申请实施例中,并不限定采集地面三维点云数据所使用的传感器类型,凡是可以对作业区域内的地面进行信息采集,且能够采集到三维信息的传感器类型均适用于本申请实施例。例如,本申请实施例可以采用的传感器包括但不限于:三维视觉传感器、线激光传感器以及面阵激光传感器(可简称为面激光传感器)。
在对本申请实施例提供的各种方法进行详细说明之前,先对自主移动设备可以采用的面阵激光传感器和线激光传感器进行说明。
面阵激光传感器:面阵激光传感器主要包括激光发射阵列和信息采集模块;激光发射阵列主要向外发射面激光,信息采集模块可以采集环境图像,也可以接收面激光打到物体上返回来的反射光。信息采集模块可以包含摄像头等组件。
面阵激光传感器的工作原理是:激光发射阵列经其前方的光学成像***向外发射面激光,发射出的面激光在到达物体表面后,一部分反射回来并经信息采集模块前方的光学成像***形成图像上的像素点。而由于物体表面到返回点的距离不同,其反射光飞行时间(TOF)不同,通过对反射光飞行时间的测量,每个像素点就可获得独立的距离信息,其探测范围可以达到百米以上。另外,面阵激光传感器的信息采集模块还可以采集周围环境的图像,实现百万像素级别的分辨率的快速3D成像,及成像频率在每秒30帧以上。
面阵激光传感器采集到的环境信息不仅包含方向和距离信息,还加入了物体表面的反射率信息,辅以三维场景下的深度学***;另外,相对于基于图像传感器的感知方案,面阵激光传感器能够提供更为准确的距离和方向信息,可降低感知运算的复杂度,提高实时性。
当然,对面阵激光传感器而言,除了具有上述优势之外,在以下几个方面也具有较明显的优势:
1)面阵激光传感器具有固态化、低成本化、小型化优势;
2)面阵激光传感器在安装使用时不需要旋转部件,可以大大压缩传感器的结构和尺寸,提高使用寿命,并降低成本;
3)面阵激光传感器的视角可以调节,可适配不同自主移动设备,有利于加快扫描速度与精度;
4)面阵激光传感器可以同时采集水平和竖直方向上的环境信息,可以建成3D地图,有利于提高基于地图的定位、导航规划等功能的准确性。
值得说明的是,基于面阵激光传感器采集到的包含方向、距离和反射率三个维度的环境信息,可以控制自主移动设备实现各种基于环境感知的功能。例如,可以采集作业区域内地面三维点云数据,为对作业区域进行分区提供数据基础和支持。
在本实施例中,并不限定面阵激光传感器的具体实现形态,例如可以是但不限于:固态面阵激光雷达。以面阵固态激光雷达为例,自主移动设备可以安装面阵固态激光雷达,利用面阵固态激光雷达采集其作业区域内地面三维点云数据,进而基于地面三维点云数据识别作业区域内的地面特征信息,根据地面特征信息对作业区域进行分区。或者,自主移动设备利用面阵固态激光雷达采集到其作业区域内地面三维点云数据之后,将地面三维点云数据上报给独立于自主移动设备的计算设备(例如自主移动设备提供商的服务端设备,或者第三方服务端设备或其它计算设备),由计算设备基于地面三维点云数据识别作业区域内的地面特征信息,根据地面特征信息对作业区域进行分区。进一步,计算设备还可以将分区结果返回给自主移动设备,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
线激光传感器:也称为结构光模组。本申请实施例使用的结构光模组泛指任何包含线激光发射器和摄像头模组的模组结构。在结构光模组中,线激光发射器用于向外发射线激光;摄像头模组可以采集环境图像,也可以接收线激光打到物体上返回来的反射光。其中,线激光发射器发射出去的线激光位于摄像头模组的视场范围内,线激光可帮助探测摄像头模组视场角内的物体的轮廓、高度和/或宽度等信息,摄像头模组可采集由线激光探测到的环境图像。
与面阵激光传感器的工作原理类似,结构光模组的工作原理是:线激光发射模块向外发射线激光,发射出的线激光在到达物体表面后,一部分反射回来并经摄像头模组的光学成像***形成图像上的像素点。而由于物体表面到返回点的距离不同,其反射光飞行时间(TOF)不同,通过对反射光飞行时间的测量,每个像素点就可获得独立的距离信息和方向信息,总称为位置信息。
其中,摄像头模组的视场角包括垂直视场角和水平视场角。在本实施例中,并不限定摄像头模组的视场角,可以根据应用需求来选择具有合适视场角的摄像头模组。只要线激光发射器发射出去的线激光位于摄像头模组的视场范围内即可,至于线激光在物体表面形成的激光线段与水平面之间的角度不做限定,例如可以平行或垂直于水平面,也可以与水平面之间成任意角度,具体可根据应用需求而定。
在本申请实施例中,并不限定线激光发射器的实现形态,可以是任何能够发射线激光的设备/产品形态。例如,线激光发射器可以是但不限于:激光管。同理。也不限定摄像头模组的实现形态。凡是可以采集环境图像的视觉类设备均适用于本申请实施例。例如,摄像头模组可以包括但不限于:单目摄像头、双目摄像头等。
在本申请实施例中,也不限定线激光发射器发射线激光的波长,波长不同,线激光的颜色会不同,例如可以是红色激光、紫色激光等。相应地,摄像头模组可以采用能够采集线激光发射器发射出的线激光的摄像头模组。与线激光发射器发射线激光的波长适配,例如,摄像头模组还可以是红外摄像头、紫外线摄像头、星光摄像机、高清摄像头等。
在本申请实施例中,并不限定线激光发射器的数量,例如可以是一个,也可以是两个或者两个以上。同理,也不限定摄像头模组的数量,例如可以是一个,也可以是两个或两个以上。当然,在本申请实施例中,对线激光发射器的安装位置、安装角度等,以及线激光发射器与摄像头模组之间的安装位置关系等均不做限定。
下面结合图1a-图4,对本申请实施例可以采用的几种结构光模组的结构以及工作原理进行简单说明。本领域技术人员应该理解下述列举的结构光模组仅为示例性说明,本申请实施例可以采用的结构光模组并不限于这几种。
如图1a所示,一种结构光模组100主要包括:一个线激光发射器101和一个摄像头模组102。可选地,线激光发射器101安装于摄像头模组102上方、下方、左侧或右侧均可以,只要线激光发射器101发射的线激光位于摄像头模组102的视场范围内即可。在图1a中,以线激光发射器101安装于摄像头模组102上方为例进行图示。如图1b所示,在结构光模组100中,线激光发射器101发射出的激光面打在障碍物或地面表面形成的激光线段在前方水平于地面、垂直于自主移动设备前进方向。可将这种安装方式称为水平安装。图1b所示为结构光模组100在自主移动设备上的安装状态以及应用状态示意图。
如图1b所示,自主移动设备向前行进过程中,可控制结构光模组100按照一定的方式工作,例如周期性(每20ms)进行一次环境探测,从而得到一组图像数据,每个图像数据中包含线激光打到物体表面或地面上形成的激光线段,一条激光线段包含多个三维数据,大量环境图像中的激光线段上的三维数据可形成三维点云数据。
进一步可选地,如图1a所示,结构光模组100还可以包括主控单元103,主控单元103可控制线激光发射器101和摄像头模组102进行工作。可选地,主控单元103一方面对摄像头模组102进行曝光控制,另一方面可控制线激光发射器101在摄像头模组102曝光期间对外发射线激光,以便于摄像头模组102采集由线激光探测到的环境图像。在图1a中,主控单元103以虚线框表示,说明主控单元103为可选单元。
如图2a所示,另一种结构光模组200a主要包括:摄像头模组201a和分布于摄像头模组201a两侧的线激光发射器202a。本实施例提供的结构光模组200a可应用于自主移动设备,自主移动设备包括主控制器,主控制器分别与摄像头模组201a和线激光发射器202a电连接,可控制摄像头模组201a和线激光发射器202a进行工作。
可选地,主控制器一方面对摄像头模组201a进行曝光控制,另一方面控制线激光发射器202a在摄像头模组201a曝光期间对外发射线激光,以便于摄像头模组201a采集由线激光探测到的环境图像。其中,主控制器可以控制位于摄像头模组201a两侧的线激光发射器202a同时工作,或者交替工作,对此不做限定。
如图2b所示,又一种结构光模组200b主要包括:摄像头模组201b、分布于摄像头模组201b两侧的线激光发射器202b,以及主控单元203b。主控单元203b分别与摄像头模组201b和线激光发射器202b电连接,可控制摄像头模组201b和线激光发射器202b进行工作。线激光发射器202b在主控单元203b的控制下向外发射线激光;摄像头模组201b用于在主控单元203b的控制下采集由线激光探测到的环境图像。
可选地,主控单元203b一方面对摄像头模组201b进行曝光控制,另一方面控制线激光发射器202b在摄像头模组201b曝光期间对外发射线激光,以便于摄像头模组201b采集由线激光探测到的环境图像。其中,主控单元203b可以控制位于摄像头模组201b两侧的线激光发射器202b同时工作,或者交替工作,对此不做限定。主控单元203b还用于在结构光模组200b应用于自主移动设备的情况下,将环境图像提供给自主移动设备,具体可提供给自主移动设备主控制器。
如图2c所示,再一种结构光模组200c主要包括:摄像头模组201c、分布于摄像头模组201c两侧的线激光发射器202c,以及第一控制单元203c和第二控制单元204c。其中,第一控制单元203c分别与线激光发射器202c、第二控制单元204c和摄像头模组201c电连接;摄像头模组201c还与第二控制单元204c电连接。
其中,第二控制单元204c对摄像头模组201c进行曝光控制,摄像头模组201c每次曝光产生的同步信号输出至第一控制单元203c。第一控制单元203c根据同步信号控制线激光发射器202c交替工作,并向第二控制单元204c提供激光源区分信号;第二控制单元204c根据激光源区分信号对摄像头模组201c每次曝光采集到的环境图像进行左右标记。第二控制单元204c还用于在结构光模组200c应用于自主移动设备的情况下,将标记后的环境图像提供给自主移动设备,具体可提供给自主移动设备主控制器。
在图2a-图2c所示结构光模组中,并不限定线激光发射器的总数量,例如可以是两个或者两个以上。对于分布于摄像头模组每一侧的线激光发射器的数量也不做限定,摄像头模组每一侧的线激光发射器的数量可以是一个或多个;另外,两侧的线激光发射器的数量可以相同,也可以不相同。在图2a-图2c中,均以摄像头模组两侧各设置一个线激光发射器为例进行图示,但并不限于此。又例如,摄像头模组的左右侧均设置2个、3个或5个线激光发射器等。
在图2a-图2c所示结构光模组中,也不限定线激光发射器在摄像头模组两侧的分布形态,例如可以是均匀分布,也可以是非均匀分布,可以是对称分布,也可以是非对称分布。其中,均匀分布和非均匀分布可以是指分布于摄像头模组同一侧的线激光发射器之间可以是均匀分布或非均匀分布,当然,也可以理解为:分布于摄像头模组两侧的线激光发射器从整体上来看是均匀分布或非均匀分布。对于对称分布和非对称分布,主要是指分布于摄像头模组两侧的线激光发射器从整体上看是对称分布或非对称分布。这里的对称既包括数量上的对等,也包括安装位置上的对称。例如,在图2a-图2c所示的结构光模组中,线激光发射器的数量为两个,且两个线激光发射器对称分布于摄像头模组两侧。
在图2a-图2c所示结构光模组中,也不限定线激光发射器与摄像头模组之间的安装位置关系,凡是线激光发射器分布在摄像头模组两侧的安装位置关系均适用于本申请实施例。其中,线激光发射器与摄像头模组之间的安装位置关系,与结构光模组的应用场景相关。可根据结构光模组的应用场景,灵活确定线激光发射器与摄像头模组之间的安装位置关系。这里的安装位置关系包括以下几个方面:
安装高度:在安装高度上,线激光发射器和摄像头模组可以位于不同高度。例如,两侧的线激光发射器高于摄像头模组,或者,摄像头模组高于两侧的线激光发射器;或者一侧的线激光发射器高于摄像头模组,另一侧的线激光发射器低于摄像头模组。当然,线激光发射器和摄像头模组也可以位于同一高度。较为优选的,线激光发射器和摄像头模组可以位于同一高度。例如,在实际使用中,结构光模组会被安装在某一设备(例如机器人、净化器、无人车等自主移动设备)上,在该情况下,线激光发射器和摄像头模组到设备所在工作面(例如地面)之间的距离相同,例如两者到工作面的距离都是47mm、50mm、10cm、30cm或50cm等。
安装距离:安装距离是指线激光发射器与摄像头模组之间的机械距离(或者称为基线距离)。线激光发射器与摄像头模组之间的机械距离,可根据结构光模组的应用需求灵活设定。其中,线激光发射器与摄像头模组之间的机械距离、结构光模组所在设备(例如机器人)需要满足的探测距离以及该设备的直径等信息可在一定程度上决定测量盲区的大小。对结构光模组所在设备(例如机器人)来说,其直径是固定的,测量范围与线激光发射器与摄像头模组之间的机械距离是可以根据需求灵活设定,这意味着机械距离及盲区范围不是固定值。在保证设备测量范围(或性能)的前提下,应该尽量减小盲区范围,然而,线激光发射器与摄像头模组之间的机械距离越大,可以控制的距离范围就越大,这有利于更好地控制盲区大小。
在一些应用场景中,结构光模组应用于扫地机器人上,例如可以安装在扫地机器人的撞板上或机器人本体上。针对扫地机器人来说,下面示例性给出线激光发射器与摄像头模组之间比较合理的机械距离范围。例如,线激光发射器与摄像头模组之间的机械距离可以大于20mm。进一步可选地,线激光发射器与摄像头模组之间的机械距离大于30mm。更进一步,线激光发射器与摄像头模组之间的机械距离大于41mm。需要说明的是,这里给出的机械距离的范围,并不仅仅适用于结构光模组应用在扫地机器人这一种场景,也适用于结构光模组在规格尺寸与扫地机器人比较接近或类似的其它设备上的应用。
发射角度:发射角度是指在安装好之后,线激光发射器发射线激光的中心线与线激光发射器的安装基线之间的夹角。安装基线是指在线激光模组与摄像头模组位于同一安装高度的情况下,线激光模组和摄像头模组所在的一条直线。在本实施例中,并不限定线激光发射器的发射角度。该发射角度与结构光模组所在设备(例如机器人)需要满足的探测距离、该设备的半径以及线激光发射器与摄像头模组之间的机械距离有关。在结构光模组所在设备(例如机器人)需要满足的探测距离、该设备的半径和线激光发射器与摄像头模组之间的机械距离确定的情况下,可直接通过三角函数关系得到线激光发射器的发射角度,即发射角度是一固定值。
当然,如果需要某个特定的发射角度,可以通过调整结构光模组所在设备(例如机器人)需要满足的探测距离和线激光发射器与摄像头模组之间的机械距离来实现。在一些应用场景中,在结构光模组所在设备(例如机器人)需要满足的探测距离和设备的半径确定的情况下,通过调整线激光发射器与摄像头模组之间的机械距离,线激光发射器的发射角度可在一定角度范围内变化,例如可以是50-60度,但不限于此。
为了便于使用,本申请实施例提供的结构光模组除了包括摄像头模组和线激光发射器之外,还包括一些用于承载摄像头模组和线激光发射器的承载结构。承载结构可以有多种实现形式,对此不做限定。在一些可选实施例中,承载结构包括固定座,进一步还可以包括与固定座配合使用的固定盖。以图2b所示结构光模组200b为例,结合图3a-图3e对带有固定座以及固定盖的结构光模组的结构进行说明。其中,图3a-图3e分别是结构光模组200b的前视图、仰视图、俯视图、后视图和***图,由于视角原因,每个视图并未展示全部组件,故而图3a-图3e中仅标记部分组件。如图3a-图3e所示,结构光模组200b还包括:固定座204b。摄像头模组和线激光发射器装配在固定座204b上。
进一步可选地,如图3e所示,固定座204b包括:主体部205b和位于主体部205b两侧的端部206b;其中,摄像头模组装配在主体部205b上,线激光发射器装配在端部206b上;其中,端部206b的端面朝向参考面,以使线激光发射器的中心线与摄像头模组的中心线相交于一点;参考面是与主体部205b的端面或端面切线垂直的平面。
在一可选实施例中,为了方便固定,降低器件对结构光模组外观的影响,如图3e所示,主体部205b的中间位置开设有凹槽208b,摄像头模组安装于凹槽208b内;端部206b上设有安装孔209b,线激光发射器安装于安装孔209b内。进一步可选地,如图3e所示,结构光模组200b还装配有固定座204b上方的固定盖207b;固定盖207b与固定座204b之间形成腔体,以容纳摄像头模组和线激光发射器的连接线。其中,固定盖207b以及固定座204b之间可采用固定件进行固定。在图3e中,以螺钉210b为例对固定件进行图示,但固定件并不限于螺钉这一种实现形式。
在一可选实施例中,摄像头模组的镜头位于凹槽208b外边缘之内,即镜头内缩在凹槽208b内,可防止镜头被刮蹭或磕碰,有利于保护镜头。
在本申请实施例中,并不对主体部205b端面的形状做限定,例如可以是平面,也可以是向内或向外凹陷的曲面等。根据结构光模组所在设备的不同,主体部205b端面的形状也有所不同。例如,假设结构光模块应用于外形轮廓为圆形或椭圆形的自主移动设备,则主体部205b的端面可实现为向内凹陷的曲面,该曲面与自主移动设备的外形轮廓适配。若结构光模块应用于外形轮廓为方形或长方形的自主移动设备,则主体部205b的端面可实现为平面,该平面与自主移动设备的外形轮廓适配。其中,外形轮廓为圆形或椭圆形的自主移动设备可以是外形轮廓为圆形或椭圆形的扫地机器人、擦窗机器人等。相应地,外形轮廓为方形或长方形的自主移动设备可以是外形轮廓为方形或长方形的扫地机器人、擦窗机器人等。
在一可选实施例中,对于外形轮廓为圆形或椭圆形的自主移动设备来说,结构光模组安装于自主移动设备上,为了与自主移动设备的外观更加契合,最大化利用自主移动设备的空间,主体部205b的曲面半径与自主移动设备的半径相同或近似相同。例如,若外形轮廓为圆形的自主移动设备,其半径范围为170mm,则结构光模组在应用于该自主移动设备时,其主体部的曲面半径可以为170mm或者近似170mm,例如可以在170mm-172mm范围内,但并不限于此。
进一步,在结构光模组应用在外形轮廓为圆形或椭圆形的自主移动设备的情况下,结构光模组中线激光发射器的发射角度主要由自主移动设备需要满足的探测距离和自主移动设备的半径等确定。在该场景下,结构光模组的主体部的端面或端面切线与安装基线平行,因此线激光发射器的发射角度也可以定义为:线激光发射器发射线激光的中心线与主体部的端面或端面切线之间的夹角。在一些应用场景中,在自主移动设备的探测距离和半径确定的情况下,线激光发射器的发射角度的范围可以实现为50-60度,但并不限于此。
本申请上述实施例提供的结构光模组,结构稳定、尺寸小,契合整机外观,极大地节省了空间,可以支持多种类型的自主移动设备。
进一步,在图1a以及图2a-图2c所示结构光模组中,还可以包括激光驱动电路。激光驱动电路与线激光发射器电连接,主要用于放大发给线激光发射器的控制信号。在图2a-图2c所示结构光模组中,并不限定激光驱动电路的数量。不同激光发射器可以共用一个激光驱动电路,也可以是一个线激光发射器对应一个激光驱动电路。较为优选的是,一个线激光发射器对应一个激光驱动电路。在图4中,以结构光模组200b为例进行图示,在该结构光模组200b中一个线激光发射器202b对应一个激光驱动电路211b。在图2c中,激光驱动电路211b主要用于放大主控单元203b发给线激光发射器202b的控制信号,并将放大后的控制信号提供给线激光发射器202b,以控制线激光发射器202b。在本申请实施例中,并不对激光驱动电路211b的电路结构进行限定,凡是可以放大信号并可将放大后的信号给到线激光发射器202b的电路结构均适用于本申请实施例。
在本申请一些实施例中,自主移动设备可以安装结构光模组,利用结构光模组采集其作业区域内地面三维点云数据,进而基于地面三维点云数据识别作业区域内的地面特征信息,根据地面特征信息对作业区域进行分区。或者,自主移动设备利用结构光模组采集到其作业区域内地面三维点云数据之后,将地面三维点云数据上报给独立于自主移动设备的计算设备(例如自主移动设备提供商的服务端设备,或者第三方服务端设备或其它计算设备),由计算设备基于地面三维点云数据识别作业区域内的地面特征信息,根据地面特征信息对作业区域进行分区。进一步,计算设备还可以将分区结果返回给自主移动设备,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
在此说明,无论是面阵激光传感器还是结构光模组,在对自主移动设备作业区域内的地面进行信息采集得到环境图像后,可以对环境图像进行各种处理,从中提取出地面三维点云数据。这里的处理包括但不限于:对面激光或线激光对应图像区域之外其它图像区域的模糊化处理,计算面激光或线激光对应图像区域中像素点的位置信息,以及将像素点的位置信息从传感器坐标系到自主移动设备所在坐标系和/或世界坐标系的转换等处理。在本申请实施例中,并不限定地面三维点云数据所使用的坐标系,可以是自主移动设备所在坐标系或世界坐标系。
上面介绍的面阵激光传感器以及几种结构光模组均适用于本申请下述各方法实施例。除面阵激光传感器和结构光模组之外,其它三维传感器,例如三维视觉传感器也适用于本申请下述实施例。下面将结合附5a-图10对本申请实施例提供的各方法分别进行详细说明。
图5a为本申请示例性实施例提供的一种分区方法的流程示意图。如图5a所示,该分区方法包括:
501、获取自主移动设备作业区域内的地面三维点云数据。
502、基于地面三维点云数据,识别作业区域内的地面特征信息。
503、根据地面特征信息,对作业区域进行分区。
本实施例的执行主体可以是自主移动设备提供商提供的服务端设备51,也可以是第三方提供的服务端设备,简称为第三方服务端设备52,也可以是其它计算设备53。
如图5b所示,自主移动设备50与服务端设备51、第三方服务端设备52或者其他计算设备53进行通信连接。其中,自主移动设备50和服务端设备51、第三方服务端设备52或者其他计算设备53之间可以是无线或有线连接。可选地,自主移动设备50可以通过移动网络和服务端设备51、第三方服务端设备52或者其他计算设备53通信连接,相应地,移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax或者未来即将出现的新网络制式等中的任意一种。可选地,自主移动设备50也可以通过蓝牙、WiFi、红外、zigbee或NFC等方式和服务端设备51、第三方服务端设备52或者其他计算设备53通信连接。
自主移动设备50上安装有结构光模组、面激光传感器或三维视觉传感器等可以采集地面三维点云数据的传感器,统称为三维传感器。各种类型的三维传感器的实现结构和工作原理可参见前述实施例的描述,在此不再赘述。自主移动设备50利用三维传感器采集作业区域内的地面三维点云数据。
可选地,以三维传感器是结构光模组为例,对自主移动设备50利用三维传感器采集其作业区域内地面三维点云数据的过程进行说明。具体地,在自主移动设备50行进过程中,一方面控制结构光模组中的线激光发射器对外发射线激光,线激光可打到前方区域的地面上,在遇到地面后会被反射回来;另一方面控制结构光模组中的摄像头模组采集前方区域内的环境图像。在此期间,若线激光探测到前方区域内的地面,会在地面形成激光线段,该激光线段可被摄像头模组采集到,换句话说,摄像头模组采集到的环境图像中会包含由线激光发射器发射出去的线激光遇到地面后形成的激光线段。其中,一条激光线段包含多个像素点,每个像素点对应地面上的一个地面点数据,这里的地面点数据是三维数据,即包括地面点在x轴、y轴和z轴上的坐标。进而,大量环境图像中激光线段上的像素点可形成地面三维点云数据。其中,地面点数据使用的坐标系可以是世界坐标系,也可以是自主移动设备所在坐标系,对此不做限定。例如,若采用世界坐标系,则自主移动设备50可以根据结构光模组所在坐标系、自主移动设备所在坐标系以及世界坐标系之间的变换关系,将结构光模组采集到的环境图像中的像素点坐标转换到世界坐标系下,从而得到世界坐标系下的地面三维点云数据。
自主移动设备50利用三维传感器(例如结构光模组)采集到作业区域内的地面三维点云数据之后,可将地面三维点云数据上传至服务端设备51、第三方服务端设备52或者其他计算设备53;服务端设备51、第三方服务端设备52或者其他计算设备53接收自主移动设备50上传的地面三维点云数据,根据地面三维点云数据对自主移动设备50的作业区域进行分区。
具体地,服务端设备51、第三方服务端设备52或者其他计算设备53根据地面三维点云数据识别自主移动设备50的作业区域内的地面特征信息;然后根据地面特征信息对自主移动设备50的作业区域进行分区。在本申请实施例中,地面特征信息是指对作业区域进行分区具有辅助作用、且能够反应作业区域内地面特征的信息。简单来说,这些地面特征信息在一定程度上能够区分不同分区。
在一可选实施例中,如图5b所示,服务端设备51、第三方服务端设备52或者其他计算设备53在对作业区域进行分区之后,可以将对作业区域的分区结果返回给自主移动设备50;自主移动设备50接收服务端设备51、第三方服务端设备52或者其他计算设备53返回的分区结果并保存在本地。进而,基于本地保存的作业区域的分区结果,自主移动设备50可灵活、方便地基于分区执行作业任务。
例如,自主移动设备50在接收到作业指令后,可自主地按照分区执行作业任务。或者,服务端设备51、第三方服务端设备52或者其他计算设备53也可以将对作业区域的分区结果返回给与自主移动设备50绑定的终端设备,该终端设备上具有控制自主移动设备50的APP或客户端软件,用户通过APP或客户端软件可以查看对作业区域的分区结果,进而基于分区结果向自主移动设备50发送针对某个或某几个分区的作业指令,以指示自主移动设备50对相应分区执行作业任务。
无论是哪种作业方式,在本实施例中,借助于地面三维点云数据精度较高的优势,有利于更加准确地对作业区域进行分区,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,作业分区的范围可以更小、更精确,有利于提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
在本申请实施例中,地面三维点云数据是指利用三维传感器可以采集到的任何与作业区域内地面相关的三维点云数据,包括地面纹理、地面地形、地面边界、边界轮廓、地面上的障碍物等数据。鉴于地面三维点云数据包含的比较丰富,基于地面三维点云数据所能识别出的作业区域内的地面特征信息也会多种多样。在本申请实施例中,并不限定基于地面三维点云数据所能识别出的地面特征信息的实现形式,凡是对作业分区具有一定区分度的地面特征信息均适用于本申请实施例。其中,根据作业区域所属场景的不同,地面特征信息会有所不同。
例如,在一些应用场景中,在不同区域内采用不同的地面材质,例如有些区域的地面采用水泥砂浆,有些区域的地面采用大理石,有些区域的地面采用水磨石,有些区域的地面采用瓷砖,有些区域的地面采用木地板,有些区域的地面采用塑胶材料,有些区域的地面采用地毯等。地面材质不同,表示区域不同。基于此,可以将地面材质类别作为一种地面特征信息,但不限于此。
又例如,在一些应用场景中,会在不同分区之间设置一些具有分割作用的结构或部件,这些结构或部件会在相邻区域的边界处形成一些地面分界线。例如,在有些区域之间会设置门,例如推拉门、平开门、折叠门、卷帘门等,通过这些门将不同区域分割开,门内是一个区域,门外是另一个区域。这些门一般包括门体和设置在地面上与门体适配的导向结构;不同类型的门,导向结构会有所不同。若使用推拉门、折叠门,则需要在地面上设置与之适配的推拉条(导向结构的一种示例);若使用卷帘门,需要在地面上设置与之适配的卷帘门底梁(导向结构的一种示例);若使用平开门,需要在地面上设置于与之适配的门槛(导向结构的一种示例),等等。又例如,在有些区域之间会设置台阶,台阶下方是一个区域,台阶上方是另一区域,两个区域的高度有一定差别。这些地面上的导向结构或者台阶可作为地面上的分界线,属于地面特征,可将不同区域分开。鉴于此,可以将地面上的导向结构或台阶等地面分界线作为一种地面特征信息,但不限于此。
在另一些应用场景中,可能同时使用地面材质、门和台阶等对不同区域进行分割。在这些应用场景中,地面特征信息可以同时包括:地面材质类别和地面分界线,地面分界线由门在地面上的导向结构以及台阶等形成。
结合上述示例,本申请示例性实施例提供的另一种分区方法如图6a所示,包括以下步骤:
601、获取自主移动设备作业区域内的地面三维点云数据。
602、基于地面三维点云数据,识别作业区域内的地面材质类别和/或地面分界线。
603、基于地面材质类别和/或地面分界线,对作业区域进行分区。
在本实施例中,自主移动设备的作业区域包含多个子区域,不同子区域的地面特征不尽相同,或者是这些子区域的地面材质类别不同,或者是这些子区域之间具有地面分界线。基于此,服务端设备51、第三方服务端设备52或者其他计算设备53在获取自主移动设备50利用结构光模组采集到的地面三维点云数据之后,可基于地面三维点云数据分析作业区域内的地面材质类别和/或地面分界线等信息;之后,根据地面材质类别和/或地面分界线等信息,将自主移动设备的作业区域划分成不同的区域。
在一种可选实施例中,服务端设备51、第三方服务端设备52或者其他计算设备53基于地面三维点云数据识别作业区域内的地面材质类别;进而根据地面材质类别,对自主移动设备的作业区域进行分区。在该实施例中,地面材质类别相同的且相邻的区域可被划分为同一分区,地面材质类别不同且相邻的区域可被划分为不同的分区。
在又一种可选实施例中,服务端设备51、第三方服务端设备52或者其他计算设备53基于地面三维点云数据识别作业区域内的地面分界线;进而根据地面分界线,对自主移动设备的作业区域进行分区。在该实施例中,地面分界线两侧的区域可被划分为不同分区。
在又一种可选实施例中,服务端设备51、第三方服务端设备52或者其他计算设备53基于地面三维点云数据识别作业区域内的地面材质类别和地面分界线;进而根据地面材质类别和地面分界线,对自主移动设备的作业区域进行分区。在该实施例中,地面材质类别相同、相邻且不存在地面分界线的区域可被划分为同一分区,地面材质类别不同且相邻的区域或者存在地面分界线的相邻区域可被划分为不同的分区。
进一步地,鉴于不同地面材质的特性,根据需求不同,不同区域可能会采用不同地面材质,不同地面材质形成的地面纹理也会有所不同。以家庭环境为例,一般包括卧室、客厅、厨房、卫生间及阳台等几个区域,这些区域采用的地面材质有所不同。例如,卧室通常以木质地板为主,客厅、厨房、卫生间以及阳台等区域大多数地面为瓷砖。如图6b所示,为卧室内木质地板的地面纹理,图6c为客厅、阳台内瓷砖地面的纹理,图6d为卫生间、厨房内瓷砖地面的纹理。图6b-图6d所示不同地面材质的地面纹理有所不同。由此可见,地面纹理特征与地面材质类别之间具有一定对应关系。基于此,在步骤602中,识别地面材质类别的一种实施方式包括:根据地面三维点云数据,计算作业区域内的地面纹理特征;进而,根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别。进而,在步骤603中,可根据作业区域内的地面材质类别对作业区域进行分区。
在一可选实施例中,为了便于计算作业区域内的地面纹理特征,可以将地面三维点云数据划分为多个子集;每个子集对应作业区域内的部分地面区域,包含多个地面点数据。这些地面点数据是该子集对应地面区域内的地面点数据。这里的地面点数据是三维数据,包括每个地面点在x、y和z三个坐标轴上的位置坐标。这里的x、y和z三个坐标轴可以是世界坐标系下的坐标轴,也可以是自主移动设备所在坐标系下的坐标轴。进一步,可以根据多个子集中的地面点数据,计算出多个子集各自对应地面区域的纹理特征。
进一步,考虑到作业区域内的地面三维点云数据是自主移动设备利用三维传感器在一定时间段内对作业区域进行遍历采集到的。为了便于将地面三维点云数据划分为多个子集,可以根据地面三维点云数据的采集时间,将地面三维点云数据划分为多个子集,每个子集包含自主移动设备上三维传感器(例如结构光模组)在同一时段内采集到的多个地面点数据,进而根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征。例如,自主移动设备在行进作业过程中,将平均每20ms作为一个采集时间节点,将每20ms内采集的地面点数据作为一个子集;之后,对每个子集中的地面点数据进行识别和分析,得到每个子集对应地面区域内的纹理特征。
需要说明的是,除了按照采集时间,将地面三维点云数据划分为多个子集之外,也可以按照自主移动设备采集地面三维点云数据过程中所在的大致方位,将同一方位内的地面点数据划分为一个子集。本申请实施例并不限定将地面三维点云数据划分为多个子集的划分方式。需要说明的是,每个子集包含的地面点数据属于同一片区域。
在本申请实施例中,地面纹理特征是指作业区域内地面上的花纹或线条所形成的特征,是地面上呈现的线形纹路特征。其中,不同地面材质,其对应的地面平整度会有所不同,所形成的沟壑深度、宽度也不相同,在不同分区中使用时沟壑朝向也会有所不同。以图6b-6d所示三个地面纹理为例,瓷砖地面的平整度优于木质地板地面的平整度,木质地板地面与瓷砖地面的沟壑深度、宽度也不相同,另外,瓷砖地面上沟壑的朝向与木质地板地面上沟壑的朝向也有所不同。在本申请实施例中,并不限定地面纹理特征包含的内容,例如可以包括但不限于以下至少一种:地面平整度、地面上的沟壑深度、沟壑宽度以及沟壑朝向。对多个子集来说,计算其对应地面区域的纹理特征的过程均相同或相似。在下面实施例中,以多个子集中任一子集为例,对计算纹理特征的过程进行说明。为例便于描述和区分,将该子集称为第一子集。基于此,根据第一子集中的地面点数据,计算第一子集对应的地面区域的纹理特征,包括:根据第一子集中的地面点数据,计算第一子集对应的地面区域的地面平整度、沟壑深度、沟壑宽度以及沟壑朝向中的至少一种纹理特征。
继续以图6b-图6d所示三个地面纹理为例,图6b所示木地板纹理多出现在卧室;图6c所示是沟壑朝向与房间方向一致的瓷砖地面的纹理,常见于客厅、阳台等区域,瓷砖朝向与房间地面的长宽方向一致;图6d所示是沟壑朝向与房间方向有角度的瓷砖地面的纹理,常见于卫生间和厨房,瓷砖的朝向与房间地面的长宽方向存在角度。由此可见,根据地面纹理的地面平整度、沟壑深度、沟壑宽度以及沟壑朝向等信息,能够区分出作业区域内的不同分区。下面对几个地面纹理特征的计算过程进行示例性说明:
地面平整度:对于第一子集对应的地面区域的地面平整度,可以根据第一子集中地面点数据的方差计算得到。例如,可以直接利用第一子集中地面点数据的方差作为第一子集对应地面区域的地面平整度。方差越大,表示地面区域的平整度越差;方差越小,表示地面区域的平整度越好。又例如,也可以以第一子集中地面点数据的方差为基础,对方差进行各种数值计算,利用数值计算结果来反应第一子集对应地面区域的地面平整度。
在一可选实施例中,考虑到三维传感器(例如结构光模组)可能采集到其视野范围内的各种数据,例如若地面上有一些具有一定高度的障碍物,这些障碍物正好位于三维传感器(例如结构光模组)的视野范围内,则这些障碍物的信息也可能被三维传感器(例如结构光模组)采集到。这些障碍物信息对计算地面纹理特征没有任何意义,反而会给计算结果带来干扰,降低计算结果精度。基于此,在计算地面平整度之前,可以对第一子集中包含的地面点数据进行过滤,过滤掉明显不合理的地面点数据;例如可以过滤掉不在设定数值范围之内的地面点数据;之后,计算过滤后剩余的地面点数据的方差,并根据该方差确定第一子集对应地面区域的地面平整度。其中,数值范围可根据应用场景灵活设定。例如,可以设置数值范围是(-0.5cm,+0.5cm),则可以将高度在±0.5cm范围以外的地面点数据过滤掉,最后将剩下的地面点数据作为测量数据,计算剩余点云数据的方差,将结果作为地面平整度信息。
沟壑深度:对于第一子集对应的地面区域的沟壑深度,可以根据第一子集中地面点数据的坐标计算获得。假设,在世界坐标系下,x轴和y轴形成的平面在地面上,z轴垂直地面向上,则计算第一子集对应的地面区域的沟壑深度,包括:根据第一子集中地面点数据的x轴坐标和y轴坐标,确定第一子集对应地面区域内位于同一直线上的地面点数据;这里的“同一直线”可以是x轴或与x轴平行的直线,也可以是y轴或与y轴平行的直线;然后,根据位于同一直线上的地面点数据的z轴坐标,确定第一子集对应地面区域内是否存在沟壑以及在有沟壑存在时的沟壑深度。若位于同一直线上的地面点数据的z轴坐标小于0,这意味着该直线是一条沟壑;若位于同一直线上的地面点数据的z轴坐标为0,这意味着该直线不是沟壑,是平面;若位于同一直线上的地面点数据的z轴坐标大于0,这意味着该直线是地面上的凸起。在该实施例中,地面点数据的三轴坐标为世界坐标系下的坐标。
沟壑宽度:对于第一子集对应的地面区域的沟壑宽度,可以根据第一子集中地面点数据的坐标计算获得。假设,在世界坐标系下,x轴和y轴形成的平面在地面上,z轴垂直地面向上,则计算第一子集对应的地面区域的沟壑宽度,包括以下任一操作:以x轴为基准,计算相邻沟壑上地面点数据的x轴坐标之差,作为相邻沟壑在x轴方向上的宽度;以y轴为基准,计算相邻沟壑上地面点数据的y轴坐标之差,作为相邻沟壑在y轴方向上的宽度。其中,若第一子集对应地面区域中存在与y轴平行的沟壑,则可以以x轴为基准,计算与y轴平行且相邻的两条沟壑上地面点数据的x轴坐标之差,即为这两条沟壑之间的宽度。若第一子集对应的地面区域中存在与x轴平行的沟壑,则可以以y轴为基准,计算与x轴平行且相邻的两条沟壑上地面点数据的y轴坐标之差,即为这两条沟壑之间的宽度。
沟壑朝向:对于第一子集对应的地面区域的沟壑朝向,可以以任一坐标轴为基准轴,计算第一子集对应地面区域内每条沟壑与基准轴之间的夹角;根据夹角和基准轴的朝向,确定每条沟壑的朝向。
以x轴作为基准轴为例,由上面实施例中计算地面沟壑深度的方法可知每条沟壑上都有多个地面点数据,根据这些地面点数据的x轴坐标和y轴坐标,可计算出该条沟壑与x轴之间的夹角,根据该夹角结合x轴的朝向,即可得到该条沟壑的朝向。假设,经过计算得到一条沟壑与x轴的夹角为40°,则若x轴朝正东方向,y轴朝正北方向,那么可以判断出该条沟壑的朝向即为东偏北40°;若x轴朝向为东偏北40°,y轴朝向为北偏西40°,那么可以判断出该条沟壑的实际朝向为东偏北80°,或者说是北偏东10°。同样地,以y轴为基准轴和以z轴为基准轴计算地面沟壑朝向的方式,可以参考以x轴为基准轴的计算方式,不再做重复赘述。
无论采用何种方式,在得到多个子集各自对应地面区域的地面平整度、沟壑深度、沟壑宽度、沟壑朝向等地面纹理特征之后,可根据这些子集对应地面区域的纹理特征,确定作业区域内包含的地面材质类别。其中,若相邻两个子集对应的地面区域的纹理特征相同,很大程度上说明这两个子集对应的地面区域的地面材质可能相同;若相邻两个子集对应的地面区域的地面纹理特征不相同,很大程度上说明这两个子集对应的地面区域的地面材质可能不同。这里“相邻两个子集”是指这两个子集对应地面区域相邻或相衔接。
在一可选实施例中,可以直接将多个子集各自对应地面区域的纹理特征进行比对,从而得到作业区域内存在的地面材质类别。在另一可选实施例中,可以根据多个子集各自对应地面区域的纹理特征,对多个子集进行聚类,得到至少一个聚类结果;其中,纹理特征相同或相近的子集会被聚类在一起,这意味着,不同聚类结果对应的纹理特征不相同或不相近,即每个聚类结果表示一种地面材质类别。
需要说明的是,在本申请实施例中,只需识别出地面材质类别有几类以及这些地面材质类别对应的地面区域即可,无需确切的识别出每种类型的地面材质具体是什么材质。例如,可以识别出作业区域包含P1、P2和P3三种地面材质,P1地面材质出现在作业区域内的a区域,P2地面材质出现在作业区域内的b区域,P3地面材质出现在作业区域内的c区域,无需确定识别P1、P2和P3三种地面材质分别是木质地板、瓷砖还是塑胶。当然,能够识别出每种地面材质类别具体是什么材质的技术方案,也适用于本申请实施例。
例如,可以将地面纹理特征划分为下面两类:地面的平整度相对较低且沟壑的长宽比较大;地面平整度较高且沟壑的长宽比不大。这两类地面纹理特征对应不同的地面材质。进一步,地面平整度相对较低且沟壑的长宽比较大,可以初步判断该地面纹理特征对应的地面材质可能属于木质地板;地面平整度较高且沟壑的长宽比不大,可以初步判断该地面纹理特征对应的地面材质可能属于瓷砖。另外,同为瓷砖区域的地面,在不同分区内其沟壑朝向等纹理特征也会存在明显差异,因此还可以结合沟壑朝向等特征将瓷砖材质进一步区分为不同场景或用途下的瓷砖材质。其中,根据地面材质这种更为详细的环境信息对作业区域进行分区,可提高分区精度和准确度。
进一步可选地,在识别出地面材质类别之后,还可以将地面材质类别标记在作业区域对应的环境地图中的相应位置,为后续基于地面材质类别对作业区域进行分区提供条件。其中,自主移动设备上还可以包含LDS或视觉传感器等其它传感器,这些传感器也可以在自主移动设备行进过程中采集周围环境信息,根据这些传感器采集的环境信息可构建作业区域对应的环境地图。环境地图可以是预先构建的,也可以是在该次分区过程中实时构建的,对此不做限定。
在本申请实施例中,基于地面三维点云数据,除了可以识别作业区域内的地面材质类别之外,还可以识别作业区域内的地面分界线。地面分界线一般是地面上起伏形态较为明显的地形。以家庭环境为例,一般包括主卧、次卧、客厅、厨房、卫生间、阳台等区域,不同房间之间可以通过门或台阶等进行分割。如图7a所示,A房间和B房间之间可能存在门槛石、移门轨道或者具有高度差的台阶。A房间和B房间可以是家庭环境中任何相邻的两个区域,例如可以是客厅与厨房,卧室和客厅,卫生间和客厅,客厅和阳台等。这些门槛石、移门轨道或者具有高度差的台阶属于地面上起伏形态较为明显的地形,这些地形的特征也比较明显,一般会成为区域与区域之间的分界线。因此,一种识别地面分界线的实施方式包括:根据地面三维点云数据,计算作业区域内的地面地形特征;进而可根据地面地形特征,识别作业区域内的地面分界线。其中,地面地形特征与地面纹理特征不同,地面地形特征是指地面起伏形态所具有的独特征象和标志。例如,地面上较为明显的凸起、凹陷等属于地面地形特征。
在一些特殊场景中,地面上起伏形态较大的地形有可能是特定障碍物形成的,这些障碍物不具有分界线的作用。以家庭环境为例,在客厅中,放置一根木棍,该木棍可产生类似门槛石的地面地形特征,但是,木棍是孤立的,而门槛石通常与某个墙面相衔接。基于此,在本实施例中,将地面地形特征和作业区域的边界相结合,来识别作业区域内的地面分界线,可以提高对地面分界线的识别准确度。具体地,该识别过程包括:首先根据地面地形特征,识别出作业区域内具有分界线特征的候选区域;然后,判断候选区域与作业区域的边界是否相衔接;若候选区域与作业区域的边界相衔接,则确定该候选区域为地面分界线;反之,确定候选区域不属于地面分界线。其中,分界线特征可以预先提取并设置在方法执行主体内。例如,在家庭环境中,可以预先提取图7a所示三种分界线的特征,并预置到图5b所示服务端设备51、第三方服务端设备52以及其它计算设备53内。其中,作业区域中的边界可以根据自主移动设备上的其它传感器,例如LDS或视觉传感器采集到的环境信息识别到,例如墙、衣柜、橱柜等所在位置会形成家庭环境中的边界。
以家庭环境为例,如图7b所示,两条粗线条表示在房间A中识别到的两个具有分界线特征的候选区域s1和s2,四周的细线条表示房间A的边界,即墙面。其中,候选区域s1和s2都具有门槛石的特征。进一步,结合房间A的边界对这两个候选区域s1和s2进行识别,发现:候选区域s1是孤立的,未与房间A的任何边界相衔接,候选区域s2与房间A的边界相衔接,可确定候选区域s2可能是门槛石,候选区域s1可能是放置于房间A内的某个障碍物。
进一步可选地,在识别到作业区域内的地面分界线之后,可将识别到的地面分界线标记在作业区域对应的环境地图中对应候选区域的位置,为基于地面分界线进行分区提供条件。
在本申请各实施例中,在识别到作业区域内的地面材质类别和/或地面分界线之后,可根据地面材质类别和/或地面分界线对作业区域进行分区。在本实施例中,并不限定根据地面材质类别和/或地面分界线对作业区域进行分区的实施方式。
可选地,可以将对作业区域进行分区的操作,与作业区域对应的环境地图相关联。例如,可以获取作业区域对应的环境地图,其中,环境地图包含根据作业区域的边界划分出的多个初始分区;根据地面材质类别和/或地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区。
其中,环境地图可以是根据作业区域内的环境信息构建的,可以是在分区过程中实时构建,也可以是预先构建的。另外,构建环境地图使用的环境信息可以是自主移动设备上的LDS或视觉传感器采集的,也可以是采集地面三维点云数据的三维传感器(例如结构光模组)采集到的,也可以同时结合多种传感器采集到的环境信息构建作业区域对应的环境地图。在构建环境地图的过程中,可以得到作业区域的边界,并可以将该边界标记在环境地图中。
以家庭环境为例,如图8a所示的卧室,自主移动设备在清扫该卧室过程中,可利用其带有的LDS、视觉传感器和/或结构光模组采集卧室内的环境信息,并根据采集到的环境信息构建出该卧室对应的环境地图,并会标记出墙、床以及床头桌形成的边界,为简化图示,在图8a中未对这些边界进行标记。环境地图可由自主移动设备自行构建,也可以由服务端设备51、第三方服务端设备52以及其它计算设备53来构建,对此不做限定。
进一步,如图8a所示,在构建环境地图过程中,或者在构建环境地图之后,还可以按照传统分区方法对卧室进行分区,得到分区C1、C2和C3。其中,传统分区方法是一种按照卧室内的边界对卧室进行分区的方法。分区C1是由床一侧与相邻墙面形成的边界划分出来,分区C2是由床另一侧与相邻墙面形成的边界划分出来的,分区C3是床尾部与周围几个墙面形成的边界划分出来的。但是,该卧室是一个区域,在图8a中却被划分成了三个分区,由此可见环境地图中包含的初始分区可能是不准确的。
在本实施例中,在需要对该卧室分区时,自主移动设备会利用其结构光模组采集该卧室内的地面三维点云数据并上传给服务端设备51、第三方服务端设备52或其它计算设备53。服务端设备51、第三方服务端设备52或其它计算设备53可根据地面三维点云数据,识别该卧室内的地面材质类别和/或地面分界线;进而根据地面材质类别和/或地面分界线对环境地图中的初始分区进行修正,得到准确度较高的分区结果。在该实施例中,服务端设备51、第三方服务端设备52或其它计算设备53可识别到卧室内的地面材质类别为同一类别,且卧室内不不存在地面分界线,在卧室的推拉门处识别到推拉条这个分界线,据此,可以确定卧室是一个分区,卧室与推拉门之外的区域属于不同的分区。基于此,可以将分区C1、C2和C3进行合并,得到如图8b所示的分区结果,即卧室属于一个分区D1。
在一些应用场景中,可以单独根据地面材质类别,对多个初始分区进行修正,得到作业区域包含的目标分区。其中,根据地面材质类别,对多个初始分区进行修正主要是指根据地面材质类别对多个初始分区进行合并处理。
进一步地,根据地面材质类别对初始分区进行合并,得到作业区域包含的目标分区,具体包括:对任意相邻的两个初始分区,比较这两个初始分区的地面材质类别是否相同;若这两个初始分区的地面材质类别相同,而且这两个初始分区之间具有连通性,即不是被边界和/或地面分界线完全隔离的,则将这两个初始分区合并为一个分区;当对所有相邻初始分区都进行过合并处理之后,就可以得到作业区域包含的目标分区。如图8a和图8b所示,图8a中三个分区C1、C2和C3具有相同地面材质类别,且彼此之间具有连通性,因此被合并为一个分区D1。
在另一些应用场景中,可以单独根据地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区。其中,根据地面分界线,对多个初始分区进行修正主要是指根据地面分界线对多个初始分区进行拆分处理。
进一步地,基于地面分界线,对作业区域内的初始分区进行拆分包括:确定多个初始分区中包含地面分界线的待处理分区,再以待处理分区内包含的地面分界线为边界,将待处理分区拆分为至少两个分区,得到作业区域包含的目标分区。
如图8c所示,在按照传统方式对客厅和阳台分区时,由于客厅与阳台之间的边界(墙面)不是很明显,客厅和阳台会被划分为一个初始分区,即图8c中的分区E1。在本实施例中,可识别出客厅与阳台之间的地面分界线,即移门轨道;然后,根据移门轨道,将初始分区E1拆分为两个分区F1和F2,如图8d所示。
在又一些应用场景中,可以同时根据地面材质类别和地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区。其中,根据地面材质类别和地面分界线,对多个初始分区进行修正的一种实施方式包括:先根据地面材质类别对多个初始分区进行合并处理,得到合并后的分区;再根据地面分界线对合并后的分区进行拆分处理,得到作业区域包含的目标分区。根据地面材质类别和地面分界线,对多个初始分区进行修正的另一种实施方式包括:先根据地面分界线对多个初始分区进行拆分处理,得到拆分后的分区;再根据地面材质类别对拆分后的分区进行合并处理,得到作业区域包含的目标分区。关于拆分与合并操作的相关描述,可参见前述实施例,在此不再赘述。
在本申请实施例中,自主移动设备通过结构光模组采集地面三维点云数据,基于采集到的地面三维点云数据对作业区域进行分区,借助于线激光检测精度较高的优势,可以更加准确地对作业区域进行分区,分区结果精度更高,使得自主移动设备可以更加灵活、方便地基于分区执行作业任务,作业分区的范围可以更小、更精确,有利于提高执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
下面结合场景实施例1,以自主移动设备为家庭服务机器人为例,且以家庭服务机器人上安装有结构光模组为例,对本申请技术方案进行详细说明。
场景实施例1:
在实际生活场景中,家庭服务机器人主要工作在家庭环境中,如图9a所示,是实际生活中较为常见的户型图,家庭服务机器人的作业区域可能是图9a中所示的主卧、次卧、客厅、厨房、卫生间、阳台等区域。在图9a中,不同的区域之间通过门来连接,例如推拉门或者移门。通常情况下,推拉门下边安装门槛石,移门下面安装轨道,门槛石以及轨道将不同的区域明显的分隔开。通常情况下,不同区域的地面材质有所不同,例如,卧室主要以木质地板为主,客厅、厨房、卫生间及阳台多以大理石瓷砖为主。
为了满足家庭服务需求,有必要对家庭环境进行分区。基于分区,用户可以指定家庭服务机器人到指定区域进行作业,而无需对整个家庭环境都执行作业。例如,若家庭服务机器人是扫地机器人,则用户可以指示扫地机器人对厨房进行清扫,或者对客厅进行清扫。而且针对不同区域,扫地机器人可以采用不同的清扫模式,保证清洁质量和效率,可提高用户感受。
在本场景实施例中,可建立家庭环境对应的环境地图。例如,家庭服务机器人可以在首次在家庭环境中执行任务时,借助于LDS或视觉传感器采集家庭环境中的环境信息,并根据环境信息建立环境地图,而且还可以按照传统方式对该环境地图进行初步分区,初步分区结果如图9a所示,包括分区G1-G8,但这个分区结果并不准确。关于环境地图的构建以及初始分区仅为示例性说明,并不限于此。
在本场景实施例中,家庭服务机器人安装有结构光模组,通过结构光模组可以采集到作业区域的地面三维点云数据,将地面三维点云数据上传给家庭服务机器人对应的服务器。在图9a所示家庭环境中,卧室、客厅、厨房、卫生间、阳台等区域的地面材质存在差异,而且在卧室、客厅、厨房、卫生间、阳台等区域之间通过推拉门或移门进行分割,这些门在地面上的导向结构会在地面上形成分界线。基于此,服务器可以根据地面三维点云数据识别出地面材质类别和地面分界线,进一步结合地面材质类别和地面分界线对家庭环境进行辅助分区。例如,可以根据地面材质类别和地面分界线,对图9a所示环境地图中的初始分区进行修正。
具体地,服务器可根据地面三维点云数据识别出家庭环境中地面的平整度、沟壑深度、沟壑宽度、沟壑朝向、地面边界等地面纹理特征,根据这些地面纹理特征能够区分出拥有不同地面材质类别的区域范围。例如,可以识别到次卧和主卧具有相同地面材质,客厅、阳台、厨房和卫生间等具有相同地面材质。进一步,服务器可根据地面三维点云数据识别出家庭环境中的地面分界线,例如推拉门的门槛石、移门轨道等。
基于地面材质类别,可以对图9a所示初始分区进行合并处理。对于初始分区G7与初始分区G4之间被墙面和推拉门形成地面分界线完全隔离,故不需要进行合并处理。同理,可识别出其它属于完全隔离的区域,例如初始分区G8、G6、G7、G5之间相互完全隔离,所以不需要进行合并处理。对于初始分区G1-G3,彼此之间具有连通性,且地面材质类别相同,可将这三个初始分区合并为一个分区H1,如图9b所示。另外,对于初始分区G4和G5,也具有连通性,且地面材质也相同,可以将这两个初始分区合并为一个分区H2,如图9b所示。
进一步,还可以基于地面分界线,对图9a所示初始分区进行合并处理在图9a中,客厅和阳台属于同一分区G5。结合地面分界线,可以将客厅和阳台拆分为两个分区H2和H3,如图9b所示。经过修正后的分区结果如图9b所示,分区H1、H2、H3以及G6、G7、G8为最终的目标分区,该分区结果准确度更高。
需要说明的是,可根据实际情况,选择根据地面材质类别,或者根据地面分界线,或者同时根据地面材质类别和地面分界线对初始分区进行修正处理。关于具体修正的详细实现可参见前述实施例,在该场景实施例中不再赘述。
图10为本申请一示例性实施例提供的另一种分区方法的流程示意图。该分区方法由自主移动设备实施,如图10所示,该方法包括:
1001、采集作业区域内的地面三维点云数据。
1002、基于地面三维点云数据,识别作业区域内的地面特征信息。
1003、根据地面特征信息,对作业区域进行分区。
在本申请实施例中,自主移动设备上安装有结构光模组、面阵激光传感器或三维视觉传感器等三维传感器。自主移动设备利用三维传感器(例如结构光模组)可以采集作业区域内的地面三维点云数据。进一步地,自主移动设备基于采集的地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
在一可选实施例中,基于地面三维点云数据,识别作业区域内的地面特征信息,包括:基于地面三维点云数据,识别作业区域内的地面材质类别和/或地面分界线。相应地,根据地面特征信息,对作业区域进行分区,包括:基于地面材质类别和/或地面分界线,对作业区域进行分区。
可选地,基于地面三维点云数据,识别作业区域内的地面材质类别,包括:根据地面三维点云数据,计算作业区域内的地面纹理特征;根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别。
进一步,上述根据地面三维点云数据,计算作业区域内的地面纹理特征,包括:根据地面三维点云数据的采集时间,将地面三维点云数据划分为多个子集;每个子集包含三维传感器(例如结构光模组)在同一时段内采集到的多个地面点数据;根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征。
进一步可选地,根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征,包括:对第一子集,根据第一子集中的地面点数据,计算第一子集对应地面区域的地面平整度、沟壑深度、沟壑宽度以及沟壑朝向中的至少一种纹理特征;其中,第一子集是多个子集中任一子集。
进一步可选地,根据第一子集中的地面点数据,计算第一子集对应地面区域的地面平整度,包括:根据第一子集中地面点数据的方差,计算第一子集对应地面区域的地面平整度。
进一步可选地,根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑深度,包括:根据第一子集中地面点数据的x轴坐标和y轴坐标,确定第一子集对应地面区域内位于同一直线上的地面点数据;根据位于同一直线上的地面点数据的z轴坐标,确定第一子集对应地面区域内是否存在沟壑以及在有沟壑存在时的沟壑深度;其中,地面点数据的三轴坐标为世界坐标系下的坐标。
进一步可选地,根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑宽度,包括以下任一操作:
以x轴为基准,计算相邻沟壑上地面点数据的x轴坐标之差,作为相邻沟壑在x轴方向上的宽度;
以y轴为基准,计算相邻沟壑上地面点数据的y轴坐标之差,作为相邻沟壑在y轴方向上的宽度。
进一步可选地,根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑朝向,包括:以任一坐标轴为基准轴,计算第一子集对应地面区域内每条沟壑与基准轴之间的夹角;根据夹角和基准轴的朝向,确定每条沟壑的朝向。
在一可选实施例中,根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别,包括:根据多个子集各自对应地面区域的纹理特征,对多个子集进行聚类,得到至少一个聚类结果;其中,每个聚类结果表示一种地面材质类别。
在一可选实施例中,在识别作业区域内的地面材质类别之后,还包括:将地面材质类别标记在作业区域对应的环境地图中的相应位置;其中,不同地面材质类别对应的标记信息不同。
在一可选实施例中,基于地面三维点云数据,识别作业区域内的地面分界线,包括:根据地面三维点云数据,计算作业区域内的地面地形特征;根据地面地形特征,结合作业区域的边界,识别作业区域内的地面分界线。
进一步可选地,根据地面地形特征,结合作业区域的边界,识别作业区域内的地面分界线,包括:根据地面地形特征,识别出作业区域内具有分界线特征的候选区域;若候选区域与作业区域的边界相衔接,确定候选区域为地面分界线。
进一步可选地,在识别作业区域内的地面分界线之后,还包括:将地面分界线标记在作业区域对应的环境地图中对应候选区域的位置。
在一可选实施例中,基于地面材质类别和/或地面分界线,对作业区域进行分区,包括:获取作业区域对应的环境地图,环境地图包含根据作业区域的边界划分出的多个初始分区;根据地面材质类别和/或地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区。
可选地,根据地面材质类别,对多个初始分区进行修正,得到作业区域包含的目标分区,包括:基于地面材质类别,对多个初始分区进行合并,得到作业区域包含的目标分区。
进一步可选地,基于地面材质类别,对多个初始分区进行合并,得到作业区域包含的目标分区,包括:对相邻的两个初始分区,若两个初始分区的地面材质类别相同且具有连通性,将两个初始分区合并为一个分区,得到作业区域包含的目标分区。
可选地,根据地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区,包括:基于地面分界线,对多个初始分区进行拆分处理,得到作业区域包含的目标分区。
进一步可选地,基于地面分界线,对多个初始分区进行拆分处理,得到作业区域包含的目标分区,包括:确定多个初始分区中包含地面分界线的待处理分区;以待处理分区内包含的地面分界线为边界,将待处理分区拆分为至少两个分区,得到作业区域包含的目标分区。
可选地,根据地面材质类别和地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区,包括:
根据地面材质类别对多个初始分区进行合并处理,得到合并后的分区;根据地面分界线对合并后的分区进行拆分处理,得到作业区域包含的目标分区;
或者
根据地面分界线对多个初始分区进行拆分处理,得到拆分后的分区;根据地面材质类别对拆分后的分区进行合并处理,得到作业区域包含的目标分区。
关于本申请实施例中各步骤的详细实现,可参见上面实施例描述,在此不做赘述。
根据本申请实施例的分区方法,自主移动设备采集地面三维点云数据,据此识别地面的材质类别和地面边界线,通过合并及拆分的方式对作业区域进行合理分区,解决了自主移动设备误分区的问题,有利于更加准确地对作业区域进行分区,从而提高了自主移动设备作业基于分区执行作业任务时的灵活性、效率和/或质量,提高任务执行效果。
无论采用哪种分区方法得到分区结果,分区结果的精确和准确度更高。其中,包含分区结果的环境地图具有多种应用场景,例如可应用到定点清扫、定点监控、定点定位等。定点清扫是指基于环境地图包含的分区,用户可以选择对某个或某几个分区进行清扫,甚至可以设定清扫时间、清扫频率等。定点监控是指基于环境地图包含的分区,用户可以选择对某个或某个分区进行监控。定点定位是指基于环境地图包含的分区,用户可以将自主移动设备定位到某个特定分区内。下面以定点清扫为例,对基于环境地图的定点清扫过程进行描述。本实施例的定点清扫方法可由扫地机器人执行。
扫地机器人响应于定点清扫触发事件,可以确定定点清扫区域,定点清扫区域是至少一个分区中的一个分区;然后可以移动至该定点清扫区域,在该定点清扫区域中执行清扫任务。以家庭环境为例,定点清扫区域可以是客厅、厨房、卫生间等分区;扫地机器人可以针对性地对这些分区进行清扫,有利于提高清扫效率,避免扫地机器人对所有区域进行全面清扫,节约资源。
可选地,定点清扫触发事件可以是接收到用户发出的语音清扫指令的事件。
基于此,扫地机器人可以接收用户的语音清扫指令,该语音清扫指令包含需要定点清扫的分区的标识;然后,根据语音清扫指令中包含的需要定点清扫的分区的标识和工作区域对应的环境地图中各分区的标识,确定定点清扫区域的位置。例如,可以将语音清扫指令中包含的分区的标识与环境地图中各分区的标识进行匹配,将匹配中的分区及其位置分别作为定点清扫区域及其位置。然后,扫地机器人移动至定点清扫区域,并在定点清扫区域执行清扫任务。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤1001至步骤1003的执行主体可以为设备A;又比如,步骤1001和1002的执行主体可以为设备A,步骤1003的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如1001、1002等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图11为本申请示例性实施例提供的一种计算设备的结构示意图。如图11所示,该计算设备包括:一个或多个存储器111以及一个或多个处理器112。
一个或多个存储器111,用于存储计算机程序,并可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令,消息,图片,视频等。
一个或多个处理器112,与一个或多个存储器111耦合,用于执行一个或多个存储器111中存储的计算机程序,以用于:获取自主移动设备作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
其中,地面三维点云数据可由自主移动设备上的结构光模组、面阵激光传感器或三维视觉传感器等三维传感器采集到。对于结构光模组和面阵激光传感器的实现结构和工作原理可参见前述实施例的描述,在此不再赘述。
在一些可选实施例中,一个或多个处理器112在基于地面三维点云数据,识别作业区域内的地面特征信息时,具体用于:基于地面三维点云数据,识别作业区域内的地面材质类别和/或地面分界线;相应地,在根据地面特征信息,对作业区域进行分区时,具体用于:基于地面材质类别和/或地面分界线,对作业区域进行分区。
在一些可选实施例中,一个或多个处理器112在基于地面三维点云数据,识别作业区域内的地面材质类别时,具体用于:根据地面三维点云数据,计算作业区域内的地面纹理特征;根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别。
在一些可选实施例中,一个或多个处理器112在根据地面三维点云数据,计算作业区域内的地面纹理特征时,具体用于:根据地面三维点云数据的采集时间,将地面三维点云数据划分为多个子集;每个子集包含三维传感器(例如结构光模组)在同一时段内采集到的多个地面点数据;根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征。
在一些可选实施例中,一个或多个处理器112在根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征时,具体用于:对第一子集,根据第一子集中的地面点数据,计算第一子集对应地面区域的地面平整度、沟壑深度、沟壑宽度以及沟壑朝向中的至少一种纹理特征;其中,第一子集是多个子集中任一子集。
在一些可选实施例中,一个或多个处理器112在根据第一子集中的地面点数据,计算第一子集对应地面区域的地面平整度时,具体用于:根据第一子集中地面点数据的方差,计算第一子集对应地面区域的地面平整度。
在一些可选实施例中,一个或多个处理器112在根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑深度时,具体用于:根据第一子集中地面点数据的x轴坐标和y轴坐标,确定第一子集对应地面区域内位于同一直线上的地面点数据;根据位于同一直线上的地面点数据的z轴坐标,确定第一子集对应地面区域内是否存在沟壑以及在有沟壑存在时的沟壑深度;其中,地面点数据的三轴坐标为世界坐标系下的坐标。
在一些可选实施例中,一个或多个处理器112在根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑宽度时,具体可执行以下任一操作:以x轴为基准,计算相邻沟壑上地面点数据的x轴坐标之差,作为相邻沟壑在x轴方向上的宽度;以y轴为基准,计算相邻沟壑上地面点数据的y轴坐标之差,作为相邻沟壑在y轴方向上的宽度。
在一些可选实施例中,一个或多个处理器112在根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑朝向时,具体用于:以任一坐标轴为基准轴,计算第一子集对应地面区域内每条沟壑与所述基准轴之间的夹角;根据夹角和基准轴的朝向,确定每条沟壑的朝向。
在一些可选实施例中,一个或多个处理器112在根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别时,具体用于:根据多个子集各自对应地面区域的纹理特征,对多个子集进行聚类,得到至少一个聚类结果;其中,每个聚类结果表示一种地面材质类别。
在一些可选实施例中,一个或多个处理器112在识别作业区域内的地面材质类别之后,还用于:将地面材质类别标记在作业区域对应的环境地图中的相应位置;其中,不同地面材质类别对应的标记信息不同。
在一些可选实施例中,一个或多个处理器112在基于地面三维点云数据,识别作业区域内的地面分界线时,具体用于:根据地面三维点云数据,计算作业区域内的地面地形特征;根据地面地形特征,结合作业区域的边界,识别作业区域内的地面分界线。
在一些可选实施例中,一个或多个处理器112在根据地面地形特征,结合作业区域的边界,识别作业区域内的地面分界线时,具体用于:根据地面地形特征,识别出作业区域内具有分界线特征的候选区域;若候选区域与作业区域的边界相衔接,确定候选区域为所述地面分界线。
在一些可选实施例中,一个或多个处理器112在识别作业区域内的地面分界线之后,还用于:将地面分界线标记在作业区域对应的环境地图中对应候选区域的位置。
在一些可选实施例中,一个或多个处理器112在基于地面材质类别和/或地面分界线,对作业区域进行分区时,具体用于:获取作业区域对应的环境地图,环境地图包含根据作业区域的边界划分出的多个初始分区;根据地面材质类别和/或地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器112在根据地面材质类别,对多个初始分区进行修正,得到作业区域包含的目标分区时,具体用于:基于地面材质类别,对多个初始分区进行合并,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器112在基于地面材质类别,对多个初始分区进行合并,得到作业区域包含的目标分区时,具体用于:对相邻的两个初始分区,若两个初始分区的地面材质类别相同且具有连通域,将两个初始分区合并为一个分区,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器112在根据地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区时,具体用于:基于地面分界线,对多个初始分区进行拆分处理,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器112在基于地面分界线,对多个初始分区进行拆分处理,得到作业区域包含的目标分区时,具体用于:确定多个初始分区中包含地面分界线的待处理分区;以待处理分区内包含的地面分界线为边界,将待处理分区拆分为至少两个分区,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器112在根据地面材质类别和地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区时,具体用于:根据地面材质类别对多个初始分区进行合并处理,得到合并后的分区;根据地面分界线对合并后的分区进行拆分处理,得到作业区域包含的目标分区;或者根据地面分界线对多个初始分区进行拆分处理,得到拆分后的分区;根据地面材质类别对拆分后的分区进行合并处理,得到作业区域包含的目标分区。
进一步,如图11所示,该计算设备还包括:通信组件113、显示器114、电源组件115、音频组件116等其它组件。图11中仅示意性给出部分组件,并不意味着计算设备只包括图11所示组件。另外,图11中虚线框内的组件为可选组件,而非必选组件,具体可视计算设备的产品形态而定。本实施例的计算设备可以实现为台式电脑、笔记本电脑、智能手机或IOT设备等终端设备,也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的计算设备实现为台式电脑、笔记本电脑、智能手机等终端设备,可以包含图11中虚线框内的组件;若本实施例的计算设备实现为常规服务器、云服务器或服务器阵列等服务端设备,则可以不包含图11中虚线框内的组件。
本实施例提供的计算设备可以是自主移动设备提供商提供的设备,例如为自主移动设备提供服务的服务端设备;也可以是第三方提供的设备,例如第三方服务端设备。
相应地,本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行包括以下的动作:获取自主移动设备作业区域内的地面三维点云数据,地面三维点云数据由自主移动设备上的结构光模组采集;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区;其中,结构光模组包括线激光发射器和摄像头模组。
除上述动作之外,当计算机指令被一个或多个处理器执行时,还可以致使一个或多个处理器执行其他动作,其他动作可参见图5a所示方法中的详细描述,在此不再赘述。
图12为本申请示例性实施例提供的一种自主移动设备的结构示意图。如图12所示,该自主移动设备包括:设备本体120,设备本体120上设置有一个或多个存储器121、一个或多个处理器122以及三维传感器129;三维传感器129可以是结构光模组123、面阵激光传感器127或三维视觉传感器128。如图12所示,结构光模组123包括:摄像头模组1231和线激光发射器1232。在图12中,以线激光发射器1232分布在摄像头模组1231两侧为例进行图示,但并不限于此。关于结构光模组123的其它实现结构可参见前述实施例中的描述,在此不再赘述。
其中,设备本体120一定程度上体现了自主移动设备的外观形态。在本实施例中,并不限定自主移动设备的外观形态,例如可以是圆形、椭圆形、三角形、凸多边形等。
其中,一个或多个存储器121,用于存储计算机程序,并可被配置为存储其它各种数据以支持在自主移动设备上的操作。这些数据的示例包括用于在自主移动设备上操作的任何应用程序或方法的指令,自主移动设备所在环境/场景的地图数据,工作模式,工作参数等等。
一个或多个处理器122,可以看作是自主移动设备的控制***,可用于执行一个或多个存储器121中存储的计算机指令,以用于:利用三维传感器129采集作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
在一些可选实施例中,一个或多个处理器122在基于地面三维点云数据,识别作业区域内的地面特征信息时,具体用于:基于地面三维点云数据,识别作业区域内的地面材质类别和/或地面分界线;相应地,在根据地面特征信息,对作业区域进行分区时,具体用于:基于地面材质类别和/或地面分界线,对作业区域进行分区。
在一些可选实施例中,一个或多个处理器122在基于地面三维点云数据,识别作业区域内的地面材质类别时,具体用于:根据地面三维点云数据,计算作业区域内的地面纹理特征;根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别。
在一些可选实施例中,一个或多个处理器122在根据地面三维点云数据,计算作业区域内的地面纹理特征时,具体用于:根据地面三维点云数据的采集时间,将地面三维点云数据划分为多个子集;每个子集包含三维传感器129在同一时段内采集到的多个地面点数据;根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征。
在一些可选实施例中,一个或多个处理器122在根据多个子集中的地面点数据,计算多个子集各自对应地面区域的纹理特征时,具体用于:对第一子集,根据第一子集中的地面点数据,计算第一子集对应地面区域的地面平整度、沟壑深度、沟壑宽度以及沟壑朝向中的至少一种纹理特征;其中,第一子集是多个子集中任一子集。
在一些可选实施例中,一个或多个处理器122在根据第一子集中的地面点数据,计算第一子集对应地面区域的地面平整度时,具体用于:根据第一子集中地面点数据的方差,计算第一子集对应地面区域的地面平整度。
在一些可选实施例中,一个或多个处理器122在根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑深度时,具体用于:根据第一子集中地面点数据的x轴坐标和y轴坐标,确定第一子集对应地面区域内位于同一直线上的地面点数据;根据位于同一直线上的地面点数据的z轴坐标,确定第一子集对应地面区域内是否存在沟壑以及在有沟壑存在时的沟壑深度;其中,地面点数据的三轴坐标为世界坐标系下的坐标。
在一些可选实施例中,一个或多个处理器122在根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑宽度时,具体可执行以下任一操作:以x轴为基准,计算相邻沟壑上地面点数据的x轴坐标之差,作为相邻沟壑在x轴方向上的宽度;以y轴为基准,计算相邻沟壑上地面点数据的y轴坐标之差,作为相邻沟壑在y轴方向上的宽度。
在一些可选实施例中,一个或多个处理器122在根据第一子集中的地面点数据,计算第一子集对应地面区域的沟壑朝向时,具体用于:以任一坐标轴为基准轴,计算第一子集对应地面区域内每条沟壑与所述基准轴之间的夹角;根据夹角和基准轴的朝向,确定每条沟壑的朝向。
在一些可选实施例中,一个或多个处理器122在根据作业区域内的地面纹理特征,识别作业区域内的地面材质类别时,具体用于:根据多个子集各自对应地面区域的纹理特征,对多个子集进行聚类,得到至少一个聚类结果;其中,每个聚类结果表示一种地面材质类别。
在一些可选实施例中,一个或多个处理器122在识别作业区域内的地面材质类别之后,还用于:将地面材质类别标记在作业区域对应的环境地图中的相应位置;其中,不同地面材质类别对应的标记信息不同。
在一些可选实施例中,一个或多个处理器122在基于地面三维点云数据,识别作业区域内的地面分界线时,具体用于:根据地面三维点云数据,计算作业区域内的地面地形特征;根据地面地形特征,结合作业区域的边界,识别作业区域内的地面分界线。
在一些可选实施例中,一个或多个处理器122在根据地面地形特征,结合作业区域的边界,识别作业区域内的地面分界线时,具体用于:根据地面地形特征,识别出作业区域内具有分界线特征的候选区域;若候选区域与作业区域的边界相衔接,确定候选区域为所述地面分界线。
在一些可选实施例中,一个或多个处理器122在识别作业区域内的地面分界线之后,还用于:将地面分界线标记在作业区域对应的环境地图中对应候选区域的位置。
在一些可选实施例中,一个或多个处理器122在基于地面材质类别和/或地面分界线,对作业区域进行分区时,具体用于:获取作业区域对应的环境地图,环境地图包含根据作业区域的边界划分出的多个初始分区;根据地面材质类别和/或地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器122在根据地面材质类别,对多个初始分区进行修正,得到作业区域包含的目标分区时,具体用于:基于地面材质类别,对多个初始分区进行合并,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器122在基于地面材质类别,对多个初始分区进行合并,得到作业区域包含的目标分区时,具体用于:对相邻的两个初始分区,若两个初始分区的地面材质类别相同且具有连通域,将两个初始分区合并为一个分区,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器122在根据地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区时,具体用于:基于地面分界线,对多个初始分区进行拆分处理,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器122在基于地面分界线,对多个初始分区进行拆分处理,得到作业区域包含的目标分区时,具体用于:确定多个初始分区中包含地面分界线的待处理分区;以待处理分区内包含的地面分界线为边界,将待处理分区拆分为至少两个分区,得到作业区域包含的目标分区。
在一些可选实施例中,一个或多个处理器122在根据地面材质类别和地面分界线,对多个初始分区进行修正,得到作业区域包含的目标分区时,具体用于:根据地面材质类别对多个初始分区进行合并处理,得到合并后的分区;根据地面分界线对合并后的分区进行拆分处理,得到作业区域包含的目标分区;或者根据地面分界线对多个初始分区进行拆分处理,得到拆分后的分区;根据地面材质类别对拆分后的分区进行合并处理,得到作业区域包含的目标分区。
进一步,除了上述提到的各种组件,本实施例的自主移动设备还可以包括一些基本组件,例如通信组件124、电源组件125、驱动组件126等等。驱动组件125可以包括驱动轮、驱动电机、万向轮等。进一步可选地,自主移动设备还可以包括显示器和音频组件。
可选地,本实施例的自移动设备可以是机器人、净化器、无人驾驶车辆等。在一可选实施例中,本实施例的自主移动设备可实现为扫地机器人,则在实现为扫地机器人的情况下,自主移动设备还可以包括:撞板、视觉传感器或LDS传感器、下视传感器、清扫组件等。视觉传感器可以是摄像头、相机等。清扫组件可以包括清扫电机、清扫刷、起尘刷、吸尘风机等。不同自主移动设备所包含的这些基本组件以及基本组件的构成均会有所不同,本申请实施例仅是部分示例。
相应地,本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行包括以下的动作:利用结构光模组采集作业区域内的地面三维点云数据;基于地面三维点云数据,识别作业区域内的地面特征信息;根据地面特征信息,对作业区域进行分区。
除上述动作之外,当计算机指令被一个或多个处理器执行时,还可以致使一个或多个处理器执行其他动作,其他动作可参见图10所示方法中的详细描述,在此不再赘述。
上述图中存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
上述各实施例中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
上述各实施例中的显示器包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述各实施例中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述各实施例中的音频组件,可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (28)

1.一种分区方法,其特征在于,包括:
获取自主移动设备作业区域内的地面三维点云数据;
基于所述地面三维点云数据,识别所述作业区域内的地面特征信息;
根据所述地面特征信息,对所述作业区域进行分区。
2.根据权利要求1所述的方法,其特征在于,基于所述地面三维点云数据,识别所述作业区域内的地面特征信息,包括:
基于所述地面三维点云数据,识别所述作业区域内的地面材质类别和/或地面分界线;
相应地,根据所述地面特征信息,对所述作业区域进行分区,包括:基于所述地面材质类别和/或地面分界线,对所述作业区域进行分区。
3.根据权利要求2所述的方法,其特征在于,基于所述地面三维点云数据,识别所述作业区域内的地面材质类别,包括:
根据所述地面三维点云数据,计算所述作业区域内的地面纹理特征;
根据所述作业区域内的地面纹理特征,识别所述作业区域内的地面材质类别。
4.根据权利要求3所述的方法,其特征在于,根据所述地面三维点云数据,计算所述作业区域内的地面纹理特征,包括:
根据所述地面三维点云数据的采集时间,将所述地面三维点云数据划分为多个子集;每个子集包含在同一时段内采集到的多个地面点数据;
根据所述多个子集中的地面点数据,计算所述多个子集各自对应地面区域的纹理特征。
5.根据权利要求4所述的方法,其特征在于,根据所述多个子集中的地面点数据,计算所述多个子集各自对应地面区域的纹理特征,包括:
对第一子集,根据所述第一子集中的地面点数据,计算所述第一子集对应地面区域的地面平整度、沟壑深度、沟壑宽度以及沟壑朝向中的至少一种纹理特征;其中,第一子集是所述多个子集中任一子集。
6.根据权利要求5所述的方法,其特征在于,根据所述第一子集中的地面点数据,计算所述第一子集对应地面区域的地面平整度,包括:
根据所述第一子集中地面点数据的方差,计算所述第一子集对应地面区域的地面平整度。
7.根据权利要求5所述的方法,其特征在于,根据所述第一子集中的地面点数据,计算所述第一子集对应地面区域的沟壑深度,包括:
根据所述第一子集中地面点数据的x轴坐标和y轴坐标,确定所述第一子集对应地面区域内位于同一直线上的地面点数据;
根据位于同一直线上的地面点数据的z轴坐标,确定所述第一子集对应地面区域内是否存在沟壑以及在有沟壑存在时的沟壑深度;
其中,所述地面点数据的三轴坐标为世界坐标系下的坐标。
8.根据权利要求7所述的方法,其特征在于,根据所述第一子集中的地面点数据,计算所述第一子集对应地面区域的沟壑宽度,包括以下任一操作:
以x轴为基准,计算相邻沟壑上地面点数据的x轴坐标之差,作为相邻沟壑在x轴方向上的宽度;
以y轴为基准,计算相邻沟壑上地面点数据的y轴坐标之差,作为相邻沟壑在y轴方向上的宽度。
9.根据权利要求7所述的方法,其特征在于,根据所述第一子集中的地面点数据,计算所述第一子集对应地面区域的沟壑朝向,包括:
以任一坐标轴为基准轴,计算所述第一子集对应地面区域内每条沟壑与所述基准轴之间的夹角;
根据所述夹角和所述基准轴的朝向,确定每条沟壑的朝向。
10.根据权利要求4所述的方法,其特征在于,根据所述作业区域内的地面纹理特征,识别所述作业区域内的地面材质类别,包括:
根据所述多个子集各自对应地面区域的纹理特征,对所述多个子集进行聚类,得到至少一个聚类结果;其中,每个聚类结果表示一种地面材质类别。
11.根据权利要求2-10任一项所述的方法,其特征在于,在识别所述作业区域内的地面材质类别之后,还包括:
将所述地面材质类别标记在所述作业区域对应的环境地图中的相应位置;其中,不同地面材质类别对应的标记信息不同。
12.根据权利要求2-10任一项所述的方法,其特征在于,基于所述地面三维点云数据,识别所述作业区域内的地面分界线,包括:
根据所述地面三维点云数据,计算所述作业区域内的地面地形特征;
根据所述地面地形特征,结合所述作业区域的边界,识别所述作业区域内的地面分界线。
13.根据权利要求12所述的方法,其特征在于,根据所述地面地形特征,结合所述作业区域的边界,识别所述作业区域内的地面分界线,包括:
根据所述地面地形特征,识别出所述作业区域内具有分界线特征的候选区域;
若所述候选区域与所述作业区域的边界相衔接,确定所述候选区域为所述地面分界线。
14.根据权利要求13所述的方法,其特征在于,在识别所述作业区域内的地面分界线之后,还包括:
将所述地面分界线标记在所述作业区域对应的环境地图中对应所述候选区域的位置。
15.根据权利要求2-10任一项所述的方法,其特征在于,基于所述地面材质类别和/或地面分界线,对所述作业区域进行分区,包括:
获取所述作业区域对应的环境地图,所述环境地图包含根据所述作业区域的边界划分出的多个初始分区;
根据所述地面材质类别和/或地面分界线,对所述多个初始分区进行修正,得到所述作业区域包含的目标分区。
16.根据权利要求15所述的方法,其特征在于,根据所述地面材质类别,对所述多个初始分区进行修正,得到所述作业区域包含的目标分区,包括:
基于所述地面材质类别,对所述多个初始分区进行合并,得到所述作业区域包含的目标分区。
17.根据权利要求16所述的方法,其特征在于,基于所述地面材质类别,对所述多个初始分区进行合并,得到所述作业区域包含的目标分区,包括:
对相邻的两个初始分区,若所述两个初始分区的地面材质类别相同且具有连通性,将所述两个初始分区合并为一个分区,得到所述作业区域包含的目标分区。
18.根据权利要求15所述的方法,其特征在于,根据所述地面分界线,对所述多个初始分区进行修正,得到所述作业区域包含的目标分区,包括:
基于所述地面分界线,对所述多个初始分区进行拆分处理,得到所述作业区域包含的目标分区。
19.根据权利要求18所述的方法,其特征在于,基于所述地面分界线,对所述多个初始分区进行拆分处理,得到所述作业区域包含的目标分区,包括:
确定所述多个初始分区中包含所述地面分界线的待处理分区;
以所述待处理分区内包含的所述地面分界线为边界,将所述待处理分区拆分为至少两个分区,得到所述作业区域包含的目标分区。
20.根据权利要求15所述的方法,其特征在于,根据所述地面材质类别和地面分界线,对所述多个初始分区进行修正,得到所述作业区域包含的目标分区,包括:
根据所述地面材质类别对所述多个初始分区进行合并处理,得到合并后的分区;根据所述地面分界线对所述合并后的分区进行拆分处理,得到所述作业区域包含的目标分区;
或者
根据所述地面分界线对所述多个初始分区进行拆分处理,得到拆分后的分区;根据所述地面材质类别对所述拆分后的分区进行合并处理,得到所述作业区域包含的目标分区。
21.根据权利要求1-10任一项所述的方法,其特征在于,获取自主移动设备作业区域内的地面三维点云数据,包括:
接收所述自主移动设备上报的所述地面三维点云数据,所述地面三维点云数据由所述自主移动设备上的结构光模组采集;其中,所述结构光模组包括线激光发射器和摄像头模组。
22.一种分区方法,适用于自主移动设备,其特征在于,所述方法包括:
采集作业区域内的地面三维点云数据;
基于所述地面三维点云数据,识别所述作业区域内的地面特征信息;
根据所述地面特征信息,对所述作业区域进行分区。
23.根据权利要求22所述的方法,其特征在于,所述自主移动设备前侧安装有结构光模组,所述结构光模组包括线激光发射器和摄像头模组;
所述采集作业区域内的地面三维点云数据,包括:利用所述结构光模组采集所述作业区域内的地面三维点云数据。
24.一种计算设备,其特征在于,包括:一个或多个存储器以及一个或多个处理器;
所述一个或多个存储器,用于存储计算机程序;所述一个或多个处理器与所述一个或多个存储器耦合,用于执行所述计算机程序以用于:
获取自主移动设备作业区域内的地面三维点云数据;
基于所述地面三维点云数据,识别所述作业区域内的地面特征信息;
根据所述地面特征信息,对所述作业区域进行分区。
25.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现权利要求1-21任一项所述方法中的步骤。
26.一种自主移动设备,其特征在于,包括:设备本体,所述设备本体上设有一个或多个处理器以及一个或多个存储计算机程序的存储器;
所述一个或多个处理器与所述一个或多个存储器耦合,用于执行所述计算机程序以用于:
采集作业区域内的地面三维点云数据;
基于所述地面三维点云数据,识别所述作业区域内的地面特征信息;
根据所述地面特征信息,对所述作业区域进行分区。
27.根据权利要求26所述的设备,其特征在于,所述设备本体上还设有结构光模组,所述结构光模组包括线激光发射器和摄像头模组;所述一个或多个处理器具体用于:利用所述结构光模组采集作业区域内的地面三维点云数据。
28.根据权利要求27所述的设备,其特征在于,所述线激光发射器为至少两个,所述至少两个线激光发射器分布在所述摄像头模组两侧。
CN201911398734.9A 2019-12-30 2019-12-30 分区方法、设备及存储介质 Active CN111123278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911398734.9A CN111123278B (zh) 2019-12-30 2019-12-30 分区方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911398734.9A CN111123278B (zh) 2019-12-30 2019-12-30 分区方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111123278A true CN111123278A (zh) 2020-05-08
CN111123278B CN111123278B (zh) 2022-07-12

Family

ID=70505535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911398734.9A Active CN111123278B (zh) 2019-12-30 2019-12-30 分区方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111123278B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111528739A (zh) * 2020-05-09 2020-08-14 小狗电器互联网科技(北京)股份有限公司 清扫模式切换方法、***、电子设备、存储介质及扫地机
CN111973075A (zh) * 2020-08-21 2020-11-24 苏州三六零机器人科技有限公司 基于户型图的地面清扫方法、装置、扫地机和计算机介质
WO2021135392A1 (zh) * 2019-12-30 2021-07-08 科沃斯机器人股份有限公司 结构光模组及自主移动设备
CN113341752A (zh) * 2021-06-25 2021-09-03 杭州萤石软件有限公司 一种智能门锁与清洁机器人联动的方法、智能家居***
CN113475978A (zh) * 2021-06-23 2021-10-08 深圳乐动机器人有限公司 机器人的识别控制方法、装置、机器人及存储介质
CN116300974A (zh) * 2023-05-18 2023-06-23 科沃斯家用机器人有限公司 作业规划、分区、作业方法及自主移动设备、清洁机器人
WO2023155732A1 (zh) * 2022-02-21 2023-08-24 追觅创新科技(苏州)有限公司 区域信息的处理方法及装置、存储介质及电子装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950433A (zh) * 2010-08-31 2011-01-19 东南大学 利用激光三维扫描技术建立变电站真三维模型的方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN104359430A (zh) * 2014-10-14 2015-02-18 华南农业大学 一种基于激光测距的动态水田平整度检测装置及方法
WO2018119902A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种地面环境的检测方法和装置
CN108960060A (zh) * 2018-06-01 2018-12-07 东南大学 一种无人驾驶车辆路面纹理识别***及方法
CN109074490A (zh) * 2018-07-06 2018-12-21 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
CN109190573A (zh) * 2018-09-12 2019-01-11 百度在线网络技术(北京)有限公司 一种地面检测方法、装置、电子设备、车辆及存储介质
CN109934228A (zh) * 2019-03-18 2019-06-25 上海盎维信息技术有限公司 基于人工智能的3d点云处理方法及装置
CN110084116A (zh) * 2019-03-22 2019-08-02 深圳市速腾聚创科技有限公司 路面检测方法、装置、计算机设备和存储介质
CN110378246A (zh) * 2019-06-26 2019-10-25 深圳前海达闼云端智能科技有限公司 地面检测方法、装置、计算机可读存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950433A (zh) * 2010-08-31 2011-01-19 东南大学 利用激光三维扫描技术建立变电站真三维模型的方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN104359430A (zh) * 2014-10-14 2015-02-18 华南农业大学 一种基于激光测距的动态水田平整度检测装置及方法
WO2018119902A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种地面环境的检测方法和装置
CN108960060A (zh) * 2018-06-01 2018-12-07 东南大学 一种无人驾驶车辆路面纹理识别***及方法
CN109074490A (zh) * 2018-07-06 2018-12-21 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
CN109190573A (zh) * 2018-09-12 2019-01-11 百度在线网络技术(北京)有限公司 一种地面检测方法、装置、电子设备、车辆及存储介质
CN109934228A (zh) * 2019-03-18 2019-06-25 上海盎维信息技术有限公司 基于人工智能的3d点云处理方法及装置
CN110084116A (zh) * 2019-03-22 2019-08-02 深圳市速腾聚创科技有限公司 路面检测方法、装置、计算机设备和存储介质
CN110378246A (zh) * 2019-06-26 2019-10-25 深圳前海达闼云端智能科技有限公司 地面检测方法、装置、计算机可读存储介质及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135392A1 (zh) * 2019-12-30 2021-07-08 科沃斯机器人股份有限公司 结构光模组及自主移动设备
CN111528739A (zh) * 2020-05-09 2020-08-14 小狗电器互联网科技(北京)股份有限公司 清扫模式切换方法、***、电子设备、存储介质及扫地机
CN111973075A (zh) * 2020-08-21 2020-11-24 苏州三六零机器人科技有限公司 基于户型图的地面清扫方法、装置、扫地机和计算机介质
CN113475978A (zh) * 2021-06-23 2021-10-08 深圳乐动机器人有限公司 机器人的识别控制方法、装置、机器人及存储介质
CN113341752A (zh) * 2021-06-25 2021-09-03 杭州萤石软件有限公司 一种智能门锁与清洁机器人联动的方法、智能家居***
WO2023155732A1 (zh) * 2022-02-21 2023-08-24 追觅创新科技(苏州)有限公司 区域信息的处理方法及装置、存储介质及电子装置
CN116300974A (zh) * 2023-05-18 2023-06-23 科沃斯家用机器人有限公司 作业规划、分区、作业方法及自主移动设备、清洁机器人

Also Published As

Publication number Publication date
CN111123278B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111123278B (zh) 分区方法、设备及存储介质
CN109998421B (zh) 移动清洁机器人组合及持久性制图
CN111093019A (zh) 地形识别、行进与地图构建方法、设备及存储介质
CN111142526A (zh) 越障与作业方法、设备及存储介质
JP6772129B2 (ja) 移動ロボットにおける光学式走行距離センサの使用のためのシステム及び方法
CN109947109B (zh) 机器人工作区域地图构建方法、装置、机器人和介质
US10328573B2 (en) Robotic platform with teach-repeat mode
US11400595B2 (en) Robotic platform with area cleaning mode
US11647885B2 (en) Robot vacuum cleaner and cleaning route planning method thereof
EP3104194B1 (en) Robot positioning system
CN112867424B (zh) 导航、划分清洁区域方法及***、移动及清洁机器人
KR100735565B1 (ko) 구조광을 이용한 물체 검출 방법 및 이를 이용한 로봇
CN112739244A (zh) 移动机器人清洁***
CN110621449B (zh) 移动机器人
CN112828879B (zh) 一种任务管理方法、装置、智能机器人和介质
CN102960035A (zh) 扩展的指纹产生
JP6619967B2 (ja) 自律移動装置、自律移動システム及び環境地図評価方法
CN110960138A (zh) 结构光模组及自主移动设备
CN111083332B (zh) 结构光模组、自主移动设备以及光源区分方法
CN110974083A (zh) 结构光模组及自主移动设备
KR101786516B1 (ko) 이동 로봇 및 그 제어방법
TWI739255B (zh) 移動式機器人
US20230123512A1 (en) Robotic cleaning device with dynamic area coverage
CN112204345A (zh) 移动设备的室内定位方法、移动设备及控制***
CN116069033A (zh) 信息采集方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant