CN110928301B - 一种检测微小障碍的方法、装置及介质 - Google Patents

一种检测微小障碍的方法、装置及介质 Download PDF

Info

Publication number
CN110928301B
CN110928301B CN201911135772.5A CN201911135772A CN110928301B CN 110928301 B CN110928301 B CN 110928301B CN 201911135772 A CN201911135772 A CN 201911135772A CN 110928301 B CN110928301 B CN 110928301B
Authority
CN
China
Prior art keywords
point cloud
ground
measurement unit
inertial measurement
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911135772.5A
Other languages
English (en)
Other versions
CN110928301A (zh
Inventor
臧宇彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Priority to CN201911135772.5A priority Critical patent/CN110928301B/zh
Publication of CN110928301A publication Critical patent/CN110928301A/zh
Priority to US16/870,966 priority patent/US11810376B2/en
Priority to EP20179224.9A priority patent/EP3825903A1/en
Application granted granted Critical
Publication of CN110928301B publication Critical patent/CN110928301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本文公开了一种检测微小障碍的方法、装置及介质，此方法包括：获取扫地机器人所摄取的图像数据所对应的第一3D点云；从第一3D点云中提取出属于地面区域的第二3D点云；从第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；计算第三3D点云的地面投影点云；确定地面投影点云中的形态学联通区域，将面积小于预设值的形态学联通区域作为微小障碍所在的区域。本文通过有效识出地面、获得地面投影点云、以及通过图像处理的方式对点云进行处理，相比于直接对离散的三维点云进行处理的方式，提高算法的准确度和实时性。

Description

一种检测微小障碍的方法、装置及介质
技术领域
本文涉及机器人控制技术领域，尤其涉及一种检测微小障碍的方法、装置及介质。
背景技术
移动机器人避障领域是移动机器人在实际应用中的重要部分，移动机器人为了在环境中像人一样自主的移动，需要很好的障碍识别能力，避障方法一直在不断更新和发展，近来根据不同的传感器提出了相应的深度学习方法，目的就是提供更全面更鲁棒的障碍检测算法。
现有的技术方案主要是通过激光雷达或者RGBD摄像头来实现障碍检测，针对室内移动机器人，主要采用平面的激光雷达进行检测，该方案可以识别具有一定高度的障碍，但由于摄像头很难安装在机器人上很底部的位置，也很难保证完全处于水平状态，所以很难识别微小障碍和凹陷。微小障碍和凹陷也会对机器人的正常工作造成影响，例如：扫地机器人的轮子被很细的电线缠住，或扫地机器人在运行中将家里宠物粪便涂抹了地面上等情况。
发明内容
为克服相关技术中存在的问题，本文提供一种检测微小障碍的方法、装置及介质。
根据本文实施例的第一方面，提供一种检测微小障碍的方法，应用于扫地机器人，包括：
获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
从所述第一3D点云中提取出属于地面区域的第二3D点云；
从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算所述第三3D点云的地面投影点云；
确定所述地面投影点云中的形态学联通区域；
将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
在一种实施方式中，所述方法还包括：
获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
从所述第一3D点云中提取出属于地面区域的第二3D点云，包括：
在映射集合中查找与所述第一惯性测量单元数据最相近的第二惯性测量单元数据；
根据所述映射集合确定所述第二惯性测量单元数据所对应的平面信息；
根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
其中，映射集合中包括第二惯性测量单元数据与平面信息的映射关系，所述平面信息用于表示世界坐标系下的一平面。
在一种实施方式中，所述方法还包括：
获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
从所述第一3D点云中提取出属于地面区域的第二3D点云，包括：
将所述第一惯性测量单元数据输入第一模型，获得所述第一模型输出的平面信息；
根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
所述平面信息用于表示世界坐标系下的一平面。
在一种实施方式中，所述方法还包括:
使用训练数据集对学习模型进行训练，得到所述第一模型；
所述训练数据集中一一对应训练输入数据和训练输出数据分别是：所述扫地机器人在同一历史时刻的惯性测量单元数据和3D点云中地面数据对应的平面信息。
在一种实施方式中，所述方法还包括:
通过以下任一种方法对所述地面投影点云进行拟合处理：随机抽样一致算法、非线性优化算法。
在一种实施方式中，所述方法还包括:
通过形态学开运算以及形态学闭运算，对所述地面投影点云进行噪声消除处理。
根据本文实施例的第二方面，提供了一种检测微小障碍的装置，应用于扫地机器人，包括：
第一获取模块，用于获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
第一提取模块，用于从所述第一3D点云中提取出属于地面区域的第二3D点云；
第二提取模块，用于从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算模块，用于计算所述第三3D点云的地面投影点云；
第一确定模块，用于确定所述地面投影点云中的形态学联通区域；
第二确定模块，用于将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
在一种实施方式中，所述装置还包括：
第二获取模块，用于获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
所述第一提取模块包括：
查找模块，用于在映射集合中查找与所述第一惯性测量单元数据最相近的第二惯性测量单元数据；映射集合中包括第二惯性测量单元数据与平面信息的映射关系；
第三确定模块，用于根据所述映射集合确定所述第二惯性测量单元数据所对应的平面信息；
第三提取模块，用于根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云。
在一种实施方式中，所述装置还包括：
第二获取模块，用于获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
所述第一提取模块包括：
输入模块，用于将所述第一惯性测量单元数据输入第一模型，获得所述第一模型输出的平面信息；
第四提取模块，用于根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
所述平面信息用于表示世界坐标系下的一平面。
在一种实施方式中，所述装置还包括：
训练模块，用于使用训练数据集对学习模型进行训练，得到所述第一模型；
所述训练数据集中一一对应的训练输入数据和训练输出数据分别是：所述扫地机器人在同一历史时刻的惯性测量单元数据和3D点云中地面数据对应的平面信息。
在一种实施方式中，所述装置还包括：
拟合处理模块，用于通过以下任一种方法对所述地面投影点云进行拟合处理：随机抽样一致算法、非线性优化算法。
在一种实施方式中，所述装置还包括：
形态学处理模块，通过形态学开运算以及形态学闭运算，对所述地面投影点云进行噪声消除处理。
根据本文实施例的第三方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种检测微小障碍方法，所述方法包括：
获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
从所述第一3D点云中提取出属于地面区域的第二3D点云；
从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算所述第三3D点云的地面投影点云；
确定所述地面投影点云中的形态学联通区域；
将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
本文的实施例提供的技术方案可以包括以下有益效果：本方法中利用扫地机器人所摄取的图像数据所对应的第一3D点云，从第一3D点云中提取于属于地面区域的部分作为感兴趣的目标区间，利用点云中携带有高度信息的特点从感兴趣的目标区间中进一步提取常见障碍的存在区间，对此区间的地面投影信息进行形态学分析，从各个疑似障碍区域中选择出需要检测的微小障碍区间。本方法可以有效识别地面上的微小障碍。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本文的实施例，并与说明书一起用于解释本文的原理。
图1是根据一示例性实施例示出的一种检测微小障碍的方法的流程图；
图2是根据一示例性实施例示出的图1的步骤S14的地面投影点云的示意图；
图3是根据一示例性实施例示出的一种检测微小障碍的方法的流程图；
图4是根据一示例性实施例示出的一种检测微小障碍的方法的流程图；
图5是根据一示例性实施例示出的一种检测微小障碍的方法的流程图；
图6是根据一示例性实施例示出的一种检测微小障碍的方法的流程图；
图7是根据一示例性实施例示出的一种检测微小障碍的装置的结构图；
图8是根据一示例性实施例示出的一种检测微小障碍的装置的结构图；
图9是根据一示例性实施例示出的一种检测微小障碍的装置的结构图；
图10是根据一示例性实施例示出的一种检测微小障碍的装置的结构图；
图11是根据一示例性实施例示出的一种检测微小障碍的装置的结构图；
图12是根据一示例性实施例示出的一种检测微小障碍的装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本文相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本文的一些方面相一致的装置和方法的例子。
本公开实施例中提供一种检测微小障碍的方法。参照图1，图1是根据一示例性实施例示出的一种检测微小障碍的方法的流程图。此方法应用于扫地机器人，如图1所示，此方法包括：
步骤S11，获取扫地机器人所摄取的图像数据所对应的第一3D点云。
步骤S12，从第一3D点云中提取出属于地面区域的第二3D点云。
步骤S13，从第二3D点云中提取出高度值位于设定高度范围内的第三3D点云。
步骤S14，计算第三3D点云的地面投影点云。
步骤S15，确定地面投影点云中的形态学联通区域，将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
其中，步骤S11中第一3D点云中的每个点具有三维信息，此三维信息用于表示出每个点的空间位置。第一3D点云是通过扫地机器人所摄取的图像数据根据坐标变换计算得到的。因为扫地机器人上的摄像装置所安装的位置不能过于贴近地面，所以摄像装置所摄取的图像中除了地面部分的图像还包括非地面部分的图像(例如墙体、家具等)。
步骤S12中，第二3D点云是第一3D点云中位于地面区域的部分，可以通过不同方式的地面区域识别算法从第一3D点云中识别出第二3D点云。
步骤S13中的设定高度范围是一个包括正数区间和负数区间的范围时(例如大于-1厘米并且小于1厘米)，本方法可以同时检测地面上的凸起障碍和凹陷障碍。设定高度范围是一个大于0的范围时(例如大于0并且小于1厘米)，本方法可以检测凸起障碍。设定高度范围是小于0的范围时(例如大于-1厘米并且小于0)，本方法可以检测凹陷障碍。
步骤S14中的计算第三3D点云的地面投影点云时，先确定第三3D点云中的地面平面，将第三3D点云投影到此地面平面上，获得二维的地面投影点云。参照图2，图2是一个地面投影点云的示意图，图2中灰度值最大的连续部分是位于地面上的凸起障碍所对应的地面投影点云的部分。
本方法中利用扫地机器人所摄取的图像数据所对应的第一3D点云，从第一3D点云中提取于属于地面区域的部分作为感兴趣的目标区间，利用点云中携带有高度信息的特点从感兴趣的目标区间中进一步提取常见障碍的存在区间，对此区间的地面投影信息进行形态学分析，从各个疑似障碍区域中选择出需要检测的微小障碍区间。本方法可以有效识别地面上的微小障碍。
本公开实施例中还提供一种检测微小障碍的方法。在此方法中，如图1所示的S11中获取3D点云数据的方法是以下方式中的一种：
方式一，通过扫地机器人上设置的深度摄像机摄取深度图，根据深度图进行坐标转换后获得第一3D点云。
方式二，通过扫地机器人上设置的RGBD摄像机摄取红绿蓝深度图，从红绿蓝深度图中提取出深度图，根据深度图进行坐标转换后获得第一3D点云。
方式三，通过无线通信远程接收一扫地机器人的第一3D点云。
其中，方式一和方式二中深度图(depth image)也叫距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。深度图中每一个像素点代表的是在深度感应器的视野中该特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离。
根据深度图进行坐标转换后获得第一3D点云数据的过程是依据摄像机标定原理实现的，摄像机标定原理的形式化表示如下：
Figure BDA0002279556530000081
其中u、v是图像坐标系下的任意坐标点。u0、v0分别为图像的中心坐标。xw、yw、zw表示世界坐标系下的三维坐标点。zc表示相机坐标的z轴值，即目标到相机的距离。R、T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵。
由于世界坐标原点和相机原点是重合的，即没有旋转和平移，所以:
Figure BDA0002279556530000082
相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc＝zw，于是公式可以进一步简化为：
Figure BDA0002279556530000083
从以上的变换矩阵公式，可以计算得到图像点[u,v]T到世界坐标点[xw,yw,zw]T的变换公式：
Figure BDA0002279556530000084
安装在扫地机器人上的摄像头所摄取的画面中一般包括地面区域和非地面区域。为了识别出微小障碍，需要先较为精准获得地面区域。扫地机器人在移动中由于地面不平或启动停止的不平滑会导致小的抖动或颠簸，会导致地面区域的识别误差较大，影响后续微小障碍的识别。
为了解决扫地机器人在行驶中的抖动或颠簸所导致的地面区域的识别误差较大的问题，本公开实施例中还提供一种检测微小障碍的方法。参考图3，图3根据一示例性实施例示出了一种检测微小障碍的方法。如图3所示，图1所示的方法还包括：
步骤S31，获取扫地机器人的传感器采集的第一惯性测量单元数据，此惯性测量单元数据包括：角速度和/或加速度。
图3中示出的步骤S31位于步骤S11和步骤S12之间，但步骤S31的执行位置不局限于图3所示的方式，在另一实施例中，步骤S31还可以位于步骤S11之前。
如图3所示，图1示出的步骤S12包括：
步骤S121，在映射集合中查找与第一惯性测量单元数据最相近的第二惯性测量单元数据。
步骤S122，根据映射集合确定第二惯性测量单元数据所对应的平面信息。
步骤S123,根据平面信息从第一3D点云中提取出属于地面区域的第二3D点云。
其中，平面信息用于表示世界坐标系下的一平面。例如在世界坐标(x,y,z)下ax+by+cz+d＝0可以唯一确定一平面，此平面信息可以是a、b、c、d的具体值的集合。
映射集合中包括第二惯性测量单元数据与平面信息的映射关系。映射集合是根据扫地机器人在运行过程中历史的第二惯性测量单元数据与相应平面信息所构建出的。映射集合中映射关系的数量越多，第二惯性测量单元数据的精度越高，使用此映射集合识别出的地面区域越精准。
惯性测量单元数据是具有预设时长的连续的数据，在查找与第一惯性测量单元数据最相近的第二惯性测量单元数据时，采用k-最近邻(k-Nearest Neighbor)算法进行查找。
为了解决扫地机器人在行驶中的抖动或颠簸所导致的地面区域的识别误差较大的问题，本公开实施例中还提供一种检测微小障碍的方法。参考图4，图4根据一示例性实施例示出了一种检测微小障碍的方法。如图4所示，图1所示的方法还包括：
步骤S31，获取扫地机器人的传感器采集的第一惯性测量单元数据。
图4中示出的步骤S31位于步骤S11和步骤S12之间，但步骤S31的执行位置不局限于图4所示的方式，在另一实施例中，步骤S31还可以位于步骤S11之前。
如图4所示，图1示出的步骤S12包括：
步骤S121’,将第一惯性测量单元数据输入第一模型，获得第一模型输出的平面信息。
步骤S122’，根据平面信息从第一3D点云中提取出属于地面区域的第二3D点云。
第一模型是预设的根据惯性测量单元数据识别平面信息的模型。
第一模型还可以是可持续学***面信息。例如：此第一模型是多层的神经网络，包括一个输入层、一个或多个隐含层、一个输出层。每个隐含层中神经元的数量根据惯性测量单元数据的维度、训练精度等信息进行调整。
在此实施例中通过使用能够自学习的学习模型，可以在扫地机器人运行时出现抖动和颠簸的时候仍然较准确的识别出地面区域，并且通过使用扫地机器人在不同场景下的历史数据不断增加训练样本，可以持续提高学习模型的准确性、稳定性和鲁棒性。
本公开实施例中还提供一种检测微小障碍的方法。参考图5，图5根据一示例性实施例示出了一种检测微小障碍的方法。如图5所示，在图1所示方法的步骤S14和步骤S15之间还包括：步骤S51，对地面投影点云进行更新，具体包括：对地面投影点云进行地面拟合处理，以去除地面以外的噪声数据。
进行地面拟合处理时可采用以下方式中的一种：随机抽样一致算法(randomsample consensus,RANSAC)、非线性优化算法。
本公开实施例中还提供一种检测微小障碍的方法。参考图6，图6根据一示例性实施例示出了一种检测微小障碍的方法。如图6所示，图1所示方法的步骤S15和步骤S16之间还包括：步骤S61，通过形态学开运算以及形态学闭运算，对地面投影点云进行噪声消除处理，从而去除面积较大程度上小于微小障碍的面积范围的联通区域(可以认为是噪声)，提高微小障碍的识别准确率，以及提高处理效率。
本公开实施例中还提供一种检测微小障碍的装置。参照图7，图7是根据一示例性实施例示出的一种检测微小障碍的装置的结构图。此装置应用于扫地机器人，如图7所示，此装置包括：
第一获取模块，用于获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
第一提取模块，用于从所述第一3D点云中提取出属于地面区域的第二3D点云；
第二提取模块，用于从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算模块，用于计算所述第三3D点云的地面投影点云；
第一确定模块，用于确定所述地面投影点云中的形态学联通区域；
第二确定模块，用于将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
本公开实施例中还提供一种检测微小障碍的装置。参照图8，图8是根据一示例性实施例示出的一种检测微小障碍的装置的结构图。此装置在图7的基础上还包括：
第二获取模块，用于获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
所述第一提取模块包括：
查找模块，用于在映射集合中查找与所述第一惯性测量单元数据最相近的第二惯性测量单元数据；映射集合中包括第二惯性测量单元数据与平面信息的映射关系；
第三确定模块，用于根据所述映射集合确定所述第二惯性测量单元数据所对应的平面信息；
第三提取模块，用于根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云。
本公开实施例中还提供一种检测微小障碍的装置。参照图9，图9是根据一示例性实施例示出的一种检测微小障碍的装置的结构图。此装置在图7的基础上还包括：
第二获取模块，用于获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
所述第一提取模块包括：
输入模块，用于将所述第一惯性测量单元数据输入第一模型，获得所述第一模型输出的平面信息；
第四提取模块，用于根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
所述平面信息用于表示世界坐标系下的一平面。
本公开实施例中还提供一种检测微小障碍的装置。参照图10，图10是根据一示例性实施例示出的一种检测微小障碍的装置的结构图,此装置在图9的基础上还包括：训练模块，用于使用训练数据集对学***面信息。
本公开实施例中还提供一种检测微小障碍的装置。参照图11，图11是根据一示例性实施例示出的一种检测微小障碍的装置的结构图。此装置在图7的基础上还包括：拟合处理模块，用于通过以下任一种方法对所述地面投影点云进行拟合处理：随机抽样一致算法、非线性优化算法。
本公开实施例中还提供一种检测微小障碍的装置。参照图12，图12是根据一示例性实施例示出的一种检测微小障碍的装置的结构图。此装置在图7的基础上还包括：形态学处理模块，用于通过形态学开运算以及形态学闭运算，对所述地面投影点云进行噪声消除处理。
本公开实施例中还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种检测微小障碍方法，此方法包括：
获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
从所述第一3D点云中提取出属于地面区域的第二3D点云；
从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算所述第三3D点云的地面投影点云；
确定所述地面投影点云中的形态学联通区域；
将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本文的其它实施方案。本申请旨在涵盖本文的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本文的一般性原理并包括本文未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本文的真正范围和精神由下面的权利要求指出。
应当理解的是，本文并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本文的范围仅由所附的权利要求来限制。

Claims (13)

1.一种检测微小障碍的方法，应用于扫地机器人，其特征在于，包括：
获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
从所述第一3D点云中提取出属于地面区域的第二3D点云；
从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算所述第三3D点云的地面投影点云；
确定所述地面投影点云中的形态学联通区域；
将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
从所述第一3D点云中提取出属于地面区域的第二3D点云，包括：
在映射集合中查找与所述第一惯性测量单元数据最相近的第二惯性测量单元数据；
根据所述映射集合确定所述第二惯性测量单元数据所对应的平面信息；
根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
其中，映射集合中包括第二惯性测量单元数据与平面信息的映射关系，所述平面信息用于表示世界坐标系下的一平面。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
从所述第一3D点云中提取出属于地面区域的第二3D点云，包括：
将所述第一惯性测量单元数据输入第一模型，获得所述第一模型输出的平面信息；
根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
所述平面信息用于表示世界坐标系下的一平面。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
使用训练数据集对学习模型进行训练，得到所述第一模型；
所述训练数据集中一一对应训练输入数据和训练输出数据分别是：所述扫地机器人在同一历史时刻的惯性测量单元数据和3D点云中地面数据对应的平面信息。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过以下任一种方法对所述地面投影点云进行拟合处理：随机抽样一致算法、非线性优化算法。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过形态学开运算以及形态学闭运算，对所述地面投影点云进行噪声消除处理。
7.一种检测微小障碍的装置，应用于扫地机器人，其特征在于，包括：
第一获取模块，用于获取所述扫地机器人所摄取的图像数据所对应的第一3D点云；
第一提取模块，用于从所述第一3D点云中提取出属于地面区域的第二3D点云；
第二提取模块，用于从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算模块，用于计算所述第三3D点云的地面投影点云；
第一确定模块，用于确定所述地面投影点云中的形态学联通区域；
第二确定模块，用于将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
所述第一提取模块包括：
查找模块，用于在映射集合中查找与所述第一惯性测量单元数据最相近的第二惯性测量单元数据；映射集合中包括第二惯性测量单元数据与平面信息的映射关系；
第三确定模块，用于根据所述映射集合确定所述第二惯性测量单元数据所对应的平面信息；
第三提取模块，用于根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云。
9.如权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取所述扫地机器人的传感器采集的第一惯性测量单元数据；
所述第一提取模块包括：
输入模块，用于将所述第一惯性测量单元数据输入第一模型，获得所述第一模型输出的平面信息；
第四提取模块，用于根据所述平面信息从所述第一3D点云中提取出属于地面区域的第二3D点云；
所述平面信息用于表示世界坐标系下的一平面。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
训练模块，用于使用训练数据集对学习模型进行训练，得到所述第一模型；
所述训练数据集中一一对应的训练输入数据和训练输出数据分别是：所述扫地机器人在同一历史时刻的惯性测量单元数据和3D点云中地面数据对应的平面信息。
11.如权利要求7所述的装置，其特征在于，所述装置还包括：
拟合处理模块，用于通过以下任一种方法对所述地面投影点云进行拟合处理：随机抽样一致算法、非线性优化算法。
12.如权利要求7所述的装置，其特征在于，所述装置还包括：
形态学处理模块，通过形态学开运算以及形态学闭运算，对所述地面投影点云进行噪声消除处理。
13.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种检测微小障碍方法，所述方法包括：
获取扫地机器人所摄取的图像数据所对应的第一3D点云；
从所述第一3D点云中提取出属于地面区域的第二3D点云；
从所述第二3D点云中提取出高度值位于设定高度范围内的第三3D点云；
计算所述第三3D点云的地面投影点云；
确定所述地面投影点云中的形态学联通区域；
将面积小于预设值的形态学联通区域作为微小障碍所在的区域。
CN201911135772.5A 2019-11-19 2019-11-19 一种检测微小障碍的方法、装置及介质 Active CN110928301B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911135772.5A CN110928301B (zh) 2019-11-19 2019-11-19 一种检测微小障碍的方法、装置及介质
US16/870,966 US11810376B2 (en) 2019-11-19 2020-05-09 Method, apparatus and storage medium for detecting small obstacles
EP20179224.9A EP3825903A1 (en) 2019-11-19 2020-06-10 Method, apparatus and storage medium for detecting small obstacles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911135772.5A CN110928301B (zh) 2019-11-19 2019-11-19 一种检测微小障碍的方法、装置及介质

Publications (2)

Publication Number Publication Date
CN110928301A CN110928301A (zh) 2020-03-27
CN110928301B true CN110928301B (zh) 2023-06-30

Family

ID=69850317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911135772.5A Active CN110928301B (zh) 2019-11-19 2019-11-19 一种检测微小障碍的方法、装置及介质

Country Status (3)

Country Link
US (1) US11810376B2 (zh)
EP (1) EP3825903A1 (zh)
CN (1) CN110928301B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538034B (zh) * 2020-04-22 2021-05-28 追创科技(苏州)有限公司 障碍物识别方法、装置及存储介质
CN111539361B (zh) * 2020-04-28 2023-09-05 北京小马慧行科技有限公司 噪点的识别方法、装置、存储介质、处理器和运载工具
CN113469968B (zh) * 2021-06-29 2022-11-04 湖北中烟工业有限责任公司 一种卷烟包装盒盒缝高度差检测方法、装置及电子设备
CN113487669A (zh) * 2021-07-07 2021-10-08 广东博智林机器人有限公司 作业轨迹确定方法、装置、计算机设备和存储介质
CN113884104B (zh) * 2021-09-27 2024-02-02 苏州挚途科技有限公司 多传感器联合标定方法、装置及电子设备
CN114035584B (zh) * 2021-11-18 2024-03-29 上海擎朗智能科技有限公司 机器人检测障碍物的方法、机器人以及机器人***
CN114137990A (zh) * 2021-12-02 2022-03-04 云鲸智能(深圳)有限公司 一种起伏校正方法、装置、机器人及存储介质
CN114663526A (zh) * 2022-03-17 2022-06-24 深圳市优必选科技股份有限公司 障碍物检测方法、装置、机器人及计算机可读存储介质
CN114723830B (zh) * 2022-03-21 2023-04-18 深圳市正浩创新科技股份有限公司 障碍物的识别方法、设备及存储介质
WO2024047781A1 (en) * 2022-08-31 2024-03-07 Nec Corporation Obstacle detecting apparatus, obstacle detecting method, and non-transitory computer-readable storage medium
WO2024065685A1 (zh) * 2022-09-30 2024-04-04 深圳市速腾聚创科技有限公司 一种处理点云的方法和雷达
CN115880547B (zh) * 2023-03-02 2023-11-21 宁波微科光电股份有限公司 基于图像点云数据的异物检测方法、装置及其存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
KR20160029301A (ko) * 2014-09-05 2016-03-15 현대모비스 주식회사 장애물 검출 시스템 및 방법
CN106204547A (zh) * 2016-06-29 2016-12-07 山东科技大学 从车载激光扫描点云中自动提取杆状地物空间位置的方法
CN106645205A (zh) * 2017-02-24 2017-05-10 武汉大学 一种无人机桥梁底面裂纹检测方法及***
CN107169986A (zh) * 2017-05-23 2017-09-15 北京理工大学 一种障碍物检测方法及***
CN108269281A (zh) * 2016-12-30 2018-07-10 无锡顶视科技有限公司 基于双目视觉的避障技术方法
CN108986019A (zh) * 2018-07-13 2018-12-11 北京小米智能科技有限公司 肤色调整方法及装置、电子设备、机器可读存储介质
CN109188448A (zh) * 2018-09-07 2019-01-11 百度在线网络技术（北京）有限公司 点云非地面点过滤方法、装置及存储介质
CN110082783A (zh) * 2019-05-10 2019-08-02 北京理工大学 一种悬崖检测的方法及装置
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110286387A (zh) * 2019-06-25 2019-09-27 深兰科技（上海）有限公司 应用于自动驾驶***的障碍物检测方法、装置及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103386975B (zh) * 2013-08-02 2015-11-25 重庆市科学技术研究院 一种基于机器视觉的车辆避障方法及***
US20200409382A1 (en) * 2014-11-10 2020-12-31 Carnegie Mellon University Intelligent cleaning robot
KR102403504B1 (ko) * 2015-11-26 2022-05-31 삼성전자주식회사 이동 로봇 및 그 제어 방법
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
WO2018101631A2 (ko) * 2016-11-30 2018-06-07 (주)유진로봇 청소 로봇, 청소 로봇에 구비되는 청소 기능 제어 장치, 및 청소 로봇에 구비되는 다채널 라이더 기반 장애물 검출 장치
CN108629231B (zh) * 2017-03-16 2021-01-22 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN106931975B (zh) * 2017-04-14 2019-10-22 北京航空航天大学 一种基于语义地图的移动机器人多策略路径规划方法
CN107741234B (zh) * 2017-10-11 2021-10-19 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
US11199853B1 (en) * 2018-07-11 2021-12-14 AI Incorporated Versatile mobile platform
CN109141364B (zh) * 2018-08-01 2020-11-03 北京进化者机器人科技有限公司 障碍物检测方法、***及机器人
CN110378964B (zh) * 2018-12-05 2021-07-30 北京京东尚科信息技术有限公司 一种摄像机外参标定方法及装置、存储介质
CN109903326B (zh) * 2019-02-28 2022-02-22 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
CN110216664B (zh) 2019-04-30 2020-12-22 北京云迹科技有限公司 基于点云数据的障碍物识别方法及装置
CN110441791B (zh) * 2019-08-14 2023-07-04 深圳无境智能机器人有限公司 一种基于前倾2d激光雷达的地面障碍物检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
KR20160029301A (ko) * 2014-09-05 2016-03-15 현대모비스 주식회사 장애물 검출 시스템 및 방법
CN106204547A (zh) * 2016-06-29 2016-12-07 山东科技大学 从车载激光扫描点云中自动提取杆状地物空间位置的方法
CN108269281A (zh) * 2016-12-30 2018-07-10 无锡顶视科技有限公司 基于双目视觉的避障技术方法
CN106645205A (zh) * 2017-02-24 2017-05-10 武汉大学 一种无人机桥梁底面裂纹检测方法及***
CN107169986A (zh) * 2017-05-23 2017-09-15 北京理工大学 一种障碍物检测方法及***
CN108986019A (zh) * 2018-07-13 2018-12-11 北京小米智能科技有限公司 肤色调整方法及装置、电子设备、机器可读存储介质
CN109188448A (zh) * 2018-09-07 2019-01-11 百度在线网络技术（北京）有限公司 点云非地面点过滤方法、装置及存储介质
CN110082783A (zh) * 2019-05-10 2019-08-02 北京理工大学 一种悬崖检测的方法及装置
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN110286387A (zh) * 2019-06-25 2019-09-27 深兰科技（上海）有限公司 应用于自动驾驶***的障碍物检测方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Inhibition of cloud cavitation on a flat hydrofoil through the placement of an obstacle;Lingxin Zhang等;《Ocean Engineering》(第155期);第1-9页 *
复杂环境下的激光雷达目标物实时检测方法;李茁;王田苗;胡坤磊;李晓飞;王肖;;激光杂志(第03期);第45-50页 *

Also Published As

Publication number Publication date
US20210149411A1 (en) 2021-05-20
EP3825903A1 (en) 2021-05-26
US11810376B2 (en) 2023-11-07
CN110928301A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110928301B (zh) 一种检测微小障碍的方法、装置及介质
US11579623B2 (en) Mobile robot system and method for generating map data using straight lines extracted from visual images
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN112132857B (zh) 动态环境混合视觉***的动态物检测和静态地图重建方法
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪***与方法
Zou et al. Real-time full-stack traffic scene perception for autonomous driving with roadside cameras
CN111899299A (zh) 地面障碍物地图标记方法、移动机器人和存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
Jung et al. A novel 2.5 D pattern for extrinsic calibration of tof and camera fusion system
CN111160280B (zh) 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN112711255B (zh) 移动机器人避障方法、控制设备及存储介质
CN113034526B (zh) 一种抓取方法、抓取装置及机器人
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN117215316A (zh) 基于协同控制与深度学习的驾驶环境感知的方法和***
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
Zheng et al. Vision-based autonomous navigation in indoor environments
CN114029953B (zh) 基于深度传感器确定地平面的方法、机器人及机器人***
CN110648353A (zh) 一种基于单目传感器的机器人室内定位方法和装置
EP4089649A1 (en) Neuromorphic cameras for aircraft
CN113504385B (zh) 复数相机测速方法及测速装置
Noaman et al. Landmarks exploration algorithm for mobile robot indoor localization using VISION sensor
Wang et al. Online drone-based moving target detection system in dense-obstructer environment
CN112729289B (zh) 应用于自动导引车的定位方法、装置、设备和存储介质
CN114152955A (zh) 一种基于slam技术的障碍物高精度识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant