CN114355894A - 数据处理方法、机器人以及机器人*** - Google Patents

数据处理方法、机器人以及机器人*** Download PDF

Info

Publication number
CN114355894A
CN114355894A CN202111517518.9A CN202111517518A CN114355894A CN 114355894 A CN114355894 A CN 114355894A CN 202111517518 A CN202111517518 A CN 202111517518A CN 114355894 A CN114355894 A CN 114355894A
Authority
CN
China
Prior art keywords
grid
point cloud
robot
data
detection range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111517518.9A
Other languages
English (en)
Inventor
董济铭
何林
马元勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Keenlon Intelligent Technology Co Ltd
Original Assignee
Shanghai Keenlon Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Keenlon Intelligent Technology Co Ltd filed Critical Shanghai Keenlon Intelligent Technology Co Ltd
Priority to CN202111517518.9A priority Critical patent/CN114355894A/zh
Publication of CN114355894A publication Critical patent/CN114355894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种数据处理方法，包括：基于至少一个深度传感器获取点云数据；基于所述至少一个深度传感器的探测范围，确定第一探测范围；将所述第一探测范围与栅格地图对应；基于所述点云数据，更新所述第一探测范围内各栅格的状态，所述栅格的状态包括：障碍物、地面和无点云数据；对所述无点云数据的栅格进行分类。采用本发明的技术方案，可以融合多个深度传感器的探测范围，并且解决由于探测范围边缘的抖动或无数据返回导致的误判问题，从而有针对性地进行避障处理。

Description

数据处理方法、机器人以及机器人***
技术领域
本公开涉及机器人技术领域，尤其涉及一种数据处理方法、一种机器人以及一种机器人***。
背景技术
随着机器人技术的迅速发展，机器人应用越来越广泛，例如，迎宾机器人、配送机器人、教育机器人以及仿生机器人等等。在实际应用过程中，机器人在行进时不可避免的遇到凹凸不平、坡道或台阶等情况。机器人根据传感器的测量数据，判断地面不平整情况，从而采取避障策略。
机器人通常安装有多个传感器，包括激光雷达、红外线、双目视觉摄像头等等，不同的传感器具有不同的视野范围或探测范围，小于一定距离值或者大于一定距离值都无法获得到数据。图1示出了栅格地图上的机器人视场范围的示意图，其中黑色栅格为机器人视场范围的边缘，黑色栅格之内的范围为传感器在标准地平面上探测到的范围。在视场范围内，这些栅格位置如果不是障碍物即应该是地平面位置。现有技术中传感器识别出的是点云的高度或高度差，可以基于高度或高度差识别障碍物和地面，而深坑的区域不返回数据，基于高度或高度差进行识别就会发生误判，从而导致机器人跌落等意外事件。
背景技术部分的内容仅仅是公开发明人所知晓的技术，并不当然代表本领域的现有技术。
发明内容
有鉴于现有的至少一个缺陷，本发明涉及一种数据处理方法，包括：
基于至少一个深度传感器获取点云数据；
基于所述至少一个深度传感器的探测范围，确定第一探测范围；
将所述第一探测范围与栅格地图对应；
基于所述点云数据，更新所述第一探测范围内各栅格的状态，所述栅格的状态包括：障碍物、地面和无点云数据；
对所述无点云数据的栅格进行分类。
根据本发明的一个方面，其中所述基于点云数据更新第一探测范围内各栅格的状态的步骤包括：将未对应点云中的点的栅格状态更新为无点云数据；根据对应点云中的点的高度将栅格状态更新为障碍物或地面。
根据本发明的一个方面，其中所述对无点云数据的栅格进行分类的步骤包括：获取无点云数据的栅格与所述至少一个深度传感器中心的距离，将距离小于第一阈值的栅格，标记为危险区域。
根据本发明的一个方面，其中所述对无点云数据的栅格进行分类的步骤包括：将所述第一探测范围边界处的第二阈值范围内的无点云数据的栅格标记为危险区域。
根据本发明的一个方面，所述数据处理方法还包括：
基于所述分类，进行避障处理。
根据本发明的一个方面，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离大于安全距离时，以当前速度继续运行。
根据本发明的一个方面，其中所述基于分类进行避障处理的步骤包括：当所述危险区域与运行路线的距离小于等于安全距离时，降低运行速度和/或后退。
根据本发明的一个方面，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离小于等于安全距离时，重新规划运行路线或者发送警报信息。
根据本发明的一个方面，其中所述基于点云数据更新第一探测范围内各栅格的状态的步骤还包括：基于所述第一探测范围内的点云中的点，确定各栅格的占用高度，将高度差大于第二阈值的相邻栅格标记为障碍物区域。
根据本发明的一个方面，其中所述基于分类进行避障处理的步骤包括：基于所述障碍物区域和/或所述危险区域，进行避障处理。
本发明还涉及一种机器人，包括：
至少一个深度传感器，配置为获取所述机器人周围环境的点云数据；
处理器，与所述至少一个传感器耦接，配置为实施如上所述的数据处理方法。
本发明还涉及一种机器人***，包括：
至少一个机器人，所述机器人包括至少一个深度传感器，所述至少一个深度传感器配置为获取所述机器人周围环境的点云数据；和
调度服务器，与所述至少一个机器人通信，并配置成实施如上所述的数据处理方法。
采用本发明的技术方案，可以融合多个深度传感器的探测范围，并且解决由于探测范围边缘的抖动或无数据返回导致的误判问题，从而有针对性的进行避障处理。
附图说明
构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1示出了栅格地图上的机器人视场范围的示意图；
图2示出了本发明一个实施例的数据处理方法流程图；
图3A示出了本发明一个实施例的机器人坐标系的示意图；
图3B示出了本发明一个实施例的机器人坐标系和栅格地图的示意图；
图4示出了本发明另一个实施例的数据处理方法流程图；
图5示出了本发明一个实施例的机器人及机器人***的示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图2示出了本发明一个实施例的数据处理方法流程图，数据处理方法10包括：
在步骤S11基于至少一个深度传感器获取点云数据。
深度传感器可以采集机器人周围环境的点云数据。所述深度传感器例如为RGB-D相机，用于拍摄彩色图像(RGB图像)和红外测距得到深度图像(D图像)，或者为TOF相机、结构光深度相机、双目相机或者激光雷达等，本发明不对深度传感器的类型做限定。所述点云数据为对应于周围环境中的地面或物体表面的采样点的三维坐标集合。
根据本发明的一个优选实施例，对采集的点云数据进行滤波处理，滤除噪点，以减少运算量。
根据本发明的一个优选实施例，记录深度传感器可能有误差的像素点，在后续计算中标记或移除误差像素点。
在步骤S12基于至少一个深度传感器的探测范围，确定第一探测范围。
当安装多个深度传感器并且每个深度传感器用于对不同探测范围进行探测时，可以基于各深度传感器的探测范围确定第一探测范围，以便于后续进行数据分析处理。第一探测范围取决于深度传感器的安装位置、安装角度、安装数量以及各深度传感器的性能参数等。例如，机器人本体的左侧和右侧各安装一个深度传感器，两个深度传感器的探测范围融合成为第一探测范围，两个深度传感器分别获取点云，然后融合成为一帧点云数据；又例如将两个深度传感器共同的探测范围作为第一探测范围，将该范围内的点云融合为一帧点云数据。以下为了方便描述，以一个深度传感器的探测范围作为第一探测范围为例，但本领域技术人员可以理解，本发明不对第一探测范围的获取方式做限定。
在步骤S13将第一探测范围与栅格地图对应。
确定第一探测范围后，需要将点云数据从传感器坐标系映射至机器人坐标系，从而将第一探测范围与栅格地图相对应。
根据本发明的一个优选实施例，基于机器人的站立方向，建立机器人坐标系；基于深度传感器的安装高度和安装角度，建立传感器坐标系；将点云数据从传感器坐标系映射至机器人坐标系。例如，在机器人的正面安装有一个深度传感器，图3A示出了本发明一个实施例的机器人坐标系的示意图，以机器人底部与地平面接触的中心点作为机器人坐标系的原点O，以机器人的站立方向作为Z轴，以机器人正前方为Y轴，根据右手螺旋法则确定X轴(垂直纸面向内的方向，图3A未示出)。
图3B示出了本发明一个实施例的机器人坐标系和栅格地图的示意图，根据本发明的一个优选实施例，基于标准地平面，构建栅格地图，并将第一探测范围与栅格地图对应。其中，标准地平面为人工指定的地平面，或者基于测量确定的地平面。关于标准地平面的测量方法，将在下文进一步描述。继续参考图3B，将标准地平面划分为相互关联的栅格，栅格的大小即栅格地图的精确度，栅格的大小和数量可以根据运行环境、机器人或调度服务器的运算能力等进行设定。例如，地图分辨率为0.05，则1米的深度被划分为20个栅格。
继续参考图3A，根据深度传感器的安装高度和安装角度，建立传感器坐标系。其中，深度传感器的安装角度包括俯仰角、航向角以及横滚角。具体地，以深度传感器的中心为传感器坐标系的原点O’，以深度传感器的朝向机器人前方的中心轴作为Y’轴，在俯仰方向上与Y’轴垂直的方向作为Z’轴，在横滚方向上与Y’轴垂直的方向作为X轴(垂直纸面向内的方向，图3A未示出)，则传感器坐标系的X’轴、Y’轴和Z’轴形成右手坐标系。当深度传感器的航向角和横滚角均设为0°时，俯仰角为负值，深度传感器的中心轴向下倾斜，视场向下，可采集机器人前方偏向地面的三维点云数据。基于上述方法构建的机器人坐标系和传感器坐标系，可方便的换算出两个坐标系之间的转换关系。具体地，根据深度传感器的安装高度，即传感器坐标系的原点O’与机器人坐标系的原点O之间的距离，确定转换矩阵中的平移矩阵；根据深度传感器的俯仰角，即传感器坐标系的Y’轴与机器人坐标系的Y轴夹角，确定转换矩阵中的旋转矩阵。基于该转换矩阵，将点云数据从传感器坐标系映射至机器人坐标系，进而将第一探测范围与栅格地图对应。本发明不对各坐标系的构建方式、坐标系间的转换方式以及栅格地图的划分方式做限定。
根据本发明的一个优选实施例，根据机器人的当前速度，将第一探测范围与栅格地图对应。因为机器人行进时，不同时刻的位置一直在变化，将传感器坐标系转化为机器人坐标系时，还需要考虑机器人的行进速度。因此，根据机器人的当前速度，将不同时刻的第一探测范围与栅格地图对应，以保证后续步骤的准确性。
在步骤S14基于点云数据，更新第一探测范围内各栅格的状态，栅格的状态包括：障碍物、地面和无点云数据。
在获取点云数据后，首先确定标准地平面，然后将各栅格对应的点云中的点的高度与标准地平面做比较，以确定栅格状态。例如高于或低于标准地平面的点对应的栅格状态为障碍物，等于标准地平面的点对应的栅格状态为地面，没有数据返回的栅格状态为无点云数据。对应多个点的栅格，即一个栅格中有多个点云时，其状态以偏离标准地平面最大的点的高度确定该栅格的高度从而确定该栅格的状态。其中，基于点云确定标准地平面的步骤可以在S11或S12或S13中执行，本发明不对标准地平面确定的步骤和时间点作限定。
根据本发明的一个优选实施例，基于点云数据，拟合标准地平面。例如，深度传感器安装于机器人上，从深度传感器采集的点云数据中提取最大平面的信息，将对应的点进行平面拟合，得到标准地平面。
根据本发明的一个优选实施例，其中步骤S14包括：将未对应点云中的点的栅格状态更新为无点云数据；根据对应点云中的点的高度将栅格状态更新为障碍物或地面。在确定标准地平面后，以标准地平面的高度为基准，高于或低于标准地平面的点对应的栅格状态更新为障碍物，等于标准地平面的点对应的栅格状态更新为地面，没有数据返回的栅格状态更新为无点云数据。
根据本发明的一个优选实施例，其中所述步骤S14还包括：基于第一探测范围内的点云中的点，确定各栅格的占用高度，将高度差大于第二阈值的相邻栅格标记为障碍物区域。
具体地，将点云中的点与栅格地图中的栅格对应，以标准地平面为基准，将每个栅格中的点的最大高度值或最小高度值作为该栅格的占用高度。其中，所述高度值和占用高度对应点云中点的高度信息。如果对应到坐标系中，可以对应机器人坐标系中Z轴的坐标值，也可以对应传感器坐标系中Z轴的坐标值。只要具有相同的参考基准，就都在本发明的保护范围内。以其对应机器人坐标系中Z轴的坐标值为例，点云中点的密度跟分布与深度传感器的性能参数和障碍物的方位信息相关，将点云中的点与栅格地图中的栅格对应，可能存在以下三种对应关系：(1)对应一个点的栅格，则该栅格的占用高度为该点的高度值；(2)对应多个点的栅格，如果多个点均位于标准地平面的上方，即Z轴坐标均为正值，则将多个点的高度值中的最大高度值作为该栅格的占用高度；如果多个点均位于标准地平面的下方，即Z轴坐标均为负值，则将多个点的高度值中的最小高度值作为该栅格的占用高度；如果多个点分布在标准地平面的上下两侧，则将多个点的高度值的绝对值的最大值作为该栅格的占用高度。(3)没有对应点的栅格，其栅格状态为无点云数据，暂不考虑该栅格的占用高度。
比较相邻栅格的占用高度，将高度差大于高度阈值的相邻栅格或相邻栅格中的点作为障碍物进行标记。例如，将点云与栅格地图对应并确定每个栅格的占用高度后，将相邻栅格的占用高度作比较，如果高度差大于高度阈值，则将两个栅格都作为障碍物进行标记；如果高度差小于等于高度阈值，则忽略。遍历机器人视野范围内的栅格或者全部栅格，直至满足条件的栅格均作为障碍物进行了标记。为了提高检测障碍物的效率，在该步骤仅标记出障碍物的边缘或轮廓所占用的栅格，机器人即可做相应的避障操作。与之前的实施例不同之处在于，前者基于标准地平面的高度，将满足条件的栅格中的点全部作为障碍物标记，可更细致的标记出障碍物的轮廓，提高检测障碍物的精度，但是可能由于高度的累积误差导致误判。而基于相邻栅格的高度差识别障碍物可避免误判问题。由此，栅格的状态可以分为障碍物、地面以及无点云数据三种。如果相邻栅格的高度差大于高度阈值，则两个栅格的状态均为障碍物；如果栅格没有对应点云中的点，则该栅格的状态为无点云数据；剩余栅格的状态为地面。其中，高度阈值与机器人的越障能力相关。机器人的越障能力越强，可越过的障碍物尺寸越高，高度距离阈值即可设置越大的数值。所述越障能力为机器人越过障碍的能力。以室内机器人为例，常见障碍物例如为深沟(电梯缝隙)、门槛(移动门轨道)、杂物(小石子)、台阶、斜坡、积水等，当机器人遇到上述障碍时，是直接越过障碍物行进还是进行避障操作，取决于障碍物的尺寸和机器人的越障能力。
在步骤S15对无点云数据的栅格进行分类。
对于栅格状态为无点云数据的情况，可能对应的区域为深坑，也可能由于深度传感器的视场范围的边缘抖动导致的无数据返回。对于这两种情况，可以进一步分类。
根据本发明的一个优选实施例，其中步骤S15包括：获取无点云数据的栅格与至少一个深度传感器中心的距离，将距离小于第一阈值的栅格，标记为危险区域。例如，机器人安装一个深度传感器，判断无点云数据的栅格与传感器的二维平面距离是否小于第一阈值，如果是，将其标记为危险区域。所述第一阈值对应深度传感器的探测范围的理想值，所述危险区域可能对应“坑”型障碍物。亦即，将第一探测范围内的无点云数据的栅格标记为危险区域，以便于后续避障处理。
根据本发明的一个优选实施例，其中步骤S15包括：将所述第一探测范围边界处的第二阈值范围内的无点云数据的栅格标记为危险区域。例如，机器人安装一个深度传感器，如果机器人发现了无数据返回的区域，并且该区域距离机器人较远，可能是由于深度传感器的固有缺陷造成的视场范围边缘发生抖动，亦即，实际探测到的距离可能超出了深度传感器的探测范围的理想值，此时可能为真实的“坑”型障碍物，也可能是深度传感器的视野盲区，但并不意味着存在危险。因此，以探测范围为界限，实际超出该界限的“坑”型区域，由于距离较远，暂时不考虑。优选地，对该时刻的数据或栅格状态进行存储，等机器人进一步靠近或在下一时刻再行判断。由于无法准确得知深度传感器的边缘是否发生抖动以及抖动的范围，因此设置第二阈值，将第一探测范围边界的以内及以外一定范围作为该界限，进而将该区域内的无点云数据的栅格标记为危险区域。
以上通过步骤S11-15对数据处理方法10进行了描述。现有技术中，机器人只会标记和辨认地平面和障碍物，其他区域就会认为没有危险，可以行走，从而产生安全事故，同时现有技术也无法解决边缘抖动的技术问题，采用本发明的技术方案，可以融合多个深度传感器的探测范围，确定无点云数据的栅格并对其进行分类，以解决由于探测范围边缘的抖动或无数据返回导致的误判问题，从而有针对性地进行避障处理。本领域技术人员可以理解，步骤S11-S15的编号并不构成对数据处理方法10中各步骤执行的先后顺序的限定。
图4示出了本发明的另一个实施例的数据处理方法20，数据处理方法20中的步骤S21-S25与数据处理方法10中的步骤S11-S15相同，此处不再赘述，不同之处在于数据处理方法20还包括：
在步骤S26基于所述分类，进行避障处理。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离大于安全距离时，以当前速度继续运行。例如，机器人与危险区域的距离较远，在当前时刻无需进行避障处理，则以当前速度继续运行。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤包括：当所述危险区域与运行路线的距离小于等于安全距离时，降低运行速度和/或后退。例如，机器人与危险区域的距离较近，需要进行避障处理，则基于当前速度和危险区域的距离，采取降低运行速度或者后退或者停止的避障措施。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离小于等于安全距离时，重新规划运行路线或者发送警报信息。例如，机器人与危险区域的距离较近，可以重新规划运行路线，换向行驶；或者降低运行速度、后退或停止，并且上报警报信息。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤还包括：持续对所述危险区域进行检测，如果所述危险区域消除，则继续运行；如果所述危险区域没有消除，则进行相应的避障处理。例如，机器人在当前时刻标记了危险区域并存储，继续行进后在下一时刻或连续多个时刻检测到危险区域没有消除，亦即，该危险区域一直处于第一探测范围内或第一探测范围的边缘，需要采取相应的避障处理，例如降低运行速度、后退、停止、重新规划运行路线等。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤包括：基于所述障碍物区域和/或所述危险区域，进行避障处理。与之前的实施例不同之处在于，前者仅基于危险区域进行避障处理，当第一探测范围内既存在障碍物区域又存在危险区域时，本优选实施例综合考虑障碍物区域和危险区域进行避障处理；当第一探测范围内仅存在障碍物区域，则基于障碍物区域进行常规避障处理。
以上通过步骤S21-S26对数据处理方法20进行了描述，数据处理方法20是在数据处理方法10的基础上增加了避障处理，从而识别无点云数据的栅格并采取相应的避障措施。本领域技术人员可以理解，步骤S21-S26的编号并不构成对数据处理方法20中各步骤执行的先后顺序的限定。
本发明还涉及一种机器人30，参考图5，机器人30包括：
至少一个深度传感器31，例如深度传感器31-1、深度传感器31-2……深度传感器31-M，配置为获取所述机器人30周围环境的点云数据；
处理器32，与所述至少一个传感器31耦接，配置为实施如上所述的数据处理方法10或20。
本发明还涉及一种机器人***40，参考图5，机器人***40包括：
至少一个机器人30，例如机器人30-1、机器人30-2……机器人30-N，所述机器人30包括至少一个深度传感器31，例如深度传感器31-1、深度传感器31-2……深度传感器31-M，所述至少一个深度传感器31配置为获取所述机器人30周围环境的点云数据；和
调度服务器41，与所述至少一个机器人30通信，并配置成实施如上所述的数据处理方法10或20。
其中，数据处理方法10包括：
在步骤S11基于至少一个深度传感器获取点云数据。
深度传感器可以采集机器人周围环境的点云数据。所述深度传感器例如为RGB-D相机，用于拍摄彩色图像(RGB图像)和红外测距得到深度图像(D图像)，或者为TOF相机、结构光深度相机、双目相机或者激光雷达等，本发明不对深度传感器的类型做限定。所述点云数据为对应于周围环境中的地面或物体表面的采样点的三维坐标集合。
根据本发明的一个优选实施例，对采集的点云数据进行滤波处理，滤除噪点，以减少运算量。
根据本发明的一个优选实施例，记录深度传感器可能有误差的像素点，在后续计算中标记或移除误差像素点。
在步骤S12基于至少一个深度传感器的探测范围，确定第一探测范围。
当安装多个深度传感器并且每个深度传感器用于对不同探测范围进行探测时，可以基于各深度传感器的探测范围确定第一探测范围，以便于后续进行数据分析处理。第一探测范围取决于深度传感器的安装位置、安装角度、安装数量以及各深度传感器的性能参数等。
在步骤S13将第一探测范围与栅格地图对应。
确定第一探测范围后，需要将点云数据从传感器坐标系映射至机器人坐标系，从而将第一探测范围与栅格地图相对应。
根据本发明的一个优选实施例，基于机器人的站立方向，建立机器人坐标系；基于深度传感器的安装高度和安装角度，建立传感器坐标系；将点云数据从传感器坐标系映射至机器人坐标系。
根据本发明的一个优选实施例，基于标准地平面，构建栅格地图，并将第一探测范围与栅格地图对应。
根据本发明的一个优选实施例，根据深度传感器的安装高度和安装角度，建立传感器坐标系。基于转换矩阵，将点云数据从传感器坐标系映射至机器人坐标系，进而将第一探测范围与栅格地图对应。
根据本发明的一个优选实施例，根据机器人的当前速度，将第一探测范围与栅格地图对应。因为机器人行进时，不同时刻的位置一直在变化，将传感器坐标系转化为机器人坐标系时，还需要考虑机器人的行进速度。因此，根据机器人的当前速度，将不同时刻的第一探测范围与栅格地图对应，以保证后续步骤的准确性。
在步骤S14基于点云数据，更新第一探测范围内各栅格的状态，栅格的状态包括：障碍物、地面和无点云数据。
在获取点云数据后，首先确定标准地平面，然后将各栅格对应的点云中的点的高度与标准地平面做比较，以确定栅格状态。
根据本发明的一个优选实施例，基于点云数据，拟合标准地平面。例如，深度传感器安装于机器人上，从深度传感器采集的点云数据中提取最大平面的信息，将对应的点进行平面拟合，得到标准地平面。
根据本发明的一个优选实施例，其中步骤S14包括：将未对应点云中的点的栅格状态更新为无点云数据；根据对应点云中的点的高度将栅格状态更新为障碍物或地面。在确定标准地平面后，以标准地平面的高度为基准，高于或低于标准地平面的点对应的栅格状态更新为障碍物，等于标准地平面的点对应的栅格状态更新为地面，没有数据返回的栅格状态更新为无点云数据。可选地，在拟合标准地平面的过程中，将第一距离大于第一距离阈值的点对应的栅格状态更新为障碍物，将其余点对应的栅格状态更新为地面。
根据本发明的一个优选实施例，其中所述步骤S14还包括：基于第一探测范围内的点云中的点，确定各栅格的占用高度，将高度差大于第二阈值的相邻栅格标记为障碍物区域。
在步骤S15对无点云数据的栅格进行分类。
对于栅格状态为无点云数据的情况，可能对应的区域为深坑，也可能由于深度传感器的视场范围的边缘抖动导致的无数据返回。对于这两种情况，可以进一步分类。
根据本发明的一个优选实施例，其中步骤S15包括：获取无点云数据的栅格与至少一个深度传感器中心的距离，将距离小于第一阈值的栅格，标记为危险区域。
根据本发明的一个优选实施例，其中步骤S15包括：将所述第一探测范围边界处的第二阈值范围内的无点云数据的栅格标记为危险区域。
以上通过步骤S11-15对数据处理方法10进行了描述，通过本发明的技术方案可以确定无点云数据的栅格以及对其进行分类，为后续的避障处理做准备。
本发明的另一个实施例的数据处理方法20中的步骤S21-S25与数据处理方法10中的步骤S11-S15相同，此处不再赘述，不同之处在于还包括：
在步骤S26基于所述分类，进行避障处理。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离大于安全距离时，以当前速度继续运行。例如，机器人与危险区域的距离较远，在当前时刻无需进行避障处理，则以当前速度继续运行。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤包括：当所述危险区域与运行路线的距离小于等于安全距离时，降低运行速度和/或后退。例如，机器人与危险区域的距离较近，需要进行避障处理，则基于当前速度和危险区域的距离，采取降低运行速度或者后退或者停止的避障措施。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离小于等于安全距离时，重新规划运行路线或者发送警报信息。例如，机器人与危险区域的距离较近，可以重新规划运行路线，换向行驶；或者降低运行速度、后退或停止，并且上报警报信息。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤还包括：持续对所述危险区域进行检测，如果所述危险区域消除，则继续运行；如果所述危险区域没有消除，则进行相应的避障处理。例如，机器人在当前时刻标记了危险区域并存储，继续行进后在下一时刻或连续多个时刻检测到危险区域没有消除，亦即，该危险区域一直处于第一探测范围内或第一探测范围的边缘，需要采取相应的避障处理，例如降低运行速度、后退、停止、重新规划运行路线等。
根据本发明的一个优选实施例，其中所述基于分类进行避障处理的步骤包括：基于所述障碍物区域和/或所述危险区域，进行避障处理。与之前的实施例不同之处在于，前者仅基于危险区域进行避障处理，当第一探测范围内既存在障碍物区域又存在危险区域时，本优选实施例综合考虑障碍物区域和危险区域进行避障处理；当第一探测范围内仅存在障碍物区域，则基于障碍物区域进行常规避障处理。
以上通过步骤S21-S26对数据处理方法20进行了描述，数据处理方法20是在数据处理方法10的基础上增加了避障处理，从而识别无点云数据栅格并采取相应避障措施。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据处理方法，包括：
基于至少一个深度传感器获取点云数据；
基于所述至少一个深度传感器的探测范围，确定第一探测范围；
将所述第一探测范围与栅格地图对应；
基于所述点云数据，更新所述第一探测范围内各栅格的状态，所述栅格的状态包括：障碍物、地面和无点云数据；
对所述无点云数据的栅格进行分类。
2.根据权利要求1所述的数据处理方法，其中所述基于点云数据更新第一探测范围内各栅格的状态的步骤包括：将未对应点云中的点的栅格状态更新为无点云数据；根据对应点云中的点的高度将栅格状态更新为障碍物或地面。
3.根据权利要求2所述的数据处理方法，其中所述对无点云数据的栅格进行分类的步骤包括：获取无点云数据的栅格与所述至少一个深度传感器中心的距离，将距离小于第一阈值的栅格，标记为危险区域。
4.根据权利要求2所述的数据处理方法，其中所述对无点云数据的栅格进行分类的步骤包括：将所述第一探测范围边界处的第二阈值范围内的无点云数据的栅格标记为危险区域。
5.根据权利要求3或4所述的数据处理方法，所述数据处理方法还包括：
基于所述分类，进行避障处理。
6.根据权利要求5所述的数据处理方法，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离大于安全距离时，以当前速度继续运行。
7.根据权利要求5所述的数据处理方法，其中所述基于分类进行避障处理的步骤包括：当所述危险区域与运行路线的距离小于等于安全距离时，降低运行速度和/或后退。
8.根据权利要求5所述的数据处理方法，其中所述基于分类进行避障处理的步骤还包括：当所述危险区域与运行路线的距离小于等于安全距离时，重新规划运行路线或者发送警报信息。
9.根据权利要求5所述的数据处理方法，其中所述基于点云数据更新第一探测范围内各栅格的状态的步骤还包括：基于所述第一探测范围内的点云中的点，确定各栅格的占用高度，将高度差大于第二阈值的相邻栅格标记为障碍物区域。
10.根据权利要求9所述的数据处理方法，其中所述基于分类进行避障处理的步骤包括：基于所述障碍物区域和/或所述危险区域，进行避障处理。
11.一种机器人，包括：
至少一个深度传感器，配置为获取所述机器人周围环境的点云数据；
处理器，与所述至少一个传感器耦接，配置为实施如权利要求1-10中任一项所述的数据处理方法。
12.一种机器人***，包括：
至少一个机器人，所述机器人包括至少一个深度传感器，所述至少一个深度传感器配置为获取所述机器人周围环境的点云数据；和
调度服务器，与所述至少一个机器人通信，并配置成实施如权利要求1-10中任一项所述的数据处理方法。
CN202111517518.9A 2021-12-08 2021-12-08 数据处理方法、机器人以及机器人*** Pending CN114355894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111517518.9A CN114355894A (zh) 2021-12-08 2021-12-08 数据处理方法、机器人以及机器人***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111517518.9A CN114355894A (zh) 2021-12-08 2021-12-08 数据处理方法、机器人以及机器人***

Publications (1)

Publication Number Publication Date
CN114355894A true CN114355894A (zh) 2022-04-15

Family

ID=81099759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111517518.9A Pending CN114355894A (zh) 2021-12-08 2021-12-08 数据处理方法、机器人以及机器人***

Country Status (1)

Country Link
CN (1) CN114355894A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115574803A (zh) * 2022-11-16 2023-01-06 深圳市信润富联数字科技有限公司 移动路线确定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法
CN110082783A (zh) * 2019-05-10 2019-08-02 北京理工大学 一种悬崖检测的方法及装置
US20210026361A1 (en) * 2019-07-26 2021-01-28 Deka Products Limited Partnership System and Method for Free Space Estimation
CN112561941A (zh) * 2020-12-07 2021-03-26 深圳市银星智能科技股份有限公司 一种悬崖检测方法、装置和机器人
CN113393423A (zh) * 2021-05-18 2021-09-14 深圳拓邦股份有限公司 一种基于点云的悬崖检测方法、装置及移动机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法
CN110082783A (zh) * 2019-05-10 2019-08-02 北京理工大学 一种悬崖检测的方法及装置
US20210026361A1 (en) * 2019-07-26 2021-01-28 Deka Products Limited Partnership System and Method for Free Space Estimation
CN112561941A (zh) * 2020-12-07 2021-03-26 深圳市银星智能科技股份有限公司 一种悬崖检测方法、装置和机器人
CN113393423A (zh) * 2021-05-18 2021-09-14 深圳拓邦股份有限公司 一种基于点云的悬崖检测方法、装置及移动机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲁小伟: "矿山道路边界线实时检测与跟踪", 中国优秀硕士学位论文全文数据库工程科技I辑, no. 021, pages 22 - 23 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115574803A (zh) * 2022-11-16 2023-01-06 深圳市信润富联数字科技有限公司 移动路线确定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
KR101762504B1 (ko) 레이저 거리 센서를 이용한 바닥 장애물 검출 방법
CN114035584B (zh) 机器人检测障碍物的方法、机器人以及机器人***
JP6132659B2 (ja) 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP5897517B2 (ja) 自律移動体
US8736820B2 (en) Apparatus and method for distinguishing ground and obstacles for autonomous mobile vehicle
CN110794406B (zh) 多源传感器数据融合***和方法
CN111538338B (zh) 一种机器人贴边运动控制***及方法
CN103487034A (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
CN110082783B (zh) 一种悬崖检测的方法及装置
JP4539388B2 (ja) 障害物検出装置
CN111144231B (zh) 一种基于深度图像的自助通道防尾随检测方法和***
WO2023070954A1 (zh) 一种基于机器视觉的集卡引导和单双箱识别方法和装置
CN110659552A (zh) 有轨电车障碍物检测及报警方法
CN113034579A (zh) 一种移动机器人基于激光数据的动态障碍物轨迹预测方法
CN114355894A (zh) 数据处理方法、机器人以及机器人***
Reina et al. Traversability analysis for off-road vehicles using stereo and radar data
CN114029953B (zh) 基于深度传感器确定地平面的方法、机器人及机器人***
Beinschob et al. Strategies for 3D data acquisition and mapping in large-scale modern warehouses
Zheng et al. Vision-based autonomous navigation in indoor environments
CN115755888A (zh) 多传感器数据融合的agv障碍物检测***及避障方法
Du et al. A real-time curb detection method for vehicle by using a 3D-LiDAR sensor
Meyer et al. Automatic extrinsic rotational calibration of lidar sensors and vehicle orientation estimation
US10776632B2 (en) Method and system for detecting a free area inside a parking lot
Chen et al. A real-time relative probabilistic mapping algorithm for high-speed off-road autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination