CN112308033A - 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 - Google Patents
一种基于深度数据的障碍物碰撞警告方法及视觉芯片 Download PDFInfo
- Publication number
- CN112308033A CN112308033A CN202011336291.3A CN202011336291A CN112308033A CN 112308033 A CN112308033 A CN 112308033A CN 202011336291 A CN202011336291 A CN 202011336291A CN 112308033 A CN112308033 A CN 112308033A
- Authority
- CN
- China
- Prior art keywords
- robot
- target obstacle
- rectangular frame
- obstacle
- virtual rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 230000001154 acute effect Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度数据的障碍物碰撞警告方法及视觉芯片，该障碍物碰撞警告方法包括：根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像、目标障碍物的深度信息以及TOF摄像头的内外参数，计算获取目标障碍物的实际物理尺寸，并在此基础上设置出用于包围目标障碍物的虚拟矩形框，其中，这个虚拟矩形框是位于机器人的行进平面上；当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是存在碰撞目标障碍物的趋势时，控制机器人触发碰撞警告信号。通过在目标障碍物的实际物理尺寸的基础上设置出具有碰撞预警意义的矩形框，让机器人在必要的位置区域内提前避开碰撞障碍物，将目标障碍物对机器人正常工作的影响降低。
Description
技术领域
本发明涉及智能机器人预警碰撞的技术领域，特别是一种基于深度数据的障碍物碰撞警告方法及视觉芯片。
背景技术
目前基于惯性导航、视觉、激光的SLAM机器人越来越普及，代表性比较强的是家庭扫地清洁机器人，结合视觉、激光、陀螺仪、加速度跟轮子里程计的数据，实现室内环境即时定位跟建图，再根据建立的地图实现定位导航。但是目前的痛点是，机器人在复杂的障碍物环境中，地面上经常存在玩具、电线等可以移动的障碍物，等机器人碰撞到这种类型的障碍物的时候，要么会推着障碍物，要么被电线类型的障碍物缠绕住。因此在执行避障动作之前，有必要给予机器人碰撞警告信号，但是现有技术中国专利CN110622085A是在减速接近目标障碍物的过程中依靠物理碰撞传感器反馈获得警告信号，容易让机器人与目标障碍物发生物理碰撞，进而影响机器人的正常工作。
发明内容
为了解决上述技术问题，本发明公开的一种基于深度数据的障碍物碰撞警告方法，简单有效地提前预警机器人会发生碰撞，具体的技术方案如下：
一种基于深度数据的障碍物碰撞警告方法，包括：根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像、目标障碍物的深度信息以及TOF摄像头的内外参数，计算获取目标障碍物的实际物理尺寸，并在此基础上设置出用于包围该目标障碍物的虚拟矩形框，其中，这个虚拟矩形框是位于机器人的行进平面上；当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是趋向于碰撞目标障碍物时，控制机器人触发碰撞警告信号。
与现有技术相比，该技术方案在目标障碍物的实际物理尺寸的基础上设置出具有碰撞预警意义的矩形框，并在这个矩形框内触发机器人的碰撞警告信号，让机器人在必要的位置区域内提前避开碰撞障碍物，将目标障碍物对机器人正常工作的影响降低。
进一步地，所述机器人行走至这个虚拟矩形框的内部的判断步骤包括：判断是否存在所述虚拟矩形框的三个不同端点相对于机器人当前行走方向形成的夹角都是锐角，是则确定机器人没有行走至所述虚拟矩形框的内部，否则确定机器人已经行走至所述虚拟矩形框的内部；其中，所述目标障碍物的实际物理尺寸包括所述虚拟矩形框的四个不同端点的坐标信息，即四个不同端点相对于机器人的机体中心的坐标；其中，所述虚拟矩形框的一个端点相对于机器人当前行走方向形成的夹角是：所述虚拟矩形框的这个端点与机器人的机体中心的连线相对于机器人当前行走方向所成的偏转角。
该技术方案利用所述虚拟矩形框的不同端点与机器人的实时位姿的相对角度位置关系，判断机器人行走至所述虚拟矩形框的内部，与现有技术相比，在机器人距离目标障碍物足够近时，利用包围目标障碍物的所述虚拟矩形框触发机器人检测到障碍物的信号，但没有通过设置安全门限值去限定机器人的行为。
进一步地，所述机器人在所述虚拟矩形框的内部后，机器人的当前行走方向是趋向于碰撞目标障碍物的判断步骤包括：判断机器人的机体中心与所述虚拟矩形框的中心的连线与机器人的当前行走方向所成的夹角是否为锐角，是则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，否则确定机器人的当前行走方向不是趋向于碰撞所述目标障碍物。该技术方案利用所述虚拟矩形框的中心与机器人的实时位姿的相对角度关系，判断位于所述虚拟矩形框的内部的机器人的运动趋势是否会碰撞上目标障碍物，没有设置安全门限值去限定机器人的运动，与现有技术相比，避免在靠近目标障碍物的条件下使用碰撞传感器去检测预警，同时在确定机器人的运动趋势不会碰撞上目标障碍物之后，也推出机器人的运动趋势是偏离目标障碍物的。
进一步地，基于所述目标障碍物的最左侧与机器人的机体中心的水平距离、所述目标障碍物的最右侧与机器人的机体中心的水平距离，设置出用于包围所述目标障碍物的轮廓的深度图像的虚拟矩形框，并确定这个虚拟矩形框的四个不同端点相对于机器人的机体中心的坐标，以使得所述虚拟矩形框的中心是所述目标障碍物的中心。
进一步地，所述目标障碍物的轮廓的深度图像是对TOF摄像头采集的深度图像数据滤波处理和连通域分析以分割出来的图像轮廓坐标信息；其中，TOF摄像头采集的深度图像数据是同时处于TOF摄像头的有效测距范围和TOF摄像头的视角范围的目标障碍物的深度图像数据。从而分析出目标障碍物的形状与水平地面覆盖范围。
进一步地，在获取所述目标障碍物的轮廓的深度图像、所述目标障碍物的深度信息以及TOF摄像头的内外参数的基础上，利用三角原理，将所述目标障碍物的图像轮廓坐标信息由TOF摄像头的成像平面换算为世界坐标系下；其中，换算的结果包括：在TOF摄像头的视角范围和有效测距范围的重叠区域内，目标障碍物的最左侧与机器人的机体中心的水平距离、目标障碍物的最右侧与机器人的机体中心的水平距离、目标障碍物的纵向高度信息。该技术方案还原出所述目标障碍物的三维轮廓特征，有利于探测出目标障碍物周围的3维坐标信息，从而可以定位到机器人前方的障碍物情况。
进一步地，若所述目标障碍物的轮廓不是全部处于TOF摄像头的视角范围内和/或TOF摄像头的有效测距范围内，机器人设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心。在该技术方案中，若所述目标障碍物过大，导致所述目标障碍物的部分区域在TOF摄像头的视角范围之外和/或TOF摄像头的有效测距范围之外，这部分区域的深度信息不被TOF摄像头采集，但仍保证设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心，提高位于所述虚拟矩形框的内部的机器人的碰撞预警的健壮性。
一种视觉芯片，该视觉芯片存储前述的基于深度数据的障碍物碰撞警告方法对应的程序，用于控制机器人在触碰TOF摄像头的视角范围和TOF摄像头的有效测距范围的重叠区域内的目标障碍物之前，触发碰撞警告信号。该技术方案通过采集TOF摄像头输出的轮廓深度信息基础上分析出障碍物的形状跟范围，在机器人距离障碍物足够近，触发碰撞警告信号。
附图说明
图1是本发明实施例一公开的机器人采集获取的目标障碍物（中心点O）的轮廓的深度图像并设置出用于包围该目标障碍物的虚拟矩形框abcd的示意图，其中，图1的机器人的实时位置R不在虚拟矩形框abcd之内。
图2是本发明实施例二公开的机器人的实时位置R1处于虚拟矩形框abcd内且机器人的当前行走方向P1趋向于碰撞目标障碍物的示意图。
图3是本发明实施例三公开的机器人的实时位置R2处于虚拟矩形框abcd内且机器人的当前行走方向P2没有趋向于碰撞目标障碍物的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。需要说明的是，本申请将中国专利CN111624997A的全文引入本申请的文本中，基于CN111624997A的三角原理计算方法，利用TOF摄像头的内外参数完成从TOF摄像头采集的深度信息计算出TOF摄像头的视场范围内的目标障碍物的相对坐标位置、目标障碍物所占空间的纵向高度信息、目标障碍物的最左侧与目标障碍物的最右侧的水平距离（轮廓宽度）。
本发明实施例公开一种基于深度数据的障碍物碰撞警告方法，包括：根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像、目标障碍物的深度信息以及TOF摄像头的内外参数，计算获取目标障碍物的实际物理尺寸，并在此基础上设置出用于包围该目标障碍物的虚拟矩形框，其中，这个虚拟矩形框是位于机器人的行进平面上；然后，当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是存在碰撞目标障碍物的趋势时，控制机器人触发碰撞警告信号。与现有技术相比，本实施例在目标障碍物的实际物理尺寸的基础上设置出具有碰撞预警意义的矩形框，并在这个矩形框内触发机器人的碰撞警告信号，让机器人在必要的位置区域内提前避开碰撞障碍物，将目标障碍物对机器人正常工作的影响降低。并且提醒机器人重新规划工作路径。
具体地，所述机器人行走至这个虚拟矩形框的内部的判断步骤包括：判断所述虚拟矩形框的其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和小于90度，是则确定机器人没有行走至所述虚拟矩形框的内部，否则确定机器人已经行走至所述虚拟矩形框的内部，即所述虚拟矩形框存在其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和大于或等于90度时，确定机器人已经进入所述虚拟矩形框的内部，需要注意的是，所述目标障碍物的实际物理尺寸包括所述虚拟矩形框的四个不同端点的坐标信息。判断所述机器人是否行走至这个虚拟矩形框的内部的理论依据是来源于圆周角定理，其中，所述虚拟矩形框存在一个外接圆，当所述虚拟矩形框存在其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和等于90度时，机器人开始进入所述虚拟矩形框内。其中，所述虚拟矩形框的一个端点相对于机器人当前行走方向形成的夹角是：这个端点与机器人的机体中心的连线相对于机器人当前行走方向所形成的偏转角。本实施例利用所述虚拟矩形框的不同端点与机器人的实时位姿的相对角度位置关系，判断机器人行走至所述虚拟矩形框的内部，与现有技术相比，在机器人距离目标障碍物足够近时，利用包围目标障碍物的所述虚拟矩形框触发机器人检测到障碍物的信号，但没有通过设置安全门限值去限定机器人的行为。
具体地，所述机器人在所述虚拟矩形框的内部后（包括位于虚拟矩形框的矩形边上），机器人的当前行走方向是趋向于碰撞目标障碍物的判断步骤包括：判断机器人的机体中心与所述虚拟矩形框的中心的连线与机器人的当前行走方向所成的夹角是否为锐角，是则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，否则确定机器人的当前行走方向不是趋向于碰撞所述目标障碍物。本实施例利用所述虚拟矩形框的中心与机器人的实时位姿的相对角度关系，判断位于所述虚拟矩形框的内部的机器人的运动趋势是否会碰撞上目标障碍物，与现有技术相比，没有设置安全门限值去限定机器人的运动，也避免在靠近目标障碍物的条件下使用碰撞传感器去检测预警，同时在确定机器人的运动趋势不会碰撞上目标障碍物之后，也推出机器人的运动趋势是偏离目标障碍物的。
需要说明的是，所述深度图像也被称为距离影像，是指深度图像的各像素点到所拍摄的对应障碍物实际测量点之间的距离作为像素值的图像。其中，各像素点与对应测量点的偏角基于摄像装置的设定参数而确定。所述深度图像直接反映所拍摄的物理场景中各障碍物的可见表面的几何形状轮廓，所述深度图像经过坐标转换可以转换为空间点云数据。其中，所述深度图像中利用深度数据描述的各障碍物均可作为待识别的障碍物的图像，以供后续步骤处理。其中，所述障碍物应被为泛指包含临时放置在行进平面上的物体和不易移动的物体。根据实际应用环境，机器人的行进平面包括但不限于以下几类:水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面、桌面、玻璃面等。临时放置在行进平面上的物体举例包括: 门槛（可以跨越）、玩具（禁止碰撞）、电线（禁止跨越）等物体；不易移动的物体举例包括: 沙发（沙发底的高度低于机器的高度的时候，就控制机器不能进去）、墙壁等。
实施例一：
如图1所示，机器人行走至位置R处，图1的目标障碍物正处于机器人的前端设置的TOF摄像头的视场区域内，即同时处于TOF摄像头的有效测距范围和TOF摄像头的视角范围的重叠区域内，TOF摄像头采集到所述目标障碍物的轮廓的深度图像，其中，所述目标障碍物的轮廓的深度图像是对TOF摄像头采集的目标障碍物的深度图像数据滤波处理和连通域分析以分割出来的图像轮廓，包括目标障碍物的图像轮廓坐标信息；结合TOF摄像头的内外参数，控制这些图像轮廓坐标信息计算出所述目标障碍物的轮廓宽度，包括最左侧与机器人的机体中心的水平距离L_L、所述目标障碍物的最右侧与机器人的机体中心的水平距离R_L、所述目标障碍物的纵向高度H。本实施例基于所述目标障碍物的最左侧与机器人的机体中心的水平距离L_L、所述目标障碍物的最右侧与机器人的机体中心的水平距离R_L，限制端点a的坐标范围、端点b的坐标范围、端点c的坐标范围、端点d的坐标范围，进而确定出虚拟矩形框abcd的位置范围，框定获得一个能够包围所述目标障碍物在机器人的行进平面上的轮廓的虚拟矩形框abcd，并能够确定这个虚拟矩形框的四个不同端点相对于机器人的机体中心的坐标，可以计算出虚拟矩形框abcd的中心点O的坐标，以使得所述虚拟矩形框的中心O是所述目标障碍物的中心O；其中，端点a的坐标范围、端点b的坐标范围、端点c的坐标范围、端点d的坐标范围都处于TOF摄像头的视场区域内的所述目标障碍物的两端外侧。从而分析出目标障碍物的形状与水平地面覆盖范围，进而还原出所述目标障碍物的三维轮廓特征，有利于探测出目标障碍物周围的3维坐标信息，从而可以定位到机器人前方的障碍物情况。
需要说明的是，在获取所述目标障碍物的轮廓的深度图像、所述目标障碍物的深度信息以及TOF摄像头的内外参数的基础上，利用三角原理，将所述目标障碍物的图像轮廓坐标信息由TOF摄像头的成像平面换算为世界坐标系下；其中，换算的结果包括：在TOF摄像头的视角范围和有效测距范围的重叠区域内，目标障碍物的最左侧与机器人的机体中心的水平距离、目标障碍物的最右侧与机器人的机体中心的水平距离、目标障碍物的纵向高度信息。本实施例还原出所述目标障碍物的三维轮廓特征，有利于探测出目标障碍物周围的3维坐标信息，从而可以定位到机器人前方的障碍物情况。
如图1所示，机器人的当前行走方向是P，即对应图1的射线RP，朝向机器人的机体前方的目标障碍物；对于位置R处的机器人的TOF摄像头的当前视场区域内，所述虚拟矩形框abcd的端点a相对于机器人当前行走方向P形成的夹角（线段Ra与线段RP的夹角）是第一锐角，所述虚拟矩形框abcd的端点b相对于机器人当前行走方向P形成的夹角（线段Rb与线段RP的夹角）是第二锐角，所述虚拟矩形框abcd的端点c相对于机器人当前行走方向P形成的夹角（线段Rc与线段RP的夹角）是第三锐角，这三个锐角的角度和值是小于90度的，确定位置R处于所述虚拟矩形框abcd之外，不触发碰撞警告信号，更不需执行避障动作。
实施例二：
如图2所示，机器人行走至位置R1处，所述虚拟矩形框abcd已经框定好并与实施例一一样，是用于框定同一目标障碍物的轮廓；；机器人的当前行走方向是P1，即对应图2的射线R1P1，朝向机器人的机体前方的视场区域内的目标障碍物；对于位置R1处的机器人的TOF摄像头的当前视场区域内，所述虚拟矩形框abcd的端点a相对于机器人当前行走方向P1形成的夹角（线段R1a与线段R1P1的夹角）是直角，所述虚拟矩形框abcd的端点b相对于机器人当前行走方向P1形成的夹角（线段R1b与线段R1P1的夹角）是锐角，所述虚拟矩形框abcd的端点c相对于机器人当前行走方向P1形成的夹角（线段R1c与线段R1P1的夹角）是锐角，这三个夹角的角度和值是大于90度，确定位置R1处于所述虚拟矩形框abcd内部。然后判断到机器人的机体中心R1与所述虚拟矩形框abcd的中心O的连线R1O与机器人的当前行走方向P1（射线R1P1）所成的夹角是锐角（小于90角），则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，机器人继续沿着当前行走方向P1行走是避不开所述目标障碍物，如图2所示的机器人的运动趋势所示，则位置R1处的机器人触发碰撞警告信号，并指示机器人开始执行避障动作或绕障动作。
实施例三：
如图3所示，机器人按照预设的工作模式行走至位置R2处，所述虚拟矩形框abcd已经框定好并与实施例一一样，是用于框定同一目标障碍物的轮廓；机器人的当前行走方向是P2，即对应图3的射线R2P2，机器人的机体前方没有朝向目标障碍物；对于位置R2处的机器人的TOF摄像头的当前视场区域内，所述虚拟矩形框abcd的端点a相对于机器人当前行走方向P2形成的夹角（线段R2a与线段R2P2的夹角）是钝角，所述虚拟矩形框abcd的端点b相对于机器人当前行走方向P2形成的夹角（线段R2b与线段R2P2的夹角）是钝角，所述虚拟矩形框abcd的端点c相对于机器人当前行走方向P2形成的夹角（线段R2c与线段R2P2的夹角）是钝角，这三个钝角的角度和值是大于90度，确定位置R2处于所述虚拟矩形框abcd内部。然后判断到机器人的机体中心R2与所述虚拟矩形框abcd的中心O的连线R2O与机器人的当前行走方向P2（射线R2P2）所成的夹角是钝角（大于90度），则确定机器人的当前行走方向是没有趋向于碰撞所述目标障碍物，而是朝着远离所述目标障碍物的中心O的方向前进，如图3所示的机器人的运动趋势所示，则位置R2处的机器人不用触发碰撞警告信号。
此外，若所述目标障碍物的轮廓不是全部处于TOF摄像头的视角范围内和/或TOF摄像头的有效测距范围内，特别是，若所述目标障碍物过大，导致所述目标障碍物的部分区域在TOF摄像头的视角范围之外和/或TOF摄像头的有效测距范围之外，这部分区域的深度信息不被TOF摄像头采集。但是，本实施例确保机器人设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心。从而提高位于所述虚拟矩形框的内部的机器人的碰撞预警的健壮性。
一种视觉芯片，该视觉芯片存储前述的基于深度数据的障碍物碰撞警告方法对应的程序，用于控制机器人在触碰TOF摄像头的视角范围和TOF摄像头的有效测距范围的重叠区域内的目标障碍物之前，触发碰撞警告信号。该技术方案通过采集TOF摄像头输出的轮廓深度信息基础上分析出障碍物的形状跟范围，在机器人距离障碍物足够近，触发碰撞警告信号。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种基于深度数据的障碍物碰撞警告方法，其特征在于，包括：
根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像、目标障碍物的深度信息以及TOF摄像头的内外参数，计算获取目标障碍物的实际物理尺寸，并在此基础上设置出用于包围目标障碍物的虚拟矩形框，其中，这个虚拟矩形框是位于机器人的行进平面上；
当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是存在碰撞目标障碍物的趋势时，控制机器人触发碰撞警告信号。
2.根据权利要求1所述障碍物碰撞警告方法，其特征在于，所述机器人行走至这个虚拟矩形框的内部的判断步骤包括：
判断所述虚拟矩形框的其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和小于90度，是则确定机器人没有行走至所述虚拟矩形框的内部，否则确定机器人已经行走至所述虚拟矩形框的内部；
其中，所述目标障碍物的实际物理尺寸包括所述虚拟矩形框的四个不同端点的坐标信息；
其中，所述虚拟矩形框的一个端点相对于机器人当前行走方向形成的夹角是：这个端点与机器人的机体中心的连线相对于机器人当前行走方向所形成的偏转角。
3.根据权利要求2所述障碍物碰撞警告方法，其特征在于，所述机器人在所述虚拟矩形框的内部后，机器人的当前行走方向是趋向于碰撞目标障碍物的判断步骤包括：
判断机器人的机体中心与所述虚拟矩形框的中心的连线与机器人的当前行走方向所成的夹角是否为锐角，是则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，否则确定机器人的当前行走方向不是趋向于碰撞所述目标障碍物。
4.根据权利要求1至3任一项所述障碍物碰撞警告方法，其特征在于，基于所述目标障碍物的最左侧与机器人的机体中心的水平距离、所述目标障碍物的最右侧与机器人的机体中心的水平距离，限制所述虚拟矩形框的端点的坐标范围，使得所述虚拟矩形框用于包围所述目标障碍物在机器人的行进平面上的轮廓；再确定这个虚拟矩形框的四个不同端点相对于机器人的机体中心的坐标，以使得所述虚拟矩形框的中心是所述目标障碍物的中心；
其中，获取到的所述目标障碍物是在TOF摄像头当前的视场区域内，且位于机器人的前方。
5.根据权利要求4所述障碍物碰撞警告方法，其特征在于，所述目标障碍物的轮廓的深度图像包括：对TOF摄像头采集的深度图像数据滤波处理和连通域分析以分割出来的图像轮廓坐标信息；
其中，TOF摄像头采集的深度图像数据是同时处于TOF摄像头的有效测距范围和TOF摄像头的视角范围的目标障碍物的深度图像数据。
6.根据权利要求5所述障碍物碰撞警告方法，其特征在于，在获取所述目标障碍物的轮廓的深度图像、所述目标障碍物的深度信息以及TOF摄像头的内外参数的基础上，利用三角原理，将所述目标障碍物的图像轮廓坐标信息由TOF摄像头的成像平面换算为世界坐标系下，其中，换算的结果包括：在TOF摄像头的视角范围和有效测距范围的重叠区域内，所述目标障碍物的最左侧与机器人的机体中心的水平距离、所述目标障碍物的最右侧与机器人的机体中心的水平距离。
7.根据权利要求6所述障碍物碰撞警告方法，其特征在于，若所述目标障碍物的轮廓不是全部处于TOF摄像头的视角范围内和/或TOF摄像头的有效测距范围内，机器人设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心。
8.一种视觉芯片，其特征在于，该视觉芯片存储权利要求1至7任一项所述的基于深度数据的障碍物碰撞警告方法对应的程序，用于控制机器人在触碰TOF摄像头的有效视场区域内的目标障碍物之前，触发碰撞警告信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011336291.3A CN112308033B (zh) | 2020-11-25 | 2020-11-25 | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011336291.3A CN112308033B (zh) | 2020-11-25 | 2020-11-25 | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112308033A true CN112308033A (zh) | 2021-02-02 |
| CN112308033B CN112308033B (zh) | 2024-04-05 |
Family
ID=74336021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011336291.3A Active CN112308033B (zh) | 2020-11-25 | 2020-11-25 | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308033B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690374A (zh) * | 2023-01-03 | 2023-02-03 | 江西格如灵科技有限公司 | 一种基于模型边缘射线检测的交互方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103253263A (zh) * | 2012-02-17 | 2013-08-21 | 现代摩比斯株式会社 | 障碍物检测及碰撞报警装置及其方法 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航***及方法 |
| WO2016076449A1 (en) * | 2014-11-11 | 2016-05-19 | Movon Corporation | Method and system for detecting an approaching obstacle based on image recognition |
| CN109344687A (zh) * | 2018-08-06 | 2019-02-15 | 深圳拓邦股份有限公司 | 基于视觉的障碍物检测方法、装置、移动设备 |
-
2020
- 2020-11-25 CN CN202011336291.3A patent/CN112308033B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103253263A (zh) * | 2012-02-17 | 2013-08-21 | 现代摩比斯株式会社 | 障碍物检测及碰撞报警装置及其方法 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航***及方法 |
| WO2016076449A1 (en) * | 2014-11-11 | 2016-05-19 | Movon Corporation | Method and system for detecting an approaching obstacle based on image recognition |
| CN109344687A (zh) * | 2018-08-06 | 2019-02-15 | 深圳拓邦股份有限公司 | 基于视觉的障碍物检测方法、装置、移动设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690374A (zh) * | 2023-01-03 | 2023-02-03 | 江西格如灵科技有限公司 | 一种基于模型边缘射线检测的交互方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112308033B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230305573A1 (en) | Method for detecting obstacle, self-moving robot, and non-transitory computer readable storage medium | |
| CN112415998B (zh) | 一种基于tof摄像头的障碍物分类避障控制*** | |
| CN107981790B (zh) | 室内区域划分方法及扫地机器人 | |
| Zhang et al. | Visual-lidar odometry and mapping: Low-drift, robust, and fast | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR100877072B1 (ko) | 이동 로봇을 위한 맵 생성 및 청소를 동시에 수행하는 방법및 장치 | |
| EP3104194B1 (en) | Robot positioning system | |
| CN112327878B (zh) | 一种基于tof摄像头的障碍物分类避障控制方法 | |
| AU2017228620A1 (en) | Autonomous coverage robot | |
| EP4033324B1 (en) | Obstacle information sensing method and device for mobile robot | |
| WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航***及方法 | |
| CN111624997A (zh) | 基于tof摄像模块的机器人控制方法、***及机器人 | |
| CN112327879A (zh) | 一种基于深度信息的沿边避障方法 | |
| CN113331743A (zh) | 清洁机器人清洁地面的方法以及清洁机器人 | |
| US11960296B2 (en) | Method and apparatus for autonomous mobile device | |
| CN114779777A (zh) | 自移动机器人的传感器控制方法、装置、介质及机器人 | |
| CN113610910B (zh) | 一种移动机器人避障方法 | |
| CN112308033B (zh) | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 | |
| CN107647828A (zh) | 安装有鱼眼摄像头的扫地机器人 | |
| CN113848944A (zh) | 一种地图构建方法、装置、机器人及存储介质 | |
| CN112182122A (zh) | 一种移动机器人工作环境导航地图的获取方法及装置 | |
| Pfeiffer et al. | Ground truth evaluation of the Stixel representation using laser scanners | |
| CN114903374A (zh) | 一种扫地机及其控制方法 | |
| Roennau et al. | Robust 3D scan segmentation for teleoperation tasks in areas contaminated by radiation | |
| Sun et al. | Detection and state estimation of moving objects on a moving base for indoor navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |