CN117519124A - 自移动设备的避障方法、自移动设备及存储介质 - Google Patents
自移动设备的避障方法、自移动设备及存储介质 Download PDFInfo
- Publication number
- CN117519124A CN117519124A CN202311326561.6A CN202311326561A CN117519124A CN 117519124 A CN117519124 A CN 117519124A CN 202311326561 A CN202311326561 A CN 202311326561A CN 117519124 A CN117519124 A CN 117519124A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- obstacle avoidance
- ground plane
- coordinate system
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000009434 installation Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明实施例提供一种自移动设备的避障方法、自移动设备及存储介质。自移动设备包括深度传感器，方法包括：通过深度传感器获取位于传感器坐标系的第一点云；根据传感器坐标系的预设地平面对第一点云进行滤波，得到第二点云；基于预设地平面以及第二点云确定目标地平面，并将目标地平面作为分割平面对第一点云进行分割，得到初始避障点云；将初始避障点云进行坐标变换，得到机器人坐标系的目标避障点云，并基于目标避障点云控制自移动设备进行避障。本申请实施例旨在将预设地平面作为先验信息以确定目标地平面，实现了提高目标地平面的提取速度、稳定性以及精度，进而能够得到更加精确的避障点云，从而实现更可靠地避障。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种自移动设备的避障方法、自移动设备及计算机可读存储介质。
背景技术
自移动设备是指无需人工操作，可以实现自动移动的设备。在无人驾驶、工业自动化以及服务等领域，自移动设备都具有广泛应用前景。由于自移动设备通常在复杂的作业场景中工作，因此如何精准的进行避障是实现自移动设备自主导航和安全移动的关键。
在自移动设备的避障过程中，通常需要提取自移动设备所处的真实地平面，进而基于提取到的真实地平面确定自移动设备可能会碰到的障碍物，以进行避障。然而直接根据相机获取到的地平面与真实地平面通常存在误差，导致无法精准的确定障碍物以进行避障。此外，相关技术中也有采取坐标变换等方法提取真实地平面，然而过程较为复杂，且很难达到实时提取的效果，进而无法及时的避障。
发明内容
本申请提供了一种自移动设备的避障方法、自移动设备及计算机可读存储介质，旨在将预设地平面作为先验信息以确定目标地平面，实现了提高目标地平面的提取速度、稳定性以及精度，进而能够得到更加精确的避障点云，从而实现更可靠地避障。
为实现上述目的，本申请提供一种自移动设备的避障方法，所述自移动设备包括深度传感器，所述方法包括：
通过所述深度传感器获取位于传感器坐标系的第一点云；
根据所述传感器坐标系的预设地平面对所述第一点云进行滤波，得到第二点云；其中，所述预设地平面基于所述深度传感器在机器人坐标系的安装位置信息得到；
基于所述预设地平面以及所述第二点云确定目标地平面，并将所述目标地平面作为分割平面对所述第一点云进行分割，得到初始避障点云；其中，所述初始避障点云对应于所述传感器坐标系；
将所述初始避障点云进行坐标变换，得到所述机器人坐标系的目标避障点云，并基于所述目标避障点云控制所述自移动设备进行避障。
此外，为实现上述目的，本申请还提供一种自移动设备，所述自移动设备包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述的计算机程序并在执行所述的计算机程序时实现本申请实施例提供的任一项所述的自移动设备的避障方法的步骤。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现本申请实施例提供的任一项所述的自移动设备的避障方法的步骤。
本申请实施例公开的自移动设备的避障方法、自移动设备及计算机可读存储介质，能够通过深度传感器获取位于传感器坐标系的第一点云，并根据传感器坐标系的预设地平面对第一点云进行滤波，得到第二点云。其中，预设地平面基于深度传感器在机器坐标系的安装位置信息得到。进一步的，可基于预设地平面以及第二点云确定目标地平面，并将目标地平面作为分割平面对第一点云进行分割，得到传感器坐标系下的初始避障点云。由此，能够将初始避障点云进行坐标变换，得到机器人坐标系的目标避障点云，并基于目标避障点云控制自移动设备进行避障。本申请旨在将预设地平面作为先验信息以确定目标地平面，实现了提高目标地平面的提取速度、稳定性以及精度，进而能够基于目标地平面得到更加精确的避障点云，从而能够基于避障点云实现更可靠地避障。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种自移动设备的避障方法的流程示意图；
图2是如图1所示的一种自移动设备的避障方法的场景示意图；
图3是本申请实施例提供的一种确定预设地平面的流程示意图；
图4是本申请实施例提供的一种机器人坐标系的场景示意图；
图5是本申请实施例提供的一种确定目标地平面的流程示意图；
图6是本申请实施例提供的另一种自移动设备的避障方法的流程示意图；
图7是如图6所示的一种自移动设备的避障方法的场景示意图；
图8是本申请实施例提供的一种控制自移动设备进行避障的流程示意图；
图9是本申请实施例提供的一种自移动设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1以及图2，图1是本申请实施例提供的一种自移动设备的避障方法的流程示意图；图2是如图1所示的一种自移动设备的避障方法的场景示意图。自移动设备包括深度传感器，深度传感器为传感器设备，能够用于测量物体或场景中各点的距离(深度)信息，其通常以三维坐标的形式表示。需要说明的是，本申请对于深度传感器的类型不加以限定，例如包括深度相机、激光雷达等，本申请以深度传感器为深度相机为例进行说明。
其中，深度相机可以使用时间飞行技术，通过发射和接收光束的时间信息来计算物体表面上各点到相机的距离，然后将距离信息转化为三维点坐标，从而生成点云。因此，本申请可以基于深度相机获取场景或物体的点云。
其中，自移动设备可以是扫地机器人、送餐机器人、扫雪机器人以及迎宾机器人等移动机器人，还可以是车辆，例如具有自动驾驶功能的汽车等等。
如图1所示，该自移动设备的避障方法包括步骤S11至步骤S14。
步骤S11：通过深度传感器获取位于传感器坐标系的第一点云。
其中，第一点云是指以传感器坐标系为参考，通过深度传感器获取的点云，其表示在深度传感器的视野内检测到的所有物体或场景的三维空间表示。具体的，第一点云为一组点的集合，每个点都包含了三维空间中物体的位置信息以及可能的其他信息(如颜色或反射强度等)。
需要说明的是，在自移动设备的应用场景中，传感器坐标系和机器人坐标系是用于定位和描述物***置的坐标系。其中，传感器坐标系是深度传感器的坐标系，用于表示深度传感器拍摄的图像中的物***置。它通常以深度相机光学中心为原点，以相机的视轴为Z轴(正方向指向相机前方)，以图像平面上的坐标为X和Y轴。相机坐标系允许将图像中的像素坐标映射到相对于相机的三维物体坐标。
机器人坐标系是自移动设备的本地坐标系，用于描述自移动设备内部和周围环境中的物***置。它通常以自移动设备的某个参考点为原点，以自移动设备的朝向或某个参考方向为基准(如自移动设备的车头方向为x轴正方向；自移动设备的车头左侧为y侧正方向)。机器人坐标系通常用于控制自移动设备的运动、导航和避障。
在实际的应用过程中，通过深度传感器输出的原始数据是定义在传感器坐标系中的。进一步的，在机器人坐标系中，通常需要将传感器坐标系检测到的目标或物体进行坐标变换，以用于控制自移动设备实现自主导航和避障，以及执行如搬运、巡逻和探索等各种任务。
在本申请实施例中，可通过深度传感器获取位于传感器坐标系的第一点云，以获取在传感器坐标系中所有物体或场景的三维空间表示。
步骤S12：根据传感器坐标系的预设地平面对第一点云进行滤波，得到第二点云。
其中，第二点云为第一点云过滤后得到的与预设地平面重合或接近的点云。
进一步的，预设地平面为传感器坐标系下的虚拟地平面，其可以基于深度传感器在机器人坐标系的安装位置信息得到，具体获取步骤本申请后续予以说明。
可以理解的，由于根据深度传感器获取到的预设地平面与自移动设备所处的真实地平面通常存在误差，且由于地面不平坦或自移动设备的运动不平稳，导致深度传感器相对地面存在抖动，因此直接基于预设地平面进行障碍物的确定可能会导致后续自移动设备避障失败。因此，本申请目的在获取到预设地平面后，将预设地平面作为先验信息，从而基于预设地平面确定可用于避障的目标地平面，也即真实地平面，进而基于目标地平面实现自移动设备的避障。
可选地，根据传感器坐标系的预设地平面对第一点云进行滤波，得到第二点云，包括：对第一点云进行滤波，确定第一点云中的有效点云；将与预设地平面的距离小于第一预设阈值的有效点云确定为第二点云。
具体的，由于第一点云通常包含大量的点，其中一些可能是无效的或不相关的点云。因此，可通过移动平均、中值滤波或高斯滤波等滤波方法对第一点云进行滤波，以过滤掉第一点云中效的或不相关的点云，从而得到有效点云。其中，有效点云包括了在传感器坐标系中的三维环境数据。
可以理解的，如图2所示，当自移动设备安装有可用于俯视的深度相机时，上述有效点云包括含有预设地平面的点云。此时可确定每一有效点云到预设地平面的距离，进而将与预设地平面的距离小于第一预设阈值的有效点云确定为第二点云。可以理解的，第二点云为与预设地平面重合或接近的点云，由此可用于后续的真实地平面提取、避障或其他任务。
需要说明的是，上述第一预设阈值的大小主要取决于深度传感器在自移动设备上的安装精度、自移动设备在运动过程中的平稳程度以及深度传感器的测距精度等，例如为5cm、8cm以及10cm等，本申请对此不加以限定。
此外，对于自移动设备安装有用于仰视的深度相机，也即上述有效点云不包括含有预设地平面的点云的情况，本申请于后续予以说明。
在本申请实施例中，可根据传感器坐标系的预设地平面对第一点云进行滤波，得到第二点云，由于第二点云为与预设地平面重合或接近的点云，因此可用于后续的真实地平面提取、避障或其他任务。
步骤S13：基于预设地平面以及第二点云确定目标地平面，并将目标地平面作为分割平面对第一点云进行分割，得到初始避障点云；其中，初始避障点云对应于传感器坐标系。
其中，目标地平面即为真实的地平面；初始避障点云为传感器坐标系中的避障点云。
具体的，可利用预设地平面在传感器坐标系的法向量和任意坐标点，以及第二点云确定目标地平面。例如，可拟合一个初始模型，进而采用拟合算法(如最小二乘法)以实现最好地拟合第二点云，使得该初始模型对应的目标地平面与预设地平面一致，从而得到目标地平面。具体描述参见后续说明，为避免重复不加以赘述。
在确定目标地平面后，可将目标地平面确定为分割平面，以用于将第一点云中的点云进行分割，得到初始避障点云。
需要说明的是，分割平面是在三维空间中定义的一个平面，其被用来将点云数据或其他三维数据分成三个部分：一部分位于平面之上，一部分位于平面内，另一部分位于平面之下。分割平面在计算机视觉、机器人感知和避障等领域中经常用于分离出特定对象或地物，例如将地面与障碍物分开。在点云处理中，分割平面可以帮助检测和识别地面，从而使自移动设备能够知道在哪里安全行走。
具体的，可利用目标地平面的参数(法向量和参考点)定义分割平面的方程，该方程将用于将第一点云中的点分为三类：在分割平面之上、在分割平面内以及在分割平面之下。可以理解的，在分割平面之上的点云以及在分割平面之下的点云可被视为障碍物点云。因此，在利用分割平面对第一点云进行分割后，能够得到传感器坐标系的初始避障点云。
可选地，将目标地平面作为分割平面对第一点云进行分割，得到初始避障点云，包括：将目标地平面作为分割平面，并确定第一点云与分割平面的距离；将与分割平面的距离小于第二预设阈值的第一点云以及与分割平面的距离大于第三预设阈值的第一点云确定为初始避障点云。
可以理解的，与分割平面的距离小于第二预设阈值的第一点云对应的是位于地平面以下的障碍物，如坑洼，或低于地平面的台阶；与分割平面的距离大于第三预设阈值的第一点云对应的是地面上方的障碍物，如桌椅或其它。
需要说明的是，第二预设阈值以及第三预设阈值的大小通常取决于自移动设备的越障性能及具体应用场景。例如自移动设备的越障性能较好，第二预设阈值以及第三预设阈值的数值可以设置相对大一点；自移动设备的越障性能较差，第二预设阈值以及第三预设阈值的数值可以设置相对小一点；此外，对与自移动设备运行平稳度要求比较高的场景，也可以把第二预设阈值以及第三预设阈值的数值设置的相对小一点。本申请对于第二预设阈值以及第三预设阈值不加以限定。例如第二预设阈值与第三预设阈值分别为1cm、3cm以及5cm等。
具体的，可将目标地平面作为分割平面，依次确定每一第一点云与分割平面的距离，进而将与分割平面的距离小于第二预设阈值的第一点云确定为在分割平面之下的点云，以及将与分割平面的距离大于第三预设阈值的第一点云确定为在分割平面之上的点云。由此，可将上述点云确定为传感器坐标系的初始避障点云。
在本申请实施例中，可通过预设地平面和第二点云确定目标地平面，并将其作为分割平面用于分割第一点云，以获得初始避障点云。
步骤S14：将初始避障点云进行坐标变换，得到机器人坐标系的目标避障点云，并基于目标避障点云控制自移动设备进行避障。
可以理解的，由于初始避障点云对应于传感器坐标系。因此，可将其进行坐标变换，得到机器人坐标系的目标避障点云，以基于目标避障点云控制自移动设备进行避障。
需要说明的是，本申请对基于目标避障点云控制自移动设备进行避障的方式不加以限定，例如可通过避障算法基于目标避障点云规划自移动设备的路径，从而实现自移动设备根据路径避开障碍物并沿着目标方向前进。本申请后续予以说明。
此外，也可以根据具体的应用场景，例如将初始避障点云变换到用于导航的地图坐标系中或其他坐标系，以用于实现自移动设备的避障，本申请对此不加以限定。
可选地，将初始避障点云进行坐标变换，得到机器人坐标系的目标避障点云，包括：将初始避障点云基于变换矩阵进行坐标变换，得到目标避障点云。
其中，上述变换矩阵为传感器坐标系到机器人坐标系的变换矩阵，其具体可根据深度传感器在机器人坐标系的安装位置信息中得到。由此，可根据变换矩阵，将初始避障点云变换至目标避障点云。
具体的，本申请以机器人坐标系为xr-or-yr，传感器坐标系为xc-oc-yc为例进行说明。其中，深度传感器在机器人坐标系的安装位置信息为P(x0,y0,z0,roll0,pitch0,yaw0)。在得到深度传感器的安装位置信息P后，将安装位置信息P从传感器坐标系变换到机器人坐标系，由此可以确定传感器坐标系到机器人坐标系的变换矩阵
在本申请实施例中，可将初始避障点云从传感器坐标系变换为机器人坐标系中的目标避障点云，并利用目标避障点云来执行自移动设备的避障控制，以确保自移动设备能够安全地移动并避免碰撞。
本申请实施例公开的自移动设备的避障方法，能够通过深度传感器获取位于传感器坐标系的第一点云，并根据传感器坐标系的预设地平面对第一点云进行滤波，得到第二点云。其中，预设地平面基于深度传感器在机器坐标系的安装位置信息得到。进一步的，可基于预设地平面以及第二点云确定目标地平面，并将目标地平面作为分割平面对第一点云进行分割，得到传感器坐标系下的初始避障点云。由此，能够将初始避障点云进行坐标变换，得到机器人坐标系的目标避障点云，并基于目标避障点云控制自移动设备进行避障。本申请旨在将预设地平面作为先验信息以确定目标地平面，实现了提高目标地平面的提取速度、稳定性以及精度，进而能够基于目标地平面得到更加精确的避障点云，从而能够基于避障点云实现更可靠地避障。
请继续参阅图3以及图4，图3是本申请实施例提供的一种确定预设地平面的流程示意图；图4是本申请实施例提供的一种机器人坐标系的场景示意图。如图3所示，可通过步骤S21至步骤S23实现确定预设地平面。
步骤S21：获取深度传感器在机器人坐标系的安装位置信息。
步骤S22：根据安装位置信息确定传感器坐标系与机器人坐标系的变换关系。
步骤S23：基于变换关系确定预设地平面。
其中，安装位置信息包括深度相机在机器人坐标系的安装位置坐标和深度相机的方向(如姿态或角度信息)坐标。
进一步的，对于传感器的方向坐标，本申请以欧拉角的方式进行表示。其中，欧拉角通常包括横滚角(Roll)、俯仰角(Pitch)以及偏航角(Yaw)三个分量：横滚角为围绕物体当前坐标系的X轴旋转的角度，其表示物体绕自身左右倾斜的程度；俯仰角为围绕物体当前坐标系的Y轴旋转的角度，其表示物体绕自身左右前后倾斜的程度；偏航角为围绕物体当前坐标系的Z轴旋转的角度，其表示物体绕垂直于自身的轴旋转的程度。
具体的，本申请以机器人坐标系为xr-or-yr，传感器坐标系为xc-oc-yc为例进行说明。其中，深度传感器在机器人坐标系的安装位置信息为P(x0,y0,z0,roll0,pitch0,yaw0)。在得到深度传感器的安装位置信息P后，将安装位置信息P从机器人坐标系变换到传感器坐标系，并计算机器人坐标系到传感器坐标系的变换矩阵也即确定传感器坐标系与机器人坐标系的变换关系。
进一步的，可从机器人坐标系任选两点通过变换矩阵/>将它们变换到传感器坐标系，得到:
由此，可得到预设地平面在传感器坐标系中的法向量nc：
以及，预设地平面在传感器坐标系中的方程：
A*x+B*y+C*z+D＝0，
其中，
可以理解的，上述方程是预设地平面的数学描述，表示预设地平面在传感器坐标系中的位置和方向。也即，实现了基于传感器坐标系与机器人坐标系的变换关系确定预设地平面。
在本申请实施例中，可获取深度传感器在机器人坐标系的安装位置信息，进而确定传感器坐标系与机器人坐标系的变换关系，并基于变换关系确定预设地平面，由此可将预设地平面作为后续的真实地平面提取和避障任务的先验信息。
请继续参阅图5，图5是本申请实施例提供的一种确定目标地平面的流程示意图。如图5所示，可通过步骤S131至步骤S134实现确定目标地平面。
步骤S131：获取预设地平面在传感器坐标系的法向量和任意坐标点。
步骤S132：将法向量和任意坐标点作为初始模型的初始参数，并将第二点云作为初始模型的输入参数。
步骤S133：基于初始参数以及输入参数对初始模型进行迭代训练，得到目标地平面模型。
步骤S134：基于目标地平面模型确定目标地平面。
其中，初始模型为用于训练得到目标地平面的模型。
具体的，可获取预设地平面的法向量、任意坐标点以及第二点云，进而将将法向量、任意坐标点作为初始模型的初始参数。并将第二点云作为初始模型的输入参数，从而初始模型能够拟合第二点云，以确定目标地平面。初始模型的训练过程是一个迭代的过程，其中初始模型的参数通过预设算法逐渐调整以实现最好地拟合第二点云。
需要说明的是，本申请对预设算法不加以限定，例如预设算法包括概率抽样一致性、随机抽样一致性以及最小二乘法等，本申请以预设算法为随机抽样一致性(RANSAC，Random Sample Consensus)算法为例进行说明。
随机抽样一致性算法是一种迭代算法，用于从数据集中估计参数模型(如平面模型)，并鲁棒地识别出异常值。随机抽样一致性算法通常用于处理具有噪声和离群值的数据，可以在存在异常值的情况下获得较好的拟合结果。
在基于随机抽样一致性算法实现初始模型的迭代训练后，即可确定目标地平面模型的参数(包括法向量和参考点等)。由此实现得到目标地平面模型，其描述了目标地平面在传感器坐标系中的位置和方向。也即，可基于目标地平面模型确定目标地平面。
在本申请实施例中，可根据预设地平面和第二点云训练得到目标地平面模型，该模型可以准确地描述目标地平面的位置和方向。由于目标地平面为实际的地平面，因此可以用作分割平面，以帮助自移动设备感知和导航，并执行避障操作。
请继续参阅图6以及图7，图6是本申请实施例提供的另一种自移动设备的避障方法的流程示意图；图7是如图6所示的一种自移动设备的避障方法的场景示意图。如图6所示，可通过步骤S31至步骤S34实现自移动设备的避障。
步骤S31：通过深度传感器获取位于传感器坐标系的第一点云。
步骤S32：根据传感器坐标系的预设地平面对第一点云进行滤波。
步骤S33：若未得到第二点云，将预设地平面作为分割平面对第一点云进行分割，得到初始避障点云。
步骤S34：将初始避障点云进行坐标变换，得到机器人坐标系的目标避障点云，并基于目标避障点云进行避障。
对于步骤S31以及步骤S32的详细描述可参见上述实施例，为避免重复此处不加以赘述，
可以理解的，如图7所示，当自移动设备安装有用于仰视的深度相机，也即上述滤波后得到的有效点云不包括第二点云时，说明无法得到目标地平面。此时可直接将预设地平面作为分割平面对第一点云进行分割，得到初始避障点云。
具体的，可利用预设地平面的参数(法向量和参考点)定义分割平面的方程，该方程将用于将第一点云中的点分为三类：在分割平面之上、在分割平面内以及在分割平面之下。可以理解的，在分割平面之上的点云以及在分割平面之下的点云可被视为障碍物点云。因此，在利用分割平面对第一点云进行分割后，能够得到传感器坐标系的初始避障点云。
进一步的，由于初始避障点云对应于传感器坐标系。因此，可将其进行坐标变换，得到机器人坐标系的目标避障点云，以基于目标避障点云控制自移动设备进行避障。
在本申请实施例中，若滤波操作后未得到第二点云，可直接将预设地平面确定作为分割平面分割第一点云，以获得初始避障点云，由此可将初始避障点云变换至目标避障点云，以基于目标避障点云控制自移动设备进行避障。
请参阅图8，图8是本申请实施例提供的一种图8是本申请实施例提供的一种控制自移动设备进行避障的流程示意图。如图8所示，可基于步骤S141至步骤S143实现基于目标避障点云控制自移动设备进行避障。
步骤S141：根据目标避障点云进行障碍物检测，得到障碍物信息。
步骤S142：通过路径规划算法基于障碍物信息以及自移动设备所在的地图信息，确定目标路径。
步骤S143：根据目标路径控制自移动设备移动，以进行避障。
由于目标避障点云为机器人坐标系中的避障点云，因此其描述了自移动设备周围的环境中的障碍物。因此，可通过计算机视觉或深度学习技术对目标避障点云进行分析，以识别和定位障碍物的位置、形状和大小等信息。
进一步的，可通过路径规划算法对上述障碍物信息和自移动设备所在的地图信息(包括已知的地形、建筑物和其他特征等)进行分析，以确定自移动设备应该遵循的目标路径，也即自移动设备能够移动且进行避障的路径。由此，可根据目标路径控制自移动设备移动，例如调整自移动设备的方向和姿态等，以确保自移动设备不会碰撞到障碍物。
需要说明的是，本申请对于上述路径规划算法的类型不加以限定，例如包括人工势场方法、遗传算法和模拟退火等。
在本申请实施例中，可通过检测障碍物、路径规划确定自移动设备的目标路径，进而使自移动设备能够基于目标路径实现避障。
本申请的方法可用于众多通用或专用的计算***环境或配置中，通过这些设备控制自移动设备进行避障。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、机顶盒、可编程的消费终端设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
当然，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的自移动设备上运行。
请参阅图9，图9是本申请实施例提供的一种自移动设备的示意图。
如图9所示，该自移动设备400包括通过***总线连接的处理器401、存储器402和网络接口，其中，存储器402可以包括易失性存储介质、非易失性存储介质和内存储器。
非易失性存储介质可存储操作***和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器401执行任意一种自移动设备的避障方法。
处理器401用于提供计算和控制能力，支撑整个自移动设备400的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器401执行时，可使得处理器401执行任意一种自移动设备的避障方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该自移动设备400的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的自移动设备400的限定，具体的自移动设备400可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器401可以是中央处理单元(Central Processing Unit，CPU)，该处理器401还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一些实施方式中，所述处理器401用于运行存储在存储402器中的计算机程序，以实现如下步骤：通过所述深度传感器获取位于传感器坐标系的第一点云；根据所述传感器坐标系的预设地平面对所述第一点云进行滤波，得到第二点云；其中，所述预设地平面基于所述深度传感器在机器人坐标系的安装位置信息得到；基于所述预设地平面以及所述第二点云确定目标地平面，并将所述目标地平面作为分割平面对所述第一点云进行分割，得到初始避障点云；其中，所述初始避障点云对应于所述传感器坐标系；将所述初始避障点云进行坐标变换，得到所述机器人坐标系的目标避障点云，并基于所述目标避障点云控制所述自移动设备进行避障。
在一些实施方式中，所述处理器401还用于获取所述深度传感器在所述机器人坐标系的安装位置信息；根据所述安装位置信息确定所述传感器坐标系与所述机器人坐标系的变换关系；基于所述变换关系确定所述预设地平面。
在一些实施方式中，所述处理器401还用于对所述第一点云进行滤波，确定所述第一点云中的有效点云；将与所述预设地平面的距离小于第一预设阈值的有效点云确定为所述第二点云。
在一些实施方式中，所述处理器401还用于获取所述预设地平面在所述传感器坐标系的法向量和任意坐标点；将所述法向量和所述任意坐标点作为初始模型的初始参数，并将所述第二点云作为所述初始模型的输入参数；基于所述初始参数以及所述输入参数对所述初始模型进行迭代训练，得到目标地平面模型；基于所述目标地平面模型确定所述目标地平面。
在一些实施方式中，所述处理器401还用于将所述目标地平面作为所述分割平面，并确定所述第一点云与所述分割平面的距离；将与所述分割平面的距离小于第二预设阈值的第一点云以及与所述分割平面的距离大于第三预设阈值的第一点云确定为所述初始避障点云。
在一些实施方式中，所述处理器401还用于将所述初始避障点云基于所述变换矩阵进行坐标变换，得到所述目标避障点云。
在一些实施方式中，所述处理器401还用于若未得到所述第二点云，将所述预设地平面作为所述分割平面对所述第一点云进行分割，得到所述初始避障点云；将所述初始避障点云进行坐标变换，得到所述机器人坐标系的目标避障点云，并基于所述目标避障点云进行避障。
在一些实施方式中，所述处理器401还用于根据所述目标避障点云进行障碍物检测，得到障碍物信息；通过路径规划算法基于所述障碍物信息以及所述自移动设备所在的地图信息，确定目标路径；根据所述目标路径控制所述自移动设备移动，以进行避障。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时实现本申请实施例提供的任一种自移动设备的避障方法。
其中，所述计算机可读存储介质可以是前述实施例所述的自移动设备的内部存储单元，例如所述自移动设备的硬盘或内存。所述计算机可读存储介质也可以是所述自移动设备的外部存储设备，例如所述自移动设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种自移动设备的避障方法，其特征在于，所述自移动设备包括深度传感器，所述方法包括：
通过所述深度传感器获取位于传感器坐标系的第一点云；
根据所述传感器坐标系的预设地平面对所述第一点云进行滤波，得到第二点云；其中，所述预设地平面基于所述深度传感器在机器人坐标系的安装位置信息得到；
基于所述预设地平面以及所述第二点云确定目标地平面，并将所述目标地平面作为分割平面对所述第一点云进行分割，得到初始避障点云；其中，所述初始避障点云对应于所述传感器坐标系；
将所述初始避障点云进行坐标变换，得到所述机器人坐标系的目标避障点云，并基于所述目标避障点云控制所述自移动设备进行避障。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述深度传感器在所述机器人坐标系的安装位置信息；
根据所述安装位置信息确定所述传感器坐标系与所述机器人坐标系的变换关系；
基于所述变换关系确定所述预设地平面。
3.根据权利要求1所述的方法，其特征在于，所述根据所述传感器坐标系的预设地平面对所述第一点云进行滤波，得到第二点云，包括：
对所述第一点云进行滤波，确定所述第一点云中的有效点云；
将与所述预设地平面的距离小于第一预设阈值的有效点云确定为所述第二点云。
4.根据权利要求1所述的方法，其特征在于，所述基于所述预设地平面以及所述第二点云确定目标地平面，包括：
获取所述预设地平面在所述传感器坐标系的法向量和任意坐标点；
将所述法向量和所述任意坐标点作为初始模型的初始参数，并将所述第二点云作为所述初始模型的输入参数；
基于所述初始参数以及所述输入参数对所述初始模型进行迭代训练，得到目标地平面模型；
基于所述目标地平面模型确定所述目标地平面。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标地平面作为分割平面对所述第一点云进行分割，得到初始避障点云，包括：
将所述目标地平面作为所述分割平面，并确定所述第一点云与所述分割平面的距离；
将与所述分割平面的距离小于第二预设阈值的第一点云以及与所述分割平面的距离大于第三预设阈值的第一点云确定为所述初始避障点云。
6.根据权利要求2所述的方法，其特征在于，所述变换关系包括变换矩阵，所述将所述初始避障点云进行坐标变换，得到所述机器人坐标系的目标避障点云，包括：
将所述初始避障点云基于所述变换矩阵进行坐标变换，得到所述目标避障点云。
7.根据权利要求1所述的方法，其特征在于，所述跟据所述传感器坐标系的预设地平面对所述第一点云进行滤波之后，还包括：
若未得到所述第二点云，将所述预设地平面作为所述分割平面对所述第一点云进行分割，得到所述初始避障点云；
将所述初始避障点云进行坐标变换，得到所述机器人坐标系的目标避障点云，并基于所述目标避障点云进行避障。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标避障点云控制所述自移动设备进行避障，包括：
根据所述目标避障点云进行障碍物检测，得到障碍物信息；
通过路径规划算法基于所述障碍物信息以及所述自移动设备所在的地图信息，确定目标路径；
根据所述目标路径控制所述自移动设备移动，以进行避障。
9.一种自移动设备，其特征在于，包括：存储器和处理器；其中，所述存储器与所述处理器连接，用于存储程序所述处理器用于通过运行所述存储器中存储的程序，实现如权利要求1-7中任一项所述的自移动设备的避障方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-7中任一项所述的自移动设备的避障方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311326561.6A CN117519124A (zh) | 2023-10-12 | 2023-10-12 | 自移动设备的避障方法、自移动设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311326561.6A CN117519124A (zh) | 2023-10-12 | 2023-10-12 | 自移动设备的避障方法、自移动设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117519124A true CN117519124A (zh) | 2024-02-06 |
Family
ID=89761494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311326561.6A Pending CN117519124A (zh) | 2023-10-12 | 2023-10-12 | 自移动设备的避障方法、自移动设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117519124A (zh) |
-
2023
- 2023-10-12 CN CN202311326561.6A patent/CN117519124A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210124029A1 (en) | Calibration of laser and vision sensors | |
| US20200249032A1 (en) | Apparatus and method for updating high definition map for autonomous driving | |
| JP5991952B2 (ja) | 周囲状況に対するカメラの姿勢を求めるための方法 | |
| JP2010061655A (ja) | 線形特徴を用いた対象追跡 | |
| US11045953B2 (en) | Relocalization method and robot using the same | |
| CN112327326A (zh) | 带有障碍物三维信息的二维地图生成方法、***以及终端 | |
| US20230419531A1 (en) | Apparatus and method for measuring, inspecting or machining objects | |
| CN111862214A (zh) | 计算机设备定位方法、装置、计算机设备和存储介质 | |
| CN111373336A (zh) | 状态感知方法以及相关设备 | |
| JP2022027593A (ja) | 可移動機器の測位方法、装置及び可移動機器 | |
| CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
| Manivannan et al. | Vision based intelligent vehicle steering control using single camera for automated highway system | |
| CN112597946A (zh) | 障碍物表示方法、装置、电子设备及可读存储介质 | |
| JP2024012160A (ja) | 目標状態推定方法、装置、電子機器及び媒体 | |
| Zhang et al. | Visual odometry based on random finite set statistics in urban environment | |
| CN117519124A (zh) | 自移动设备的避障方法、自移动设备及存储介质 | |
| JP2020064029A (ja) | 移動体制御装置 | |
| US11514588B1 (en) | Object localization for mapping applications using geometric computer vision techniques | |
| Cupec et al. | Global localization based on 3d planar surface segments | |
| CN114509079A (zh) | 用于自主驾驶的地面投影的方法和*** | |
| CN110909569B (zh) | 路况信息识别方法及终端设备 | |
| Karpenko et al. | Stochastic control of UAV on the basis of robust filtering of 3D natural landmarks observations | |
| Szaj et al. | Vehicle localization using laser scanner | |
| JP6670712B2 (ja) | 自己位置推定装置、移動体及び自己位置推定方法 | |
| Yang et al. | Inertial-aided vision-based localization and mapping in a riverine environment with reflection measurements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |