CN117635683A - 一种基于多相机的小车室内定位方法 - Google Patents

Abstract

本发明公开了一种基于多相机的小车室内定位方法，包括如下步骤：步骤1、对多相机内外参进行标定，从二维图像中获取三维空间信息，通过相机标定获取图像中像素与空间物体的映射关系，利用像素坐标解算空间坐标；步骤2、基于改进YOLOv5模型，对小车进行特征点检测；步骤3、对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标。本发明中，多相机***同时获得多个角度和视角的信息，减少了误差，提供了较高的定位精度；同时在复杂的室内环境中，多相机***通过多个视角来处理障碍物和多路径效应，可以提供稳定的位置估计。

Description

一种基于多相机的小车室内定位方法

技术领域

本发明涉及室内定位技术领域，尤其是一种基于多相机的小车室内定位方法。

背景技术

在汽车智能化的大背景下，自动驾驶被视为未来交通领域的一项重要技术，能够提高交通安全性、减少交通拥堵，并提供更多的出行选择。百度Apollo小车是一款搭载自动驾驶技术的测试车辆，用于在实际道路上进行自动驾驶***的测试和验证。Apollo小车定位模块依赖于IMU、GPS、激光雷达、雷达、高精地图，这些传感器同时支持GNSS定位和LiDAR定位，GNSS定位输出位置和速度信息，LiDAR定位输出位置和行进方向信息。而由于室内定位缺少GPS信息，对Apollo小车的室内自动驾驶的研究带来了一些挑战。

现有的室内定位技术涵盖了多种方法和应用领域，如基于wifi、蓝牙、超声波和惯性导航等方法的室内定位技术，常常应用于室内导航、室内定位、室内遥控等领域，为室内环境中的定位和导航问题提供了一些解决方案。但是目前的室内定位技术在实际应用中存在着不同程度的问题和缺点，例如在复杂环境中的准确性受到限制，信号信号强度可能受到障碍物、干扰或多径传播的影响，从而导致定位误差增加。惯性导航技术容易受到累积误差的影响，导致漂移问题。而一些高精度的室内定位技术，如基于超声波或激光的***，成本较高。部署这些***需要昂贵的硬件和基础设施投资，限制了其在大规模应用中的可行性。

发明内容

本发明所要解决的技术问题在于，提供一种基于多相机的小车室内定位方法，多相机***同时获得多个角度和视角的信息，减少了误差，提供了较高的定位精度；同时在复杂的室内环境中，多相机***通过多个视角来处理障碍物和多路径效应，可以提供稳定的位置估计。

为解决上述技术问题，本发明提供一种基于多相机的小车室内定位方法，包括如下步骤：

步骤1、对多相机内外参进行标定，从二维图像中获取三维空间信息，通过相机标定获取图像中像素与空间物体的映射关系，利用像素坐标解算空间坐标；

步骤2、基于改进YOLOv5模型，对小车进行特征点检测；

步骤3、对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标。

优选的，步骤1中，对多相机内外参进行标定，从二维图像中获取三维空间信息具体包括如下步骤：

步骤11、获取相机内参，实现相机坐标系到图像坐标系的转换；

步骤12、获取相机外参，实现世界坐标系到相机坐标系的转换；

步骤13、通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定；透视投影矩阵将图像上的像素坐标与三维空间中的实际坐标关联起来，使得图像中的点映射到三维空间中，实现相机的测量和计算功能。

优选的，步骤11中，获取相机内参，实现相机坐标系到图像坐标系的转换具体包括如下步骤：

步骤111、将四个Kinect相机固定安装在室内定位场地的四个顶角位置，获得小车多个角度的位置信息；

步骤112、调用pyk4a接口，获得Kinect相机内参矩阵K。

优选的，步骤12中，获取相机外参，实现世界坐标系到相机坐标系的转换具体包括如下步骤：

步骤121、通过多相机录制一段室内定位场地视频，并将视频文件拆分为一张张的棋盘格图像；

步骤122、加载图像，对每张图像选取四个顶点位置，调用cv2.findHomography()函数计算相机的单应性矩阵，该矩阵用于将图像上的点映射到实际世界中的点；

步骤123、分解相机单应性矩阵，并获取相机的外参，包括旋转矩阵R和平移矩阵T，其中：

T＝(t_x,t_y,t_z)^T (2)。

优选的，步骤13中，通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定具体包括如下步骤：

步骤131、设某点在世界坐标系中的坐标为P_w＝(x_w,y_w,z_w)^T，在相机坐标系中的坐标为P_c＝(x_c,y_c,z_c)，则：

步骤132、在图像坐标系中像素坐标为{u，v}，则：

其中K为相机内参矩阵，c_x和c_y表示相机光轴在像素坐标系中的偏移量；f_x和f_y为u轴和v轴上的归一化焦距。

优选的，步骤2中，基于改进YOLOv5模型，对小车进行特征点检测具体包括如下步骤：

步骤21、设定小车特征点：在小车前后四个顶角绑定四个不同颜色的小球作为小车特征点，通过特征点的颜色确定小车的前进、后退方向，通过特征点的位置确定小车的位置，同时增加小车本身作为一个特征点，实现对其他特征点的位置约束作用；

步骤22、构建基于改进YOLOv5的小目标检测深度学习模型：从特征提取模型、损失函数模块和非最大抑制模块NMS三个方面对YOLOv5模型进行改进，有效的增强了YOLOv5模型对小目标物体的检测精；

步骤23、构建小车检测数据集；

步骤24、训练步骤22中构建的基于YOLOv5的目标检测深度学习模型。

优选的，步骤22中，改进特征提取模型：小车特征点在相机视野下占据整幅图像的比例较小，在YOLOv5骨干网络的基础上对原始输入图片增加一个4倍下采样的过程，原始图片经过4倍下采样后送入到特征融合网络得到新尺寸的特征图；该特征图感受野较小，位置信息相对丰富，可以提升小目标检测效果；

改进损失函数模块：使用EIoU损失函数,在CIoU的基础上将纵横比拆开，并且加入Focal聚焦优质的锚框，EIoU损失函数的惩罚项是在CIoU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，包含重叠损失、中心距离损失与宽高损失三个部分，前两部分延续CIoU中的方法，宽高损失使得目标框和锚框的宽度和高度之差最小，收敛速度更快，EIoU损失函数公式如下所示：

其中，IOU(A,B)代表两个矩形框A和B的交集与并集的比值，即常用的IoU值，这是评估预测边界框与真实边界框相似度的标准方法；ρ²：表示预测的边界框的中心点b和真实边界框的中心点b^gt之间的平方距离；ρ²(h,h^gt)和ρ²(w,w^gt)：分别表示预测的边界框的高度h和宽度w与真实边界框的高度h^gt和宽度w^gt之间的平方距离；h^c和w^c：分别表示预测的边界框的高度和宽度的中心点坐标。

改进非最大抑制NMS模块：非最大抑制模块用于目标检测的预测阶段，使用NMS来合并同一目标的类似边界框，使用考虑两个框中心点之间距离的DIoU替代IoU作为NMS的评判标准；

其中，s_i是分类置信度，ε为NMS阈值，M为最高置信度的框，DIoU-NMS预测中心点距离较远的边界框中存在不同的特征点，减少了漏检的情况。

优选的，步骤23中，构建小车检测数据集具体包括如下步骤：

步骤231、采用步骤1中安装的四个Kinect相机，采集多个角度的小车视频，并分割成图像；

步骤232、使用标注工具LabelImg对采集的小车图像进行特征点半自动化标注；

步骤233、将标注数据集转换为适用于YOLOv5模型的yolo标注格式；

步骤234、构建小车检测训练集、验证集和测试集，随机选取80％的小车检测数据集作为训练集，10％的小车检测数据集作为验证集，10％的小车检测数据集作为测试集。

优选的，步骤24中，训练步骤22中构建的基于YOLOv5的目标检测深度学习模型具体包括如下步骤：

步骤241、设置训练参数，利用随机优化算法Adam进行训练，训练批次的大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝300；

步骤242、将步骤22构建的小车检测数据集送入步骤22中构建的基于YOLOv5的目标检测深度学习模型；

步骤243、训练基于YOLOv5的目标检测深度学***均精度变化和损失变化趋势，调整学习率和迭代次数，直至精度变化和损失变化逐步趋于稳定的状态，确定最终的学习率和迭代次数；

步骤244、根据确定的学习率和迭代次数，完成基于YOLOv5的目标检测深度学习模型的训练，得到收敛良好的基于YOLOv5的目标检测深度学习模型。

优选的，步骤3中，对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标具体包括如下步骤：

步骤31、对于每一帧图像，使用训练好的目标检测模型检测出小车特征点，并获取其在图像中的位置和类别信息；

步骤32、对同一个特征点在不同相机中像素点的位置进行三角化，计算出该特征点在三维空间中的坐标，获得特征点的深度信息；获取同一时刻多相机下的一组图像，指定其中一幅图像上的一点为待重建点；根据类别一致性确定每幅图像的特征点坐标，对每个特征点利用三角测量原理计算对应的三维坐标；

步骤33、实时图像中不断检测小车特征点，通过GRPC将小车的三维坐标实时输出给小车，实现小车的室内自动驾驶。

本发明的有益效果为：基于四个Kinect相机获得的深度图像和多相机***，能够提供高质量的室内定位，多相机***可以减小误差，不需要额外的基站或信标，提高定位的准确性；同时，不同颜色的小球绑定到小车上作为目标特征点，增加了目标识别和定位的可靠性，这种多样性有助于在各种光照和场景条件下实现可靠的定位；基于改进YOLOv5模型进行特征点检测，可以直接利用其物体检测功能进行小球特征点的标注，从而简化了训练数据的准备工作；由于YOLOv5具有多目标检测能力，它可以同时检测小车上的多个不同颜色的小球，进而根据这些特征点的相对位置和深度信息准确地定位小车；改进的YOLOv5模型不仅可以用于检测特定的小球特征点，而且还可以轻松地扩展到其他形状、大小和颜色的特征点，提供更大的灵活性，由于不再依赖额外的基站或信标，***的部署和维护成本会大大降低，同时也增加了***的可移植性和扩展性；因此，结合改进的YOLOv5模型的小车特征点检测将为该室内定位方法带来实时性、准确性和鲁棒性的提升，同时也简化了***的部署和维护工作；基于多相机的室内定位技术结合了高精度、稳定性、低成本和自主导航等多种优势，为室内定位问题提供了更可行和可靠的解决方案，为自动驾驶和机器人导航领域提供了新的室定位解决方案。

附图说明

图1为本发明的小车室内定位方法流程示意图。

图2为本发明改进后的特征提取模块示意图。

图3为本发明的labelImg标注界面示意图。

图4为本发明的模型评估结果示意图。

图5为本发明的小车室内定位误差分析示意图。

图6为本发明的小车目标检测示例图。

图7为本发明基于特征点约束的多幅图像三维重建方法示意图。

具体实施方式

如图1所示，一种基于多相机的小车室内定位方法，包括如下步骤：

步骤1、对多相机内外参进行标定，从二维图像中获取三维空间信息，通过相机标定获取图像中像素与空间物体的映射关系，利用像素坐标解算空间坐标；

对多相机内外参进行标定，从二维图像中获取三维空间信息具体包括如下步骤：

步骤11、获取相机内参，实现相机坐标系到图像坐标系的转换；具体包括如下步骤：

步骤111、将四个Kinect相机固定安装在室内定位场地的四个顶角位置，获得小车多个角度的位置信息；

步骤112、调用pyk4a接口，获得Kinect相机内参矩阵K。

步骤12、获取相机外参，实现世界坐标系到相机坐标系的转换；具体包括如下步骤：

步骤121、通过多相机录制一段室内定位场地视频，并将视频文件拆分为一张张的棋盘格图像；

步骤122、加载图像，对每张图像选取四个顶点位置，调用cv2.findHomography()函数计算相机的单应性矩阵，该矩阵用于将图像上的点映射到实际世界中的点；

步骤123、分解相机单应性矩阵，并获取相机的外参，包括旋转矩阵R和平移矩阵T，其中：

T＝(t_x,t_y,t_z)^T (2)。

步骤13、通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定；透视投影矩阵将图像上的像素坐标与三维空间中的实际坐标关联起来，使得图像中的点映射到三维空间中，实现相机的测量和计算功能。具体包括如下步骤：

步骤131、设某点在世界坐标系中的坐标为P_w＝(x_w,y_w,z_w)^T，在相机坐标系中的坐标为P_c＝(x_c,y_c,z_c)，则：

步骤132、在图像坐标系中像素坐标为{u，v}，则：

其中K为相机内参矩阵，c_x和c_y表示相机光轴在像素坐标系中的偏移量；f_x和f_y为u轴和v轴上的归一化焦距。

步骤2、基于改进YOLOv5模型，对小车进行特征点检测；具体包括如下步骤：

步骤21、设定小车特征点：在小车前后四个顶角绑定四个不同颜色的小球作为小车特征点，通过特征点的颜色确定小车的前进、后退方向，通过特征点的位置确定小车的位置，同时增加小车本身作为一个特征点，实现对其他特征点的位置约束作用；

步骤22、构建基于改进YOLOv5的小目标检测深度学习模型：从特征提取模型、损失函数模块和非最大抑制模块NMS三个方面对YOLOv5模型进行改进，有效的增强了YOLOv5模型对小目标物体的检测精；

改进特征提取模型：小车特征点在相机视野下占据整幅图像的比例较小，在YOLOv5骨干网络的基础上对原始输入图片增加一个4倍下采样的过程，原始图片经过4倍下采样后送入到特征融合网络得到新尺寸的特征图；该特征图感受野较小，位置信息相对丰富，可以提升小目标检测效果，如图2所示；

改进损失函数模块：使用EIoU损失函数,在CIoU的基础上将纵横比拆开，并且加入Focal聚焦优质的锚框，EIoU损失函数的惩罚项是在CIoU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，包含重叠损失、中心距离损失与宽高损失三个部分，前两部分延续CIoU中的方法，宽高损失使得目标框和锚框的宽度和高度之差最小，收敛速度更快，EIoU损失函数公式如下所示：

改进非最大抑制NMS模块：非最大抑制模块用于目标检测的预测阶段，使用NMS来合并同一目标的类似边界框，使用考虑两个框中心点之间距离的DIoU替代IoU作为NMS的评判标准；

其中，s_i是分类置信度，ε为NMS阈值，M为最高置信度的框，DIoU-NMS预测中心点距离较远的边界框中存在不同的特征点，减少了漏检的情况。

步骤23、构建小车检测数据集；具体包括如下步骤：

步骤231、采用步骤1中安装的四个Kinect相机，采集多个角度的小车视频，并分割成图像；

步骤232、使用标注工具LabelImg对采集的小车图像进行特征点半自动化标注；lableImg标注界面如图3所示。

步骤233、将标注数据集转换为适用于YOLOv5模型的yolo标注格式；

步骤234、构建小车检测训练集、验证集和测试集，随机选取80％的小车检测数据集作为训练集，10％的小车检测数据集作为验证集，10％的小车检测数据集作为测试集。

步骤24、训练步骤22中构建的基于YOLOv5的目标检测深度学习模型。具体包括如下步骤：

步骤241、设置训练参数，利用随机优化算法Adam进行训练，训练批次的大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝300；

步骤242、将步骤22构建的小车检测数据集送入步骤22中构建的基于YOLOv5的目标检测深度学习模型；

步骤243、训练基于YOLOv5的目标检测深度学***均精度变化和损失变化趋势，调整学习率和迭代次数，直至精度变化和损失变化逐步趋于稳定的状态，确定最终的学习率和迭代次数；

步骤244、根据确定的学习率和迭代次数，完成基于YOLOv5的目标检测深度学习模型的训练，得到收敛良好的基于YOLOv5的目标检测深度学习模型。评估模型：使用box_loss、obj_loss等五种指标评估模型效果，模型评估结果如图4所示，指标mAP@50可达到99％以上，充分证明了本发明训练得到的目标检测模型精度是可靠的；图5分析了小车使用模型定位的三维坐标与真实空间坐标的误差值，误差范围在0.01m～0.10m之间；小车的目标检测示例图如图6所示。

步骤3、对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标。如图7所示，具体包括如下步骤：

步骤31、对于每一帧图像，使用训练好的目标检测模型检测出小车特征点，并获取其在图像中的位置和类别信息；

步骤32、对同一个特征点在不同相机中像素点的位置进行三角化，计算出该特征点在三维空间中的坐标，获得特征点的深度信息；获取同一时刻多相机下的一组图像，指定其中一幅图像上的一点为待重建点；根据类别一致性确定每幅图像的特征点坐标，对每个特征点利用三角测量原理计算对应的三维坐标；

步骤33、实时图像中不断检测小车特征点，通过GRPC将小车的三维坐标实时输出给小车，实现小车的室内自动驾驶。

Claims (10)

1.一种基于多相机的小车室内定位方法，其特征在于，包括如下步骤：

步骤1、对多相机内外参进行标定，从二维图像中获取三维空间信息，通过相机标定获取图像中像素与空间物体的映射关系，利用像素坐标解算空间坐标；

步骤2、基于改进YOLOv5模型，对小车进行特征点检测；

步骤3、对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标。

2.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤1中，对多相机内外参进行标定，从二维图像中获取三维空间信息具体包括如下步骤：

步骤11、获取相机内参，实现相机坐标系到图像坐标系的转换；

步骤12、获取相机外参，实现世界坐标系到相机坐标系的转换；

步骤13、通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定；透视投影矩阵将图像上的像素坐标与三维空间中的实际坐标关联起来，使得图像中的点映射到三维空间中，实现相机的测量和计算功能。

3.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤11中，获取相机内参，实现相机坐标系到图像坐标系的转换具体包括如下步骤：

步骤111、将四个Kinect相机固定安装在室内定位场地的四个顶角位置，获得小车多个角度的位置信息；

步骤112、调用pyk4a接口，获得Kinect相机内参矩阵K。

4.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤12中，获取相机外参，实现世界坐标系到相机坐标系的转换具体包括如下步骤：

步骤121、通过多相机录制一段室内定位场地视频，并将视频文件拆分为一张张的棋盘格图像；

步骤122、加载图像，对每张图像选取四个顶点位置，调用cv2.findHomography()函数计算相机的单应性矩阵，该矩阵用于将图像上的点映射到实际世界中的点；

步骤123、分解相机单应性矩阵，并获取相机的外参，包括旋转矩阵R和平移矩阵T，其中：

T＝(t_x,t_y,t_z)^T (2)。

5.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤13中，通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定具体包括如下步骤：

步骤131、设某点在世界坐标系中的坐标为P_w＝(x_w,y_w,z_w)^T，在相机坐标系中的坐标为P_c＝(x_c,y_c,z_c)，则：

步骤132、在图像坐标系中像素坐标为{u，v}，则：

其中K为相机内参矩阵，c_x和c_y表示相机光轴在像素坐标系中的偏移量；f_x和f_y为u轴和v轴上的归一化焦距。

6.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤2中，基于改进YOLOv5模型，对小车进行特征点检测具体包括如下步骤：

步骤21、设定小车特征点：在小车前后四个顶角绑定四个不同颜色的小球作为小车特征点，通过特征点的颜色确定小车的前进、后退方向，通过特征点的位置确定小车的位置，同时增加小车本身作为一个特征点，实现对其他特征点的位置约束作用；

步骤22、构建基于改进YOLOv5的小目标检测深度学习模型：从特征提取模型、损失函数模块和非最大抑制模块NMS三个方面对YOLOv5模型进行改进，有效的增强了YOLOv5模型对小目标物体的检测精；

步骤23、构建小车检测数据集；

步骤24、训练步骤22中构建的基于YOLOv5的目标检测深度学习模型。

7.如权利要求6所述的基于多相机的小车室内定位方法，其特征在于，步骤22中，改进特征提取模型：小车特征点在相机视野下占据整幅图像的比例较小，在YOLOv5骨干网络的基础上对原始输入图片增加一个4倍下采样的过程，原始图片经过4倍下采样后送入到特征融合网络得到新尺寸的特征图；该特征图感受野较小，位置信息相对丰富，可以提升小目标检测效果；

改进损失函数模块：使用EIoU损失函数,在CIoU的基础上将纵横比拆开，并且加入Focal聚焦优质的锚框，EIoU损失函数的惩罚项是在CIoU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，包含重叠损失、中心距离损失与宽高损失三个部分，前两部分延续CIoU中的方法，宽高损失使得目标框和锚框的宽度和高度之差最小，收敛速度更快，EIoU损失函数公式如下所示：

其中，IOU(A,B)代表两个矩形框A和B的交集与并集的比值，即常用的IoU值，这是评估预测边界框与真实边界框相似度的标准方法；ρ²：表示预测的边界框的中心点b和真实边界框的中心点b^gt之间的平方距离；ρ²(h,h^gt)和ρ²(w,w^gt)：分别表示预测的边界框的高度h和宽度w与真实边界框的高度h^gt和宽度w^gt之间的平方距离；h^c和w^c：分别表示预测的边界框的高度和宽度的中心点坐标；

改进非最大抑制NMS模块：非最大抑制模块用于目标检测的预测阶段，使用NMS来合并同一目标的类似边界框，使用考虑两个框中心点之间距离的DIoU替代IoU作为NMS的评判标准；

其中，s_i是分类置信度，ε为NMS阈值，M为最高置信度的框，DIoU-NMS预测中心点距离较远的边界框中存在不同的特征点，减少了漏检的情况。

8.如权利要求6所述的基于多相机的小车室内定位方法，其特征在于，步骤23中，构建小车检测数据集具体包括如下步骤：

步骤231、采用步骤1中安装的四个Kinect相机，采集多个角度的小车视频，并分割成图像；

步骤232、使用标注工具LabelImg对采集的小车图像进行特征点半自动化标注；

步骤233、将标注数据集转换为适用于YOLOv5模型的yolo标注格式；

步骤234、构建小车检测训练集、验证集和测试集，随机选取80％的小车检测数据集作为训练集，10％的小车检测数据集作为验证集，10％的小车检测数据集作为测试集。

9.如权利要求6所述的基于多相机的小车室内定位方法，其特征在于，步骤24中，训练步骤22中构建的基于YOLOv5的目标检测深度学习模型具体包括如下步骤：

步骤241、设置训练参数，利用随机优化算法Adam进行训练，训练批次的大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝300；

步骤242、将步骤22构建的小车检测数据集送入步骤22中构建的基于YOLOv5的目标检测深度学习模型；

步骤243、训练基于YOLOv5的目标检测深度学***均精度变化和损失变化趋势，调整学习率和迭代次数，直至精度变化和损失变化逐步趋于稳定的状态，确定最终的学习率和迭代次数；

步骤244、根据确定的学习率和迭代次数，完成基于YOLOv5的目标检测深度学习模型的训练，得到收敛良好的基于YOLOv5的目标检测深度学习模型。

10.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤3中，对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标具体包括如下步骤：

步骤31、对于每一帧图像，使用训练好的目标检测模型检测出小车特征点，并获取其在图像中的位置和类别信息；

步骤32、对同一个特征点在不同相机中像素点的位置进行三角化，计算出该特征点在三维空间中的坐标，获得特征点的深度信息；获取同一时刻多相机下的一组图像，指定其中一幅图像上的一点为待重建点；根据类别一致性确定每幅图像的特征点坐标，对每个特征点利用三角测量原理计算对应的三维坐标；

步骤33、实时图像中不断检测小车特征点，通过GRPC将小车的三维坐标实时输出给小车，实现小车的室内自动驾驶。