CN114708422B - 一种基于双目图像的舱门坐标计算方法和装置 - Google Patents

Abstract

本发明公开了一种基于双目图像的舱门坐标计算方法和装置，其中，该方法包括：采集双目图像；将双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图；将舱门区域子图输入第二神经网络模型进行第二特征提取，并对舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图；基于舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点；基于两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点。本发明能够准确计算飞机舱门相对于廊桥的坐标，并引导廊桥自动对接到飞机舱门上，极大地提升机场的自动化程度，具有较强的理论意义和实用价值。

Description

一种基于双目图像的舱门坐标计算方法和装置

技术领域

本发明涉及坐标计算技术领域，尤其涉及一种基于双目图像的舱门坐标计算方法和装置。

背景技术

随着现代社会的发展，航空出行成为人民日常生活中不可或缺的一部分。在机场服务乘客乘机的过程中，登机廊桥引导对位是必不可少的一步。登机廊桥指机场里用以连接候机厅与机舱之间的可移动升降的通道，在乘客上下飞机之前，机场需要引导登机廊桥的一端，使其对接到飞机的舱门上，以供乘客通过廊桥进入到机舱内。图1展示了登机廊桥的对接场景。

目前国内机场基本全部采用人工驾驶廊桥的方式。驾驶员用肉眼判断廊桥与飞机之间的相对位置关系，操纵廊桥并将其对接到飞机舱门上。人工方法无法准确获得廊桥与飞机舱门之间的相对坐标，因此对接较低，同时培养、招聘经验丰富的驾驶员会给机场带来较高的人力成本。另外，受驾驶员判断能力的限制，人工对接的方式也容易引发事故。

对于目前国内机场基本全部采用人工驾驶廊桥的方式完成对接，没有已经商用的飞机舱门坐标计算方法。工业界和学术界对于自动廊桥引导对接***的尝试分为激光测距法和图像对比法两种，其中激光测距法指在廊桥四周安装激光测距装置，测量飞机与廊桥之间的距离，从而辅助驾驶员对接廊桥；图像对比法指将飞机舱门图像与数据库中的图像做匹配，从而找到图像中的飞机舱门区域，引导廊桥对接到飞机上。

人工驾驶廊桥的方法无法准确获得廊桥与飞机舱门之间的相对坐标，因此对接较低，同时培养、招聘经验丰富的驾驶员会给机场带来较高的人力成本。另外，受驾驶员判断能力的限制，人工对接的方式也容易引发事故。

激光测距法的缺点包括两方面。一方面，舱门与廊桥间的相对位置坐标由水平方向、竖直方向和前进方向的三个数值组成，分别对应于廊桥上下旋转、左右旋转以及前进后退。而激光测距法只能获得前进方向的距离，因此只能控制廊桥的前进和后退，仍然需要驾驶员观察才能控制廊桥上下左右旋转。另一方面，激光传感器固定在廊桥上，激光发射的角度随廊桥的运动而变化，照射到飞机上的区域也在变化，其获得的距离值并不是飞机上的某个固定点与廊桥之间的距离，因此只能当作引导廊桥对接的参考值。

图像对比法的缺点包括两方面。一方面，图像对比法必须构建飞机舱门图片的数据库，飞机的种类非常多且每年都会有新增的飞机种类，维护这样的数据库需要较多精力。另一方面，图像对比法只能获得飞机舱门与廊桥间大致的相对位置关系，而不能获得准确的坐标数值，其对接的精度比较低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于双目图像的飞机舱门坐标计算方法，能够准确计算飞机舱门相对于廊桥的坐标，并引导廊桥自动对接到飞机舱门上，极大地提升机场的自动化程度，具有较强的理论意义和实用价值。

本发明的另一个目的在于提出一种基于双目图像的飞机舱门坐标计算装置。

为达上述目的，本发明一方面提出了一种基于双目图像的飞机舱门坐标计算方法，包括：

采集双目图像；将双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图；将舱门区域子图输入第二神经网络模型进行第二特征提取，并对舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图；基于舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点；基于两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点。

本发明实施例的基于双目图像的飞机舱门坐标计算方法，能够精确计算多个维度的舱门坐标，为登机廊桥引导***提供更加充分准确的舱门位置信息，从根本上提高了廊桥引导***的对接精度，有效解决了传统廊桥对接方法人力成本高、事故频发的问题，可以在机场的智能化和自动化方面发挥作用。本发明具有较大的理论和实践价值。

另外，根据本发明上述实施例的基于双目图像的飞机舱门坐标计算方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，构建训练图像库，训练得到所述第一神经网络模型；构建训练数据库，训练得到所述第二神经网络模型。

进一步地，在本发明的一个实施例中，在得到所述舱门门缝边缘图之后，还包括：通过边缘点采样，得到所述舱门门缝边缘图的舱门门缝边缘点；通过边缘点分类，将所述边缘点分为上、下、左、右四类，通过带权重的最小二乘模块计算得到四个曲线方程；使用所述四个曲线方程构建全局曲线拟合误差。

进一步地，在本发明的一个实施例中，所述基于所述舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点，包括：基于所述舱门门缝边缘图，使用所述边缘点分类分别提取左边缘点集、右边缘点集和下边缘点集；使用ransac将所述左边缘点集和右边缘点集拟合为两条二次曲线，将所述下边缘点集拟合为直线；分别计算所述两条二次曲线与所述直线的交点，得到所述舱门的两个二维坐标点。

进一步地，在本发明的一个实施例中，所述双目图像包括第一双目图像和第二双目图像，所述基于所述两个二维坐标点，通过三角化得到舱门的两个三维坐标点，包括：预设计算得到的所述第一双目图像的两个二维坐标点分别为所述第二双目图像的两个二维坐标点分别为预设双目相机的焦距为f，基线为B，分别计算所述第一双目图像和所述第二双目图像的两个坐标点的深度值为：

预设所述双目相机的内参矩阵为K，分别计算所述第一双目图像和所述第二双目图像的两个点的三维坐标为：

进一步地，在本发明的一个实施例中，所述方法还包括：将采集的所述双目图像进行缩放和裁剪，并输入所述第一神经网络模型。

进一步地，在本发明的一个实施例中，使用舱门的左边缘和右边缘的延长线与舱门下边缘的延长线相交形成的两个交点作为所述舱门的两个二维坐标点。

为达到上述目的，本发明另一方面提出了一种基于双目图像的舱门坐标计算装置，包括：

采集模块，用于采集双目图像；第一提取模块，用于将所述双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图；第二提取模块，用于将所述舱门区域子图输入第二神经网络模型进行第二特征提取，并对所述舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图；第一计算模块，用于基于所述舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点；第二计算模块，用于基于所述两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点。

本发明实施例的基于双目图像的舱门坐标计算装置，能够精确计算多个维度的舱门坐标，为登机廊桥引导***提供更加充分准确的舱门位置信息，从根本上提高了廊桥引导***的对接精度，有效解决了传统廊桥对接方法人力成本高、事故频发的问题，可以在机场的智能化和自动化方面发挥作用。本发明具有较大的理论和实践价值。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为现实场景中登机廊桥的对接场景示意图；

图2为根据本发明实施例的基于双目图像的舱门坐标计算方法流程图；

图3为根据本发明实施例的相机采集到的图片示意图；

图4为根据本发明实施例的提取出的舱门区域子图；

图5为根据本发明实施例的舱门门缝边缘示意图；

图6为根据本发明实施例的舱门坐标点检测缘示意图；

图7为根据本发明实施例的基于双目图像的舱门坐标计算装置结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于双目图像的舱门坐标计算方法及装置。

图2是本发明一个实施例的基于双目图像的舱门坐标计算方法的流程图。

如图2所示，该基于双目图像的舱门坐标计算方法包括：

S1，采集双目图像。

作为一种示例，本发明在廊桥前端安装双目相机采集图像。具体地，本发明提出的飞机舱门坐标计算方法依赖于相机采集到的飞机舱门图像，而由于图像是二维的，为了获得三维的舱门坐标，需要使用双目相机(即两个摄像头的相机)采集图像。相机采集到的图像如图3所示。

本步骤的意义在于采集双目图像从而可以进一步计算舱门坐标。

S2，将双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图。

可以理解的是，本步骤是基于深度特征的舱门区域子图提取。由于固定在廊桥上的相机在不断运动，其拍摄到的图片中所包含的内容也是***的。当廊桥离飞机较近时，图片中几乎全是飞机舱门，当廊桥离飞机较远时，图片中会包含飞机机体、机场环境等其他内容。为了尽量减少图片中其他内容对舱门坐标计算的影响，需要首先提取图片中的舱门区域。

本发明首先构建训练图像库，离线地训练神经网络模型。在实际运行时，将相机采集到的图片进行缩放、裁剪后，送入神经网络模型中，先进行特征提取，最后通过边界回归得到精确的舱门区域。提取出的舱门区域子图如图4所示。

本步骤的作用在于提取舱门区域的子图，从而减少相机采集的图片中的其他内容对舱门坐标计算的影响。

S3，将舱门区域子图输入第二神经网络模型进行第二特征提取，并对舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图。

可以理解的是，本步骤是基于全局曲线约束的舱门门缝边缘检测，本发明提出的舱门坐标由舱门门缝边缘计算得来，因此需要检测图像中的舱门门缝边缘。

具体地，本发明首先构建训练数据库，离线地训练神经网络模型。传统方法通常直接使用真实边缘图像作为监督信号来训练神经网络模型，然而比起其他种类的边缘，舱门门缝边缘是一个扭曲后的矩形，其上、下边缘的形状为直线，左、右边缘的形状为二次曲线，因此可以利用舱门门缝边缘的这种全局曲线特征来提升边缘检测的效果。

本发明提出在使用边缘图做监督的同时，增加额外的全局曲线约束模块来进一步优化神经网络模型。在获得边缘图后，首先通过一个边缘点采样模块得到均匀分布的舱门门缝边缘点，然后通过边缘点分类模块将采集到的边缘点划分为上、下、左、右四种，接着通过带权重的最小二乘模块计算得到上下左右四条曲线的方程，最后使用四个曲线方程构建全局曲线拟合误差，通过反向传播进一步优化边缘提取网络的性能。

在实际运行时，将上述提取出的舱门区域子图送入神经网络模型中，提取特征，并对整张图像的每个像素点做逻辑回归，得到精确的舱门门缝边缘，如图5所示。

本步骤的作用在于检测图像中的舱门门缝边缘，用于后续的坐标点计算。同时提出了基于全局曲线约束的优化方法，提升了边缘检测的准确性。

S4，基于舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点。

可以理解的是，本步骤是基于多曲线拟合的二维坐标点计算。具体地，登机廊桥对接时需要将廊桥的地板对接到舱门踏板附近，因此本发明使用舱门的左、右边缘的延长线与舱门下边缘的延长线相交形成的两个交点作为舱门的坐标点。

在获得舱门门缝边缘后，可以进一步提取出每个边缘点的坐标，使用上述的边缘点分类模块分别提取出左边缘点集、右边缘点集和下边缘点集，然后使用ransac方法将左、右边缘点集拟合为两条二次曲线，将下边缘点集拟合为直线，分别计算两条二次曲线与直线的交点，得到舱门的两个坐标点，如图6所示。

则本步骤的作用在于从图像中计算舱门坐标点的二维坐标，为后续计算三维坐标做准备。

S5，基于两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点。

具体地，通过上述步骤，可以分别计算两张双目图像对应的两个坐标点，此时通过三角化方法可以得到舱门的三维坐标点。假设图5中左图计算得到的两个坐标点分别为右图的两个坐标点分别为假设双目相机焦距为f，基线为B，则可以分别计算两个坐标点的深度值为：

假设相机的内参矩阵为K，则可以进一步计算两个点的三维坐标为：

由此，本步骤的作用在于将图像中计算得到的舱门坐标点二维坐标转换为相对于廊桥的三维坐标，从而可以引导廊桥对接到飞机舱门上。

根据本发明实施例的基于双目图像的舱门坐标计算方法，可以实时准确地计算飞机舱门相对于登机廊桥的三维坐标，从而精确地将登机廊桥引导对接到飞机舱门上。本发明使用双目相机采集图像，训练神经网络提取舱门区域子图，利用舱门门缝边缘可以近似为四条曲线的特性，实现了一种基于全局曲线约束的门缝边缘检测方法，并进一步将边缘点拟合为多条曲线，计算曲线的交点并使用三角化方法计算得到了舱门的三维点坐标。与其他方法相比，本发明能够精确计算6个维度的舱门坐标，为登机廊桥引导***提供更加充分准确的舱门位置信息，从根本上提高了廊桥引导***的对接精度，有效解决了传统廊桥对接方法人力成本高、事故频发的问题，可以在机场的智能化和自动化方面发挥作用。由此本发明具有较大的理论和实践价值。

为了实现上述实施例，如图7所示，本实施例中还提供了基于双目图像的舱门坐标计算装置10，该装置10包括：采集模块100、第一提取模块200、第二提取模块300、第一计算模块400和第二计算模块500。

采集模块100，用于采集双目图像；

第一提取模块200，用于将双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图；

第二提取模块300，用于将舱门区域子图输入第二神经网络模型进行第二特征提取，并对舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图；

第一计算模块400，用于基于舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点；

第二计算模块500，用于基于两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点。

进一步地，还包括：第一训练模块，用于构建训练图像库，训练得到第一神经网络模型；第二训练模块，用于构建训练数据库，训练得到第二神经网络模型。

进一步地，上述第二提取模块300，还包括：

采样模块，用于通过边缘点采样，得到舱门门缝边缘图的舱门门缝边缘点；

分类模块，用于通过边缘点分类，将边缘点分为上、下、左、右四类，通过带权重的最小二乘模块计算得到四个曲线方程；

拟合模块，用于使用四个曲线方程构建全局曲线拟合误差。

根据本发明实施例提出的基于双目图像的舱门坐标计算装置，可以实时准确地计算飞机舱门相对于登机廊桥的三维坐标，从而精确地将登机廊桥引导对接到飞机舱门上。本发明使用双目相机采集图像，训练神经网络提取舱门区域子图，利用舱门门缝边缘可以近似为四条曲线的特性，并进一步将边缘点拟合为多条曲线，计算曲线的交点并使用三角化方法计算得到了舱门的三维点坐标。本发明能够精确计算6个维度的舱门坐标，为登机廊桥引导***提供更加充分准确的舱门位置信息，从根本上提高了廊桥引导***的对接精度，有效解决了传统廊桥对接方法人力成本高、事故频发的问题，可以在机场的智能化和自动化方面发挥作用。由此本发明具有较大的理论和实践价值。

需要说明的是，前述对基于双目图像的舱门坐标计算方法实施例的解释说明也适用于该实施例的基于双目图像的舱门坐标计算装置，此处不再赘述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于双目图像的舱门坐标计算方法，其特征在于，包括以下步骤：

采集双目图像；

将所述双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图；

将所述舱门区域子图输入第二神经网络模型进行第二特征提取，并对所述舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图；

基于所述舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点；

基于所述两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点；

所述双目图像包括第一双目图像和第二双目图像，所述基于所述两个二维坐标点，通过三角化得到舱门的两个三维坐标点，包括：

预设计算得到的所述第一双目图像的两个二维坐标点分别为、，所述第二双目图像的两个二维坐标点分别为、，预设双目相机的焦距为，基线为，分别计算所述第一双目图像和所述第二双目图像的两个坐标点的深度值为：

预设所述双目相机的内参矩阵为，分别计算所述第一双目图像和所述第二双目图像的两个点的三维坐标为：

。

2.根据权利要求1所述的方法，其特征在于，构建训练图像库，训练得到所述第一神经网络模型；构建训练数据库，训练得到所述第二神经网络模型。

3.根据权利要求1所述的方法，其特征在于，在得到所述舱门门缝边缘图之后，还包括：

通过边缘点采样，得到所述舱门门缝边缘图的舱门门缝边缘点；

通过边缘点分类，将所述边缘点分为上、下、左、右四类，通过带权重的最小二乘模块计算得到四个曲线方程；

使用所述四个曲线方程构建全局曲线拟合误差。

4.根据权利要求3所述的方法，其特征在于，所述基于所述舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点，包括：

基于所述舱门门缝边缘图，使用所述边缘点分类分别提取左边缘点集、右边缘点集和下边缘点集；

使用ransac将所述左边缘点集和右边缘点集拟合为两条二次曲线，将所述下边缘点集拟合为直线；

分别计算所述两条二次曲线与所述直线的交点，得到所述舱门的两个二维坐标点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将采集的所述双目图像进行缩放和裁剪，并输入所述第一神经网络模型。

6.根据权利要求1所述的方法，其特征在于，使用舱门的左边缘和右边缘的延长线与舱门下边缘的延长线相交形成的两个交点作为所述舱门的两个二维坐标点。

7.一种基于双目图像的舱门坐标计算装置，其特征在于，包括：

采集模块，用于采集双目图像；

第一提取模块，用于将所述双目图像输入第一神经网络模型进行第一特征提取，通过边界回归得到舱门区域子图；

第二提取模块，用于将所述舱门区域子图输入第二神经网络模型进行第二特征提取，并对所述舱门区域子图的每个像素点做逻辑回归得到舱门门缝边缘图；

第一计算模块，用于基于所述舱门门缝边缘图提取边缘点的坐标，计算得到舱门的两个二维坐标点；

第二计算模块，用于基于所述两个二维坐标点，通过三角化计算得到舱门的两个三维坐标点；

所述第二计算模块，还用于预设计算得到的第一双目图像的两个二维坐标点分别为、，第二双目图像的两个二维坐标点分别为、，预设双目相机的焦距为，基线为，分别计算所述第一双目图像和所述第二双目图像的两个坐标点的深度值为：

预设所述双目相机的内参矩阵为，分别计算所述第一双目图像和所述第二双目图像的两个点的三维坐标为：

。

8.根据权利要求7所述的装置，其特征在于，还包括：第一训练模块，用于构建训练图像库，训练得到所述第一神经网络模型；第二训练模块，用于构建训练数据库，训练得到所述第二神经网络模型。

9.根据权利要求7所述的装置，其特征在于，所述第二提取模块，还包括：

采样模块，用于通过边缘点采样，得到所述舱门门缝边缘图的舱门门缝边缘点；

分类模块，用于通过边缘点分类，将所述边缘点分为上、下、左、右四类，通过带权重的最小二乘模块计算得到四个曲线方程；

拟合模块，用于使用所述四个曲线方程构建全局曲线拟合误差。