CN113378741A - 一种基于多源传感器的飞机牵引车辅助感知方法及其*** - Google Patents

一种基于多源传感器的飞机牵引车辅助感知方法及其*** Download PDF

Info

Publication number
CN113378741A
CN113378741A CN202110683976.3A CN202110683976A CN113378741A CN 113378741 A CN113378741 A CN 113378741A CN 202110683976 A CN202110683976 A CN 202110683976A CN 113378741 A CN113378741 A CN 113378741A
Authority
CN
China
Prior art keywords
aircraft
sensor
tractor
obstacle
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110683976.3A
Other languages
English (en)
Other versions
CN113378741B (zh
Inventor
王郸维
温明星
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino Singapore International Joint Research Institute
Original Assignee
Sino Singapore International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino Singapore International Joint Research Institute filed Critical Sino Singapore International Joint Research Institute
Priority to CN202110683976.3A priority Critical patent/CN113378741B/zh
Publication of CN113378741A publication Critical patent/CN113378741A/zh
Application granted granted Critical
Publication of CN113378741B publication Critical patent/CN113378741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多源传感器的飞机牵引车辅助感知方法及其***，所述方法包括以下步骤：对若干个传感器进行内部和外部的参数进行标定；对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测；通过对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示，本发明可以对牵引车周围环境进行全方位多维度的感知，并提供有效的安全预警信息，提高飞机牵引作业的安全性和效率。

Description

一种基于多源传感器的飞机牵引车辅助感知方法及其***
技术领域
本发明涉及飞机牵引车技术领域，特别涉及一种基于多源传感器的飞机牵引车辅助感知方法及其***。
背景技术
随着我国的航空业的迅速发展，国内机场的日吞吐量也呈现指数型增加，对于飞机牵引车的地面作业安全和效率提出新的挑战。现有的机场飞机牵引方案中仍然需要为每架飞机配备额外的指挥员和多名监护人员，以保证牵引过程中效率和安全。
目前，飞机牵引过程中仍然需要指挥员作为中间的信息媒介，以语言和手势为牵引车司机和机上人员做好有效的沟通。监护人员负责观察飞机的有关部位和障碍物的距离，而且监护人员数量和位置也会根据飞机停放密度，牵引区域情况等因素做调整。目前的***存在如下两个问题：(1)安全性问题：监护人员对于飞机和障碍物间的距离估计不准确，由于飞机机翼较薄、较长，机体尺寸较大，监护人员很难准确地估计出机翼、机体与障碍物之间的距离信息，这将可能导致飞机牵引过程中碰撞事故的发生；(2)作业效率问题：现有的牵引方案中，依赖比较多名专业人员和他们的有效沟通，专业人员短缺，培训不及时等都直接影响了作业效率。
发明内容
本发明的目的在于克服现有技术中的上述缺陷，提供一种基于多源传感器的飞机牵引车辅助感知方法及其***，可以对牵引车周围环境进行全方位多维度的感知，并提供有效的安全预警信息，提高飞机牵引作业的安全性和效率。
为实现上述目的，本发明提供了一种基于多源传感器的飞机牵引车辅助感知方法，包括以下步骤：
步骤S1，对若干个传感器进行内部和外部的参数进行标定；
步骤S2，对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测；
步骤S3，通过对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；
步骤S4，通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示。
作为优选的，所述步骤S1中的传感器装设在飞机牵引车上。
作为优选的，所述步骤S1中的传感器包括热感相机、3D激光雷达和色彩相机中的一种或者多种，所述传感器通过张氏标定法或者圆孔标定法对传感器的内部参数和外部参数进行标定。
作为优选的，所述步骤S2中对传感器采集到的信息通过机器视觉技术对障碍物进行检测和识别，并提取检测边框，根据传感器的标定结果，通过提取边框中的3D距离信息来获得障碍物相对于牵引车的位置信息；计算出障碍物的位置变化，对障碍物的运动轨迹做出预测，同时根据被检测出来的障碍物类型设置覆盖区域半径。
作为优选的，所述步骤S3中通过惯性元件检测出牵引车的速度；通过车轮编码器检测出牵引车的位置；借助运动学模型拟合预测出被牵引飞机的运动状态和运行轨迹，从而借助机型信息预测被牵引飞机的覆盖区域；并推测出一段时间内被牵引飞机的运动轨迹并设置好覆盖区域半径。
作为优选的，所述步骤S4中的安全预警等级包括低预警、中预警和高预警，所述安全预警等级使用显示屏和蜂鸣器同时进行提示和预警，所述低预警用绿色圆柱体显示，所述中预警用黄色圆柱体显示，所述高预警用红色圆柱体显示，所述安全预警等级以俯视角度的视频方式传输到牵引车的显示屏上。
本发明还提供了一种基于多源传感器的飞机牵引车辅助感知***，包括传感器配置和标定模块、障碍物功能模块、牵引飞机功能模块和安全预警模块，其中，
所述传感器配置和标定模块包括若干个传感器和对传感器进行内部和外部的参数进行标定；
所述障碍物功能模块与传感器配置和标定模块相连接，并用于对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测；
所述牵引飞机功能模块与障碍物功能模块相连接，并用于对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；
所述安全预警模块与牵引飞机功能模块相连接，通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示。
作为优选的，所述障碍物功能模块包括障碍物检测识别和障碍物运动预测，所述障碍物检测识别通过机器视觉技术对障碍物进行检测和识别，并提取出检测边框，根据传感器的标定结果，通过提取边框中的3D距离信息来获得障碍物相对于牵引车的位置信息；所述障碍物运动预测是通过计算障碍物的位置变化，对障碍物的运动轨迹做出预测，同时根据被检测出来的障碍物类型设置覆盖区域半径；
所述牵引飞机功能模块包括用于检测牵引车速度的惯性元件IMU、用于检测牵引车位置的车轮编码器、牵引飞机状态估计和牵引飞机运动预测，所述牵引飞机状态估计用于通过融合惯性元件IMU提供的牵引车速度和车轮编码器提供的牵引车位置，借助运动学模型拟合预测出被牵引飞机的运行轨迹，从而借助机型信息预测被牵引飞机的覆盖区域；所述牵引飞机运动预测用于预测出一段时间内被牵引飞机的运动轨迹并设置好覆盖区域半径。
作为优选的，所述传感器配置和标定模块、障碍物功能模块、牵引飞机功能模块和安全预警模块的数据处理集中在PCB板上，所述PCB板为单一处理器的Nvidia TX2开发板，所述PCB板由牵引车机载电池或12V外部电池供电。
作为优选的，所述PCB板装设在牵引车的挡风玻璃处。
与现有技术相比，本发明的有益效果在于：
本发明通过若干个传感器对周围的障碍物进行信息采集和分析，可以使得牵引车司机获得牵引车附近障碍物运动轨迹和覆盖区域的预测；通过对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示；并传送给牵引车司机作参考，有助于提高机场飞机牵引作业的效率和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于多源传感器的飞机牵引车辅助感知方法步骤示意图；
图2是本发明提供的一种基于多源传感器的飞机牵引车辅助感知***结构示意图；
图3是本发明提供的对于不同目标类别选择不同的置信度阈值调整方法的流程示意图；
图4是本发明提供的在超参空间迭代寻找最优组合的流程示意图；
图5是本发明提供的基于统计直方图的深度估计方法的流程示意图；
图6是本发明提供的基于统计直方图的深度估计方法的效果图。
具体实施方式
下面将结合本发明本实施方式中的附图，对本发明本实施方式中的技术方案进行清楚、完整地描述，显然，所描述的本实施方式是本发明的一种实施方式，而不是全部的本实施方式。基于本发明中的本实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他本实施方式，都属于本发明保护的范围。
实施例一
请参考图1，本发明实施例一提供了一种基于多源传感器的飞机牵引车辅助感知方法。
所述方法包括以下步骤：
步骤S1，对若干个传感器进行内部和外部的参数进行标定。
具体的，如果所述传感器装设在飞机牵引车上，可以将数据直接进行处理；如果所述传感器装设在邻近的障碍物上，需要从服务器中提取飞机牵引车附近的传感器数据，然后对获取的数据进行处理。
所述传感器包括热感相机、3D激光雷达和色彩相机中的一种或者多种，所述传感器通过张氏标定法或者圆孔标定法对传感器的内部参数和外部参数进行标定。
所述多个传感器的选择是为了提高飞机牵引车24小时作业能力以及减少指挥员和监护人员的使用；同时通过多模态信息的融合，可提供障碍物和飞机牵引车的准确距离信息。
所述步骤S1是对传感器进行初始化数据和使用传感器采集周围环境的信息。
步骤S2，对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测。
具体的，邻近障碍物可能是被牵引飞机周围的工作人员，车辆和其他飞机等。
首先，基于多源传感器融合后获得的彩色点云，利用深度学习模型进行目标检测，再结合深度图和目标检测模块预测的物体边界框，通过三维聚类实现被检测物体的中心点深度估计；其次，利用物体在输入源中的位置信息和相机的内参，基于投影原理和坐标系转换获得被检测物体在环境中的真实位置；再次，结合时间戳、被检测物体对应的位置信息、及跟目标踪算法，实现被检测物体的准确跟踪；最后，结合被检测物体连续帧的位置信息，估计其运动方向及速度，并预测其在下一时刻的可能位置和与其他运动物体发生碰撞的可能性。
如图3所示，本步骤S2在对邻近障碍物的检测和识别中采用了对于不同目标类别选择不同的置信度阈值的调整方法，这是由于在目标检测模型中：各类训练样本集容量的不均衡容易造成有些类别容易被检测到，有些类别不容易被检测到；对不同的类别检测，需要不同的灵敏度，如基于安全性考虑，希望提高对A类检测的灵敏度，B类则不需要。为了合理的设置阈值，我们提出了差别化的类别置信度阈值调整方法提供一种可行方案，其流程描述如下：
S2.1.1初始化置信度阈值表，在***闭环运行过程中自动优化配置值；
S2.1.2获取表中各类阈值最低值，并以此值检测目标；
S2.1.3检测结果比对阈值表进行筛选，输出最终结果集；
S2.1.4对最终结果集进行评判(自动，手动)，调整类别置信阈值，更新配置表为下次目标检测提供最新参数。
如图4所示，本步骤S2中还采用了贝叶斯优化在超参空间迭代寻找最优组合，并利用最优超参组重构和重训练目标检测分类网络。具体流程如下：
S2.2.1确定超参优化空间，构造优化函数:通过超参构建训练模型，-loss作为优化指标；
S2.2.2利用贝叶斯优化在超参空间里寻找最优组合；
S2.2.3利用优化的超参组合重构网络，重新训练网络。
如图5所示，本步骤S2在对邻近障碍物的运动轨迹和覆盖区域预测是基于统计直方图的深度估计法。这是由于在需要深度估算的应用场景，检测目标框内如果出现多个物体重叠情况，容易造成估算值不准确。因此在一个检测框表示一个检测类别，检测框内出现多个物体时，作以下假设:显示占比最大的物体为检测目标，从多个重叠物体中精准锁定检测目标。
具体流程如下：
S2.3.1.对检测框内的深度图信息进行直方图统计,取频数最大的区间(0作为无效区域被排除)，得出的效果图如图6所示；
S2.3.2.进行深度值，中心点及包络半径估算：
深度值(z)＝最大子区域的深度均值；
中心点(x,y)＝f(u,v,z,fx,fy,cx,cy)
其中:x＝(u-cx)/fx*z；y＝(v-cy)/fy*z；u,v为子区域像素中心；z为深度估算值；fx为相机x轴焦距；fy为相机y轴焦距；cx为相机中心x轴偏移量cy为相机中心y轴偏移量。
包络半径(r)＝子域横轴宽度/2。
通过所述统计直方图的深度估计法，可以对临近障碍物深度，关键点位置以及运动范围包络进行预测，为牵引车提供辅助信息，以提高飞机牵引车作业过程中的安全性和效率。
综上所述，步骤S2是对障碍物进行识别，推测出障碍物一段时间的运动变化和运动所需要覆盖的区域。
步骤S3，通过对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域。
具体的，首先，通过惯性元件检测出牵引车的速度；通过车轮编码器检测出牵引车的位置；再次，借助运动学模型拟合预测出被牵引飞机的运动状态和运行轨迹，从而借助机型信息预测被牵引飞机的覆盖区域；最后，通过牵引车速度的变化可以直接推测出一段时间内被牵引飞机的运动轨迹并设置好覆盖区域半径。
所述步骤S3是对牵引车的速度和位置进行检测，计算出需要占据的体积，并推测出牵引车一段时间的运动变化和运动所需要覆盖的区域。
步骤S4，通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示。
具体的，所述安全预警等级包括低预警、中预警和高预警，所述安全预警等级使用显示屏和蜂鸣器同时进行提示和预警，所述低预警用绿色圆柱体显示，所述中预警用黄色圆柱体显示，所述高预警用红色圆柱体显示，所述安全预警等级以俯视角度的视频方式传输到牵引车的显示屏上。
更进一步的，所述安全预警等级提示可以提醒牵引车司机做出正确的驾驶行为，提高牵引作业的安全性和效率。
本方法通过多个传感器(即多源传感器)对机场、牵引车、被牵引飞机及其周围环境进行广域多模态的感知，并利用机器视觉技术对被牵引飞机及周围障碍物进行识别、检测、运动轨迹和覆盖面积预测，得出牵引飞机和障碍物的准确距离信息，并为飞机牵引车司机提供准确、直观的视频安全预警信息，以提高机场飞机牵引车作业的效率和安全性。
实施例二
请参考图2，本发明实施例二提供了一种基于多源传感器的飞机牵引车辅助感知***。
所述***包括传感器配置和标定模块1、障碍物功能模块2、牵引飞机功能模块3和安全预警模块4，其中，
所述传感器配置和标定模块1包括若干个传感器和对传感器进行内部和外部的参数进行标定；
所述障碍物功能模块2与传感器配置和标定模块1相连接，并用于对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测；
所述牵引飞机功能模块3与障碍物功能模块2相连接，并用于对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；
所述安全预警模块4与牵引飞机功能模块3相连接，通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示。
所述障碍物功能模块2包括障碍物检测识别21和障碍物运动预测22，所述障碍物检测识别21通过机器视觉技术对障碍物进行检测和识别，并提取出检测边框，根据传感器的标定结果，通过提取边框中的3D距离信息来获得障碍物相对于牵引车的位置信息；所述障碍物运动预测22是通过计算障碍物的位置变化，对障碍物的运动轨迹做出预测，同时根据被检测出来的障碍物类型设置覆盖区域半径。
所述牵引飞机功能模块3包括用于检测牵引车速度的惯性元件IMU、用于检测牵引车位置的车轮编码器、牵引飞机状态估计31和牵引飞机运动预测32，所述牵引飞机状态估计31用于通过融合惯性元件IMU提供的牵引车速度和车轮编码器提供的牵引车位置，借助运动学模型拟合预测出被牵引飞机的运行轨迹，从而借助机型信息预测被牵引飞机的覆盖区域；所述牵引飞机运动预测32用于预测出一段时间内被牵引飞机的运动轨迹并设置好覆盖区域半径。
所述传感器配置和标定模块1、障碍物功能模块2、牵引飞机功能模块3和安全预警模块4的数据处理集中在PCB板上，所述PCB板为单一处理器的Nvidia TX2开发板，所述PCB板由牵引车机载电池或12V外部电池供电。
进一步的，所述PCB板可方便装设在牵引车的挡风玻璃处。障碍物功能模块2和牵引飞机功能模块3采用ROS开发平台。
本***用来实时对被牵引飞机和邻近障碍物(包含邻近飞机，车辆和工作人员等)进行检测、识别和位置估计，并对被牵引飞机和附近的飞机或者车辆的运动速度和轨迹进行预测，同时对被牵引飞机和附近的飞机或者车辆的距离进行监控，基于被牵引飞机和附近的飞机或者车辆的距离产生预警信息会以视频形式显示在牵引车驾驶员的屏幕上，还可以以报警频率的不同对牵引车驾驶员发出声音警示。本***有助于提高飞机牵引车作业过程中的安全性和效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于多源传感器的飞机牵引车辅助感知方法，其特征在于，包括以下步骤：
步骤S1，对若干个传感器进行内部和外部的参数进行标定；
步骤S2，对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测；
步骤S3，通过对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；
步骤S4，通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示。
2.根据权利要求1所述的一种基于多源传感器的飞机牵引车辅助感知方法，其特征在于，所述步骤S1中的传感器装设在飞机牵引车上。
3.根据权利要求1所述的一种基于多源传感器的飞机牵引车辅助感知方法，其特征在于，所述步骤S1中的传感器包括热感相机、3D激光雷达和色彩相机中的一种或者多种，所述传感器通过张氏标定法或者圆孔标定法对传感器的内部参数和外部参数进行标定。
4.根据权利要求1所述的一种基于多源传感器的飞机牵引车辅助感知方法，其特征在于，所述步骤S2中对传感器采集到的信息通过机器视觉技术对障碍物进行检测和识别，并提取检测边框，根据传感器的标定结果，通过提取边框中的3D距离信息来获得障碍物相对于牵引车的位置信息；计算出障碍物的位置变化，对障碍物的运动轨迹做出预测，同时根据被检测出来的障碍物类型设置覆盖区域半径。
5.根据权利要求1所述的一种基于多源传感器的飞机牵引车辅助感知方法，其特征在于，所述步骤S3中通过惯性元件检测出牵引车的速度；通过车轮编码器检测出牵引车的位置；借助运动学模型拟合预测出被牵引飞机的运动状态和运行轨迹，从而借助机型信息预测被牵引飞机的覆盖区域；并推测出一段时间内被牵引飞机的运动轨迹并设置好覆盖区域半径。
6.根据权利要求1所述的一种基于多源传感器的飞机牵引车辅助感知方法，其特征在于，所述步骤S4中的安全预警等级包括低预警、中预警和高预警，所述安全预警等级使用显示屏和蜂鸣器同时进行提示和预警，所述低预警用绿色圆柱体显示，所述中预警用黄色圆柱体显示，所述高预警用红色圆柱体显示，所述安全预警等级以俯视角度的视频方式传输到牵引车的显示屏上。
7.一种基于多源传感器的飞机牵引车辅助感知***，其特征在于，包括传感器配置和标定模块(1)、障碍物功能模块(2)、牵引飞机功能模块(3)和安全预警模块(4)，其中，
所述传感器配置和标定模块(1)包括若干个传感器和对传感器进行内部和外部的参数进行标定；
所述障碍物功能模块(2)与传感器配置和标定模块(1)相连接，并用于对传感器采集到的信息进行分析，包括对邻近障碍物的检测和识别、对邻近障碍物的位置和速度进行计算和对邻近障碍物的运动轨迹和覆盖区域预测；
所述牵引飞机功能模块(3)与障碍物功能模块(2)相连接，并用于对牵引车速度和位置进行分析，预测出被牵引飞机的状态、运动轨迹和覆盖区域；
所述安全预警模块(4)与牵引飞机功能模块(3)相连接，通过对比障碍物和被牵引飞机的覆盖区域半径的距离输出安全预警等级提示。
8.根据权利要求7所述的一种基于多源传感器的飞机牵引车辅助感知***，其特征在于，所述障碍物功能模块(2)包括障碍物检测识别(21)和障碍物运动预测(22)，所述障碍物检测识别(21)通过机器视觉技术对障碍物进行检测和识别，并提取出检测边框，根据传感器的标定结果，通过提取边框中的3D距离信息来获得障碍物相对于牵引车的位置信息；所述障碍物运动预测(22)是通过计算障碍物的位置变化，对障碍物的运动轨迹做出预测，同时根据被检测出来的障碍物类型设置覆盖区域半径；
所述牵引飞机功能模块(3)包括用于检测牵引车速度的惯性元件IMU、用于检测牵引车位置的车轮编码器、牵引飞机状态估计(31)和牵引飞机运动预测(32)，所述牵引飞机状态估计(31)用于通过融合惯性元件IMU提供的牵引车速度和车轮编码器提供的牵引车位置，借助运动学模型拟合预测出被牵引飞机的运行轨迹，从而借助机型信息预测被牵引飞机的覆盖区域；所述牵引飞机运动预测(32)用于预测出一段时间内被牵引飞机的运动轨迹并设置好覆盖区域半径。
9.根据权利要求7所述的一种基于多源传感器的飞机牵引车辅助感知***，其特征在于，所述传感器配置和标定模块(1)、障碍物功能模块(2)、牵引飞机功能模块(3)和安全预警模块(4)的数据处理集中在PCB板上，所述PCB板为单一处理器的Nvidia TX2开发板，所述PCB板由牵引车机载电池或12V外部电池供电。
10.根据权利要求9所述的一种基于多源传感器的飞机牵引车辅助感知***，其特征在于，所述PCB板装设在牵引车的挡风玻璃处。
CN202110683976.3A 2021-06-21 2021-06-21 一种基于多源传感器的飞机牵引车辅助感知方法及其*** Active CN113378741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110683976.3A CN113378741B (zh) 2021-06-21 2021-06-21 一种基于多源传感器的飞机牵引车辅助感知方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110683976.3A CN113378741B (zh) 2021-06-21 2021-06-21 一种基于多源传感器的飞机牵引车辅助感知方法及其***

Publications (2)

Publication Number Publication Date
CN113378741A true CN113378741A (zh) 2021-09-10
CN113378741B CN113378741B (zh) 2023-03-24

Family

ID=77577896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110683976.3A Active CN113378741B (zh) 2021-06-21 2021-06-21 一种基于多源传感器的飞机牵引车辅助感知方法及其***

Country Status (1)

Country Link
CN (1) CN113378741B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863726A (zh) * 2022-03-21 2022-08-05 长春理工大学 一种机场牵引车的智能感知***及其方法
CN116202424A (zh) * 2023-04-28 2023-06-02 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障***
EP4296170A1 (fr) * 2022-06-22 2023-12-27 TLD Europe Système de remorquage d'aéronefs et procédé de remorquage d'un aéronef
CN117406729A (zh) * 2023-10-19 2024-01-16 中国民航大学 一种evtol避让***的rta设计方法、设备及介质
CN117894213A (zh) * 2024-01-16 2024-04-16 上海明晖航空科技有限公司 基于虚拟防护网保护飞机牵引防碰撞预警通讯***及方法
WO2024078557A1 (en) * 2022-10-12 2024-04-18 Airbus (Beijing) Engineering Centre Company Limited Method and device for detecting obstacle, medium and electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733234A (zh) * 2011-02-21 2014-04-16 斯特拉特克***有限公司 用于检测飞机场中的外物、碎片或损坏的监视***和方法
CN105939934A (zh) * 2014-03-07 2016-09-14 波音公司 用于避免地面碰撞的***和方法
CN107531217A (zh) * 2015-05-12 2018-01-02 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
US20190146083A1 (en) * 2017-11-16 2019-05-16 Simmonds Precision Products, Inc. Determination of collision risks between a taxiing aircraft and objects external to the taxiing aircraft
CN111405252A (zh) * 2020-04-08 2020-07-10 何筱峰 飞行器的安全监控***
CN112446921A (zh) * 2019-08-28 2021-03-05 霍尼韦尔国际公司 用于载具后推碰撞通知与避免的***和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733234A (zh) * 2011-02-21 2014-04-16 斯特拉特克***有限公司 用于检测飞机场中的外物、碎片或损坏的监视***和方法
CN105939934A (zh) * 2014-03-07 2016-09-14 波音公司 用于避免地面碰撞的***和方法
CN107531217A (zh) * 2015-05-12 2018-01-02 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
US20190146083A1 (en) * 2017-11-16 2019-05-16 Simmonds Precision Products, Inc. Determination of collision risks between a taxiing aircraft and objects external to the taxiing aircraft
CN112446921A (zh) * 2019-08-28 2021-03-05 霍尼韦尔国际公司 用于载具后推碰撞通知与避免的***和方法
CN111405252A (zh) * 2020-04-08 2020-07-10 何筱峰 飞行器的安全监控***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863726A (zh) * 2022-03-21 2022-08-05 长春理工大学 一种机场牵引车的智能感知***及其方法
EP4296170A1 (fr) * 2022-06-22 2023-12-27 TLD Europe Système de remorquage d'aéronefs et procédé de remorquage d'un aéronef
WO2024078557A1 (en) * 2022-10-12 2024-04-18 Airbus (Beijing) Engineering Centre Company Limited Method and device for detecting obstacle, medium and electronic device
CN116202424A (zh) * 2023-04-28 2023-06-02 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障***
CN116202424B (zh) * 2023-04-28 2023-08-04 深圳一清创新科技有限公司 车身区域检测方法、牵引车及牵引车避障***
CN117406729A (zh) * 2023-10-19 2024-01-16 中国民航大学 一种evtol避让***的rta设计方法、设备及介质
CN117894213A (zh) * 2024-01-16 2024-04-16 上海明晖航空科技有限公司 基于虚拟防护网保护飞机牵引防碰撞预警通讯***及方法

Also Published As

Publication number Publication date
CN113378741B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113378741B (zh) 一种基于多源传感器的飞机牵引车辅助感知方法及其***
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN107031623B (zh) 一种基于车载盲区相机的道路预警方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN107161141B (zh) 无人驾驶汽车***及汽车
CN112154455B (zh) 数据处理方法、设备和可移动平台
CN109634282A (zh) 自动驾驶车辆、方法和装置
CN112693466A (zh) 一种车辆环境感知传感器性能测评***及方法
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
Hafeez et al. Insights and strategies for an autonomous vehicle with a sensor fusion innovation: A fictional outlook
CN110936959B (zh) 车辆感知***在线诊断和预测
CN110083099B (zh) 一种符合汽车功能安全标准自动驾驶架构***和工作方法
CN116647651B (zh) 一种基于北斗卫星的无人机施工监控方法及***
CN115257784A (zh) 基于4d毫米波雷达的车路协同***
CN114442101A (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN115690735A (zh) 一种无人化农场智能农机安全作业机路协同方法
CN115249066A (zh) 分位数神经网络
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及***
CA3225198A1 (en) Method and system for ground travel collision avoidance of aircraft
CN112557057B (zh) 自动驾驶汽车道路测试运行监管方法、装置及车载终端
Hsu et al. Object recognition system design in regions of interest based on AdaBoost algorithm
CN114581863A (zh) 车辆危险状态识别方法及***
CN112883846A (zh) 一种用于检测车辆前方目标的三维数据采集成像***
Thupakula Data Fusion Techniques for Object Identification in Airport Environment
US12033399B1 (en) Turn and brake action prediction using vehicle light detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant