CN117746006A - 一种应用于港口水平运输任务的视觉定位***及定位方法 - Google Patents

Abstract

本发明公开了一种用于港口水平运输任务的车辆自主定位***及方法，包括图像模板生成和在线匹配定位两个模块。图像模板生成模块用于离线生成岸桥和场桥的图像模版，在线匹配定位结合图像模板和路面标识进行定位。本发明解决了水平运输过程中，岸桥及堆场区域内由于被他车遮挡、路面标识缺失、磨损导致的视觉定位***失效问题，并兼顾了港区主路、引桥等路面标识丰富区域的定位能力。相比以激光为主或以场端改造为主的方案，降低了港口车辆自主定位***的实现成本。同时，本发明可与以激光为主的方案或以场端改造为主的方案结合，提高了自主定位***的安全性冗余。

Description

一种应用于港口水平运输任务的视觉定位***及定位方法

技术领域

本发明涉及一种应用于港口水平运输任务的视觉定位***及定位方法，属于智能驾驶应用技术领域。

背景技术

现有技术中，港口内集卡主要涉及三个作业环节：

(1)内集卡在码头面通过岸桥吊装卸集装箱；

(2)内集卡在码头面和堆场之间转运集装箱；

(3)内集卡在堆场通过场桥吊装卸集装箱。

其中，(1)、(3)环节主要涉及码头面岸桥或堆场场桥下方的精确对位及装卸箱任务，(2)环节主要涉及码头面和堆场之间的水平运输任务。在港口建设逐步从“自动化”迈向“无人化”的背景下，自动驾驶集卡开始被应用于港口水平运输任务，以降低人工集卡带来的人力及管理成本。车辆的自主定位是自动驾驶集卡的基本功能，定位***的稳定性决定了智驾***的可靠性。

常规的自动驾驶定位***通常以惯性测量传感器融合其他观测源的方式实现，此类观测源包括GNSS、相对高精度点云或矢量地图进行的激光点云或视觉图像的地图匹配等。在港口水平运输任务中，GNSS信号会受到岸桥吊或场桥吊的遮挡，导致***在码头面和堆场附近易出现失效，激光匹配定位的稳定性受到堆场集装箱摆放位置变动、桥吊动贝等因素的影响，而视觉匹配定位的稳定性受到路面标识磨损、缺失的影响，进一步导致了常规的智驾定位***在港区执行水平运输任务时易出现故障。

当前较为成熟的港口自动驾驶定位***通常采用需港口方配合、进行场地和设施改造，并通过港口调度***从云端下发用于辅助定位的场端信息。该***维护运营成本较高且受场端通信制约、缺乏安全性冗余，针对该问题，业内近年来开始探索弱依赖场端改造及通信的方案及***实现。

经申请人了解，目前针对港口水平运输任务，主要有三类典型的自车定位方案：

第一类方案是当前最为常见，需要对港区的场地和设施进行针对性改造，包括在场区内铺设磁钉、反光道钉或UWB信标[1]等，或是在岸桥吊、箱区龙门吊上加装定位设备并通过港口调度***下发岸桥吊、龙门吊的实时位置信息辅助自车定位[2],方案强依赖场端下发的信息，需要对场地进行智能化改造。此类***具备全天候定位能力、不受天气等环境因素影响、车端算力消耗低的特点，但场地和设备的改造和运营成本较高，当场端设备出现故障或需要维护时，将影响车端定位功能的正常执行。

第二类方案以激光雷达检测和匹配定位为主，由于激光雷达的扫描线数和有效探测距离对检测结果影响较大；当激光雷达线数较少或有效探测距离不足、安装位置不够理想且自车与目标距离较远时，激光点云扫描到的目标点云较为稀疏，导致此类方案难以正常工作，因此该采用该方案的***主要用于自车处于桥吊附近时进行车辆与桥吊间的相对定位，也称精确对位。目前也有方案尝试将激光检测的目标切换到水平运输过程中常见的道路标志牌，以期定位***能在远离桥吊的时候工作。但是，港区内标牌数量相对稀少，且容易被托运集装箱的其他车辆遮挡。因此，该类方案受制于激光目标检测的有效距离和精度，多用于桥吊下的精确对位任务，在主路、引桥等没有桥吊的区域，无法进行匹配定位，使用场景有限，需与其他方案配合使用。

第三类方案以视觉图像检测为主，依赖路面标识的检测结果，结合预先构建的高精度矢量地图，在有路面标线的岸桥、主路等区域都可实现横向全局定位，当该区域存在贝位标识的箱区可进一步实现横纵向定位。但是，当缺少贝位标识、导向箭头时，纵向定位精度无法保证。另外，在岸桥、堆场装卸箱区域，存在车辆在岸桥吊、场桥附近排队等待任务的问题，导致路面标识被他车遮挡、磨损，进而引发定位失效，需与其他方案配合使用。

如CN108646216A，一种基于UWB的港口水平运输车定位***及方法，该专利仅通过在场端和车端安装UWB装置，实现水平运输过程中的车辆全局定位；CN109828577B，无人驾驶集装箱卡车相对自动化场桥高精度定位停车方法，该专利则是依靠场端下发场桥位置信息，结合激光雷达检测场桥的拖挂，实现场桥下的精确停车；CN115390080A，无人集卡的定位方法和装，该专利则是通过激光雷达在线检测桥吊，并利用自车定位结果将桥吊点云投影地图坐标系下并更新点云地图，后续使用该地图进行定位；CN110356976B，基于模板匹配的港口无人集卡起重机精确对位***及方法，采用激光点云预构建起重机模版并在起重机附近执行装卸箱任务前，匹配该模版修正估计自车相对起重机的精确位置；CN116612452A，一种无人集卡路标识别定位方法、***及存储介质，通过识别港口标牌，并结合激光点云进行定位；CN112415548A，无人集卡的定位方法、装置、***、电子装置和存储介质，该专利主要解决港口码头面的横向定位问题；CN115683128A，一种港口无人集卡视觉特征匹配定位方法，该专利主要通过采集车道线、贝位标识等港口路面标识，并通过视觉检测结果进行地图匹配；CN113469045B，无人集卡的视觉定位方法、***、电子设备和存储介质，该专利主要通过采集车道线、贝位标识等港口路面标识，并通过视觉检测结果进行地图匹配。

而这些现有专利中均存在上述三种方案中的弊端，因此，急需设计研发一种无需大规模改造场地和设施，减少维护成本，并且能够实现精准定位的港口水平运输的视觉辅助定位***和定位方法。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种应用于港口水平运输任务的视觉定位***及定位方法，针对水平运输过程中的定位问题，以视觉信息为主的车辆自主定位方法及***，在无需大规模改造场地和设施的条件下，以相对较低的维护成本，实现港口内的稳定自主定位；此外，该***也可配合以其他传感器为主的***方案使用，提高智驾***的安全性冗余。

为了达到以上目的，本发明具体技术方案如下：一种应用于港口水平运输任务的视觉定位***，其特征在于：包括图像模板生成模块和在线匹配定位模块；所述图像模板生成模块用于离线生成岸桥吊及场桥吊的图像模板，所述在线匹配定位模块结合图像模板生成模块生成的图像模板及路面标识进行定位；

所述图像模板生成模块包括标定与采集模块、图像目标检测与运动估计模块和模板建构模块；通过标定与采集模块标定采集***传感器的参数，并采集周围环境的图像数据以及相应的GNSS和RTK数据；通过图像目标检测与运动模块对采集图像序列进行预处理并针对岸桥吊/场桥吊目标进行单帧的图像检测和连续多帧的图像跟踪；通过模板建构模块将检测到目标结果的图像数据进行模板构建，并将构建的模板用于后续的在线定位；

所述在线匹配定位模块包括数据处理模块、图像目标检测与运动估计模块、矢量地图加载模块及地图匹配模块；通过数据处理模块在线预处理车载传感器数据以得到当前车辆的初始位置；通过矢量地图加载模块加载当前车辆周边的矢量地图要素；通过地图匹配模块结合离线构建的图像模版、当前加载的地图和车载传感器数据进行匹配定位，以得到自车在地图上的精确位置。

进一步的，所述采集***至少包括传感器、微型计算机及可移动载体；所述传感器至少包括相机、GNSS-RTK及IMU；可移动载体至少包括数据采集车、配备摄像头的港口自动驾驶车辆、手持视频录制设备及无人机影像。

一种应用于港口水平运输任务的视觉定位***的定位方法，包括如下步骤：

步骤1，离线生成岸桥吊及箱区龙门吊的图像模板；

步骤1.1，标定采集***传感器的参数，然后采集周围环境的传感器数据；

步骤1.2，针对图像内的岸桥吊、场桥吊、道路面进行目标检测及目标运动估计；

步骤1.3，将检测到目标结果的图像数据用于模板构建；

步骤2，在线加载图像模板进行匹配定位

步骤2.1，预处理车载传感器数据并输出自车当的当前导航状态；

步骤2.2，对岸桥吊、龙门吊、路面、车道线、停止线、导向箭头、贝位标识等目标进行图像目标检测及运动估计；

步骤2.3，加载自车周围局部范围内的矢量地图数据；

步骤2.4，根据目标检测和运动估计的结果，使用预构建的图像模板对局部矢量地图进行更新，并匹配更新后的地图并输出位姿。

进一步的，所述步骤1.1中，传感器标定的参数分为传感器内部参数和外部参数，所述内部参数包括镜头焦距、光心位置等只与传感器自身物理特性相关的参数；外部参数主要指传感器之间及传感器与载体之间的相对位置关系；

采集过程中，图像采集设备的载体需保持运动，以采集不同视角下的目标图像数据；

图像去畸变过程所需的相机内参需通过相机标定过程获取，标定方法至少包括张正友标定法、Tsai标定法。

进一步的，所述步骤1.2中，采用图像目标检测网络对于图像中包含的岸桥吊、场桥吊预先训练相关数据，并在采集得到的图像上进行推理；对路面目标采用预训练的路面分割网络进行推理；对于存在岸桥吊、场桥吊、道路面目标的多帧图像采用场景流估计网络进行桥吊、龙门吊和道路面目标对应像素的运动速度推理。

进一步的，所述步骤1.3中，包括：

步骤1.3.1，通过前述步骤中获取的多帧图像间目标跟踪的结果判断岸桥吊/场桥吊是否处于静止状态，筛选出岸桥吊、箱区龙门吊为静止状态下的图像数据；

步骤1.3.2，通过事先标定获得的文件对包含岸桥吊或场桥吊的图像进行内参畸变矫正，并对矫正后的图像进行特征提取，根据目标检测框范围，保留岸桥吊/场桥吊目标检测框内的特征点，剔除检测框外的图像特征；

步骤1.3.3，采用图像三维重建方法，重建由图像特征点组成的、较为稀疏的三维立体模型，建立以模型质心为坐标系原点的模板坐标系，将模型的空间坐标转换到该坐标系下，由此将图像中岸桥吊或箱区龙门吊目标的特征点一起组成图像模板。

进一步的，所述步骤2.1中，通过事先标定的车载传感器参数输出车辆的当前导航状态：至少包含：属于传感器内部参数的底盘轮速的刻度系数，及属于传感器外部参数的IMU-车体的杆臂量及安装误差角、GNSS主天线与IMU的杆臂量等；通过IMU与RTK-GNSS、底盘车速，至少融合IMU提供的角速度、线加速度、RTK-GNSS提供的全局位置、底盘车速提供的自车速度数据，进行惯性组合导航，输出高频的自车导航信息。

进一步的，若后续步骤失败时，所述步骤2.1的处理结果仍可独立发送。

进一步的，所述步骤2.3中，根据先前得到的自车导航位置，从硬盘内加载自车周围一定范围内的矢量地图数据，所述矢量地图数据至少包括车道边线、停止线、导向箭头及贝位标识等地标；且自车范围根据车载计算机的硬件性能和传感器量程可进行调整，加载范围越大，则消耗的内存和算力越多，加载范围越小，则会导致地图数据小于传感器的量程。

进一步的，所述步骤2.4中，包括：

步骤2.4.1，接收预处理的车载传感器数据进行自车当前位置、姿态的预测，并结合传感器状态读数和先前定位的状态，对当前定位的状态进行判定；判断目标速度与路面背景速度的差异，保留目标为静止状态下对应的图像数据；

步骤2.4.2，根据多帧图像间目标跟踪的结果，仅保留该目标静止时、目标所在图像并提取该图像内的目标特征点；

步骤2.4.3，当该图像内可提取特定目标特征点时，找到特定目标的模板图像并进行在线图像-模板图像间的特征匹配，估计自车在模板坐标系下的位姿；

步骤2.4.4，在定位状态为高置信度条件下，根据自车当前定位结果将模板三维模型从模板坐标系投影到地图参考坐标系下，并与局部的矢量地图数据叠加；

根据岸桥吊/场桥吊的行驶方式分为轨道吊和轮胎吊；所述轨道吊/轮胎吊必须运行在桥吊轨道/轮胎吊引导线上，轨道/引导线信息、场桥吊作业的停靠位置、岸桥吊作业的停靠位置均可在高精度矢量地图中查找；利用轨道/引导线、泊位/贝位等信息可对岸桥吊/场桥吊模板在地图中的投影位置进行二次校正，提高模板在地图参考系下的投影精度；

步骤2.4.5，更新后的局部地图可同时提供路面标识数据和模板数据用于匹配，在上游提供路面标识检测或目标图像特征点的条件下都可对自车定位结果进行修正，其中模板匹配可实现6自由度的修正，而矢量匹配可实现3自由度的修正。

与现有技术相比，本发明的有益效果为：

1.提供了一种结合岸桥吊、场桥吊模板以及高精度矢量地图的视觉定位方法及***，解决了水平运输过程中，岸桥及堆场区域内由于被他车遮挡、路面标识缺失、磨损导致的视觉定位***失效问题，并兼顾了港区主路、引桥等路面标识丰富区域的定位能力。

2.提供了以视觉为主的定位方案，相比以激光为主或以场端改造为主的方案，降低了港口车辆自主定位***的实现成本。

3.该方案可与以激光为主的方案或以场端改造为主的方案结合，提高了自主定位***的安全性冗余。

附图说明

图1为本发明的流程框图。

图2为本发明的模板构建流程图。

图3为本发明的匹配定位流程图。

图4为本发明中模板坐标系转换与局部地图更新示意图。

图5为本发明中不同视角岸桥吊目标的图像特征点匹配结果示意图。

图6为本发明中采用路面矢量标识的匹配定位结果示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本实施例提供一种应用于港口水平运输任务的视觉定位***及定位方法。如图1所示，所述定位***包括图像模板生成模块和在线匹配定位模块。

首先生成岸桥吊及箱区龙门吊的图像模板，图像模块生成模块主要包含以下3个步骤：

1.首先标定采集***传感器的参数，然后采集周围环境的传感器数据；

2.针对图像内的岸桥吊、场桥吊、道路面进行目标检测及目标运动估计；

3.将检测到目标结果的图像数据用于模板构建。

步骤1的采集***至少包含传感器、微型计算机、可移动载体三个部分。传感器包括不限于：相机、GNSS-RTK、IMU等。可移动载体包括不限于数据采集车、配备摄像头的港口自动驾驶车辆、手持视频录制设备、无人机影像等。传感器标定的参数分为传感器内部参数和外部参数，其中内部参数只与传感器自身物理特性相关，如镜头焦距、光心位置等；而外部参数主要指传感器之间及传感器与载体之间的相对位置关系。采集过程中，图像采集设备的载体需保持运动，以采集不同视角下的目标图像数据。图像去畸变过程所需的相机内参需通过相机标定过程获取，常用的标定方法包括不限于张正友标定法，Tsai标定法等。

步骤2中对于图像中包含的岸桥吊、场桥吊可采用图像目标检测网络如Yolo预先训练相关数据，并在采集得到的图像上进行推理。对路面目标采用路面分割网络如RoadFormer进行推理。对于存在岸桥吊、场桥吊、道路面目标的多帧图像采用场景流估计网络如M-Fuse进行桥吊、龙门吊和道路面目标对应像素的运动速度推理。

步骤3模板构建分为3个子步骤，如图2所示，具体实施方式为：

(1)通过上游目标检测和场景流估计得到的目标与静态背景的运动速度信息，根据路面属于静态背景这一先验知识，判断目标速度与静态路面背景速度的差异。通过人工设置一个较小的阈值如1e-2作为标准，当差异小于该阈值，则认为目标处于静止状态，保留目标为静止状态下对应的图像数据。根据图像时间戳对应的GNSS-RTK位置信息，剔除载体静止时的图像数据以及GNSS-RTK信号被遮挡时的数据。GNSS-RTK数据频率可能低于图像采集频率，采用频率相对较高的IMU数据对GNSS-RTK数据，通过经典的误差状态卡尔曼滤波方法进行数据融合，得到频率较高的导航数据，并利用时间戳进行位置插值，得到图像采集时刻的相机全局位置。

(2)对于包含岸桥吊或场桥吊的图像进行内参畸变矫正，矫正过程依赖的内参文件通过事先标定获得。对矫正后的图像进行特征提取，可采用SuperPoint或LIFT特征提取网络，以更好地解决光照和视角变化对特征点提取的影响。根据目标检测框范围，剔除检测框外的图像特征，保留的特征可用于不同视角下，岸桥吊、场桥吊的图像特征点匹配，如图5所示。

(3)同时，图5所示的结果是对同一目标的不同视角图像进行特征点匹配，匹配过程可采用特征匹配网络如SuperGlue或LightGlue实现，并通过多视角图像间的对极约束删除误匹配结果。在特征点匹配结果的基础上，采用经典的图像三维重建框架，对特征点进行稀疏三维重建，以恢复图像2D特征点所对应的3D空间坐标，由于GNSS-RTK的位置信息可作为三维重建过程中相机位置的约束，因此三维重建后的点云模型具有真实的物理尺寸，特征点三维重建过程可使用Colmap或OpenMVG等SFM软件完成。获取点云模型后，以点云质心为坐标原点，将点云坐标转换到以点云质心为坐标原点的坐标系下。该点云模型和模型对应的图像，图像中岸桥吊或箱区龙门吊目标的特征点一起组成了图像模板。

获取港口岸桥吊和场桥吊图像模板和港口高精度矢量地图是本***进行在线定位的必要条件。高精度矢量地图以矢量，即有序的点、线、面形式表征港口内的路面标识，如车道线、停止线、导向箭头、贝位标识等，获取高精度矢量地图的方法不属于本申请涉及的范围。本申请所涉及的车辆在线定位***至少应包含车载传感器、车载计算机、车辆本体三个部分。其中，车载传感器包括不限于：车载相机、IMU、GNSS-RTK、底盘轮速传感器等；类似于图像模板生成阶段，需事先对传感器进行内外参数的标定，并将标定参数文件保留在车载计算机的硬盘中。完成上述准备工作后，可进行以视觉为主的在线匹配定位，在线匹配定位模块主要包含以下4个步骤：

1.预处理车载传感器数据并输出自车当的当前导航状态；

2.对岸桥吊、龙门吊、路面、车道线、停止线、导向箭头、贝位标识等目标进行图像目标检测及运动估计；

3.加载自车周围局部范围内的矢量地图数据；

4.根据目标检测和运动估计的结果，使用预构建的图像模板对局部矢量地图进行更新，并匹配更新后的地图并输出位姿。

步骤1的主要任务是输出自车的当前导航状态。使用事先标定的车载传感器外参，包含：IMU-车体的杆臂量及安装误差角、GNSS主天线与IMU的杆臂量、底盘轮速的刻度系数等；通过IMU与RTK-GNSS、底盘车速，采用类似模板构建阶段所采用的经典误差状态卡尔曼滤波的方法，融合IMU提供的角速度、线加速度、RTK-GNSS提供的全局位置、底盘车速提供的自车速度等数据，进行惯性组合导航，输出高频的自车导航信息，当后续步骤失败时，该步骤的处理结果可独立发送。

步骤2的图像目标检测包含两类目标，一类是常见的路面标识检测、包括车道线、停止线、导向箭头、贝位标识检测，此类目标只需进行检测，无需估计其运动。另一类则与图像模板生成阶段一致，包括岸桥吊、场桥吊、道路面检测，其目标检测和运动估计过程类似于模板生成阶段所采用的方式，此处不再赘述。

步骤3中根据先前得到的自车导航位置，从硬盘内加载自车周围一定范围内的矢量地图数据，主要包括车道边线、停止线、导向箭头、贝位标识等地标。

步骤4地图匹配分为5个子步骤，如图3所示，具体实施方式为：

(1)通过上游目标检测和场景流估计得到的目标与路面背景的运动速度信息，判断目标速度与路面背景速度的差异，保留目标为静止状态下对应的图像数据，判定方式与模板生成阶段类似，此处不再赘述。

(2)对于包含静态岸桥吊或场桥吊的图像进行内参畸变矫正和图像特征提取，方法和依赖项与模板生成阶段类似，此处不再赘述。

(3)根据岸桥吊或场桥吊的检测结果，进行模板图像与在线图像的特征匹配，特征匹配过程可采用开源的特征匹配网络如SuperGlue网络或LightGlue网络实现，并且在特征点匹配结果的基础上，通过PNP(Perspective N-Points)估计相机位姿并配合Ransac(Random Sample Consensus)方法剔除误匹配特征，得到相机在模板坐标系下的相对位置和姿态，并根据相机在车体下的外参，进一步得知自车在模板坐标系下的相对位置和姿态。

(4)当检测到岸桥吊或场桥吊并可成功匹配图像模板时，使用模板包含的特征点三维模型更新当前加载的局部地图。通过自车当前在地图参考系下的位置和姿态以及先前匹配模板得到的自车在模板坐标系下的相对位置和姿态，将模板点云模型投影到地图参考系下。由于当前自车位姿存在一定误差，导致模型投影到地图参考系下会产生投影误差。根据岸桥吊/场桥吊的行驶方式可分为轨道吊和轮胎吊。轨道吊/轮胎吊必须运行在桥吊轨道/轮胎吊引导线上，而轨道/引导线信息可在高精度矢量地图中查找；此外，场桥吊作业的停靠位置受贝位的限制，而岸桥吊作业的停靠位置受泊位的限制，这类信息也可在高精度矢量地图中查找。利用轨道/引导线、泊位/贝位等信息可对岸桥吊/场桥吊模板在地图中的投影位置进行二次校正，修正岸桥吊/场桥吊模型在地图参考系下的投影位置，将修正后的模型和当前加载的局部地图合并用于后续匹配，提高模板在地图参考系下的投影精度，该过程如图4所示。

(5)当未能检测到岸桥吊或场桥吊目标或匹配失败后，地图中仅包含路面矢量标识；当成功检测到桥吊或场桥目标并进行成功匹配后，地图中将包含模板所代表的静态桥吊、场桥数据以及路面矢量标识。对于上述两种情况，当地图中仅包含路面矢量标识，则仅采用车道线、停止线、导向箭头、贝位标识等检测结果，通过经典的粒子滤波或者迭代最近点配准方法进行矢量地图匹配，当地图数据中包含模板时，为防止路面标识缺失、遮挡、磨损导致矢量定位无法进行全部自由度的修正，则先使用PNP方法通过修正投影位置的模板模型进行模板匹配定位，然后通过路面矢量标识、以PNP定位结果为初值，进行矢量匹配。当自车附近存在岸桥吊或龙门吊时，可先通过模板匹配定位提供6自由度的定位结果，然后通过路面标识匹配进行3自由度结果的修正；当在自车附近不存在岸桥吊或龙门吊时，可仅使用路面标识匹配进行3自由度定位结果的修正。如图6所示，为使用港口箱区的路面矢量地图进行矢量匹配，匹配修正后的位置和姿态作为误差状态卡尔曼滤波的观测，修正自车当前的定位结果。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (10)

1.一种应用于港口水平运输任务的视觉定位***，其特征在于：包括图像模板生成模块和在线匹配定位模块；所述图像模板生成模块用于离线生成岸桥吊及场桥吊的图像模板，所述在线匹配定位模块结合图像模板生成模块生成的图像模板及路面标识进行定位；

所述图像模板生成模块包括标定与采集模块、图像目标检测与运动估计模块和模板建构模块；通过标定与采集模块标定采集***传感器的参数，并采集周围环境的图像数据以及相应的GNSS和RTK数据；通过图像目标检测与运动模块对采集图像序列进行预处理并针对岸桥吊/场桥吊目标进行单帧的图像检测和连续多帧的图像跟踪；通过模板建构模块将检测到目标结果的图像数据进行模板构建，并将构建的模板用于后续的在线定位；

所述在线匹配定位模块包括数据处理模块、图像目标检测与运动估计模块、矢量地图加载模块及地图匹配模块；通过数据处理模块在线预处理车载传感器数据以得到当前车辆的初始位置；通过矢量地图加载模块加载当前车辆周边的矢量地图要素；通过地图匹配模块结合离线构建的图像模版、当前加载的地图和车载传感器数据进行匹配定位，以得到自车在地图上的精确位置。

2.根据权利要求1所述的应用于港口水平运输任务的视觉定位***，其特征在于：所述采集***至少包括传感器、微型计算机及可移动载体；

所述传感器至少包括相机、GNSS-RTK及IMU；

可移动载体至少包括数据采集车、配备摄像头的港口自动驾驶车辆、手持视频录制设备及无人机影像。

3.一种如权利要求1所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：包括如下步骤：

步骤1，离线生成岸桥吊及箱区龙门吊的图像模板；

步骤1.1，标定采集***传感器的参数，然后采集周围环境的传感器数据；

步骤1.2，针对图像内的岸桥吊、场桥吊、道路面进行目标检测及目标运动估计；

步骤1.3，将检测到目标结果的图像数据用于模板构建；

步骤2，在线加载图像模板进行匹配定位

步骤2.1，预处理车载传感器数据并输出自车当的当前导航状态；

步骤2.2，对岸桥吊、龙门吊、路面、车道线、停止线、导向箭头、贝位标识等目标进行图像目标检测及运动估计；

步骤2.3，加载自车周围局部范围内的矢量地图数据；

步骤2.4，根据目标检测和运动估计的结果，使用预构建的图像模板对局部矢量地图进行更新，并匹配更新后的地图并输出位姿。

4.根据权利要求3所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：所述步骤1.1中，传感器标定的参数分为传感器内部参数和外部参数，所述内部参数包括镜头焦距、光心位置等只与传感器自身物理特性相关的参数；外部参数主要指传感器之间及传感器与载体之间的相对位置关系；

采集过程中，图像采集设备的载体需保持运动，以采集不同视角下的目标图像数据；

图像去畸变过程所需的相机内参需通过相机标定过程获取，标定方法至少包括张正友标定法、Tsai标定法。

5.根据权利要求3所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：所述步骤1.2中，采用图像目标检测网络对于图像中包含的岸桥吊、场桥吊预先训练相关数据，并在采集得到的图像上进行推理；对路面目标采用预训练的路面分割网络进行推理；对于存在岸桥吊、场桥吊、道路面目标的多帧图像采用场景流估计网络进行桥吊、龙门吊和道路面目标对应像素的运动速度推理。

6.根据权利要求3所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：所述步骤1.3中，包括：

步骤1.3.1，通过前述步骤中获取的多帧图像间目标跟踪的结果判断岸桥吊/场桥吊是否处于静止状态，筛选出岸桥吊、箱区龙门吊为静止状态下的图像数据；

步骤1.3.2，通过事先标定获得的文件对包含岸桥吊或场桥吊的图像进行内参畸变矫正，并对矫正后的图像进行特征提取，根据目标检测框范围，保留岸桥吊/场桥吊目标检测框内的特征点，剔除检测框外的图像特征；

步骤1.3.3，采用图像三维重建方法，重建由图像特征点组成的、较为稀疏的三维立体模型，建立以模型质心为坐标系原点的模板坐标系，将模型的空间坐标转换到该坐标系下，由此将图像中岸桥吊或箱区龙门吊目标的特征点一起组成图像模板。

7.根据权利要求3所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：所述步骤2.1中，通过事先标定的车载传感器参数输出车辆的当前导航状态：至少包含：属于传感器内部参数的底盘轮速的刻度系数，及属于传感器外部参数的IMU-车体的杆臂量及安装误差角、GNSS主天线与IMU的杆臂量等参数；通过IMU与RTK-GNSS、底盘车速，至少融合IMU提供的角速度、线加速度、RTK-GNSS提供的全局位置、底盘车速提供的自车速度数据，进行惯性组合导航，输出高频的自车导航信息。

8.根据权利要求7所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：若后续步骤失败时，所述步骤2.1的处理结果仍可独立发送。

9.根据权利要求3所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：所述步骤2.3中，根据先前得到的自车导航位置，从硬盘内加载自车周围100平方米范围内的矢量地图数据，所述矢量地图数据至少包括车道边线、停止线、导向箭头及贝位标识等地标，矢量地图数据的加载范围可根据车载计算机的硬件性能和传感器量程进行调整。

10.根据权利要求3所述的应用于港口水平运输任务的视觉定位***的定位方法，其特征在于：所述步骤2.4中，包括：

步骤2.4.1，接收预处理的车载传感器数据进行自车当前位置、姿态的预测，并结合传感器状态读数和先前定位的状态，对当前定位的状态进行判定；判断目标速度与路面背景速度的差异，保留目标为静止状态下对应的图像数据；

步骤2.4.2，根据多帧图像间目标跟踪的结果，仅保留该目标静止时、目标所在图像并提取该图像内的目标特征点；

步骤2.4.3，当该图像内可提取特定目标特征点时，找到特定目标的模板图像并进行在线图像-模板图像间的特征匹配，估计自车在模板坐标系下的位姿；

步骤2.4.4，在定位状态为高置信度条件下，根据自车当前定位结果将模板三维模型从模板坐标系投影到地图参考坐标系下，并与局部的矢量地图数据叠加；

根据岸桥吊/场桥吊的行驶方式分为轨道吊和轮胎吊；所述轨道吊/轮胎吊必须运行在桥吊轨道/轮胎吊引导线上，轨道/引导线信息、场桥吊作业的停靠位置、岸桥吊作业的停靠位置均可在高精度矢量地图中查找；利用轨道/引导线、泊位/贝位等信息可对岸桥吊/场桥吊模板在地图中的投影位置进行二次校正，提高模板在地图参考系下的投影精度；

步骤2.4.5，更新后的局部地图可同时提供路面标识数据和模板数据用于匹配，在上游提供路面标识检测或目标图像特征点的条件下都可对自车定位结果进行修正，其中模板匹配实现6自由度的修正，矢量匹配实现3自由度的修正。