CN117809285A - 一种应用于港口外集卡的交通标志牌测距方法与*** - Google Patents

一种应用于港口外集卡的交通标志牌测距方法与*** Download PDF

Info

Publication number
CN117809285A
CN117809285A CN202311844086.1A CN202311844086A CN117809285A CN 117809285 A CN117809285 A CN 117809285A CN 202311844086 A CN202311844086 A CN 202311844086A CN 117809285 A CN117809285 A CN 117809285A
Authority
CN
China
Prior art keywords
vehicle
traffic sign
road
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311844086.1A
Other languages
English (en)
Inventor
柳江枫
杨磊
江灿森
衡量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Youdao Zhitu Technology Co Ltd
Original Assignee
Shanghai Youdao Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Youdao Zhitu Technology Co Ltd filed Critical Shanghai Youdao Zhitu Technology Co Ltd
Priority to CN202311844086.1A priority Critical patent/CN117809285A/zh
Publication of CN117809285A publication Critical patent/CN117809285A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

一种应用于港口外集卡的交通标志牌测距***,传感器安装在可移动载体上;可移动载体上安装摄像头,摄像头布置在可移动载体的车身前端;传感器进行参数的标定,ADAS地图存储在车载微型计算机的硬盘中;车载微型计算机搭载目标检测模块;目标检测模块用于利用目标检测模型对前方道路图像进行检测,获取道路标志牌在前方道路图像中的位置区域;微型计算机还搭载交通标志牌测距模块;交通标志牌测距模块用于根据目标检测模块结果及ADAS地图数据估计交通标志牌距离,本发明基于视觉目标检测、ADAS地图的交通标志牌测距方法与***,可在激光雷达传感器被遮挡或发生故障的情况下,以相对较低的维护成本、提供独立于激光雷达数据的交通标志牌测距结果。

Description

一种应用于港口外集卡的交通标志牌测距方法与***
技术领域
本发明属于智能驾驶技术领域,具体涉及一种应用于港口外集卡的交通标志牌测距方法与***。
背景技术
随着我国海运业务的飞速发展,近年来港口年均集装箱吞吐量超过20000万TEU,自动驾驶外集卡开始被应用于港口与货仓之间的干线运输任务,以提高运输效率、降低人工集卡带来的人力及管理成本。交通标志牌是道路交通行驶中的一种重要设施,其作用在于提供明确、一致的指示和信息,以引导驾驶员、行人和其他交通参与者正确行驶和行走。交通标志牌的识别与测距是自动驾驶决策环节的关键前提,进而影响到智驾***的可靠性。
目前,交通标志牌的感知任务主要通过处理并融合车载相机采集的图像数据和激光雷达采集的点云数据来实现。通过深度学***面,以同时获取标志牌对应的语义和位置信息,并输出给下游的决策、规划模块。
该方案的测距能力完全依赖激光雷达点云,因此,在实际的外集卡作业环境中,其测距功能的可用性和测距精度会受到如下因素影响:
相机与激光雷达之间外部参数的标定精度,该精度直接影响点云在图像中投影的位置,进而影响测距精度;
激光雷达点云数据在高速场景中点云运动畸变;
激光雷达在车体的安装位置,较低的安装位置会导致激光雷达收到车辆等障碍物遮挡,无法有效检测交通标志牌;
激光雷达的扫描范围及线数,当激光雷达线数较少或扫描范围不足且自车与目标距离较远时,激光点云扫描到的目标点云较为稀疏,导致此类方案难以正常工作。
基于上述因素,纯激光激光雷达传感器数据的交通标志牌测距方法存在失效风险、缺乏安全性冗余的问题。
发明内容
本发明所要解决的技术问题是克服现有技术的不足,提供一种应用于港口外集卡的交通标志牌测距方法与***,基于视觉目标检测、ADAS地图的交通标志牌测距方法与***,可在激光雷达传感器被遮挡或发生故障的情况下,以相对较低的维护成本、提供独立于激光雷达数据的交通标志牌测距结果,提供了交通标志牌测距功能的必要冗余,并进一步提高智驾***的安全性。
本发明提供一种应用于港口外集卡的交通标志牌测距***,包括传感器、车载微型计算机、可移动载体和ADAS地图;
传感器安装在可移动载体上;
可移动载体上安装摄像头,摄像头布置在可移动载体的车身前端,获取前方道路图像,前方道路图像包括道路标志牌;
传感器进行参数的标定,参数分为传感器内部参数和外部参数,其中,内部参数为传感器自身物理特性参数;外部参数为传感器之间及传感器与可移动载体之间的相对位置关系参数;
ADAS地图存储在车载微型计算机的硬盘中,ADAS地图以矢量,即有序的点、线表征形式道路的道路边界;
车载微型计算机搭载目标检测模块;目标检测模块用于利用目标检测模型对前方道路图像进行检测,获取道路标志牌在前方道路图像中的位置区域;微型计算机还搭载交通标志牌测距模块;交通标志牌测距模块用于根据目标检测模块结果及ADAS地图数据估计交通标志牌距离。
作为本发明的进一步技术方案,传感器包括不限于安装在可移动载体上的相机、GNSS-RTK、IMU、底盘轮速传感器;所述相机包括不限于前视广角车载相机。
进一步的,内部参数包括不限于镜头焦距、光心位置,所述ADAS地图以包括不限于NDS格式存储在车载微型计算机的硬盘中。
本发明还提供一种应用于港口外集卡的交通标志牌测距方法,包括如下步骤,
步骤S1.在定位状态为高置信度条件下,根据自车当前定位结果将自车所在道路边界矢量地图要素从世界坐标系投影到自车坐标系下;对自车坐标系下道路边界形点进行裁剪,保留自车车身方向前方范围内形点;
步骤S2.根据相机外参将裁剪后自车所在道路边界形点从自车坐标系投影到图像坐标系,并剔除超出图像范围的点;
步骤S3.根据自车所在道路边界形点投影到图像域的像素点进行曲线拟合;根据目标检测模块结果对交通标志牌对应杆件进行曲线拟合;
步骤S4.求取图像域道路边界拟合曲线与交通标志牌对应杆件拟合曲线交点作为杆件接地点,根据地面假设以及相机外参求取杆件接地点在自车系下坐标,获取杆件对应交通标志牌与自车距离。
更进一步的,步骤S1中,加载存储在车载微型计算机硬盘的车载传感器外参,包含但不限于:IMU-车体的杆臂量及安装误差角、IMU-GNSS主天线的杆臂量、车体-相机原点的杆臂量及安装误差角、底盘轮速的刻度系数;
根据组合导航原理,采用经典误差状态卡尔曼滤波的方法,融合IMU提供的角速度、线加速度、RTK-GNSS提供的全局位置、底盘车速提供的自车速度,输出高频的自车导航信息。
更进一步的,步骤S2中,在自车导航状态为高置信度的情况下,根据先前得到的自车导航位置,从车载微型计算机硬盘内加载自车所在车道的道路边界矢量地图数据;
通过自车当前在地图参考系下的位置和姿态将自车所在车道两条道路边界矢量形点投影到自车坐标系下,其中x坐标表示形点距离自车的纵向距离,y坐标表示形点距离自车的横向距离,z坐标表示形点在自车坐标系下的高度;
根据自车所在道路边界形点在自车坐标系下的x坐标,只保留距离自车一定范围内的形点;
根据所述保留的形点,将形点y坐标平均值较大的道路边界作为左侧道路边界,将形点y坐标平均值较小的道路边界作为右侧道路边界。
更进一步的,步骤S4中,拟合的道路边界和交通标志牌杆件曲线的交点获取方法为,位于图像右侧半侧的交通标志牌杆件拟合曲线与右侧道路边界拟合曲线求取交点,位于图像左侧半侧的交通标志牌杆件拟合曲线与左侧道路边界拟合曲线求取交点;根据交点坐标,剔除超出图像范围的交点;对于保留交点,假定其为交通标志牌杆件接地点。因此,根据地面假设通过相机内参、车体-相机原点的杆臂量及安装误差角来求解接地点在车体坐标系下的坐标,进而给出接地点对应交通标志牌的距离。
更进一步的,采用的曲线拟合方法包括不限于Bezeir样条曲线拟合方法、多项式曲线拟合方法。
本发明的优点在于,
1.可提供独立于激光雷达点云数据的交通标志牌测距结果。
2.可以与以激光为主的方案结合,为其提供异源校验参考,提高了交通标志牌测距功能的安全性冗余。
3.该方法所需条件较易实现、硬件成本较低,只需相机图像数据、ADAS地图、自车大致定位结果。
附图说明
图1为本发明的***结构示意图;
图2为本发明的测距功能流程图;
图3为本发明的目标测距流程图;
图4为本发明的交通标志牌测距示意图。
具体实施方式
请参阅图1,本实施例提供本发明一种应用于港口外集卡的交通标志牌测距方法与***,基于视觉目标检测、ADAS地图的交通标志牌测距方法与***,可在激光雷达传感器被遮挡或发生故障的情况下,以相对较低的维护成本、提供独立于激光雷达数据的交通标志牌测距结果,提供了交通标志牌测距功能的必要冗余,并进一步提高智驾***的安全性。
本发明提供一种应用于港口外集卡的交通标志牌测距***,包括传感器、车载微型计算机、可移动载体和ADAS地图;
传感器安装在可移动载体上;
可移动载体上安装摄像头,摄像头布置在可移动载体的车身前端,获取前方道路图像,前方道路图像包括道路标志牌;
传感器进行参数的标定,参数分为传感器内部参数和外部参数,其中,内部参数为传感器自身物理特性参数;外部参数为传感器之间及传感器与可移动载体之间的相对位置关系参数。
ADAS地图存储在车载微型计算机的硬盘中,ADAS地图以矢量,即有序的点、线表征形式道路的道路边界;
车载微型计算机搭载目标检测模块;目标检测模块用于利用目标检测模型对前方道路图像进行检测,获取道路标志牌在前方道路图像中的位置区域;微型计算机还搭载交通标志牌测距模块;交通标志牌测距模块用于根据目标检测模块结果及ADAS地图数据估计交通标志牌距离。
传感器包括不限于安装在可移动载体上的相机、GNSS-RTK、IMU、底盘轮速传感器;所述相机包括不限于前视广角车载相机。
内部参数包括不限于镜头焦距、光心位置,所述ADAS地图以包括不限于NDS格式存储在车载微型计算机的硬盘中。
目标检测模块用于检测相机图像中交通标志牌的位置,交通标志牌测距结合所述检测模块结果和ADAS地图矢量元素进行交通标志牌测距,如图2所示;
目标检测模块的工作流程是:首先,采集图像数据并对图像数据进行诸如图像畸变矫正等预处理;然后,针对交通标志牌通过深度学习模型处理图像序列进行目标级检测、给出交通标志牌及其对应的杆件在图像域对应的像素点,目标检测结果用于后续的目标测距。
交通标志牌测距模块的工作流程是:首先需在线预处理车载传感器的相关数据以得到当前车辆的位置估计;然后加载当前车辆所处道路对应的道路边界矢量地图要素;最后结合目标检测结果、当前加载的道路边界、自车定位结果、传感器标定参数进行目标测距,其中目标测距模块流程如图3所示。
本***首先检测相机图像中交通标志牌对应的像素位置,交通标志牌检测模块主要包含以下2个步骤:
视觉120度广角相机采集前方图像,对相机图像数据进行去畸变处理;
针对图像内的交通标志牌进行目标检测进而获得其在图像上对应的像素位置。
本***的测距方法为
步骤1中图像去畸变过程所需的相机内参需通过相机标定过程获取,常用的标定方法包括不限于张正友标定法,Tsai标定法等。
步骤2中对于图像中包含交通标志牌可采用图像目标检测网络包括不限于YoloV5预先训练相关数据,并在采集得到的图像上进行推理。利用目标检测网络,交通标志牌检测模块可实时地处理所述相机传入的前方道路图像,并输出道路标志牌的检测结果,所述检测结果包括不限于交通标志牌对应包围框像素点以及交通标志牌杆件对应像素点。
基于上述交通标志牌检测模块结果、ADAS地图数据、所述传感器数据可以进行交通标志牌测距,交通标志牌测距包含以下几个步骤:
预处理车载传感器数据并输出自车当前定位状态;
加载并预处理自车周围局部范围内的地图道路边界数据;
投影预处理后矢量地图道路边界数据到图像域;
对图像域上的道路边界和目标检测模块交通标志牌杆件像素点进行曲线拟合;
求取图像域上道路边界和交通标志牌杆件拟合曲线的交点作为杆件接地点,根据地面假设求取接地点坐标。
步骤1输出自车当前的定位状态,具体实施方式为:
加载存储在车载微型计算机硬盘的车载传感器外参,包含但不限于:IMU-车体的杆臂量及安装误差角、IMU-GNSS主天线的杆臂量、车体-相机原点的杆臂量及安装误差角、底盘轮速的刻度系数等。
根据组合导航原理,采用经典误差状态卡尔曼滤波的方法,融合IMU提供的角速度、线加速度、RTK-GNSS提供的全局位置、底盘车速提供的自车速度等数据,输出高频的自车导航信息。
步骤2输出周围局部范围内的地图道路边界数据,具体实施方式为:
在自车导航状态为高置信度的情况下,根据先前得到的自车导航位置,从车载微型计算机硬盘内加载自车所在车道的道路边界矢量地图数据。
通过自车当前在地图参考系下的位置和姿态将自车所在车道两条道路边界矢量形点投影到自车坐标系下,其中x坐标表示形点距离自车的纵向距离,y坐标表示形点距离自车的横向距离,z坐标表示形点在自车坐标系下的高度。
根据自车所在道路边界形点在自车坐标系下的x坐标,只保留一定距离范围内,如5米到150米范围内的形点。
根据所述保留的形点,将形点y坐标平均值较大的道路边界作为左侧道路边界,将形点y坐标平均值较小的道路边界作为右侧道路边界。
步骤3中将所述步骤2处理得到的自车所在道路边界形点通过车体-相机原点的杆臂量及安装误差角从车体坐标系投影到相机坐标系下,随后通过相机内参将相机坐标系下的道路边界形点投影到图像域上,剔除不在图像范围内的像素点。
步骤4采用的曲线拟合方法包括不限于Bezeir样条曲线拟合方法、多项式曲线拟合方法等。
步骤5求取所述步骤4中拟合的道路边界和交通标志牌杆件曲线的交点,具体实施方式为:
位于图像右侧半侧的交通标志牌杆件拟合曲线与右侧道路边界拟合曲线求取交点,位于图像左侧半侧的交通标志牌杆件拟合曲线与左侧道路边界拟合曲线求取交点。
根据交点坐标,剔除超出图像范围的交点。
对于保留交点,假定其为交通标志牌杆件接地点。因此,根据地面假设通过相机内参、车体-相机原点的杆臂量及安装误差角来求解接地点在车体坐标系下的坐标,进而给出接地点对应交通标志牌的距离。
测距效果如图4所示,左侧图像中显示交通标志牌检测模块输出的交通标志牌及其对应的杆件在图像域的像素、投影到像素域中的ADAS地图道路边界;右侧鸟瞰视角图中直线为投影到自车坐标系的ADAS地图道路边界,圆点为求解出的交通标志牌杆件位置
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解,本发明不受上述具体实施例的限制,上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理,在不脱离本发明精神范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (8)

1.一种应用于港口外集卡的交通标志牌测距***,其特征在于,包括传感器、车载微型计算机、可移动载体和ADAS地图;
所述传感器安装在所述可移动载体上;
所述可移动载体上安装摄像头,摄像头布置在所述可移动载体的车身前端,获取前方道路图像,前方道路图像包括道路标志牌;
所述传感器进行参数的标定,参数分为传感器内部参数和外部参数,其中,内部参数为传感器自身物理特性参数;外部参数为所述传感器之间及所述传感器与所述可移动载体之间的相对位置关系参数;
所述ADAS地图存储在车载微型计算机的硬盘中,ADAS地图以矢量,即有序的点、线表征形式道路的道路边界;
所述车载微型计算机搭载目标检测模块;所述目标检测模块用于利用目标检测模型对所述前方道路图像进行检测,获取道路标志牌在所述前方道路图像中的位置区域;所述微型计算机还搭载交通标志牌测距模块;所述交通标志牌测距模块用于根据所述目标检测模块结果及ADAS地图数据估计所述交通标志牌距离。
2.根据权利要求1所述的一种应用于港口外集卡的交通标志牌测距***,其特征在于,所述传感器包括不限于安装在可移动载体上的相机、GNSS-RTK、IMU、底盘轮速传感器;所述相机包括不限于前视广角车载相机。
3.根据权利要求1所述的一种应用于港口外集卡的交通标志牌测距***,其特征在于,所述内部参数包括不限于镜头焦距、光心位置,所述ADAS地图以包括不限于NDS格式存储在车载微型计算机的硬盘中。
4.一种应用于港口外集卡的交通标志牌测距方法,其特征在于,包括如下步骤,步骤S1.在定位状态为高置信度条件下,根据自车当前定位结果将自车所在道路边界矢量地图要素从世界坐标系投影到自车坐标系下;对自车坐标系下道路边界形点进行裁剪,保留自车车身方向前方范围内形点;
步骤S2.根据相机外参将裁剪后自车所在道路边界形点从自车坐标系投影到图像坐标系,并剔除超出图像范围的点;
步骤S3.根据自车所在道路边界形点投影到图像域的像素点进行曲线拟合;根据目标检测模块结果对交通标志牌对应杆件进行曲线拟合;
步骤S4.求取图像域道路边界拟合曲线与交通标志牌对应杆件拟合曲线交点作为杆件接地点,根据地面假设以及相机外参求取杆件接地点在自车系下坐标,获取杆件对应交通标志牌与自车距离。
5.根据权利要求4所述的一种应用于港口外集卡的交通标志牌测距方法,其特征在于,所述步骤S1中,加载存储在车载微型计算机硬盘的车载传感器外参,包含但不限于:IMU-车体的杆臂量及安装误差角、IMU-GNSS主天线的杆臂量、车体-相机原点的杆臂量及安装误差角、底盘轮速的刻度系数;
根据组合导航原理,采用经典误差状态卡尔曼滤波的方法,融合IMU提供的角速度、线加速度、RTK-GNSS提供的全局位置、底盘车速提供的自车速度,输出高频的自车导航信息。
6.根据权利要求4所述的一种应用于港口外集卡的交通标志牌测距方法,其特征在于,所述步骤S2中,
在自车导航状态为高置信度的情况下,根据先前得到的自车导航位置,从车载微型计算机硬盘内加载自车所在车道的道路边界矢量地图数据;
通过自车当前在地图参考系下的位置和姿态将自车所在车道两条道路边界矢量形点投影到自车坐标系下,其中x坐标表示形点距离自车的纵向距离,y坐标表示形点距离自车的横向距离,z坐标表示形点在自车坐标系下的高度;
根据自车所在道路边界形点在自车坐标系下的x坐标,只保留一定距离范围内的形点;
根据所述保留的形点,将形点y坐标平均值较大的道路边界作为左侧道路边界,将形点y坐标平均值较小的道路边界作为右侧道路边界。
7.根据权利要求4所述的一种应用于港口外集卡的交通标志牌测距方法,其特征在于,所述步骤S4中,拟合的道路边界和交通标志牌杆件曲线的交点获取方法为,位于图像右侧半侧的交通标志牌杆件拟合曲线与右侧道路边界拟合曲线求取交点,位于图像左侧半侧的交通标志牌杆件拟合曲线与左侧道路边界拟合曲线求取交点;根据交点坐标,剔除超出图像范围的交点;对于保留交点,假定其为交通标志牌杆件接地点。因此,根据地面假设通过相机内参、车体-相机原点的杆臂量及安装误差角来求解接地点在车体坐标系下的坐标,进而给出接地点对应交通标志牌的距离。
8.根据权利要求4所述的一种应用于港口外集卡的交通标志牌测距方法,其特征在于,采用的曲线拟合方法包括不限于Bezeir样条曲线拟合方法、多项式曲线拟合方法。
CN202311844086.1A 2023-12-29 2023-12-29 一种应用于港口外集卡的交通标志牌测距方法与*** Pending CN117809285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311844086.1A CN117809285A (zh) 2023-12-29 2023-12-29 一种应用于港口外集卡的交通标志牌测距方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311844086.1A CN117809285A (zh) 2023-12-29 2023-12-29 一种应用于港口外集卡的交通标志牌测距方法与***

Publications (1)

Publication Number Publication Date
CN117809285A true CN117809285A (zh) 2024-04-02

Family

ID=90424995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311844086.1A Pending CN117809285A (zh) 2023-12-29 2023-12-29 一种应用于港口外集卡的交通标志牌测距方法与***

Country Status (1)

Country Link
CN (1) CN117809285A (zh)

Similar Documents

Publication Publication Date Title
CN106919915B (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
CN109949594B (zh) 实时的交通灯识别方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的***和方法
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
US7894632B2 (en) Apparatus and method of estimating center line of intersection
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
CN112132896B (zh) 一种轨旁设备状态检测方法及***
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和***及电子设备
EP3842751A1 (en) System and method of generating high-definition map based on camera
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US11928871B2 (en) Vehicle position estimation device and traveling position estimation method
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
CN110751693B (zh) 用于相机标定的方法、装置、设备和存储介质
CN114764876A (zh) 用于感知融合算法的评价方法以及评价装置
CN112136021A (zh) 用于构建基于地标的高清地图的***和方法
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
CN110766761A (zh) 用于相机标定的方法、装置、设备和存储介质
US20220215561A1 (en) Semantic-assisted multi-resolution point cloud registration
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN113884090A (zh) 智能平台车环境感知***及其数据融合方法
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的***及方法
CN117809285A (zh) 一种应用于港口外集卡的交通标志牌测距方法与***
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination