CN114379544A - 一种基于多传感器前融合的自动泊车***、方法及装置 - Google Patents
一种基于多传感器前融合的自动泊车***、方法及装置 Download PDFInfo
- Publication number
- CN114379544A CN114379544A CN202111677715.7A CN202111677715A CN114379544A CN 114379544 A CN114379544 A CN 114379544A CN 202111677715 A CN202111677715 A CN 202111677715A CN 114379544 A CN114379544 A CN 114379544A
- Authority
- CN
- China
- Prior art keywords
- parking space
- parking
- module
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 230000003993 interaction Effects 0.000 claims abstract description 3
- 238000013507 mapping Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 30
- 230000008447 perception Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多传感器前融合的自动泊车***,其特征在于,其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块,所述感知模块涉及部署在车身及车辆四周的多个广角摄像头、多个超声波雷达、IMU、轮速计等多种传感器,用于获取车辆行进过程中的周围环境信息和车辆自身状态信息;所述停车位识别模块使用端对端的多传感器前融合的识别方法,获取目标停车位;所述路径规划模块根据所述停车位识别模块获取的目标停车位信息,规划泊车路径;所述车辆控制模块根据所述路径规划模块规划的泊车路径生成控制指令,直到车辆正确泊入停车位;所述通信模块负责各个模块内部及各个模块之间的数据传输和交互。本发明在停车位检测模型中采用端对端的思路,输入多种传感器信息后,一步直接输出当前的最佳目标停车区域,该方法避免了人工规则和分布推断,因此更直接有效,使用连续多帧的传感器信息进行前融合,达到更精准的识别效果。
Description
技术领域
本发明涉及数据采集对比技术领域,更具体地说,本发明涉及一种基于多传感器前融合的自动泊车***、方法及装置。
背景技术
自动泊车是汽车自动驾驶过程中的一个重要场景,车辆在进入停车场后,自动泊车技术可控制车辆自动泊入预选车位,无需用户控制,解决用户停车难题,为用户提供极大地便利,因此近年来在车辆上的搭载率日渐提高。自动泊车技术包括车位识别、路径规划、自动控制三方面。其中车位识别的准确性对自动泊车***的优劣起到了先决性作用。现有的车位识别技术多依靠超声波传感器技术或图像识别技术,获取车位信息及障碍物信息,再确定最终停车位姿以实现后续自动泊车过程。
目前的自动泊车技术利用人工制定的规则对有限类型的车位进行推断,普遍存在着停车位识别场景有限、车位识别准确率不高、自动泊车过程中需要驾驶员人工干预等问题,在一定程度上限制了泊车效率。
超声波雷达车位识别方案对车位周边障碍物的依赖较大,无障碍物时无法准确识别车位,适应性和智能性较差。同时超声波雷达的探测精度受天气、温度、噪声等环境因素的影响,恶劣条件下对目标车位的探测存在较大的偏差,将对最终的泊车精度产生消极影响。
图像识别技术通过对安装在车身上的摄像头采集的车辆周围环境图像进行处理,识别可泊入的目标车位。一般采用基于霍夫变换的传统车位检测法和基于深度学习的车位边角检测法。这两种方法对车位线依赖度较高,对于车位线不完整或者有部分磨损的情况,漏检和误检较多,同时对空间车位的检测可靠性较低。另外,输入的视觉信息往往仅来源于当前帧,这会导致由于停车线或停车位角点被车辆等障碍物遮挡时带来的漏检,同时也无法提取到外界环境的变化信息。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种基于多传感器前融合的自动泊车***、方法及装置,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于多传感器前融合的自动泊车***,其特征在于,其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块。
所述感知模块用于获取车辆行进过程中的周围环境信息和车辆自身状态信息;所述停车位识别模块使用端对端的多传感器前融合的识别方法,获取目标停车位;所述路径规划模块根据所述停车位识别模块获取的目标停车位信息,规划泊车路径;所述车辆控制模块根据所述路径规划模块规划的泊车路径生成控制指令,直到车辆正确泊入停车位;所述通信模块负责各个模块内部及各个模块之间的数据传输和交互。
在一个优选地实施方式中,所述感知模块涉及部署在车身及车辆四周的多个广角摄像头、多个超声波雷达、IMU、轮速计等多种传感器,用于获取车辆行进过程中的周围环境信息和车辆自身状态信息。
在一个优选地实施方式中,所述停车位识别模块使用的端对端多传感器前融合的识别方法的实现过程包括以下步骤:
步骤A,将所述感知模块中所述多个广角摄像头采集的当前帧图像,使用全景拼接映射表映射成全景拼接图像;
步骤B,将所述感知模块中所述多个超声波雷达采集的距离测量信息,使用超声波点阵映射表映射成超声波点阵;
步骤C,将步骤A产生的全景拼接图像与步骤B产生的超声波点阵在通道维度进行拼接联合,得到当前帧的感知融合信息,并与过去帧的感知融合信息拼成一个序列,得到感知融合信息序列;
步骤D,将步骤C中产生的感知融合信息序列,输入至停车位识别算法中,获取目标停车位。
在一个优选地实施方式中,所述全景拼接映射表为所述多个广角摄像头的采集图像的像素点与所述全景拼接图像的像素点的对应关系,其可以通过所述多个广角摄像头的内参、外参及所述全景拼接图像的覆盖范围、像素大小等参数通过计算获得,所述全景拼接图像的通道数,可选的,为包含RGB的三通道,或者为包含灰度值的单通道。
在一个优选地实施方式中,所述超声波点阵映射表为所述多个超声波雷达过去一定时间段内采集的距离测量信息与所述超声波点阵的对应关系,其可以通过所述多个超声波雷达的外参和所述IMU和轮速计在所述过去一定时间内获取的信息通过计算获得,所述超声波点阵的所有像素与步骤A中所述全景拼接图像的所有像素的空间位置一一对应,其通道数为1,该通道的数值为二值化的数据。
在一个优选地实施方式中,所述感知融合信息序列按照时间顺序进行排序。
在一个优选地实施方式中,所述目标停车位的数量为1,其内容包括车位类型,车位中心点,车位框和车位朝向等信息,所述车位位置的中心点不需要与划线车位的中心点保持一致,所述停车位识别算法为端对端目标检测神经网络,可选的,所述目标检测神经网络直接输出所述目标停车位,或者所述目标检测神经网络先输出候选停车位集合,再通过后处理生成目标停车位。
在一个优选地实施方式中,首先使用backbone模块逐帧提取所述感知融合信息的特征张量,从而得到融合空间信息的特征张量序列;再将特征张量序列输入多层双向循环神经网络,提取序列蕴含的时间上下文信息,得到新的序列中最后一帧的特征张量;最后将此特征张量输入已经训练好的特征金字塔网络进行推理。
在一个优选地实施方式中,其使用的损失函数包含但不限于以下内容:
S1,基于车位类型的损失函数,用于描述各个车位的车位类型预测结果与车位类型标签的差异。例如,使用softmax交叉熵损失函数;
S2,基于车位朝向的损失函数,用于描述各个车位的车位朝向预测结果与车位朝向标签值之间的差异。例如,使用加权RMSE损失函数;
S3,基于车位中心点的损失函数,用于描述各个车位的车位中心点预测结果与车位中心点标签值之间的欧氏距离差异。例如,使用加权RMSE损失函数;
S4,基于停车位检测框的损失函数,用于描述各个车位的车位框预测结果与车位框标签值之间的差异。例如,使用smooth L1损失函数的加和。
在一个优选地实施方式中,其预先使用训练集进行训练,所述训练集通过如下方法进行收集:
步骤a,根据车辆的广角摄像头的内、外参数生成全景拼接映射表;
步骤b,根据车辆的超声波传感器的位置参数生成超声波点阵映射表;
步骤c,根据多个广角摄像头采集的当前帧图像,使用步骤a生成的全景映射表映射得到全景拼接图像;
步骤d,根据超声波雷达采集的距离测量信息,使用步骤b生成的超声波点阵映射表映射得到超声波点阵;
步骤e,结合步骤c和步骤d,标记出可以泊车的车位的包围框;
步骤f,对步骤e中标记的车位包围框,进一步标记车位类型,0表示垂直车位,1表示平行车位,2表示倾斜车位;
步骤g,对步骤e中标记的车位包围框,进一步标记车位中心点、车位朝向和车位评分,其中车位中心点为拼接图像像素坐标下的离散像素点,是一个二维整数向量;车位朝向为-180度至180度之间的浮点数,0度对应步骤c中拼接图像的横轴方向。
在一个优选地实施方式中,所述车辆控制模块,在泊车过程中利用车载的IMU、轮速传感器与视觉信息融合的策略,确定车辆和停车位的相对位置,实现相对位置定位,直至完成车辆的泊入。
在一个优选地实施方式中,所述通信模块,采用分布式通信中间件,数据发布方和数据接收方分别发布和订阅对应的主题,所述分布式通信中间件通过匹配主题实现数据发布方和数据接收方的数据通信。所述感知模块、所述停车位识别模块、所述路径规划模块和所述车辆控制模块可各自包含若干个数据发布方和数据接收方。
本发明的技术效果和优点:
1、本发明在停车位检测模型中采用端对端的思路,输入多种传感器信息后,一步直接输出当前的最佳目标停车区域,该方法避免了人工规则和分布推断,因此更直接有效,使用连续多帧的传感器信息进行前融合,达到更精准的识别效果。
2、本发明采用相对位置定位的方式,采用车载IMU、轮速传感器与视觉信息融合的策略,确定车辆和目标停车位的相对位置,进一步完成车辆的泊入和泊出,这种定位策略不依赖于GPS信息,因此在地下车库等GPS较弱或无法使用的场景具有较好的适应性。
3、本发明采用分布式通信中间件进行自主泊车过程中的数据通信,通过发布-订阅模式实现各模块和各节点间的解耦,便于多传感器的动态接入以及泊车逻辑的快速部署,并保证了***的高实时性、高稳定性和高可靠性,有助于构建符合车规级的自动驾驶软件平台。
附图说明
图1为本发明的***架构图。
图2为本发明的停车位检测的流程图。
图3为本发明的停车位检测模型的原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如附图1所示的一种基于多传感器前融合的自动泊车***,其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块;
如附图2所示的自动泊车过程,感知模块21用于获取车辆行进过程中的周围环境信息和车辆自身状态信息;停车位识别模块22使用端对端的多传感器前融合的识别方法,获取目标停车位;路径规划模块23根据所述停车位识别模块22获取的目标停车位信息,规划泊车路径;车辆控制模块24根据所述路径规划模块23规划的泊车路径生成控制指令,直到车辆正确泊入停车位。
本实施例中感知模块包括广角摄像头、超声波雷达、IMU、轮速计等;停车位识别模块接收来自感知模块采集的环境数据以及车辆自身数据信息,采用多传感器前融合的策略进行分析处理,得出目标车位信息;路径规划模块根据识别到的车位信息规划出最优的泊车路径;车辆控制模块用于自动控制车辆的车速、档位、转向等根据规划的最优泊车路径泊入目标车位。停车位识别模块中将多个超声波传感器和多个广角摄像头采集的原始超声波数据、原始广角图像数据、车辆IMU数据、轮速数据等输入预先建立好的神经网络模型,可直接得出可用的目标车位,包括空间车位和划线车位下的垂直车位、平行车位和倾斜车位信息。同时模型中使用了广角摄像头采集的前后时刻的多帧图像,以弥补单一时刻图像中信息的不完整,本发明提出的端对端的车位识别方法,采用前融合方式,避免了后融合策略在对传感器数据的前处理过程中造成的信息丢失的问题,利用本方法,可以直接检测出车位信息,无需像传统方法一样先检测角点和车位线信息,且可对停车位内的车位锁的开关状态、停车位上禁停标志进行识别判断。泊车过程中对车辆和待泊入车位采用相对位置定位的方式进行定位。具体地说,利用车载的IMU、轮速传感器与视觉信息融合的策略,确定车辆和停车位的相对位置,实现相对位置定位,进一步完成车辆的泊入和泊出。
所述端对端多传感器前融合的识别方法的实现过程包括以下步骤:
步骤A,将所述感知模块中所述多个广角摄像头采集的当前帧图像,使用全景拼接映射表映射成全景拼接图像;
步骤B,将所述感知模块中所述多个超声波雷达采集的距离测量信息,使用超声波点阵映射表映射成超声波点阵;
步骤C,将步骤A产生的全景拼接图像与步骤B产生的超声波点阵在通道维度进行拼接联合,得到当前帧的感知融合信息,并与过去帧的感知融合信息拼成一个序列,得到感知融合信息序列;
步骤D,将步骤C中产生的感知融合信息序列,输入至停车位识别算法中,获取目标停车位。
本实施例中首先将超声波点阵与全景拼接图像序列中的每一帧进行特征拼接联合。再使用backbone模块逐帧提取特征张量,得到融合空间信息的特征张量序列;再将特征张量序列输入多层双向循环神经网络,提取序列蕴含的时间上下文信息,得到新的序列中最后一帧的特征张量;最后将此特征张量输入已经训练好的特征金字塔网络进行推理,经过此目标检测模块及NMS压缩后,得到各备选车位检测框、车位信息、车位评分,按照车位评分由高到低排序,输出最佳目标停车位的检测框及其车位信息。本实施例利用前后时刻多帧图像数据弥补单一时刻图像信息不足的缺陷,能够对有遮挡的车位进行有效识别,本发明适用更多类型的停车位,包括但不限于线车位和空间车位下的水平车位、垂直车位、斜列车位。同时实现完成车位锁的开关状态、停车位上禁停标志的识别,进一步提升车位的可用性。
上述的端对端目标检测神经网络需要预先使用训练集进行训练,训练集可通过如下方法进行收集:
步骤a,根据车辆的广角摄像头的内、外参数生成全景拼接映射表;
步骤b,根据车辆的超声波传感器的位置参数生成超声波点阵映射表;
步骤c,根据多个广角摄像头采集的当前帧图像,使用步骤a生成的全景映射表映射得到全景拼接图像;
步骤d,根据超声波雷达采集的距离测量信息,使用步骤b生成的超声波点阵映射表映射得到超声波点阵;
步骤e,结合步骤c和步骤d,标记出可以泊车的车位的包围框;
步骤f,对步骤e中标记的车位包围框,进一步标记车位类型,0表示垂直车位,1表示平行车位,2表示倾斜车位;
步骤g,对步骤e中标记的车位包围框,进一步标记车位中心点、车位朝向和车位评分,其中车位中心点为拼接图像像素坐标下的离散像素点,是一个二维整数向量;车位朝向为-180度至180度之间的浮点数,0度对应步骤c中拼接图像的横轴方向。
其中,全景拼接映射表为所述多个广角摄像头的采集图像的像素点与所述全景拼接图像的像素点的对应关系,其可以通过所述多个广角摄像头的内参、外参及所述全景拼接图像的覆盖范围、像素大小等参数通过计算获得,所述全景拼接图像的通道数,可选的,为包含RGB的三通道,或者为包含灰度值的单通道。超声波点阵映射表为所述多个超声波雷达过去一定时间段内采集的距离测量信息与所述超声波点阵的对应关系,其可以通过所述多个超声波雷达的外参和所述IMU和轮速计在所述过去一定时间内获取的信息通过计算获得,所述超声波点阵的所有像素与步骤A中所述全景拼接图像的所有像素的空间位置一一对应,其通道数为1,该通道的数值为二值化的数据。
在标记训练集时,目标停车位为当前广角摄像头视野下的全部可泊车位,具体车位信息包括,车位类型,车位中心点,车位框,车位朝向和车位评分。特别地,所述车位位置的中心点不需要与划线车位的中心点保持一致。
可选的,上述目标检测神经网络直接输出所述目标停车位,也可先获得候选停车位集合,再通过后处理输出目标停车位。
本实施例中训练过程使用如下损失函数:
S1,基于车位类型的损失函数,用于描述各个车位的车位类型预测结果与车位类型标签的差异。例如,使用softmax交叉熵损失函数;
S2,基于车位朝向的损失函数,用于描述各个车位的车位朝向预测结果与车位朝向标签值之间的差异。例如,使用加权RMSE损失函数;
S3,基于车位中心点的损失函数,用于描述各个车位的车位中心点预测结果与车位中心点标签值之间的欧氏距离差异。例如,使用加权RMSE损失函数;
S4,基于停车位检测框的损失函数,用于描述各个车位的车位框预测结果与车位框标签值之间的差异。例如,使用smooth L1损失函数的加和。
本实施例中,得到车位信息后,利用自由轨迹规划算法计算出车辆泊入目标车位的最优路径,最后再利用控制模块实时控制车辆沿泊车轨迹运行泊入车位,完成自动泊车。
本实施例中的通信模块,采用分布式通信中间件,数据发布方和数据接收方分别发布和订阅对应的主题,所述分布式通信中间件通过匹配主题实现数据发布方和数据接收方的数据通信。具体地说,需要发布信息的模块,发布某一主题的信息,需要订阅信息的模块,订阅某一主题的信息。所述感知模块、所述停车位识别模块、所述路径规划模块和所述车辆控制模块可各自包含若干个数据发布方和数据接收方。
本实施例中提出的前融合端对端的车位识别方法,采用前融合方式,避免了后融合策略在对传感器数据的前处理过程中造成的信息丢失的问题,利用本方法,可以直接检测出车位信息,无需像传统方法一样先检测角点和车位线信息。且不需要应用规则以及概率作为融合的基础进行数据关联,在检测出停车位的同时,简化了检测流程;利用前后时刻多帧图像数据弥补单一时刻图像信息不足的缺陷,能够对有遮挡的车位进行有效识别;适用更多类型的停车位,包括但不限于线车位和空间车位下的水平车位、垂直车位、斜列车位。同时实现完成车位锁的开关状态、停车位上禁停标志的识别,进一步提升车位的可用性;采用分布式通信中间件进行自主泊车过程中数据的分发,其采用共享内存的机制,便于多传感器的接入以及数据通信,并且兼容AUTOSAR,保证了***的高实时性。能满足大带宽、实时性、稳定性等新的需求,有助于构建符合车规级的自动驾驶软件平台。
最后应说明的几点是:首先,在本申请的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变,则相对位置关系可能发生改变;
其次:本发明公开实施例附图中,只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计,在不冲突情况下,本发明同一实施例及不同实施例可以相互组合;
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种基于多传感器前融合的自动泊车***,其特征在于,其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块;
所述感知模块涉及部署在车身及车辆四周的多个广角摄像头、多个超声波雷达、IMU、轮速计等多种传感器,用于获取车辆行进过程中的周围环境信息和车辆自身状态信息;所述停车位识别模块使用端对端的多传感器前融合的识别方法,获取目标停车位;所述路径规划模块根据所述停车位识别模块获取的目标停车位信息,规划泊车路径;所述车辆控制模块根据所述路径规划模块规划的泊车路径生成控制指令,控制车辆运动,直到车辆正确泊入停车位;所述通信模块负责各个模块内部及各个模块之间的数据传输和交互。
2.根据权利要求1所述的停车位识别模块,其特征在于,采用端对端多传感器前融合的识别方法,实现过程包括以下步骤:
步骤A,将权利要求1所述感知模块中所述多个广角摄像头采集的当前帧图像,使用全景拼接映射表映射成全景拼接图像;
步骤B,将权利要求1所述感知模块中所述多个超声波雷达采集的距离测量信息,使用超声波点阵映射表映射成超声波点阵;
步骤C,将步骤A产生的全景拼接图像与步骤B产生的超声波点阵在通道维度进行拼接联合,得到当前帧的感知融合信息,并与过去帧的感知融合信息拼成一个序列,得到感知融合信息序列;
步骤D,将步骤C中产生的感知融合信息序列,输入至停车位识别算法中,获取目标停车位。
3.根据权利要求2所述的步骤A,其特征在于,所述全景拼接映射表为所述多个广角摄像头的采集图像的像素点与所述全景拼接图像的像素点的对应关系,其可以通过所述多个广角摄像头的内参、外参及所述全景拼接图像的覆盖范围、像素大小等参数通过计算获得,所述全景拼接图像的通道数,可选的,为包含RGB的三通道,或者为包含灰度值的单通道。
4.根据权利要求2所述的步骤B,其特征在于,所述超声波点阵映射表为所述多个超声波雷达过去一定时间段内采集的距离测量信息与所述超声波点阵的对应关系,其可以通过所述多个超声波雷达的外参和所述IMU和轮速计在过去一定时间内获取的信息通过计算获得,所述超声波点阵的所有像素与权利要求2所述的步骤A中所述全景拼接图像的所有像素的空间位置一一对应,其通道数为1,该通道的数值为二值化的数据。
5.根据权利要求2所述的步骤C,其特征在于,所述感知融合信息序列按照时间顺序进行排序。
6.根据权利要求2所述的步骤D,其特征在于,所述目标停车位的数量为1,其内容包括车位类型,车位中心点,车位框和车位朝向等信息,所述车位位置的中心点不需要与划线车位的中心点保持一致;所述停车位识别算法为端对端目标检测神经网络,可选的,所述目标检测神经网络直接输出所述目标停车位,或者所述目标检测神经网络先输出候选停车位集合,再通过后处理生成目标停车位。
7.根据权利要求6所述的端对端目标检测神经网络,其特征在于,首先使用backbone模块逐帧提取所述感知融合信息的特征张量,从而得到融合空间信息的特征张量序列;再将特征张量序列输入多层双向循环神经网络,提取序列蕴含的时间上下文信息,得到新的序列中最后一帧的特征张量;最后将此特征张量输入特征金字塔网络进行训练。
8.根据权利要求6所述的端对端目标检测神经网络,其特征在于,其使用的损失函数包含但不限于以下内容:
S1,基于车位类型的损失函数,用于描述各个车位的车位类型预测结果与车位类型标签的差异。例如,使用softmax交叉熵损失函数;
S2,基于车位朝向的损失函数,用于描述各个车位的车位朝向预测结果与车位朝向标签值之间的差异。例如,使用加权RMSE损失函数;
S3,基于车位中心点的损失函数,用于描述各个车位的车位中心点预测结果与车位中心点标签值之间的欧氏距离差异。例如,使用加权RMSE损失函数;
S4,基于停车位检测框的损失函数,用于描述各个车位的车位框预测结果与车位框标签值之间的差异。例如,使用smooth L1损失函数的加和。
9.根据权利要求6所述的端对端目标检测神经网络,其特征在于,其预先使用训练集进行训练,所述训练集通过如下方法进行收集:
步骤a,根据车辆的广角摄像头的内、外参数生成全景拼接映射表;
步骤b,根据车辆的超声波传感器的位置参数生成超声波点阵映射表;
步骤c,根据多个广角摄像头采集的当前帧图像,使用步骤a生成的全景映射表映射得到全景拼接图像;
步骤d,根据超声波雷达采集的距离测量信息,使用步骤b生成的超声波点阵映射表映射得到超声波点阵;
步骤e,结合步骤c和步骤d,标记出可以泊车的车位的包围框;
步骤f,对步骤e中标记的车位包围框,进一步标记车位类型,0表示垂直车位,1表示平行车位,2表示倾斜车位;
步骤g,对步骤e中标记的车位包围框,进一步标记车位中心点、车位朝向和车位评分,其中车位中心点为拼接图像像素坐标下的离散像素点,是一个二维整数向量;车位朝向为-180度至180度之间的浮点数,0度对应步骤c中拼接图像的横轴方向。
10.根据权利要求1所述的车辆控制模块,其特征在于,泊车过程中利用车载的IMU、轮速传感器与视觉信息融合的策略,确定车辆和停车位的相对位置,实现相对位置定位,直至完成车辆的泊入。
11.根据权利要求1所述的通信模块,其特征在于,采用分布式通信中间件,数据发布方和数据接收方分别发布和订阅对应的主题,所述分布式通信中间件通过匹配主题实现数据发布方和数据接收方的数据通信。所述感知模块、所述停车位识别模块、所述路径规划模块和所述车辆控制模块可各自包含若干个数据发布方和数据接收方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111677715.7A CN114379544A (zh) | 2021-12-31 | 2021-12-31 | 一种基于多传感器前融合的自动泊车***、方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111677715.7A CN114379544A (zh) | 2021-12-31 | 2021-12-31 | 一种基于多传感器前融合的自动泊车***、方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114379544A true CN114379544A (zh) | 2022-04-22 |
Family
ID=81199037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111677715.7A Pending CN114379544A (zh) | 2021-12-31 | 2021-12-31 | 一种基于多传感器前融合的自动泊车***、方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114379544A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612458A (zh) * | 2023-05-30 | 2023-08-18 | 易飒(广州)智能科技有限公司 | 基于深度学习的泊车路径确定方法与*** |
CN117261878A (zh) * | 2023-09-28 | 2023-12-22 | 零束科技有限公司 | 一种行泊一体的场景交互显示方法、***及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492808A (zh) * | 2018-11-07 | 2019-03-19 | 浙江科技学院 | 一种室内停车场剩余车位预测方法 |
CN109855646A (zh) * | 2019-04-30 | 2019-06-07 | 奥特酷智能科技(南京)有限公司 | 分布集中式自动驾驶***和方法 |
CN110458115A (zh) * | 2019-08-14 | 2019-11-15 | 四川大学 | 一种基于时序的多帧集成目标检测算法 |
CN110706509A (zh) * | 2019-10-12 | 2020-01-17 | 东软睿驰汽车技术(沈阳)有限公司 | 车位及其方向角度检测方法、装置、设备及介质 |
CN111856963A (zh) * | 2019-04-30 | 2020-10-30 | 北京初速度科技有限公司 | 一种基于车载环视***的泊车仿真方法及装置 |
CN112180373A (zh) * | 2020-09-18 | 2021-01-05 | 纵目科技(上海)股份有限公司 | 一种多传感器融合的智能泊车***和方法 |
CN112639821A (zh) * | 2020-05-11 | 2021-04-09 | 华为技术有限公司 | 一种车辆可行驶区域检测方法、***以及采用该***的自动驾驶车辆 |
CN113147738A (zh) * | 2021-02-26 | 2021-07-23 | 重庆智行者信息科技有限公司 | 一种自动泊车定位方法和装置 |
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及*** |
-
2021
- 2021-12-31 CN CN202111677715.7A patent/CN114379544A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492808A (zh) * | 2018-11-07 | 2019-03-19 | 浙江科技学院 | 一种室内停车场剩余车位预测方法 |
CN109855646A (zh) * | 2019-04-30 | 2019-06-07 | 奥特酷智能科技(南京)有限公司 | 分布集中式自动驾驶***和方法 |
CN111856963A (zh) * | 2019-04-30 | 2020-10-30 | 北京初速度科技有限公司 | 一种基于车载环视***的泊车仿真方法及装置 |
CN110458115A (zh) * | 2019-08-14 | 2019-11-15 | 四川大学 | 一种基于时序的多帧集成目标检测算法 |
CN110706509A (zh) * | 2019-10-12 | 2020-01-17 | 东软睿驰汽车技术(沈阳)有限公司 | 车位及其方向角度检测方法、装置、设备及介质 |
CN112639821A (zh) * | 2020-05-11 | 2021-04-09 | 华为技术有限公司 | 一种车辆可行驶区域检测方法、***以及采用该***的自动驾驶车辆 |
CN112180373A (zh) * | 2020-09-18 | 2021-01-05 | 纵目科技(上海)股份有限公司 | 一种多传感器融合的智能泊车***和方法 |
CN113147738A (zh) * | 2021-02-26 | 2021-07-23 | 重庆智行者信息科技有限公司 | 一种自动泊车定位方法和装置 |
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及*** |
Non-Patent Citations (1)
Title |
---|
王马成;黎海涛;: "基于深度卷积神经网络的停车位检测", 电子测量技术, no. 21, pages 1 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612458A (zh) * | 2023-05-30 | 2023-08-18 | 易飒(广州)智能科技有限公司 | 基于深度学习的泊车路径确定方法与*** |
CN116612458B (zh) * | 2023-05-30 | 2024-06-04 | 易飒(广州)智能科技有限公司 | 基于深度学习的泊车路径确定方法与*** |
CN117261878A (zh) * | 2023-09-28 | 2023-12-22 | 零束科技有限公司 | 一种行泊一体的场景交互显示方法、***及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109720340B (zh) | 一种基于视觉识别的自动泊车***及方法 | |
CN112180373B (zh) | 一种多传感器融合的智能泊车***和方法 | |
CN111695546B (zh) | 用于无人车的交通信号灯识别方法和装置 | |
CN111081064B (zh) | 一种车载以太网的自动泊车***及自动代客泊车方法 | |
Levinson et al. | Traffic light mapping, localization, and state detection for autonomous vehicles | |
CN111376895B (zh) | 一种环视泊车感知方法、装置、自动泊车***和车辆 | |
CN109697860A (zh) | 车位检测和跟踪***及方法及车辆 | |
CN111508260A (zh) | 车辆停车位检测方法、装置和*** | |
CN108303103A (zh) | 目标车道的确定方法和装置 | |
CN114379544A (zh) | 一种基于多传感器前融合的自动泊车***、方法及装置 | |
CN111611853A (zh) | 一种传感信息融合方法、装置及存储介质 | |
CN107273788A (zh) | 在车辆中执行车道检测的成像***与车辆成像*** | |
US11521375B2 (en) | Method and system for improved object marking in sensor data | |
AU2021255130B2 (en) | Artificial intelligence and computer vision powered driving-performance assessment | |
CN113362394A (zh) | 一种基于视觉语义分割技术的车辆实时定位方法 | |
AU2018410435A1 (en) | Port area monitoring method and system, and central control system | |
CN106092123A (zh) | 一种视频导航方法及装置 | |
CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
US20210237737A1 (en) | Method for Determining a Lane Change Indication of a Vehicle | |
Suleymanov et al. | Online inference and detection of curbs in partially occluded scenes with sparse lidar | |
CN114495568A (zh) | 一种泊车方法、设备、存储介质和泊车*** | |
CN111739332B (zh) | 一种停车场管理*** | |
CN110727269A (zh) | 车辆控制方法及相关产品 | |
CN111754388A (zh) | 一种建图方法及车载终端 | |
CN113624223B (zh) | 一种室内停车场地图构建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |