CN117333846A - 恶劣天气下基于传感器融合和增量学习的检测方法及*** - Google Patents
恶劣天气下基于传感器融合和增量学习的检测方法及*** Download PDFInfo
- Publication number
- CN117333846A CN117333846A CN202311474818.2A CN202311474818A CN117333846A CN 117333846 A CN117333846 A CN 117333846A CN 202311474818 A CN202311474818 A CN 202311474818A CN 117333846 A CN117333846 A CN 117333846A
- Authority
- CN
- China
- Prior art keywords
- sensor
- data
- vision sensor
- fusion
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000004927 fusion Effects 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000019771 cognition Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种恶劣天气下基于传感器融合和增量学习的检测方法及***，包括以下步骤：雷达和视觉传感器分别对驾驶环境进行数据采集，得到行车环境信息；将上述得到的两种传感器数据按照时空对齐规则进行处理；提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合；根据天气条件的不同，有选择地将融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。本发明有效地提高了车辆在恶劣天气下的目标检测精度和鲁棒性，为下一级任务提供可靠基础，从而达到提高驾驶安全性的目的。
Description
技术领域
本发明涉及智能驾驶技术领域，具体地，涉及一种恶劣天气下基于传感器融合和增量学习的检测方法及***，尤其是一种基于传感器融合和增量学习技术的恶劣天气下目标检测方法及***。
背景技术
智能驾驶对汽车行业的未来发展具有重要意义，代表了我国智能移动产业的发展水平，具体为根据传感器获得的数据结合高精度地图进行全面分析，在不同的驾驶场景下自主做出决策、估计车辆状态，有目的性的完成跟踪控制和协同控制，以降低各种由人为因素引起的道路事故的概率，实现有效和安全的智能驾驶，提高我国的工业发展水平。
随着人工智能技术的发展，车辆目标检测成为研究重点之一。深度学习已在其中发挥着巨大的作用，通过离线或在线的方式处理传感器数据，使得智能车辆可以准确识别行车环境中的物体，为后续避障及路径规划等任务提供基础。但是现有技术应用到恶劣天气下的目标检测时，会使得精度和鲁棒性降低，无法实现安全驾驶，成为了智能驾驶技术研究的关键问题之一。
公开号为CN110008843B的专利文献公开了一种基于点云和影像数据的车辆目标联合认知方法和***，包括数据级联合模块、深度学习目标检测木块和联合认知模块，数据级联合模块获取三维点云数据和图像数据，用于将点云数据和图像数据进行融合，融合数据在深度学习目标检测模块汇总进行特征级检测识别，输出检测结果，联合认知模块采用证据理论的方法对特征级融合检测结果和数据级融合检测结果进行判断，得到一个信度分配作为输出。但是该专利文献并没有将传感器与恶劣天气结合，无法提高精度和鲁棒性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种恶劣天气下基于传感器融合和增量学习的检测方法及***。
根据本发明提供的一种恶劣天气下基于传感器融合和增量学习的检测方法，包括以下步骤：
采集步骤：通过雷达传感器和视觉传感器分别对驾驶环境进行数据采集，得到雷达传感器和视觉传感器数据；
处理步骤：将所述雷达传感器和视觉传感器数据按照时空对齐规则进行处理，得到时间同步的雷达传感器和视觉传感器数据、空间对齐的双目视觉传感器数据以及空间对齐的雷达传感器和视觉传感器数据；
融合步骤：提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合，得到数据信息流；
检测步骤：根据天气条件的不同，有选择地将所述融合步骤中融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。
优选的，所述处理步骤中的所述时空对齐规则，包括：
在雷达传感器的td时间戳前后，取时间阈值为Δt的视觉传感器时间戳tc，其选取规则为
|tc-td|≤Δt
以得到时间同步的两种传感器数据；
视觉传感器标定板上的角点在世界坐标系下的坐标为pw，初始光心并不相互平行的视觉传感器图像经过刚体变换的视觉传感器矫正之后，同一角点pw的成像点落在左右视觉传感器图的同一高度，实现视觉传感器的空间对齐，视觉传感器图像经过刚体变换，将视觉传感器坐标系转换到雷达传感器坐标系，实现雷达传感器和视觉传感器的空间对齐。
优选的，所述融合步骤中的所述数据级融合，包括以下步骤：
整合步骤：读取视觉传感器图像，将图像数据转换为具有3个通道的数据张量，经过过滤器连接，将左右视觉传感器的数据整合；
提取步骤：将所述整合步骤中整合后的数据经过卷积网络和归一化处理，提取视觉传感器图像的底层特征，保留详细的数据信息；
归一化处理：雷达数据张量经过归一化处理，保留其原始特征；
融合数据步骤：与经过特征提取的视觉传感器图像张量进行过滤器连接，将属于不同分布的雷达和视觉传感器的原始数据特征进行融合，得到归一化的不同天气下的数据信息流。
优选的，所述检测步骤中的所述增量学习训练，包括以下步骤：
分割步骤：分属不同域的天气数据被连续的分割；其中，在不同天气数据流的分割点附近的数据流批次包含左右两侧的数据；
输入步骤：将被连续分割的图像数据以张量的形式送入模型训练，训练过程中固定存储M个张量；
训练步骤：输入的数据流经过风格度量衡量两个张量的相似性，若相似度高，则将具有高相似度的新张量替换存储中相似度最低的旧张量；若相似度低，则对风格与已有域风格相差过大的张量，利用随机森林算法和稀疏随机投影算法进行伪域检测，其中，未通过检测的张量被额外存储，并在累积到一定数量时加入到M个存储中，同时从M个存储中剔除相同个数，保持存储和不同域数据个数的平衡。
优选的，所述空间对齐过程包括：
双目视觉传感器矫正，根据左右视觉传感器的旋转、平移矩阵估计右视觉传感器相对于左视觉传感器的旋转矩阵R，平移矩阵T；
旋转矩阵的计算由下式可得：
式中，Rl、Rr是左、右侧视觉传感器相对于世界坐标系的旋转矩阵，下标l、r分别表示左侧、右侧，上标T表示矩阵转置，且满足上标-1表示矩阵的逆；
平移矩阵的计算由下式可得：
T＝Tr-RTl
式中，Tl、Tr是左、右侧视觉传感器相对于世界坐标系的平移矩阵；
左侧标定板的角点pw，其坐标(U,V)经过刚体变换从世界坐标系转化到左侧视觉传感器坐标系，得到该点在左侧视觉传感器坐标系下的坐标(Xl,Yl,Zl)；
坐标(Xl,Yl,Zl)的计算由下式可得：
式中，Rl、Tl分别是左侧视觉传感器坐标系相对于世界坐标系的旋转矩阵、平移矩阵；
左侧视觉传感器坐标系下的坐标(Xl,Yl,Zl)经过刚体变换、透视投影和放射变化转化到右侧视觉传感器所得图像的像素坐标系中，得到该点的像素坐标(u′r,v′r)，即角点pw坐标在像素坐标系中的投影坐标；
投影坐标的计算由下式可得：
式中，Kr是右侧视觉传感器的内参矩阵；
取m幅图像上的n个标定板角点，优化目标函数，利用L-M算法对上述所有矩阵参数进行优化，使得角点的投影误差最小；
目标函数的计算由下式可得：
式中，(ur,vr)为角点在右侧视觉传感器所得图像的像素坐标系中的实际位置；
对于左侧视觉传感器，在雷达传感器和视觉传感器的空间对齐中，根据其相对于雷达传感器的旋转矩阵Rlra和平移矩阵Tlra实现坐标系的转换，将左侧视觉传感器坐标系中的点转换到雷达传感器坐标系；
坐标系转换由下式可得：
式中，(Xl,Yl,Zl)为左侧视觉传感器坐标系下的坐标，(Xra,Yra,Zra)为对应的雷达传感器坐标系下的坐标。
优选的，所述融合数据步骤，包括：
左、右视觉传感器的两个数据张量fl、fr经过过滤器连接得到单张视觉传感器特征图；视觉传感器特征图经过1×1卷积进行通道融合，整合不同通道信息，再经过3×3卷积改变通道数，得到视觉传感器特征图fc；
视觉传感器特征图的计算由下式可得：
式中，表示过滤器连接，W1、W2分别代表第一层、第二层网络的卷积，BN1、BN2分别代表第一层、第二层网络的Batch归一化；
雷达数据张量fra经过归一化后与归一化后的视觉传感器特征图fc经过过滤器连接实现数据级融合，得到特征图f；
特征图的计算由下式可得：
式中，FN表示归一化函数，将特征图元素缩放到0-1；
归一化函数的计算由下式可得：
式中，f＝f-min(f)，f是一个二维张量。
优选的，所述训练步骤，包括：
三维特征图f被拉平以得到二维特征图x，通道数保持不变，由二维特征图x得到格拉姆矩阵G；
格拉姆矩阵的计算由下式可得：
G＝xT×x
式中，×表示矩阵乘法，T表示矩阵转置；
格拉姆矩阵G被用于衡量两张特征图的差异性，由d表示；
差异性的计算由下式可得：
式中，l表示第l层网络，表示两个格拉姆矩阵G、A的第i、j个元素，G、A分别是两张不同特征图计算得到的格拉姆矩阵，F＝h×w表示格拉姆矩阵大小，其中h和w分别是特征图的长和宽。
本发明还提供一种恶劣天气下基于传感器融合和增量学习的检测***，包括：
采集模块：通过雷达传感器和视觉传感器分别对驾驶环境进行数据采集，得到雷达传感器和视觉传感器数据；
处理模块：将所述雷达传感器和视觉传感器数据按照时空对齐规则进行处理，得到时间同步的雷达传感器和视觉传感器数据、空间对齐的双目视觉传感器数据以及空间对齐的雷达传感器和视觉传感器数据；
融合模块：提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合，得到数据信息流；
检测模块：根据天气条件的不同，有选择地将所述融合模块中融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的恶劣天气下基于传感器融合和增量学习的检测方法的步骤。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现上述的恶劣天气下基于传感器融合和增量学习的检测方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1)本发明提出了一种较完善的传感器融合和增量学习技术，即通过时空对齐规则处理多传感器数据，再按照数据级融合规则进行融合，之后用增量学习的规则对数据进行存储训练，最终分析得到恶劣天气下的目标检测结果，不仅提高了恶劣天气下的目标检测精度，还具有强鲁棒性；
2)本发明提出了一种高准确性和鲁棒性的目标检测方法，降低了车辆在恶劣天气下行驶时目标检测漏检或错误的概率，避免了由于目标检测有误而导致的安全事故，提高了智能车辆驾驶安全性和道路通行效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为一种恶劣天气下基于传感器融合和增量学习的检测方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本实施例公开了一种恶劣天气下基于传感器融合和增量学习的检测方法，包括如下步骤：
雷达和视觉传感器分别对驾驶环境进行数据采集，得到行车环境信息；
将上述得到的两种传感器数据按照时空对齐规则进行处理；
提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合；
根据天气条件的不同，有选择地将融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。
需要说明的是，主车辆的车载传感器包括双目视觉传感器和雷达传感器。
主车辆检测过程如下：
恶劣天气下，主车辆通过车载传感器捕捉行车环境信息，通过传感器融合和增量学习技术分析环境信息，识别待检测目标，输出检测结果，再通过传感器融合和增量学习技术分析识别行车环境中的下一个待检测目标，输出检测结果。主车辆不断重复上述步骤，实现在恶劣天气下的目标检测。
具体来说，所述雷达和视觉传感器分别对驾驶环境进行数据采集，得到行车环境信息，包括：
在恶劣天气下，主车辆的雷达传感器在td时刻采集高分辨率距离-方位图像，双目视觉传感器在tc时刻采集色彩图像，组成主车辆行驶环境信息数据，分别得到雷达传感器图、左视觉传感器图、右视觉传感器图，构成数据集。
具体来说，所述将上述得到的两种传感器数据按照时空对齐规则进行处理，包括：
将雷达和双目视觉传感器得到的数据根据时间戳间隔进行时间同步，选出一一匹配的传感器数据，并利用视觉传感器矫正，实现同一物体的空间对齐。
需要说明的是，雷达和双目视觉传感器的采样频率不同，得到的原始行车环境数据并不匹配，挑选时间匹配的不同传感器数据的规则如下：
|tc-td|≤Δt
式中，Δt为时间阈值，以雷达传感器时间戳为基准，超过此时间阈值的视觉传感器图将被丢弃，据此得到一一匹配的传感器数据。
需要进一步说明的是，空间标定对齐规则中，取m幅图像上的n个标定板角点，(ur,vr)为角点在右侧视觉传感器的像素坐标系中的实际位置，(u′ r,vr ′)为其估计值，则投影误差的计算如下：
角点投影的估计值(u′ r,vr ′)由右侧视觉传感器的内参矩阵Kr，右侧视觉传感器相对于左侧视觉传感器的旋转矩阵R，平移矩阵T，左侧视觉传感器坐标系相对于世界坐标系的旋转矩阵Rl、平移矩阵Tl决定。旋转矩阵R，平移矩阵T的计算由左、右侧视觉传感器相对于世界坐标系的旋转矩阵Rl、Rr、平移矩阵Tl、Tr可得：
为了求解矩阵参数，利用L-M(Levenberg-Marquardt)算法对投影误差进行优化，使得角点的投影误差最小。
具体来说，所述提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合，包括：
数据集被按照天气分类并输送到网络，网络按固定批次大小连续地分割数据集，使得在分界线附近的批次同时包含左右两侧不同天气的数据。
视觉传感器图像经由双线性插值xs＝(xd+0.5)×wx-0.5，转换成与雷达传感器图一样大小的图像。wx为尺度因子，由原始视觉传感器图像大小与雷达传感器图大小决定，xd为原图像像素点。
左、右视觉传感器的两个数据张量fl、fr经过过滤器连接得到单张视觉传感器特征图为了整合两个视觉传感器图的特征，卷积和Batch归一化被应用于fc。首先经过1×1卷积W1进行通道融合，整合不同通道信息，经过一层Batch归一化BN1得到fc：
fc＝BN1[W1(fc)]
再经过3×3卷积W2和一层Batch归一化BN2改变通道数，最后经过归一化函数
将特征图元素缩放到0-1，得到融合前的视觉传感器特征图fc：
fc＝FN(BN2[W2(fc)])
在此过程中，视觉传感器特征图大小保持不变，只改变其通道数，以最大限度地保留原始信息。
雷达数据张量fra经过归一化fra＝FN(fra)，与上述fc经过过滤器连接得到数据级融合后的特征图
具体来说，根据天气条件的不同，有选择地将融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果，包括：
每批次的特征图由三维张量变为二维张量/>以此计算格拉姆矩阵G＝xT×x。假设第l层网络，两张不同特征图的格拉姆矩阵分别为Gl＝{gl}ij和Al＝{al}ij，则通过衡量它们的差异性可以得到特征图风格的迥异。差异性的计算由下式可得：
固定存储大小M，输入网络的数据将不断被存储，直到达到存储容量。若存储容量满，则通过计算特征图风格的差异性，替换存储中与新特征图风格最相近的特征图。新风格的发现由随机森林和稀疏随机投影算法实现，以使内存中包含不同天气的特征图。
每一轮训练的数据包括新的数据和从存储中随机选择的历史数据，内存在训练过程中被不断更新并参与下一轮训练，以实现在学习新知识的同时不断强化历史记忆。
本发明还提供一种恶劣天气下基于传感器融合和增量学习的检测***，所述恶劣天气下基于传感器融合和增量学习的检测***可以通过执行所述恶劣天气下基于传感器融合和增量学习的检测方法的流程步骤予以实现，即本领域技术人员可以将所述恶劣天气下基于传感器融合和增量学习的检测方法理解为所述恶劣天气下基于传感器融合和增量学习的检测***的优选实施方式。
一种恶劣天气下基于传感器融合和增量学习的检测***，包括：采集模块：雷达传感器和视觉传感器分别对驾驶环境进行数据采集，得到行车环境信息；处理模块：将所述采集模块中得到的两种传感器数据按照时空对齐规则进行处理；融合模块：提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合；检测模块：根据天气条件的不同，有选择地将融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，包括以下步骤：
采集步骤：通过雷达传感器和视觉传感器分别对驾驶环境进行数据采集，得到雷达传感器和视觉传感器数据；
处理步骤：将所述雷达传感器和视觉传感器数据按照时空对齐规则进行处理，得到时间同步的雷达传感器和视觉传感器数据、空间对齐的双目视觉传感器数据以及空间对齐的雷达传感器和视觉传感器数据；
融合步骤：提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合，得到数据信息流；
检测步骤：根据天气条件的不同，有选择地将所述融合步骤中融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。
2.根据权利要求1所述的恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，所述处理步骤中的所述时空对齐规则，包括：
在雷达传感器的td时间戳前后，取时间阈值为Δt的视觉传感器时间戳tc，其选取规则为|tc-td|≤Δt
以得到时间同步的两种传感器数据；
视觉传感器标定板上的角点在世界坐标系下的坐标为pw，初始光心并不相互平行的视觉传感器图像经过刚体变换的视觉传感器矫正之后，同一角点pw的成像点落在左右视觉传感器图的同一高度，实现视觉传感器的空间对齐，视觉传感器图像经过刚体变换，将视觉传感器坐标系转换到雷达传感器坐标系，实现雷达传感器和视觉传感器的空间对齐。
3.根据权利要求1所述的恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，所述融合步骤中的所述数据级融合，包括以下步骤：
整合步骤：读取视觉传感器图像，将图像数据转换为具有3个通道的数据张量，经过过滤器连接，将左右视觉传感器的数据整合；
提取步骤：将所述整合步骤中整合后的数据经过卷积网络和归一化处理，提取视觉传感器图像的底层特征，保留详细的数据信息；
归一化处理：雷达数据张量经过归一化处理，保留其原始特征；
融合数据步骤：与经过特征提取的视觉传感器图像张量进行过滤器连接，将属于不同分布的雷达和视觉传感器的原始数据特征进行融合，得到归一化的不同天气下的数据信息流。
4.根据权利要求1所述的恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，所述检测步骤中的所述增量学习训练，包括以下步骤：
分割步骤：分属不同域的天气数据被连续的分割；其中，在不同天气数据流的分割点附近的数据流批次包含左右两侧的数据；
输入步骤：将被连续分割的图像数据以张量的形式送入模型训练，训练过程中固定存储M个张量；
训练步骤：输入的数据流经过风格度量衡量两个张量的相似性，若相似度高，则将具有高相似度的新张量替换存储中相似度最低的旧张量；若相似度低，则对风格与已有域风格相差过大的张量，利用随机森林算法和稀疏随机投影算法进行伪域检测，其中，未通过检测的张量被额外存储，并在累积到一定数量时加入到M个存储中，同时从M个存储中剔除相同个数，保持存储和不同域数据个数的平衡。
5.根据权利要求2所述的恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，所述空间对齐过程包括：
双目视觉传感器矫正，根据左右视觉传感器的旋转、平移矩阵估计右视觉传感器相对于左视觉传感器的旋转矩阵R，平移矩阵T；
旋转矩阵的计算由下式可得：
式中，Rl、Rr是左、右侧视觉传感器相对于世界坐标系的旋转矩阵，下标l、r分别表示左侧、右侧，上标T表示矩阵转置，且满足上标-1表示矩阵的逆；
平移矩阵的计算由下式可得：
T＝Tr-RTl
式中，Tl、Tr是左、右侧视觉传感器相对于世界坐标系的平移矩阵；
左侧标定板的角点pw，其坐标(U,V)经过刚体变换从世界坐标系转化到左侧视觉传感器坐标系，得到该点在左侧视觉传感器坐标系下的坐标(Xl,Yl,Zl)；
坐标(Xl,Yl,Zl)的计算由下式可得：
式中，Rl、Tl分别是左侧视觉传感器坐标系相对于世界坐标系的旋转矩阵、平移矩阵；
左侧视觉传感器坐标系下的坐标(Xl，Yl，zl)经过刚体变换、透视投影和放射变化转化到右侧视觉传感器所得图像的像素坐标系中，得到该点的像素坐标(u′r，v′r)，即角点pw坐标在像素坐标系中的投影坐标；
投影坐标的计算由下式可得：
式中，Kr是右侧视觉传感器的内参矩阵；
取m幅图像上的n个标定板角点，优化目标函数，利用L-M算法对上述所有矩阵参数进行优化，使得角点的投影误差最小；
目标函数的计算由下式可得：
式中，(ur，vr)为角点在右侧视觉传感器所得图像的像素坐标系中的实际位置；
对于左侧视觉传感器，在雷达传感器和视觉传感器的空间对齐中，根据其相对于雷达传感器的旋转矩阵Rlra和平移矩阵Tlra实现坐标系的转换，将左侧视觉传感器坐标系中的点转换到雷达传感器坐标系；
坐标系转换由下式可得：
式中，(Xl，Yl，Zl)为左侧视觉传感器坐标系下的坐标，(Xra，Yra，Zra)为对应的雷达传感器坐标系下的坐标。
6.根据权利要求3所述的恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，所述融合数据步骤，包括：
左、右视觉传感器的两个数据张量fl、fr经过过滤器连接得到单张视觉传感器特征图；视觉传感器特征图经过1×1卷积进行通道融合，整合不同通道信息，再经过3×3卷积改变通道数，得到视觉传感器特征图fc；
视觉传感器特征图的计算由下式可得：
式中，表示过滤器连接，W1、W2分别代表第一层、第二层网络的卷积，BN1、BN2分别代表第一层、第二层网络的Batch归一化；
雷达数据张量fra经过归一化后与归一化后的视觉传感器特征图fc经过过滤器连接实现数据级融合，得到特征图f；
特征图的计算由下式可得：
式中，FN表示归一化函数，将特征图元素缩放到0-1；
归一化函数的计算由下式可得：
式中，f＝f-min(f)，f是一个二维张量。
7.根据权利要求4所述的恶劣天气下基于传感器融合和增量学习的检测方法，其特征在于，所述训练步骤，包括：
三维特征图f被拉平以得到二维特征图x，通道数保持不变，由二维特征图x得到格拉姆矩阵G；
格拉姆矩阵的计算由下式可得：
G＝xT×x
式中，×表示矩阵乘法，T表示矩阵转置；
格拉姆矩阵G被用于衡量两张特征图的差异性，由d表示；
差异性的计算由下式可得：
式中，l表示第l层网络，表示两个格拉姆矩阵G、A的第i、j个元素，G、A分别是两张不同特征图计算得到的格拉姆矩阵，F＝h×w表示格拉姆矩阵大小，其中h和w分别是特征图的长和宽。
8.一种恶劣天气下基于传感器融合和增量学习的检测***，其特征在于，包括：
采集模块：通过雷达传感器和视觉传感器分别对驾驶环境进行数据采集，得到雷达传感器和视觉传感器数据；
处理模块：将所述雷达传感器和视觉传感器数据按照时空对齐规则进行处理，得到时间同步的雷达传感器和视觉传感器数据、空间对齐的双目视觉传感器数据以及空间对齐的雷达传感器和视觉传感器数据；
融合模块：提取视觉传感器数据的底层特征并与雷达传感器数据进行数据级融合，得到数据信息流；
检测模块：根据天气条件的不同，有选择地将所述融合模块中融合后的数据进行存储，按照增量学习的规则进行训练，得出目标检测结果。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的恶劣天气下基于传感器融合和增量学习的检测方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的恶劣天气下基于传感器融合和增量学习的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474818.2A CN117333846A (zh) | 2023-11-03 | 2023-11-03 | 恶劣天气下基于传感器融合和增量学习的检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474818.2A CN117333846A (zh) | 2023-11-03 | 2023-11-03 | 恶劣天气下基于传感器融合和增量学习的检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333846A true CN117333846A (zh) | 2024-01-02 |
Family
ID=89295543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311474818.2A Pending CN117333846A (zh) | 2023-11-03 | 2023-11-03 | 恶劣天气下基于传感器融合和增量学习的检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333846A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593717A (zh) * | 2024-01-18 | 2024-02-23 | 武汉大学 | 一种基于深度学习的车道追踪方法及*** |
-
2023
- 2023-11-03 CN CN202311474818.2A patent/CN117333846A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593717A (zh) * | 2024-01-18 | 2024-02-23 | 武汉大学 | 一种基于深度学习的车道追踪方法及*** |
| CN117593717B (zh) * | 2024-01-18 | 2024-04-05 | 武汉大学 | 一种基于深度学习的车道追踪方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340797B (zh) | 一种激光雷达与双目相机数据融合检测方法及*** | |
| CN108932736B (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
| CN111429514A (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
| CN102999759B (zh) | 一种基于光流的车辆运动状态估计方法 | |
| CN113903011B (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
| Wulff et al. | Early fusion of camera and lidar for robust road detection based on U-Net FCN | |
| CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| CN115032651A (zh) | 一种基于激光雷达与机器视觉融合的目标检测方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及*** | |
| CN111681259B (zh) | 基于无Anchor机制检测网络的车辆跟踪模型建立方法 | |
| CN110487286B (zh) | 基于点特征投影与激光点云融合的机器人位姿判断方法 | |
| CN108645375B (zh) | 一种用于车载双目***快速车辆测距优化方法 | |
| CN111797684B (zh) | 一种运动车辆双目视觉测距方法 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| CN117333846A (zh) | 恶劣天气下基于传感器融合和增量学习的检测方法及*** | |
| CN113592905A (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN113313047A (zh) | 一种基于车道结构先验的车道线检测方法及*** | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN111160231A (zh) | 一种基于Mask R-CNN的自动驾驶环境道路提取方法 | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
| CN109785388B (zh) | 一种基于双目摄像头的短距离精确相对定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |