CN115861969A - 基于人工智能的智能驾驶视觉***及其方法 - Google Patents
基于人工智能的智能驾驶视觉***及其方法 Download PDFInfo
- Publication number
- CN115861969A CN115861969A CN202211626461.0A CN202211626461A CN115861969A CN 115861969 A CN115861969 A CN 115861969A CN 202211626461 A CN202211626461 A CN 202211626461A CN 115861969 A CN115861969 A CN 115861969A
- Authority
- CN
- China
- Prior art keywords
- feature map
- radar
- classification
- neural network
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 81
- 238000012549 training Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 78
- 238000003860 storage Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种基于人工智能的智能驾驶视觉***及其方法，其通过作为特征提取器的第一卷积神经网络对毫米波雷达采集的雷达数据进行编码以得到雷达深度特征图，通过使用空间注意力的第二卷积神经网络对车载摄像头采集的图像数据进行编码以得到空间强化特征图，然后融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，并将该分类特征图通过分类器以得到分类损失函数值，然后以所述空间强化特征图的标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练，从而有利于提高车辆目标检测的精准度以支持智能驾驶。
Description
技术领域
本申请涉及智能驾驶技术领域，且更为具体地，涉及一种基于人工智能的智能驾驶视觉***及其方法。
背景技术
近年来，随着计算机视觉与智能驾驶技术的快速发展，一系列基于卷积神经网络的感知算法被提出，极大提高了智能驾驶汽车的感知性能。由于光学相机易受到天气与光照等影响，在面对一些雨雾等恶劣天气、低光照以及远处小目标检测的场景时，仅依靠图像的感知***会存在大量的漏检和误检。
因此，期待一种优化的用于车辆的智能驾驶视觉***，其能够更为准确地对车辆所检测的目标进行识别与分类以支持智能驾驶。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于人工智能的智能驾驶视觉***、方法和电子设备，其通过作为特征提取器的第一卷积神经网络对毫米波雷达采集的雷达数据进行编码以得到雷达深度特征图，通过使用空间注意力的第二卷积神经网络对车载摄像头采集的图像数据进行编码以得到空间强化特征图，然后融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，并将该分类特征图通过分类器以得到分类损失函数值，然后以所述空间强化特征图的标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练，从而有利于提高车辆目标检测的精准度以支持智能驾驶。
根据本申请的一个方面，提供了一种基于人工智能的智能驾驶视觉***，包括：训练模块，包括：训练数据获取单元，用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；坐标转换单元，用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；显式空间编码单元，用于将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图；空间注意力编码单元，用于将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图；特征图融合单元，用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；分类损失单元，用于将所述分类特征图通过分类器以得到分类损失函数值；标签散射响应损失单元，用于计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关；训练单元，用于以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断模块，包括：车辆监控数据采集单元，用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；空间转换单元，用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；雷达数据编码单元，用于将所述雷达点云投射图通过经所述训练模块训练完成的所述作为特征提取器的第一卷积神经网络以得到雷达深度特征图；图像数据编码单元，用于将所述图像数据通过经所述训练模块训练完成的使用空间注意力的第二卷积神经网络以得到空间强化特征图；多传感器数据特征融合单元，用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；以及感知单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
另一方面，本申请提供一种基于人工智能的智能驾驶视觉方法，包括：训练阶段，包括：获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图；将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图；融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；将所述分类特征图通过分类器以得到分类损失函数值；计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关；以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断阶段，包括：获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；将所述雷达点云投射图通过经所述训练模块训练完成的所述作为特征提取器的第一卷积神经网络以得到雷达深度特征图；将所述图像数据通过经所述训练模块训练完成的使用空间注意力的第二卷积神经网络以得到空间强化特征图；融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于人工智能的智能驾驶视觉方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于人工智能的智能驾驶视觉方法。
与现有技术相比，本申请提供的基于人工智能的智能驾驶视觉***及其方法，其通过作为特征提取器的第一卷积神经网络对毫米波雷达采集的雷达数据进行编码以得到雷达深度特征图，通过使用空间注意力的第二卷积神经网络对车载摄像头采集的图像数据进行编码以得到空间强化特征图，然后融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，并将该分类特征图通过分类器以得到分类损失函数值，然后以所述空间强化特征图的标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练，从而有利于提高车辆目标检测的精准度以支持智能驾驶。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于人工智能的智能驾驶视觉***的一个应用场景图。
图2图示了根据本申请实施例的基于人工智能的智能驾驶视觉***的结构框图；
图3A图示了根据本申请实施例的基于人工智能的智能驾驶视觉***的训练阶段的架构示意图；
图3B图示了根据本申请实施例的基于人工智能的智能驾驶视觉***的推断阶段的架构示意图；
图4A图示了根据本申请实施例的基于人工智能的智能驾驶视觉方法的训练阶段的流程图；
图4B图示了根据本申请实施例的基于人工智能的智能驾驶视觉方法的推断阶段的流程图；
图5图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述：
相应地，在本申请的技术方案中，本申请发明人考虑到相较于传统相机，毫米波雷达在恶劣天气和光照条件下仍能保持稳定的测距测速性能，因此，如果能够以适当的方式对毫米波雷达所检测到的信息和车载摄像头所检测到的信息进行编码并将两者进行融合，有利于提高车辆目标检测的精准度以支持智能驾驶。
具体地，在本申请的技术方案中，首先通过部署于车辆的毫米波雷达采集被测对象的雷达数据和部署于所述车辆的车载摄像头采集所述被测目标的图像数据。
考虑到所述雷达数据和所述图像数据不在同一坐标系下，因此，首先对所述雷达数据进行空间映射以将所述雷达数据转化到所述图像数据的像素坐标系下以得到雷达点云投射图。具体地，首先对所述车载摄像头进行标定和对所述车载摄像头和所述毫米波雷达进行联合标定以得到传感器参数；接着，基于所述传感器单元对所述雷达数据进行空间映射以得到所述雷达点云投射图。
接着，将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网络作为特征提取器来提取所述雷达点云投射图中像素间的高维隐含关联以得到所述雷达深度特征图。
同样，使用卷积神经网络作为特征提取器来对所述图像数据进行显式空间编码以得到特征图。特别地，在本申请的技术方案中，考虑到所述图像数据中除了被测目标外，还有其他干扰信息，例如，街道背景、环境干扰等，因此，为了使得所述图像中的被测对象具有更强的可鉴别性，因此，使用具有空间注意力的卷积神经模型对所述图像数据进行显式空间强化编码以得到空间强化特征图。
考虑到图像数据中包括被测对象，雷达点云投射图中也包含被测对象，因此，所述空间强化特征图和所述雷达深度特征图在高维特征空间中具有一定的一致性和关联性。因此，融合所述雷达深度特征图和所述空间强化特征图以得到包含图像信息和毫米波信息的分类特征图。进而，将所述分类特征图通过分类器以得到用于表示被测对象的类别标签的分类结果。
但是，对于使用空间注意力机制得到的空间强化特征图，由于空间注意力机制对特征值集合的空间强化约束，使得特征分布发生了空间位置变化。而在分类过程中，特征分布具有相对于标签值的位置敏感性，因此对空间强化特征图F计算标签值散射响应损失函数：
j为标签值，f为空间强化特征图F的特征值，且p为特征F在标签下的概率值。
该损失函数基于特征值位置相对于标签概率的散射响应来将特征分布在基于特征和标签值的分类问题的解空间内堆叠为深度结构，这样，当以其作为损失函数训练使用空间注意力机制的第二卷积神经网络时，就以类响应角形式提升了分类解对模型特征提取的可解释性，从而提高了第二卷积神经网络的特征提取相对于分类解的迭代优化能力。
在训练完成后，在推断的过程中，就可以直接将由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据输入训练完成的卷积神经网络中进行特征提取，从而得到分类特征图，再将其通过分类器以分类得到用于表示图像数据中待识别对象的类别标签的分类结果。
基于此，本申请提出了一种基于人工智能的智能驾驶视觉***及其方法，其包括训练阶段和推断阶段。其中，在训练阶段，基于雷达平面和相机平面之间的转换关系，将由部署于车辆的毫米波雷达采集的雷达数据从雷达坐标系转化到车辆的车载摄像头采集的图像数据的像素坐标系以得到雷达点云投射图，通过作为特征提取器的第一卷积神经网络对雷达点云投射图进行编码以得到雷达深度特征图，通过使用空间注意力的第二卷积神经网络对图像数据进行编码以得到空间强化特征图，然后融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，并将该分类特征图通过分类器以得到分类损失函数值，然后以所述空间强化特征图的标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。其中，在推断阶段，将由部署于车辆的毫米波雷达采集的雷达数据通过经训练阶段训练完成的所述第一卷积神经网络以得到雷达深度特征图，将所述车辆的车载摄像头采集的图像数据通过经训练阶段训练完成的第二卷积神经网络以得到空间强化特征图，然后融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签，从而有利于提高车辆目标检测的精准度以支持智能驾驶。
图1图示了根据本申请实施例的基于人工智能的智能驾驶视觉***的场景示意图。如图1所示，在本申请的一个应用场景中，首先，通过部署于车辆的毫米波雷达采集被测对象的雷达数据和部署于所述车辆的车载摄像头采集所述被测目标的图像数据，然后，将采集到的雷达数据以及图像数据输入至部署有基于人工智能的智能驾驶视觉算法的服务器(如图1中的S)中，其中，所述服务器能够基于人工智能的智能驾驶视觉算法对采集到的雷达数据以及图像数据对第一卷积神经网络和第二卷积神经网络进行训练。
在训练完成后，在推断阶段中，首先，通过部署于车辆的毫米波雷达采集被测对象的雷达数据和部署于所述车辆的车载摄像头采集所述被测目标的图像数据，然后，将采集到的雷达数据以及图像数据输入至部署有基于人工智能的智能驾驶视觉算法的服务器(如图1中的S)中，其中，所述服务器能够基于人工智能的智能驾驶视觉算法对采集到的雷达数据以及图像数据进行处理，以输出用于表示图像数据中待识别对象的类别标签的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***
图2图示了根据本申请实施例的基于人工智能的智能驾驶视觉***中训练阶段的流程图。
如图2所示，根据本申请实施例的基于人工智能的智能驾驶视觉***100，包括：训练模块110和推断模块120。
如图2所示，所述训练模块110，包括：训练数据获取单元111，用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；坐标转换单元112，用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；显式空间编码单元113，用于将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图；空间注意力编码单元114，用于将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图；特征图融合单元115，用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；分类损失单元116，用于将所述分类特征图通过分类器以得到分类损失函数值；标签散射响应损失单元117，用于计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关；训练单元118，用于以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
如图2所示，所述推断模块120，包括：车辆监控数据采集单元121，用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；空间转换单元122，用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；雷达数据编码单元123，用于将所述雷达点云投射图通过经所述训练模块训练完成的所述作为特征提取器的第一卷积神经网络以得到雷达深度特征图；图像数据编码单元124，用于将所述图像数据通过经所述训练模块训练完成的使用空间注意力的第二卷积神经网络以得到空间强化特征图；多传感器数据特征融合单元125，用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；感知单元126，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
图3A图示了根据本申请实施例的基于人工智能的智能驾驶视觉***中训练阶段的架构示意图。如图3A所示，在训练阶段中，在该网络架构中，首先，基于雷达平面和相机平面之间的转换关系，将车辆的毫米波雷达采集的雷达数据从雷达坐标系转化到车辆的车载摄像头采集的图像数据的像素坐标系以得到雷达点云投射图，将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图，然后，将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图，接着，融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，将所述分类特征图通过分类器以得到分类损失函数值，然后，计算所述空间强化特征图的标签值散射响应损失函数值，并以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
图3B图示了根据本申请实施例的基于人工智能的智能驾驶视觉***中推断阶段的架构示意图。如图3B所示，在推断阶段中，在该网络架构中，首先，基于雷达平面和相机平面之间的转换关系，将车辆的毫米波雷达采集的雷达数据从雷达坐标系转化到车辆的车载摄像头采集的图像数据的像素坐标系以得到雷达点云投射图，将所述雷达点云投射图通过训练完成的第一卷积神经网络以得到雷达深度特征图，然后，将所述图像数据通过训练完成的第二卷积神经网络以得到空间强化特征图，接着，融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
具体地，在所述训练模块110中，所述训练数据获取单元111用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据。相应地，在本申请的技术方案中，本申请发明人考虑到相较于传统相机，毫米波雷达在恶劣天气和光照条件下仍能保持稳定的测距测速性能，因此，如果能够以适当的方式对毫米波雷达所检测到的信息(即雷达数据)和车载摄像头所检测到的信息(即图像数据)进行编码并将两者进行融合，有利于提高车辆目标检测的精准度以支持智能驾驶。
所述坐标转换单元112用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图。考虑到所述雷达数据和所述图像数据不在同一坐标系下，因此，首先对所述雷达数据进行空间映射以将所述雷达数据转化到所述图像数据的像素坐标系下以得到雷达点云投射图。
在本申请一些实施例中，所述坐标转换单元112，包括：
标定单元，用于对所述车载摄像头进行标定和对所述车载摄像头和所述毫米波雷达进行联合标定以得到传感器参数；以及
转换单元，用于基于所述传感器单元对所述雷达数据进行空间映射以得到所述雷达点云投射图。
具体地，首先对所述车载摄像头进行标定和对所述车载摄像头和所述毫米波雷达进行联合标定以得到传感器参数；接着，基于所述传感器单元对所述雷达数据进行空间映射以得到所述雷达点云投射图。也就是说，基于雷达平面和相机平面之间的转换关系，将所述雷达数据转化到与所述图像数据同一坐标系下，以得到雷达点云投射图。
所述显式空间编码单元113用于将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图。接着，将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网络作为特征提取器来提取所述雷达点云投射图中像素间的高维隐含关联以得到所述雷达深度特征图。
在本申请一些实施例中，所述显式空间编码单元113进一步用于：使用第一卷积神经网络的各层在各层的正向传递中对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的全局池化处理以得到池化特征向量；以及对所述池化特征向量中各个位置的特征值进行非线性激活以得到激活特征向量；其中，所述第一卷积神经网络的最后一层的输出为所述雷达深度特征图，所述第一卷积神经网络的第一层的输入为所述雷达点云投射图。
所述空间注意力编码单元114用于将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图。同样，使用卷积神经网络作为特征提取器来对所述图像数据进行显式空间编码以得到空间强化特征图。特别地，在本申请的技术方案中，考虑到所述图像数据中除了被测目标外，还有其他干扰信息，例如，街道背景、环境干扰等，因此，为了使得所述图像中的被测对象具有更强的可鉴别性，因此，使用具有空间注意力的卷积神经模型对所述图像数据进行显式空间强化编码以得到空间强化特征图。
具体地，所述空间注意力编码单元114进一步用于：使用第二卷积神经网络的各层在各层的正向传递中对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的全局池化处理以得到池化特征向量；以及对所述池化特征向量中各个位置的特征值进行非线性激活以得到激活特征向量；其中，所述第二卷积神经网络的最后一层的输出为所述空间强化特征图，所述第二卷积神经网络的第一层的输入为所述图像数据。
所述特征图融合单元115和所述分类损失单元116用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，将所述分类特征图通过分类器以得到分类损失函数值。考虑到图像数据中包括被测对象，雷达点云投射图中也包含被测对象，因此，所述空间强化特征图和所述雷达深度特征图在高维特征空间中具有一定的一致性和关联性。因此，融合所述雷达深度特征图和所述空间强化特征图以得到包含图像信息和毫米波信息的分类特征图。进而，将所述分类特征图通过分类器以得到用于表示被测对象的类别标签的分类结果。
具体地，所述特征图融合单元115进一步用于：以如下公式来融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，其中，所述公式为：
F＝λF1+F2
其中，F为所述分类特征图，F1为所述雷达深度特征图，F2为所述空间强化特征图，“+”表示所述雷达深度特征图和所述空间强化特征图相对应位置处的元素相加，λ为用于控制所述分类特征图中所述雷达深度特征图和所述空间强化特征图之间的平衡的加权参数。
具体地，所述分类损失单元116进一步用于：将所述分类特征图通过分类器以得到分类损失函数值，包括：使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以得到分类特征向量；将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于图像数据中待识别对象的类别标签的概率值；将所述概率值最大者对应的图像数据中待识别对象的类别标签确定为分类结果；以及计算分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
也就是说，在训练阶段中，将分类特征图作为分类器的输入，输出为分类结果和分类损失函数值，该分类结果可以用于表示图像数据中待识别对象的类别标签，该分类损失函数值可以用于结合所述空间强化特征图的标签值散射响应损失函数值作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
具体地，使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(Wn，Bn)：...：(W1，B1)|Project(F)}，其中Project(F)表示将所述分类特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
但是，对于使用空间注意力机制得到的空间强化特征图，由于空间注意力机制对特征值集合的空间强化约束，使得特征分布发生了空间位置变化。而在分类过程中，特征分布具有相对于标签值的位置敏感性，因此对空间强化特征图F计算标签值散射响应损失函数，然后，这样，当以其作为损失函数训练使用空间注意力机制的第二卷积神经网络时，就以类响应角形式提升了分类解对模型特征提取的可解释性，从而提高了第二卷积神经网络的特征提取相对于分类解的迭代优化能力。
具体地，所述标签散射响应损失单元117和所述训练单元118用于计算所述空间强化特征图的标签值散射响应损失函数值，以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关。
所述标签散射响应损失单元117进一步用于：以如下公式来计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述公式为：
其中，
为标签值散射响应损失函数值，j为标签值，f为空间强化特征图F的特征值，且p为特征F在标签下的概率值。
该损失函数基于特征值位置相对于标签概率的散射响应来将特征分布在基于特征和标签值的分类问题的解空间内堆叠为深度结构，这样，当以其作为损失函数训练使用空间注意力机制的第二卷积神经网络时，就以类响应角形式提升了分类解对模型特征提取的可解释性，从而提高了第二卷积神经网络的特征提取相对于分类解的迭代优化能力。
在本申请的一些可选实施例中，所述训练单元118进一步用于：在每一轮的迭代中，以所述损失函数值并使用梯度下降的反向传播来同时地更新所述第一卷积神经网络和所述第二卷积神经网络的参数。也就是说，在训练过程中，可以同时更新所述第一卷积神经网络和所述第二卷积神经网络的参数，从而实现同步训练，这样可以提升所述第一卷积神经网络和所述第二卷积神经网络的协同性。当然，在一些可选实施例中，所述第一卷积神经网络和所述第二卷积神经网络可以独立分开训练，例如，先更新第一卷积神经网络的参数，然后再更新第二卷积神经网络的参数，或者，先更新第二卷积神经网络的参数，然后再更新第一卷积神经网络的参数等，这样可以使得训练的过程更加聚焦，有利于提升***的性能。
在训练完成后，进入推断阶段。也就是，在推断的过程中，就可以直接将获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据输入训练完成的第一和第二卷积神经网络中进行特征提取，从而得到分类特征图，再将其通过分类器以分类得到用于表示图像数据中待识别对象的类别标签的分类结果。
综上，本申请实施例的基于人工智能的智能驾驶视觉***被阐明，其通过过作为特征提取器的第一卷积神经网络对毫米波雷达采集的雷达数据进行编码以得到雷达深度特征图，通过使用空间注意力的第二卷积神经网络对车载摄像头采集的图像数据进行编码以得到空间强化特征图，然后融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，并将该分类特征图通过分类器以得到分类损失函数值，然后以所述空间强化特征图的标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练，从而有利于提高车辆目标检测的精准度以支持智能驾驶。
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
示例性方法
图4A图示了根据本申请实施例的基于人工智能的智能驾驶视觉方法中训练阶段的流程图。如图4A所示，根据本申请实施例的基于人工智能的智能驾驶视觉方法，包括：训练阶段，包括：步骤S101、获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；S102、基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；S103、将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图；S104、将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图；S105、融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；S106、将所述分类特征图通过分类器以得到分类损失函数值；S107、计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关；S108、以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
图4B图示了根据本申请实施例的基于人工智能的智能驾驶视觉方法中推断阶段的流程图。如图4B所示，根据本申请实施例的基于人工智能的智能驾驶视觉方法，包括：推断阶段，包括：S201、获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；S202、基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；S203、将所述雷达点云投射图通过经所述训练模块训练完成的所述作为特征提取器的第一卷积神经网络以得到雷达深度特征图；S204、将所述图像数据通过经所述训练模块训练完成的使用空间注意力的第二卷积神经网络以得到空间强化特征图；S205、融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；S206、将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
在其中一个示例中，在上述基于人工智能的智能驾驶视觉方法中，所述基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图，包括：标定单元，用于对所述车载摄像头进行标定和对所述车载摄像头和所述毫米波雷达进行联合标定以得到传感器参数；以及转换单元，用于基于所述传感器单元对所述雷达数据进行空间映射以得到所述雷达点云投射图。
在其中一个示例中，在上述基于人工智能的智能驾驶视觉方法中，所述将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图，包括：使用第一卷积神经网络的各层在各层的正向传递中对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的全局池化处理以得到池化特征向量；以及对所述池化特征向量中各个位置的特征值进行非线性激活以得到激活特征向量；其中，所述第一卷积神经网络的最后一层的输出为所述雷达深度特征图，所述第一卷积神经网络的第一层的输入为所述雷达点云投射图。
在其中一个示例中，在上述基于人工智能的智能驾驶视觉方法中，所述将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图，包括：使用第二卷积神经网络的各层在各层的正向传递中对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的全局池化处理以得到池化特征向量；以及对所述池化特征向量中各个位置的特征值进行非线性激活以得到激活特征向量；其中，所述第二卷积神经网络的最后一层的输出为所述空间强化特征图，所述第二卷积神经网络的第一层的输入为所述图像数据。
在其中一个示例中，在上述基于人工智能的智能驾驶视觉方法中，以如下公式来融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，其中，所述公式为：
F＝λF1+F2
其中，F为所述分类特征图，F1为所述雷达深度特征图，F2为所述空间强化特征图，“+”表示所述雷达深度特征图和所述空间强化特征图相对应位置处的元素相加，λ为用于控制所述分类特征图中所述雷达深度特征图和所述空间强化特征图之间的平衡的加权参数。
在其中一个示例中，在上述基于人工智能的智能驾驶视觉方法中，所述将所述分类特征图通过分类器以得到分类损失函数值，包括：将所述分类特征图通过分类器以得到分类损失函数值，包括：使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以得到分类特征向量；将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于图像数据中待识别对象的类别标签的概率值；将所述概率值最大者对应的图像数据中待识别对象的类别标签确定为分类结果；以及计算分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
在其中一个示例中，在上述基于人工智能的智能驾驶视觉方法中，以如下公式来计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述公式为：
其中，
为标签值散射响应损失函数值，j为标签值，f为空间强化特征图F的特征值，且p为特征F在标签下的概率值。
这里，本领域技术人员可以理解，上述基于人工智能的智能驾驶视觉***中的的具体功能和步骤已经在上面参考图2到图3A和图3B的基于人工智能的智能驾驶视觉***的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于人工智能的智能驾驶视觉***100可以实现在各种终端设备中，例如基于人工智能的智能驾驶视觉的服务器等。在一个示例中，根据本申请实施例的基于人工智能的智能驾驶视觉***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，基于人工智能的智能驾驶视觉***100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于人工智能的智能驾驶视觉***100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于人工智能的智能驾驶视觉***100与该终端设备也可以是分立的设备，并且该基于人工智能的智能驾驶视觉***100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图5来描述根据本申请实施例的电子设备。
图5图示了根据本申请实施例的电子设备的框图。
如图5所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于人工智能的智能驾驶视觉***以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如损失函数值等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果或警示提示等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于人工智能的智能驾驶视觉***中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于人工智能的智能驾驶视觉***中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于人工智能的智能驾驶视觉***，其特征在于，包括：训练模块，包括：训练数据获取单元，用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；坐标转换单元，用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；显式空间编码单元，用于将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图；空间注意力编码单元，用于将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图；特征图融合单元，用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；分类损失单元，用于将所述分类特征图通过分类器以得到分类损失函数值；标签散射响应损失单元，用于计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关；训练单元，用于以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断模块，包括：车辆监控数据采集单元，用于获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；空间转换单元，用于基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；雷达数据编码单元，用于将所述雷达点云投射图通过经所述训练模块训练完成的所述作为特征提取器的第一卷积神经网络以得到雷达深度特征图；图像数据编码单元，用于将所述图像数据通过经所述训练模块训练完成的使用空间注意力的第二卷积神经网络以得到空间强化特征图；多传感器数据特征融合单元，用于融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；以及感知单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
2.根据权利要求1所述的基于人工智能的智能驾驶视觉***，其特征在于，所述坐标转换单元，包括：标定单元，用于对所述车载摄像头进行标定和对所述车载摄像头和所述毫米波雷达进行联合标定以得到传感器参数；以及转换单元，用于基于所述传感器单元对所述雷达数据进行空间映射以得到所述雷达点云投射图。
3.根据权利要求2所述的基于人工智能的智能驾驶视觉***，其特征在于，所述显式空间编码单元，进一步用于：使用第一卷积神经网络的各层在各层的正向传递中对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的全局池化处理以得到池化特征向量；以及对所述池化特征向量中各个位置的特征值进行非线性激活以得到激活特征向量；其中，所述第一卷积神经网络的最后一层的输出为所述雷达深度特征图，所述第一卷积神经网络的第一层的输入为所述雷达点云投射图。
4.根据权利要求3所述的基于人工智能的智能驾驶视觉***，其特征在于，所述空间注意力编码单元，进一步用于：使用第二卷积神经网络的各层在各层的正向传递中对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的全局池化处理以得到池化特征向量；以及对所述池化特征向量中各个位置的特征值进行非线性激活以得到激活特征向量；其中，所述第二卷积神经网络的最后一层的输出为所述空间强化特征图，所述第二卷积神经网络的第一层的输入为所述图像数据。
5.根据权利要求4所述的基于人工智能的智能驾驶视觉***，其特征在于，所述特征图融合单元，进一步用于：以如下公式来融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图，其中，所述公式为：
F＝λF1+F2
其中，F为所述分类特征图，F1为所述雷达深度特征图，F2为所述空间强化特征图，“+”表示所述雷达深度特征图和所述空间强化特征图相对应位置处的元素相加，λ为用于控制所述分类特征图中所述雷达深度特征图和所述空间强化特征图之间的平衡的加权参数。
6.根据权利要求5所述的基于人工智能的智能驾驶视觉***，其特征在于，所述分类损失单元，进一步用于：将所述分类特征图通过分类器以得到分类损失函数值，包括：使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以得到分类特征向量；将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于图像数据中待识别对象的类别标签的概率值；将所述概率值最大者对应的图像数据中待识别对象的类别标签确定为分类结果；以及计算分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
7.根据权利要求6所述的基于人工智能的智能驾驶视觉***，其特征在于，所述标签散射响应损失单元，进一步用于：以如下公式来计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述公式为：
其中，
为标签值散射响应损失函数值，j为标签值，f为空间强化特征图F的特征值，且p为特征F在标签下的概率值。
8.一种基于人工智能的智能驾驶视觉方法，其特征在于，包括：训练阶段，包括：获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；将所述雷达点云投射图通过作为特征提取器的第一卷积神经网络以得到雷达深度特征图；将所述图像数据通过使用空间注意力的第二卷积神经网络以得到空间强化特征图；融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；将所述分类特征图通过分类器以得到分类损失函数值；计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述空间强化特征图的标签值散射响应损失函数值与所述空间强化特征图通过所述分类器所得到的概率值有关；以所述标签值散射响应损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断阶段，包括：获取由部署于车辆的毫米波雷达采集的雷达数据和由部署于所述车辆的车载摄像头采集的图像数据；基于雷达平面和相机平面之间的转换关系，将所述雷达数据从雷达坐标系转化到所述图像数据的像素坐标系以得到雷达点云投射图；将所述雷达点云投射图通过经所述训练模块训练完成的所述作为特征提取器的第一卷积神经网络以得到雷达深度特征图；将所述图像数据通过经所述训练模块训练完成的使用空间注意力的第二卷积神经网络以得到空间强化特征图；融合所述雷达深度特征图和所述空间强化特征图以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果为图像数据中待识别对象的类别标签。
9.根据权利要求8所述的基于人工智能的智能驾驶视觉方法，其特征在于，所述将所述分类特征图通过分类器以得到分类损失函数值，包括：将所述分类特征图通过分类器以得到分类损失函数值，包括：使用所述分类器的多个全连接层对所述分类特征图进行全连接编码以得到分类特征向量；将所述分类特征向量输入Softmax分类函数以获得所述分类特征向量分别归属于图像数据中待识别对象的类别标签的概率值；将所述概率值最大者对应的图像数据中待识别对象的类别标签确定为分类结果；以及计算分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
10.根据权利要求9所述的基于人工智能的智能驾驶视觉方法，其特征在于，以如下公式来计算所述空间强化特征图的标签值散射响应损失函数值，其中，所述公式为：
其中，
为标签值散射响应损失函数值，j为标签值，f为空间强化特征图F的特征值，且p为特征F在标签下的概率值。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211626461.0A CN115861969A (zh) | 2022-12-16 | 2022-12-16 | 基于人工智能的智能驾驶视觉***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211626461.0A CN115861969A (zh) | 2022-12-16 | 2022-12-16 | 基于人工智能的智能驾驶视觉***及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861969A true CN115861969A (zh) | 2023-03-28 |
Family
ID=85673841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211626461.0A Withdrawn CN115861969A (zh) | 2022-12-16 | 2022-12-16 | 基于人工智能的智能驾驶视觉***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861969A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116168348A (zh) * | 2023-04-21 | 2023-05-26 | 成都睿瞳科技有限责任公司 | 基于图像处理的安全监控方法、***及存储介质 |
-
2022
- 2022-12-16 CN CN202211626461.0A patent/CN115861969A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116168348A (zh) * | 2023-04-21 | 2023-05-26 | 成都睿瞳科技有限责任公司 | 基于图像处理的安全监控方法、***及存储介质 |
| CN116168348B (zh) * | 2023-04-21 | 2024-01-30 | 成都睿瞳科技有限责任公司 | 基于图像处理的安全监控方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508580B (zh) | 交通信号灯识别方法和装置 | |
| CN112233097B (zh) | 基于空时域多维融合的道路场景他车检测***和方法 | |
| CN113362329B (zh) | 病灶检测模型的训练方法及识别图像中的病灶的方法 | |
| CN113673425B (zh) | 一种基于Transformer的多视角目标检测方法及*** | |
| CN113468978B (zh) | 基于深度学习的细粒度车身颜色分类方法、装置和设备 | |
| CN115171317A (zh) | 物联网智能家居方法、***和电子设备 | |
| CN114926693A (zh) | 基于加权距离的sar图像小样本识别方法及装置 | |
| CN112444822A (zh) | 合成激光雷达信号的产生 | |
| CN115861969A (zh) | 基于人工智能的智能驾驶视觉***及其方法 | |
| CN115393680A (zh) | 雾天场景下多模态信息时空融合的3d目标检测方法及*** | |
| CN115146676A (zh) | 电路故障检测方法及其*** | |
| CN116612103B (zh) | 一种基于机器视觉的建筑结构裂缝智能检测方法及其*** | |
| CN115937792B (zh) | 基于区块链的智慧社区运营管理*** | |
| CN111860623A (zh) | 基于改进ssd神经网络的统计树木数量的方法及*** | |
| CN112115928B (zh) | 基于违停车辆标签的神经网络的训练方法和检测方法 | |
| CN115984646A (zh) | 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星 | |
| CN115788793A (zh) | 全局监控预警方法及其*** | |
| CN115856874A (zh) | 毫米波雷达点云降噪方法、装置、设备及存储介质 | |
| CN114972530A (zh) | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 | |
| CN112287995B (zh) | 一种基于多层耦合映射的低分辨率图像识别方法 | |
| CN112016534B (zh) | 车辆违停检测的神经网络的训练方法、检测方法和装置 | |
| CN112733786A (zh) | 用于通讯变压器的引脚连接稳定性的检测方法 | |
| CN114005110A (zh) | 3d检测模型训练方法与装置、3d检测方法与装置 | |
| CN110942179A (zh) | 一种自动驾驶路线规划方法、装置及车辆 | |
| Zhang et al. | Research on real-time detection algorithm for pedestrian and vehicle in foggy weather based on lightweight XM-YOLOViT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230328 |