WO2022036567A1 - 一种目标检测的方法、装置和车载雷达 - Google Patents
一种目标检测的方法、装置和车载雷达 Download PDFInfo
- Publication number
- WO2022036567A1 WO2022036567A1 PCT/CN2020/109879 CN2020109879W WO2022036567A1 WO 2022036567 A1 WO2022036567 A1 WO 2022036567A1 CN 2020109879 W CN2020109879 W CN 2020109879W WO 2022036567 A1 WO2022036567 A1 WO 2022036567A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- map
- feature map
- frame
- historical
- attention
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
Definitions
- Vehicle detection is to collect environmental information around the vehicle in real time through sensors deployed on the vehicle platform, such as cameras, lidars, millimeter-wave radars, etc., and on this basis, obtain the location information of other vehicles in the surrounding environment through detection algorithms. Based on this information, the autonomous driving system can make control decisions to drive the vehicle to operate autonomously.
- the accuracy of vehicle detection and the robustness of detection results directly affect the safety of autonomous driving. Therefore, how to improve the accuracy of vehicle detection and the robustness of detection results has become an urgent problem to be solved.
- the first feature map is processed to obtain the second feature map after the attention shift
- the detection result of the current frame is determined.
- FIG. 1 is a schematic flowchart of a method for target detection according to an embodiment of the present application. This method can be applied to object detection, especially vehicle detection in autonomous driving scenarios. As shown in FIG. 1 , the method 100 for object detection includes some or all of the following steps.
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
一种目标检测的方法、装置和车载雷达，能够提升目标检测的精度和检测结果的鲁棒性。该方法包括：获取连续的多帧点云帧中的当前帧的第一特征图（110）；根据当前帧的前至少一帧的检测结果，确定历史注意力图（120）；根据历史注意力图，对第一特征图进行处理，得到注意力转移之后的第二特征图（130）；根据第二特征图，确定当前帧的检测结果（140）。
Description
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及雷达应用领域，并且更为具体地，涉及一种目标检测的方法、装置和车载雷达。
具备在行驶过程中检测和感知周围车辆的位置信息的能力，是实现自动驾驶技术的必备条件。车辆检测是通过部署在车载平台上的传感器，例如摄像头、激光雷达、毫米波雷达等，实时采集车辆周边的环境信息，在此基础上通过检测算法得到周围环境中的其他车辆的位置信息。基于这些信息，自动驾驶***才能做出控制决策，从而驱动车辆自主运行。车辆检测的精度和检测结果的鲁棒性，直接影响自动驾驶的安全性，因此，如何提升车辆检测的精度和检测结果的鲁棒性，成为亟待解决的问题。
发明内容
本申请提供一种目标检测的方法、装置和车载雷达，能够提升目标检测的精度和检测结果的鲁棒性。
第一方面，提供一种目标检测的方法，包括：
获取连续的多帧点云帧中的当前帧的第一特征图；
根据所述当前帧的前至少一帧的检测结果，确定历史注意力图；
根据所述历史注意力图，对所述第一特征图进行处理，得到注意力转移之后的第二特征图；
根据所述第二特征图，确定所述当前帧的检测结果。
第二方面，提供一种用于目标检测的装置，包括：存储器和处理器，
所述存储器，用于存储程序；
所述处理器，用于调用所述程序，当所述程序被执行时，用于执行以下操作：
获取连续的多帧点云帧中的当前帧的第一特征图；
根据所述当前帧的前至少一帧的检测结果，确定历史注意力图；
根据所述历史注意力图，对所述第一特征图进行处理，得到注意力转移之后的第二特征图；
根据所述第二特征图，确定所述当前帧的检测结果。
第三方面，提供一种车载雷达，包括上述第二方面所述的用于目标检测的装置。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的方法。
基于上述技术方案，在对多帧点云帧中的当前帧进行处理时，利用了其前至少一帧的检测结果，因此，通过高效利用历史检测信息对当前帧的目标检测过程进行指导，能够明显提升目标检测的精度和检测结果的鲁棒性。
图1是本申请实施例提供的一种目标检测的方法的示意性流程图。
图2是根据历史注意力图对当前帧的特征图进行处理的示意图。
图3是基于图1所示的方法的一种可能的实现方式的流程图。
图4是未加入历史检测信息的现有的深度神经网络对目标的检测结果。
图5是加入历史检测信息的本申请的深度神经网络对目标的检测结果。
图6是本申请实施例提供的一种用于目标检测的装置的结构示意图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。
还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
通常，采用激光雷达进行目标检测时，仅以单帧点云帧作为目标检测算法的输入。然而，激光雷达可以连续记录环境点云，因此，在连续多帧点云帧中，当前帧之前的历史检测信息对于当前帧的目标检测过程是具有很大意义的。本申请提出一种目标检测的方案，通过对历史检测信息加以利用，以提高目标检测算法的精度以及目标检测结果的鲁棒性，例如在自动驾驶场景下，能够明显提升车辆检测的精度以及检测结果的鲁棒性，从而保证自动驾驶的安全性。
图1是本申请实施例的目标检测的方法的示意性流程图。该方法可以应用于目标检测，特别是自动驾驶场景下的车辆检测。如图1所示，目标检测的方法100包括以下步骤中的部分或全部。
在步骤110中，获取连续的多帧点云帧中的当前帧的第一特征图。
在采用深度神经网络进行目标检测时，会连续采集多帧点云帧，并对每帧点云帧进行处理。深度神经网络本质上是由一系列堆叠的二维卷积操作所组成，也称为卷积神经网络或者深度卷积神经网络。在深度神经网络中，需要进行卷积操作的当前帧的第一特征图包括该深度神经网络输入的当前帧中的空间信息以及对应的特征信息。
以该深度神经网络输入为点云俯视图为例，在该深度神经网络的中间过程中产生的第一特征图中的每个元素，对应于二维俯视图中一个区域的像素点以及对应的特征信息，其中，第一特征图中的前两维对应于二维俯视图中的长和宽两个方向上的位置。第一特征图中各个元素的元素值表示该深度神经网络对每个元素对应的区域的感兴趣程度，例如，某个元素的绝对值较大，则表示该深度神经网络对该元素对应的区域较为感兴趣，该区域拥有的该深度神经网络所需要的特征信息对后续输出具有较大的权值贡献。
在步骤120中，根据当前帧的前至少一帧的检测结果，确定历史注意力图。
该实施例利用注意力转移机制对当前帧的第一特征图进行处理，因此需要获取注意力图，而该注意力图是根据当前帧的前至少一帧的检测结果确定的历史注意力图。优选地，可以根据当前帧的前一帧的检测结果，确定该历史注意力图。
当前帧的该第一特征图中的不同元素对应场景中的不同区域，其中每个元素的元素值表示深度神经网络对每个元素对应的区域的感兴趣程度，这时，该历史注意力图包括与第一特征图中每个元素对应的权值，或者说，该历史注意力图包括与第一特征图中不同区域对应的权值。
可选地，在步骤120的一种实现方式中，可以根据当前帧的前至少一帧的检测结果中的目标分布情况，确定该历史注意力图中与当前帧的第一特征图的各个元素对应的权值。
例如，当前帧的前至少一帧的检测结果中包含有目标的区域在该历史注意力图中对应的权值，大于不包含目标的区域在该历史注意力图中对应的权值。
在车辆检测的场景中，当知道哪些区域包含车辆等目标时，在历史注意力图中增大车辆所在区域对应的权值大小，减小不包含车辆的区域对应的权值大小，从而利用该历史注意力图完成对第一特征图的注意力转移，以引导深度神经网络对可能包含有车辆的区域进行关注，并减小对其他区域的注意。这样，可以在增大检测出目标的概率的同时，减小检测结果中对目标的误检概率。
又例如，不同类型的目标在该历史注意力图中对应的权值不同。其中，不同类型的目标例可以是车辆、人物和环境信息等。
其中，不同类型的目标在该历史注意力图中对应的权值，例如可以是根据对不同类型的目标的感兴趣程度确定的，对哪种类型的目标感兴趣，就可以对包含有该类型目标的区域赋予相对较大的权值。比如，对车辆最感兴趣、人物次之、对环境信息最不感兴趣，那么，在生成该历史注意力图时，可以为车辆所在区域对应的权值分配一较大值，为人物所在区域对应的权值分配一中间值，并为环境所在区域对应的权值分配一较小值。
除了根据目标分布情况自主设置历史注意力图中与第一特征图中各个 元素对应的权值外，不同类型的目标在所述历史注意力图中对应的权值，也可以是根据当前帧的前至少一帧的检测结果进行深度学习得到的，即通过深度学习的方式利用几层堆叠的卷积从前至少一帧的检测结果中学习得到历史注意力图中与第一特征图中各个元素对应的权值。
在这两种方式中，对于自主设置历史注意力图中各个权值的方式，方便调整不同情况下的各个权值的相对大小；而通过深度学习确定历史注意力图中各个权值的方式，可以利用训练过程自动优化权值生成的过程，便于提升深度神经网络对检测结果的优化效果。在实际应用中，可以根据情况选择合适的方式来获取历史注意力图。此外，也可以采用其他方式获取该历史注意力图，本申请对此不做限定。
在步骤130中，根据该历史注意力图，对该第一特征图进行处理，得到注意力转移之后的第二特征图。
在获得历史注意力图后，需要根据该历史注意力图，对当前帧的第一特征图进行处理，从而得到注意力转移后的第二特征图。
可选地，在步骤130的一种可能的实现方式中，可以根据该历史注意力图中与该第一特征图的各个元素对应的权值，对该第一特征图进行卷积操作，得到该第二特征图。
应理解，当前帧的第一特征图为注意力转移之前的特征图，而当前帧的第二特征图为注意力转移之后的特征图。在本申请实施例的深度神经网络中，是基于该第二特征图获取当前帧的目标检测结果。
在根据历史注意力图对第一特征图进行处理时，例如可以将当前帧的第一特征图的每个元素的元素值，与该历史注意力图中与每个元素对应的权值相乘，得到注意力转移后的第二特征图的每个元素的元素值。
以图2为例进行说明，图2中示出了当前帧的第一特征图、历史注意力图、以及注意力转移之后的当前帧的第二特征图。该历史注意力图可以是基于当前帧的前一帧或者前几帧的检测结果获得的，其中，该检测结果中包含有目标的区域在该历史注意力图中对应的权值相对较大，而没有包含有目标的区域在该历史注意力图中对应的权值相对较小。
如图2所示，以3×3的特征图为例，第一特征图包括与场景中多个区域对应的多个元素，这里每个元素的元素值表示深度神经网络对每个元素对应的区域的感兴趣程度。注意力图中与第一特征图中各个元素对应的权值范 围在0至1之间，值越大表示深度神经网络越应当将注意力集中在对应区域，而该区域是基于前至少一帧的检测结果确定的可能包含目标的区域。将第一特征图中各个元素的元素值，与历史注意力图中对应位置的元素值相乘，可以得到第二特征图中各个元素的元素值。这里采用了元素相乘的数学操作来进行注意力的转移，从图2中可以看出，在经过注意力转移之后，深度神经网络的注意力，从第一特征图第2行第3列，转移至了第二特征图的第1行第1列和第3行第3列。并且可以看出，经过注意力转移之后的第二特征图中各个元素的元素值之间的差异变大，说明深度神经网络对当前帧的注意力变得更加集中。
在步骤140中，根据该第二特征图，确定当前帧的检测结果。
该实施例中，根据前至少一帧的检测结果获得历史注意力图，并根据该历史注意力图，对当前帧的第一特征图进行注意力转移，得到当前帧的第二特征图，从而根据该第二特征图确定当前帧的目标检测结果。
由于自动驾驶的车辆在运行时处于连续变化的环境中，车辆周边的其他车辆或物体等不会突然地小时或者出现。因此，在车辆以正常速度行驶时，高速采样例如采样频率10Hz的激光雷达所产生的相邻几帧点云帧之间具有很高的相似性，前一帧或前几帧中的目标位置信息对于后一帧的目标检测具有很强的参考性。通过利用历史检测信息，可以提升目标检测的检测效果，减少帧间异常的出现。
该方法适用于任何目标检测的场景中，特别地，适用于处理新型的非重复扫描激光雷达所产生的点云帧，这时，用于产生该多帧点云帧的探测装置在相邻两帧点云帧中的扫描轨迹不同。
可选地，在一种实现方式中，该方法100还包括：根据当前帧的检测结果，更新所缓存的历史注意力图，以用于对当前帧的下一帧的特征图进行处理。
也就是说，当利用该历史注意力图对当前帧的第一特征图进行处理得到第二特征图后，基于该第二特征图得到的当前帧的检测结果还用于更新该历史注意力图，其中，更新后的该历史注意力图是基于当前帧的检测结果确定的，并且用于对当前帧的下一帧的特征图进行注意力转移处理。
例如图3所示的目标检测的流程图，第N帧的检测结果会受到之前帧的检测结果的影响，所以采用历史注意力图是引入历史检测信息的一个有效的 方法。这里假设基于第N-1帧的检测结果对第N帧的特征图进行注意力转移。在对第N帧的进行目标检测的过程中，判断历史注意力图中每个权值对应的区域在第N-1帧的检测结果中是否包含感兴趣的目标例如车辆等，若包含目标，则将历史注意力图中与该区域对应的权值设置为较大的值，若不包含目标，则将历史注意力图中与该区域对应的权值设置为较小的值。这样，就从第N-1帧的检测结果中获取到了第N帧检测时需要使用到的历史注意力图。
如图3所示，在步骤301中，获取第N帧点云帧；在步骤302中，根据第N-1帧点云帧的检测结果得到历史注意力图；在步骤303中，将第N帧点云帧的数据以及根据第N-1帧检测结果得到的历史注意力图，输入用于目标检测的深度神经网络；在步骤304中，在深度神经网络对第N帧点云帧进行检测的中间阶段，根据第N-1帧对应的历史注意力图完成注意力转移并引入历史检测信息，从而得到经过历史检测信息帮助的第N帧点云帧的检测结果；在步骤305中，根据第N帧点云帧的检测结果更新该历史注意力图，并用于对接下来的第N+1帧点云帧的处理做准备。
在图3中，在第N帧检测时所使用的历史注意力图是基于第N-1帧的检测结果生成的，若不存在第N-1帧，则可以采用所有区域对应的权值均为0.5的历史注意力图。
本申请实施例中，利用注意力转移机制引入历史检测信息的方法，可以与采用现有的用于检测目标的深度神经网络相结合，该过程可以包括训练和推测两个部分，这样，通过较少的改动便可以赋予该深度神经网络利用历史检测信息的能力。
由于引入了历史检测信息，增加注意力转移机制之后的深度神经网络需要重新训练。在训练时，可以随机从训练数据中抽取一帧点云帧，同时将该帧的前一帧作为历史注意力图的生成依据，通过前述方法得到该历史注意力图，并在深度神经网络中完成对该帧的注意力转移，得到深度神经网络的输出。通常，可以在深度神经网络的后部分进行注意力转移，将深度神经网络中的该帧的特征图提取出来，并根据历史注意力图按照前述方法对该特征图进行处理，得到注意力转移之后的引入历史检测信息的该特征图，再接着将该特征图继续送入深度神经网络从而得到最终的检测结果。最后还可以利用例如梯度下降优化器等对网络损失函数(loss)进行优化，从而完成训练的过程。
当用于目标检测的深度神经网络训练完毕后，就可以进行推测。此时需要激光雷达不断提供连续的点云帧，并由该深度神经网络利用历史检测信息给出实时检测结果。在实现时，例如可以维护一个注意力图的矩阵缓存，每当一帧检测完成时，就利用该帧的检测结果生成新的历史注意力图，并用新的历史注意力图更新注意力图的矩阵缓存，该新的历史注意力图将在下一帧检测时指导深度神经网络的注意力转移并引入历史检测信息。
这样，对深度神经网络进行较为简单的改动，就可以在不明显增加计算量的基础上向深度神经网络引入历史检测信息，从而提高目标检测的精度和检测结果的鲁棒性。
图4示出了未加入历史检测信息的现有的深度神经网络对目标的检测结果，图5示出了加入历史检测信息的本申请的深度神经网络对目标的检测结果。其中，圆圈所圈出为检测到的车辆。特别对于非重复扫描的激光雷达而言，由于对相邻两帧点云帧中的扫描轨迹不同，很容易出现目标漏检的情况。图5最上方的车辆即为图4中漏检的车辆。可以看出，利用本申请的方案进行车辆检测时，在对点云帧的特征图进行处理时引入历史检测信息后，对远处车辆的漏检有了明显改善，整体提升了车辆检测的结果。
图6是本申请实施例提供的一种用于目标检测的装置的结构示意图，具体的，所述装置600包括：存储器601、处理器602、以及数据接口603。
存储器601可以包括易失性存储器(Volatile Memory)；存储器601也可以包括非易失性存储器(Non-Volatile Memory)；存储器601还可以包括上述种类的存储器的组合。处理器602可以是中央处理器(Central Processing Unit，CPU)。处理器602还可以进一步包括硬件目标检测设备。上述硬件目标检测设备可以是专用集成电路(Application-Specific Integrated Circuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)、或者二者的组合。具体例如可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)、现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)、或者其中的任意组合。
在一种实现方式中，存储器601用于存储程序，当程序被执行时所述处理器602可以调用存储器601中存储的程序，用于执行如下步骤：
获取连续的多帧点云帧中的当前帧的第一特征图；
根据所述当前帧的前至少一帧的检测结果，确定历史注意力图；
根据所述历史注意力图，对所述第一特征图进行处理，得到注意力转移之后的第二特征图；
根据所述第二特征图，确定所述当前帧的检测结果。
在一种实现方式中，所述特征图的不同元素对应场景中的不同区域，其中每个元素的元素值表示深度神经网络对每个元素对应的区域的感兴趣程度，所述注意力图包括与每个元素对应的权值。其中，所述根据所述历史注意力图中与所述第一特征图的各个元素对应的权值，对所述第一特征图进行处理，包括：根据所述历史注意力图，对所述第一特征图进行卷积操作。
在一种实现方式中，所述根据所述历史注意力图中与所述第一特征图的各个元素对应的权值，对所述第一特征图进行卷积操作，包括：将所述当前帧的第一特征图的每个元素的元素值，与所述历史注意力图中与每个元素对应的权值相乘，得到注意力转移后的第二特征图的每个元素的元素值。
在一种实现方式中，所述根据所述当前帧的前至少一帧的检测结果，确定历史注意力图，包括：根据所述前至少一帧的检测结果中的目标分布情况，确定所述历史注意力图中与所述第一特征图的各个元素对应的权值。
在一种实现方式中，所述前至少一帧的检测结果中包含有目标的区域在所述历史注意力图中对应的权值，大于不包含目标的区域在所述注意力图中对应的权值。
在一种实现方式中，不同类型的目标在所述注意力图中对应的权值不同。
在一种实现方式中，不同类型的目标在所述注意力图中对应的权值是根据对不同类型的目标的感兴趣程度确定的。
在一种实现方式中，不同类型的目标在所述注意力图中对应的权值是根据所述前一帧的检测结果进行深度学习得到的。
在一种实现方式中，所述不同类型的目标包括车辆、人物和环境信息。
在一种实现方式中，用于产生所述多帧点云帧的探测装置在相邻两帧点云帧中的扫描轨迹不同。
在一种实现方式中，所述处理器602还用于执行：根据所述当前帧的检测结果，更新所缓存的所述历史注意力图，以用于对所述当前帧的下一帧的特征图进行处理。
本申请实施例中，用于目标检测的装置在对多帧点云帧中的当前帧进行 处理时，利用了其前至少一帧的检测结果，因此，通过高效利用历史检测信息对当前帧的目标检测过程进行指导，能够明显提升目标检测的精度和检测结果的鲁棒性。
本申请实施例中还提供了一种车载雷达，包括图6中所述的用于目标检测的装置。
本申请实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例图1中描述的用于目标检测的方法，也可实现图6中所述的用于目标检测的装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、或者随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请部分实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (24)
- 一种目标检测的方法，其特征在于，包括：获取连续的多帧点云帧中的当前帧的第一特征图；根据所述当前帧的前至少一帧的检测结果，确定历史注意力图；根据所述历史注意力图，对所述第一特征图进行处理，得到注意力转移之后的第二特征图；根据所述第二特征图，确定所述当前帧的检测结果。
- 根据权利要求1所述的方法，其特征在于，所述第一特征图的不同元素对应场景中的不同区域，其中每个元素的元素值表示深度神经网络对每个元素对应的区域的感兴趣程度，所述历史注意力图包括与每个元素对应的权值，其中，所述根据所述历史注意力图，对所述第一特征图进行处理，包括：根据所述历史注意力图中与所述第一特征图的各个元素对应的权值，对所述第一特征图进行卷积操作。
- 根据权利要求2所述的方法，其特征在于，所述根据所述历史注意力图中与所述第一特征图的各个元素对应的权值，对所述第一特征图进行卷积操作，包括：将所述当前帧的第一特征图的每个元素的元素值，与所述历史注意力图中与每个元素对应的权值相乘，得到注意力转移后的第二特征图的每个元素的元素值。
- 根据权利要求2或3所述的方法，其特征在于，所述根据所述当前帧的前至少一帧的检测结果，确定历史注意力图，包括：根据所述前至少一帧的检测结果中的目标分布情况，确定所述历史注意力图中与所述第一特征图的各个元素对应的权值。
- 根据权利要求4所述的方法，其特征在于，所述前至少一帧的检测结果中包含有目标的区域在所述历史注意力图中对应的权值，大于不包含目标的区域在所述历史注意力图中对应的权值。
- 根据权利要求5所述的方法，其特征在于，不同类型的目标在所述历史注意力图中对应的权值不同。
- 根据权利要求6所述的方法，其特征在于，不同类型的目标在所述历史注意力图中对应的权值是根据对不同类型的目标的感兴趣程度确定的。
- 根据权利要求6所述的方法，其特征在于，不同类型的目标在所述历史注意力图中对应的权值是根据所述前至少一帧的检测结果进行深度学习得到的。
- 根据权利要求6至8中任一项所述的方法，其特征在于，所述不同类型的目标包括车辆、人物和环境信息。
- 根据权利要求1至9中任一项所述的方法，其特征在于，用于产生所述多帧点云帧的探测装置在相邻两帧点云帧中的扫描轨迹不同。
- 根据权利要求1至10中任一项所述的方法，其特征在于，所述方法还包括：根据所述当前帧的检测结果，更新所缓存的所述历史注意力图，以用于对所述当前帧的下一帧的特征图进行处理。
- 一种用于目标检测的装置，其特征在于，包括：存储器，用于存储程序；处理器，用于调用所述程序，其中，当所述程序被执行时，用于执行以下操作：获取连续的多帧点云帧中的当前帧的第一特征图；根据所述当前帧的前至少一帧的检测结果，确定历史注意力图；根据所述历史注意力图，对所述第一特征图进行处理，得到注意力转移之后的第二特征图；根据所述第二特征图，确定所述当前帧的检测结果。
- 根据权利要求12所述的装置，其特征在于，所述特征图的不同元素对应场景中的不同区域，其中每个元素的元素值表示深度神经网络对每个元素对应的区域的感兴趣程度，所述注意力图包括与每个元素对应的权值，其中，所述根据所述历史注意力图中与所述第一特征图的各个元素对应的权值，对所述第一特征图进行处理，包括：根据所述历史注意力图，对所述第一特征图进行卷积操作。
- 根据权利要求13所述的装置，其特征在于，所述根据所述历史注意力图中与所述第一特征图的各个元素对应的权值，对所述第一特征图进行卷积操作，包括：将所述当前帧的第一特征图的每个元素的元素值，与所述历史注意力图中与每个元素对应的权值相乘，得到注意力转移后的第二特征图的每个元素 的元素值。
- 根据权利要求14所述的装置，其特征在于，所述根据所述当前帧的前至少一帧的检测结果，确定历史注意力图，包括：根据所述前至少一帧的检测结果中的目标分布情况，确定所述历史注意力图中与所述第一特征图的各个元素对应的权值。
- 根据权利要求15所述的装置，其特征在于，所述前至少一帧的检测结果中包含有目标的区域在所述历史注意力图中对应的权值，大于不包含目标的区域在所述注意力图中对应的权值。
- 根据权利要求16所述的装置，其特征在于，不同类型的目标在所述注意力图中对应的权值不同。
- 根据权利要求17所述的装置，其特征在于，不同类型的目标在所述注意力图中对应的权值是根据对不同类型的目标的感兴趣程度确定的。
- 根据权利要求17所述的装置，其特征在于，不同类型的目标在所述注意力图中对应的权值是根据所述前一帧的检测结果进行深度学习得到的。
- 根据权利要求17至19中任一项所述的装置，其特征在于，所述不同类型的目标包括车辆、人物和环境信息。
- 根据权利要求12至19中任一项所述的装置，其特征在于，用于产生所述多帧点云帧的探测装置在相邻两帧点云帧中的扫描轨迹不同。
- 根据权利要求12至19中任一项所述的装置，其特征在于，所述处理器还用于执行：根据所述当前帧的检测结果，更新所缓存的所述历史注意力图，以用于对所述当前帧的下一帧的特征图进行处理。
- 一种车载雷达，其特征在于，包括如权利要求12至22中任一项所述的用于目标检测的装置。
- 一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202080006536.8A CN114450720A (zh) | 2020-08-18 | 2020-08-18 | 一种目标检测的方法、装置和车载雷达 |
| PCT/CN2020/109879 WO2022036567A1 (zh) | 2020-08-18 | 2020-08-18 | 一种目标检测的方法、装置和车载雷达 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/109879 WO2022036567A1 (zh) | 2020-08-18 | 2020-08-18 | 一种目标检测的方法、装置和车载雷达 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022036567A1 true WO2022036567A1 (zh) | 2022-02-24 |
Family
ID=80322389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/109879 WO2022036567A1 (zh) | 2020-08-18 | 2020-08-18 | 一种目标检测的方法、装置和车载雷达 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114450720A (zh) |
| WO (1) | WO2022036567A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882024A (zh) * | 2022-07-07 | 2022-08-09 | 深圳市信润富联数字科技有限公司 | 目标对象的缺陷检测方法、装置、电子设备以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120328161A1 (en) * | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
| CN108171141A (zh) * | 2017-12-25 | 2018-06-15 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
| CN108509949A (zh) * | 2018-02-05 | 2018-09-07 | 杭州电子科技大学 | 基于注意力地图的目标检测方法 |
| CN109740416A (zh) * | 2018-11-19 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 目标跟踪方法及相关产品 |
| CN110287826A (zh) * | 2019-06-11 | 2019-09-27 | 北京工业大学 | 一种基于注意力机制的视频目标检测方法 |
| CN111259940A (zh) * | 2020-01-10 | 2020-06-09 | 杭州电子科技大学 | 一种基于空间注意力地图的目标检测方法 |
-
2020
- 2020-08-18 CN CN202080006536.8A patent/CN114450720A/zh active Pending
- 2020-08-18 WO PCT/CN2020/109879 patent/WO2022036567A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120328161A1 (en) * | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
| CN108171141A (zh) * | 2017-12-25 | 2018-06-15 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
| CN108509949A (zh) * | 2018-02-05 | 2018-09-07 | 杭州电子科技大学 | 基于注意力地图的目标检测方法 |
| CN109740416A (zh) * | 2018-11-19 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 目标跟踪方法及相关产品 |
| CN110287826A (zh) * | 2019-06-11 | 2019-09-27 | 北京工业大学 | 一种基于注意力机制的视频目标检测方法 |
| CN111259940A (zh) * | 2020-01-10 | 2020-06-09 | 杭州电子科技大学 | 一种基于空间注意力地图的目标检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882024A (zh) * | 2022-07-07 | 2022-08-09 | 深圳市信润富联数字科技有限公司 | 目标对象的缺陷检测方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114450720A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gerdzhev et al. | Tornado-net: multiview total variation semantic segmentation with diamond inception module | |
| KR102141163B1 (ko) | Sar 영상 생성을 위한 뉴럴 네크워크 학습 방법 및 장치. | |
| US10509987B1 (en) | Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same | |
| CN109964237A (zh) | 图像深度预测神经网络 | |
| US20220262002A1 (en) | Feedbackward decoder for parameter efficient semantic image segmentation | |
| US11657475B2 (en) | Machine learned registration and multi-modal regression | |
| CN111914997A (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN112215332A (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
| CN112734931B (zh) | 一种辅助点云目标检测的方法及*** | |
| CN110415280B (zh) | 多任务cnn模型下的遥感影像与建筑物矢量配准方法及*** | |
| WO2022036567A1 (zh) | 一种目标检测的方法、装置和车载雷达 | |
| CN112967388A (zh) | 三维时序图像神经网络模型的训练方法和装置 | |
| CN116486288A (zh) | 基于轻量级密度估计网络的航拍目标计数与检测方法 | |
| CN112967293B (zh) | 一种图像语义分割方法、装置及存储介质 | |
| KR20220089602A (ko) | 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치 | |
| JP6992099B2 (ja) | 情報処理装置、車両、車両の制御方法、プログラム、情報処理サーバ、情報処理方法 | |
| CN112132780A (zh) | 基于深度神经网络的钢筋数量检测方法及*** | |
| CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| CN110880003A (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| US20210110218A1 (en) | Environment sensing method and device, control method and device, and vehicle | |
| CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 | |
| CN114998630A (zh) | 一种从粗到精的地对空图像配准方法 | |
| EP3736730A1 (en) | Convolutional neural network with reduced complexity | |
| CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 | |
| CN112967399A (zh) | 三维时序图像生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20949779 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20949779 Country of ref document: EP Kind code of ref document: A1 |