CN115718304A - 目标对象检测方法、装置、车辆及存储介质 - Google Patents
目标对象检测方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN115718304A CN115718304A CN202211682334.2A CN202211682334A CN115718304A CN 115718304 A CN115718304 A CN 115718304A CN 202211682334 A CN202211682334 A CN 202211682334A CN 115718304 A CN115718304 A CN 115718304A
- Authority
- CN
- China
- Prior art keywords
- target
- target object
- vehicle
- point cloud
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 26
- 230000008447 perception Effects 0.000 abstract description 14
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开涉及自动驾驶技术领域，尤其涉及一种目标对象检测方法、装置、车辆及存储介质，可以获取车辆当前所处环境的环境图像；根据环境图像通过目标检测模型，确定环境图像中目标对象的图像检测结果；所述图像检测结果包括目标对象与车辆的第一相对位置；根据图像检测结果对车辆获取的雷达点云数据进行数据筛选，得到目标对象对应的目标点云数据；根据目标点云数据确定目标检测结果，所述目标检测结果包括目标对象与车辆的第二相对位置。根据筛选后的目标点云数据进行目标对象的检测可以降低激光点云目标检测算法的计算复杂度，提高检测效率。与此同时，相对于纯视觉的图像感知方案，可以显著提升对目标对象的定位精度。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种目标对象检测方法、装置、车辆及存储介质。
背景技术
自动驾驶技术的实施离不开先进的感知算法。一种自动驾驶方案中完全采用相机图像作为感知算法的输入。相机图像与人眼感知到的世界信息是一致的，理论上仅凭相机图像可以做出匹配人类驾驶的自动驾驶技术。同时，随着高分辨率高频谱高帧率的相机成像技术的发展，相机捕捉到的环境信息将更加丰富，并且相机成本相对低廉，可以环车身大量布置，确保感知无死角。在另一种自动驾驶方案中，采用激光雷达点云作为感知算法的输入。激光雷达点云，可以重构目标物体的三维立体轮廓，同时还能获取目标表面反射特性、位置、运动速度等信息，可以用于目标探测、跟踪。
发明内容
为克服相关技术中存在的问题，本公开提供一种目标对象检测方法、装置、车辆及存储介质。
根据本公开实施例的第一方面，提供一种目标对象检测方法，包括：获取车辆当前所处环境的环境图像；根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
可选地，所述第一相对位置包括所述目标对象相对于所述车辆的第一方位，所述图像检测结果还包括所述目标对象对应的目标图像区域的目标边界以及所述目标对象对应的FOV（Field Of View，视场角）；所述根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果包括：
将所述环境图像输入所述目标检测模型，得到所述目标对象对应的所述目标图像区域的边界位置信息，以及所述目标对象的接地点位置信息；
将所述边界位置信息和所述接地点位置信息投影至BEV（Bird's Eye View，鸟瞰图）视图中，得到所述目标图像区域对应的所述目标边界，以及所述目标对象的目标接地点位置；
根据所述目标接地点位置确定所述第一方位和所述FOV。
可选地，所述根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据包括：
根据所述第一方位和所述FOV从所述雷达点云数据中确定待定点云数据；将位于所述目标边界内的待定点云数据作为所述目标点云数据。
可选地，所述第二相对位置包括所述目标对象相对于所述车辆的第二方位，以及所述目标对象与所述车辆的目标距离，所述根据所述目标点云数据确定目标检测结果包括：
根据所述目标点云数据确定所述第二方位和所述目标距离。
可选地，所述方法还包括：
根据所述第二相对位置控制所述车辆行驶。
可选地，所述图像检测结果还包括所述目标对象的第一类别，所述根据所述第二相对位置控制所述车辆行驶包括：
根据所述第二相对位置和所述第一类别控制所述车辆行驶。
可选地，所述图像检测结果还包括所述第一类别的第一置信度；所述目标检测结果还包括所述目标对象的第二类别，以及所述第二类别的第二置信度；所述方法还包括：
根据所述第一置信度和所述第二置信度确定所述目标对象的目标类别，所述目标类别为所述第一类别和所述第二类别中置信度高的类别；
所述根据所述第二相对位置和所述第一类别控制所述车辆行驶包括：
根据所述第二相对位置和所述目标类别控制所述车辆行驶。
根据本公开实施例的第二方面，提供一种目标对象检测装置，包括：
获取模块，被配置为获取车辆当前所处环境的环境图像；
第一确定模块，被配置为根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；
数据筛选模块，被配置为根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；
第二确定模块，被配置为根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
根据本公开实施例的第三方面，提供一种车辆，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取车辆当前所处环境的环境图像；
根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；
根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；
根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的目标对象检测方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：车辆在对行驶环境中的目标对象进行检测时，可以将雷达点云数据与对环境图像中目标对象的图像检测结果相结合，基于图像检测结果对雷达点云数据进行数据筛选，得到数据量较少的目标点云数据，这样，根据筛选后的目标点云数据进行目标对象的检测可以降低激光点云目标检测算法的计算复杂度，提高检测效率。与此同时，相对于纯视觉的图像感知方案，可以显著提升对目标对象的定位精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种目标对象检测方法的流程图。
图2是根据图1所示实施例示出的一种目标对象检测方法的流程图。
图3是根据图1所示实施例示出的一种目标对象检测方法的流程图。
图4是根据图1所示实施例示出的一种目标对象检测方法的流程图。
图5是根据一示例性实施例示出的一种目标对象检测装置的框图。
图6是根据图5所示实施例示出的一种目标对象检测装置的框图。
图7是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
本公开主要应用于车辆对周围环境中目标对象（如其它车辆、行人等）的识别场景中。相关技术中提供了两种自动驾驶方案中的感知算法，一种是纯视觉的图像感知算法，该算法完全采用相机图像作为感知算法的输入，但是，相机图像容易受到光线环境的影响，而且无法准确感知目标物体在三维空间的距离、方向等信息。在另一种自动驾驶方案中，可以采用激光雷达点云作为感知算法的输入，但是，雷达点云难以获得目标物体表面的颜色纹理等信息，无法提供充足的语义类别信息。在自动驾驶的控制过程中，若无法准确感知目标物体在三维空间的距离、方向等信息，或者不能正确识别目标物体的类别，均会影响自动驾驶的控制策略，从而影响自动驾驶的控制精度。
另外，对于相关技术中通过激光雷达点云来感知目标物体的方案中，由于点云数据范围庞大，基于激光点云的目标检测算法通常较为复杂。
为解决上述存在的问题，本公开提供一种目标对象检测方法、装置、车辆及存储介质，下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种目标对象检测方法的流程图，如图1所示，该方法可以应用于车辆（或者描述为“自车”）中，包括以下步骤。
在步骤S11中，获取车辆当前所处环境的环境图像。
一种实现方式中，可以环车身布置多个图像采集装置（如相机），这样可以通过多个图像采集装置分别采集自车周围不同方位的环境图像，之后可以对每个图像采集装置采集的环境图像分别进行图像识别。
在步骤S12中，根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置。
其中，该目标检测模型例如可以包括Faster RCNN模型或者YOLO（you only lookonce）模型，该目标对象例如可以包括车辆当前所在道路的两边或者道路上的目标物体（如其它车辆、建筑物、树木）、行人等。该第一相对位置可以包括目标对象相对于该车辆的第一方位、该目标对象与该车辆的距离等，该图像检测结果还可以包括该目标对象在该环境图像中对应的目标图像区域以及该目标图像区域的目标边界、该目标对象的FOV等，其中FOV是指目标对象相对于自车的视场角，该视场角例如可以为以自车为顶点的扇形区域的圆心角，该扇形区域的两条边可以为自车分别与目标边界的左右两个最***边界点的连线。
在步骤S13中，根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据。
通常情况下，雷达点云数据是由一个旋转的激光雷达采集得到，激光雷达可以向四周发出激光（如128线激光），128线激光扫描一周后便得到一帧雷达点云数据。在自动驾驶场景中，通过雷达点云数据，可以精确地确定出目标对象的距离以及方位信息。但是由于雷达点云数据量较大，基于激光点云的目标检测算法确定出目标对象的距离以及方位信息通常较为复杂，因此，在本公开中，为了简化激光雷达点云目标检测算法的复杂度，可以对车辆获取的雷达点云数据进行数据筛选，得到数据量较少的目标点云数据，从而可以降低激光雷达点云目标检测算法的复杂度。
另外，步骤S11和步骤S12对应的基于相机图像的感知算法可以得到目标对象的大致方位和目标对象对应的目标图像区域的目标边界，因此，在本步骤中，可以根据图像检测结果中的第一方位、目标对象相对于自车的视场角以及目标边界对车辆获取的雷达点云数据进行数据筛选，得到该目标点云数据。
在步骤S14中，根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
其中，该第二相对位置例如可以包括目标对象相对于自车的第二方位，以及目标对象与自车的目标距离。
在本步骤中，可以根据该目标点云数据通过激光雷达点云目标检测算法确定第二方位和该目标距离，其中，通过激光雷达点云目标检测算法确定该目标检测结果的具体实现方式可以参考相关技术中的描述，在此不作具体限定。
采用上述方法，车辆在对行驶环境中的目标对象进行检测时，可以将雷达点云数据与对环境图像中目标对象的图像检测结果相结合，基于图像检测结果对雷达点云数据进行数据筛选，得到数据量较少的目标点云数据，这样，根据筛选后的目标点云数据进行目标对象的检测可以降低激光点云目标检测算法的计算复杂度，提高检测效率。与此同时，相对于纯视觉的图像感知方案，可以显著提升对目标对象的定位精度。
图2是根据图1所示实施例示出的一种目标对象检测方法的流程图，如图2所示，步骤S12包括以下子步骤：
在步骤S121中，将所述环境图像输入所述目标检测模型，得到所述目标对象对应的所述目标图像区域的边界位置信息，以及所述目标对象的接地点位置信息。
以该目标对象为相对于自车的其它车辆为例，该接地点位置信息可以包括该环境图像上以该其它车辆的前后车轮（或者左右车轮）的接地点为端点的一条线段上的各个接地像素点。再比如，若该目标对象为建筑物，该接地点位置信息可以为该环境图像上建筑物的墙面与地面的接地线上的各个接地像素点。
该目标图像区域可以为目标对象的轮廓的外接矩形区域，该边界位置信息为该外接矩形的边框上每个像素点在该环境图像上的位置信息。
在本步骤中，针对每个图像采集装置采集的个环境图像，可以将该环境图像输入预先训练好的目标检测模型（如Faster RCNN模型），然后通过模型输出该目标对象对应的目标图像区域的边界位置信息，以及目标对象的接地点位置信息。
在步骤S122中，将所述边界位置信息和所述接地点位置信息投影至鸟瞰图BEV中，得到所述目标图像区域对应的所述目标边界，以及所述目标对象的目标接地点位置。
在本步骤一种可能的实现方式中，可以将每个相机采集的环境图像中目标对象的检测结果（即目标图像区域的边界位置信息和目标对象的接地点位置信息）基于相机的标定参数（例如，相机外参）投影至BEV中，这样，在本步骤中，可以将目标图像区域在环境图像上的每个边界位置点投影至BEV中，并根据投影后的每个坐标点得到该目标边界；将环境图像上的每个接地像素点投影至BEV中得到该目标对象的目标接地点位置。
在步骤S123中，根据所述目标接地点位置确定所述第一方位和所述FOV。
在本步骤中，可以根据该目标对象的目标接地点位置确定出该目标对象在该BEV视图中的外接边框，之后可以根据该外接边框的中心在BEV视图中的坐标与自车在BEV视图中的位置坐标确定出该第一方位，并且还可以进一步根据该目标对象的外接边框得到该目标对象的FOV。
需要说明的是，基于步骤S121-S123可以基于对采集的环境图像的目标检测算法得到目标对象相对于自车的第一方向和目标对象的视场角FOV，但考虑到通过相机标定参数将对环境图像的目标图像区域的边界位置信息和目标对象的接地点位置信息投影至BEV视图时，由于相机标定参数不够准确，使得环境图像中的二维接地点转换到BEV视图所得到的目标对象的方位不够精准；并且目标检测算法从图像中推测出的二维接地点也不够准确，这会导致确定出的BEV视角下目标对象的方位存在较大误差。
因此，为提高对目标对象与自车相对位置的检测结果的准确性，可以根据采集的激光雷达点云数据进一步识别目标对象与自车的相对位置（包括方位与距离），但是由于点云数据范围庞大，基于激光点云的目标检测算法通常较为复杂，因此，在保证对目标对象与自车相对位置的检测结果的准确性的同时，还要降低目标检测算法的计算复杂度。
图3是根据图1所示实施例示出的一种目标对象检测方法的流程图，如图3所示，步骤S13包括以下子步骤：
在步骤S131中，根据所述第一方位和所述FOV从所述雷达点云数据中确定待定点云数据。
上述已经提及，激光雷达发出激光并扫描一周后，可以获取到一帧雷达点云数据，也就是说，一帧雷达点云数据包括自车一周360度的雷达点云数据，这样，在本步骤中，为了减少激光雷达目标检测算法的计算复杂度，可以从360度的雷达点云数据中将位于所述第一方位的，所述视场角FOV内的雷达点云数据作为该待定点云数据。
其中，该第一方位可以为该视场角FOV对应的扇形区域的中心线所指向的方位，该中心线的一端为该扇形顶点，该中心线的另一端为扇形区域对应的弧线中点。这样，在对雷达点云数据进行筛选的过程中，可以以该第一方位为中心方位，向左右两边分别取1/2视场角范围内的雷达点云数据作为该待定点云数据。
在步骤S132中，将位于所述目标边界内的待定点云数据作为所述目标点云数据。
在本步骤中，可以从该待定点云数据中截取位于该目标边界内的点云数据作为该目标点云数据。可以理解的是，该目标点云数据即为目标对象对应的点云数据。
基于图3所示的方法，可以减少雷达点云数据的数据量，从而可以降低激光雷达目标检测算法的处理复杂度，同时可以准确地确定出目标对象的位置，进而准确地识别到目标对象相对于自车的第二方位和目标距离。
图4是根据图1所示实施例示出的一种目标对象检测方法的流程图，如图4所示，该方法还包括以下步骤：
在步骤S15中，根据所述第二相对位置控制所述车辆行驶。
该第二相对位置可以包括第二方位和目标距离，在确定出该目标对象相对于该车辆的该第二相对位置后，可以根据该第二方位和该目标距离进行路径规划和速度规划，进而控制车辆按照规划的路径和速度行驶。
另外，以自动驾驶场景为例，车辆行驶环境中目标对象的类别不同，车辆的自动驾驶策略可能也不相同，因此有必要对目标对象的类别进行识别，但通常情况下，雷达点云数据难以获得物体表面的颜色纹理等信息，无法提供充足的语义类别信息，因此，基于激光雷达点云数据虽然可以较准确地确定出目标对象的第二方位和目标距离，但无法准确感知目标对象的类别，相比较而言，相机图像与人眼感知到的环境信息是一致的，因此，基于图像感知算法识别到的目标对象的类别较准确。
也就是说，该图像检测结果还可以包括所述目标对象的第一类别，如车辆，建筑物，行人等类别。
因此，在本步骤另一种可能的实现方式中，可以根据所述第二相对位置和所述第一类别控制所述车辆行驶。具体地，可以根据该第二相对位置和该第一类别规划自车的行驶策略（包括行驶路径、行驶速度等），以便根据该行驶策略控制车辆行驶。
在本公开另一种可能的实现方式中，图像检测结果还可以包括所述第一类别的第一置信度；所述目标检测结果还可以包括所述目标对象的第二类别，以及所述第二类别的第二置信度；这样，可以根据所述第一置信度和所述第二置信度确定所述目标对象的目标类别，所述目标类别为所述第一类别和所述第二类别中置信度高的类别；从而可以根据所述第二相对位置和所述目标类别控制所述车辆行驶。
采用上述方法，车辆在对行驶环境中的目标对象进行检测时，可以将雷达点云数据与对环境图像中目标对象的图像检测结果相结合，基于图像检测结果对雷达点云数据进行数据筛选，得到数据量较少的目标点云数据，这样，根据筛选后的目标点云数据进行目标对象的检测可以降低激光点云目标检测算法的计算复杂度，提高检测效率。与此同时，相对于纯视觉的图像感知方案，可以显著提升对目标对象的定位精度。另外，相比较于单纯基于激光雷达点云数据识别目标对象来说，还可以显著提高目标对象的类别识别精度。
图5是根据一示例性实施例示出的一种目标对象检测装置的框图，如图5所示，该装置包括：
获取模块501，被配置为获取车辆当前所处环境的环境图像；
第一确定模块502，被配置为根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；
数据筛选模块503，被配置为根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；
第二确定模块504，被配置为根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
可选地，所述第一相对位置包括所述目标对象相对于所述车辆的第一方位，所述图像检测结果还包括所述目标对象对应的目标图像区域的目标边界以及所述目标对象对应的视场角FOV；所述第一确定模块502，被配置为将所述环境图像输入所述目标检测模型，得到所述目标对象对应的所述目标图像区域的边界位置信息，以及所述目标对象的接地点位置信息；将所述边界位置信息和所述接地点位置信息投影至鸟瞰图BEV中，得到所述目标图像区域对应的所述目标边界，以及所述目标对象的目标接地点位置；根据所述目标接地点位置确定所述第一方位和所述FOV。
可选地，所述数据筛选模块503，被配置为根据所述第一方位和所述FOV从所述雷达点云数据中确定待定点云数据；将位于所述目标边界内的待定点云数据作为所述目标点云数据。
可选地，所述第二相对位置包括所述目标对象相对于所述车辆的第二方位，以及所述目标对象与所述车辆的目标距离，所述第二确定模块504，被配置为根据所述目标点云数据确定所述第二方位和所述目标距离。
可选地，图6是根据图5所示实施例示出的一种目标对象检测装置的框图，如图6所示，该装置还包括：
控制模块505，被配置为根据所述第二相对位置控制所述车辆行驶。
可选地，所述图像检测结果还包括所述目标对象的第一类别，所述控制模块505，被配置为根据所述第二相对位置和所述第一类别控制所述车辆行驶。
可选地，所述图像检测结果还包括所述第一类别的第一置信度；所述目标检测结果还包括所述目标对象的第二类别，以及所述第二类别的第二置信度；所述控制模块505，被配置为根据所述第一置信度和所述第二置信度确定所述目标对象的目标类别，所述目标类别为所述第一类别和所述第二类别中置信度高的类别；根据所述第二相对位置和所述目标类别控制所述车辆行驶。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
采用上述装置，车辆在对行驶环境中的目标对象进行检测时，可以将雷达点云数据与对环境图像中目标对象的图像检测结果相结合，基于图像检测结果对雷达点云数据进行数据筛选，得到数据量较少的目标点云数据，这样，根据筛选后的目标点云数据进行目标对象的检测可以降低激光点云目标检测算法的计算复杂度，提高检测效率。与此同时，相对于纯视觉的图像感知方案，可以显著提升对目标对象的定位精度。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的目标对象检测方法的步骤。
图7是根据一示例性实施例示出的一种车辆的框图。例如，车辆700可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆700可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图7，车辆700可包括各种子***，例如，信息娱乐***710、感知***720、决策控制***730、驱动***740以及计算平台750。其中，车辆700还可以包括更多或更少的子***，并且每个子***都可包括多个部件。另外，车辆700的每个子***之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐***710可以包括通信***，娱乐***以及导航***等。
感知***720可以包括若干种传感器，用于感测车辆700周边的环境的信息。例如，感知***720可包括全球定位***（全球定位***可以是GPS***，也可以是北斗***或者其他定位***）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制***730可以包括计算***、整车控制器、转向***、油门以及制动***。
驱动***740可以包括为车辆700提供动力运动的组件。在一个实施例中，驱动***740可以包括引擎、能量源、传动***和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆700的部分或所有功能受计算平台750控制。计算平台750可包括至少一个处理器751和存储器752，处理器751可以执行存储在存储器752中的指令753。
处理器751可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上***（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器752可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令753以外，存储器752还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器752存储的数据可以被计算平台750使用。
在本公开实施例中，处理器751可以执行指令753，以完成上述的目标对象检测方法的全部或部分步骤。
另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的目标对象检测方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种目标对象检测方法，其特征在于，包括：
获取车辆当前所处环境的环境图像；
根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；
根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；
根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
2.根据权利要求1所述的方法，其特征在于，所述第一相对位置包括所述目标对象相对于所述车辆的第一方位，所述图像检测结果还包括所述目标对象对应的目标图像区域的目标边界以及所述目标对象对应的视场角FOV；所述根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果包括：
将所述环境图像输入所述目标检测模型，得到所述目标对象对应的所述目标图像区域的边界位置信息，以及所述目标对象的接地点位置信息；
将所述边界位置信息和所述接地点位置信息投影至鸟瞰图BEV中，得到所述目标图像区域对应的所述目标边界，以及所述目标对象的目标接地点位置；
根据所述目标接地点位置确定所述第一方位和所述FOV。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据包括：
根据所述第一方位和所述FOV从所述雷达点云数据中确定待定点云数据；
将位于所述目标边界内的待定点云数据作为所述目标点云数据。
4.根据权利要求1所述的方法，其特征在于，所述第二相对位置包括所述目标对象相对于所述车辆的第二方位，以及所述目标对象与所述车辆的目标距离，所述根据所述目标点云数据确定目标检测结果包括：
根据所述目标点云数据确定所述第二方位和所述目标距离。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：根据所述第二相对位置控制所述车辆行驶。
6.根据权利要求5所述的方法，其特征在于，所述图像检测结果还包括所述目标对象的第一类别，所述根据所述第二相对位置控制所述车辆行驶包括：根据所述第二相对位置和所述第一类别控制所述车辆行驶。
7.根据权利要求6所述的方法，其特征在于，所述图像检测结果还包括所述第一类别的第一置信度；所述目标检测结果还包括所述目标对象的第二类别，以及所述第二类别的第二置信度；所述方法还包括：
根据所述第一置信度和所述第二置信度确定所述目标对象的目标类别，所述目标类别为所述第一类别和所述第二类别中置信度高的类别；
所述根据所述第二相对位置和所述第一类别控制所述车辆行驶包括：
根据所述第二相对位置和所述目标类别控制所述车辆行驶。
8.一种目标对象检测装置，其特征在于，包括：
获取模块，被配置为获取车辆当前所处环境的环境图像；
第一确定模块，被配置为根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；
数据筛选模块，被配置为根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；
第二确定模块，被配置为根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
9.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取车辆当前所处环境的环境图像；
根据所述环境图像通过目标检测模型，确定所述环境图像中目标对象的图像检测结果；所述图像检测结果包括所述目标对象与所述车辆的第一相对位置；
根据所述图像检测结果对所述车辆获取的雷达点云数据进行数据筛选，得到所述目标对象对应的目标点云数据；
根据所述目标点云数据确定目标检测结果，所述目标检测结果包括所述目标对象与所述车辆的第二相对位置。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211682334.2A CN115718304A (zh) | 2022-12-27 | 2022-12-27 | 目标对象检测方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211682334.2A CN115718304A (zh) | 2022-12-27 | 2022-12-27 | 目标对象检测方法、装置、车辆及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115718304A true CN115718304A (zh) | 2023-02-28 |
Family
ID=85257817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211682334.2A Pending CN115718304A (zh) | 2022-12-27 | 2022-12-27 | 目标对象检测方法、装置、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115718304A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116767224A (zh) * | 2023-07-03 | 2023-09-19 | 小米汽车科技有限公司 | 确定可行驶区域的方法、装置、车辆、及存储介质 |
-
2022
- 2022-12-27 CN CN202211682334.2A patent/CN115718304A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116767224A (zh) * | 2023-07-03 | 2023-09-19 | 小米汽车科技有限公司 | 确定可行驶区域的方法、装置、车辆、及存储介质 |
| CN116767224B (zh) * | 2023-07-03 | 2024-01-23 | 小米汽车科技有限公司 | 确定可行驶区域的方法、装置、车辆、及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7398506B2 (ja) | ローカライゼーション基準データを生成及び使用する方法及びシステム | |
| WO2021227645A1 (zh) | 目标检测方法和装置 | |
| US11436743B2 (en) | Systems and methods for semi-supervised depth estimation according to an arbitrary camera | |
| US20200018852A1 (en) | System and method for calibrating a lidar and a camera together using semantic segmentation | |
| US11417017B2 (en) | Camera-only-localization in sparse 3D mapped environments | |
| US9342888B2 (en) | System and method for mapping, localization and pose correction of a vehicle based on images | |
| JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
| WO2019007263A1 (zh) | 车载传感器的外部参数标定的方法和设备 | |
| US20170359561A1 (en) | Disparity mapping for an autonomous vehicle | |
| WO2020259284A1 (zh) | 一种障碍物检测方法及装置 | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| CN112805766B (zh) | 用于更新详细地图的装置和方法 | |
| US11513211B2 (en) | Environment model using cross-sensor feature point referencing | |
| US10991155B2 (en) | Landmark location reconstruction in autonomous machine applications | |
| CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
| RU2767838C1 (ru) | Способы и системы для формирования обучающих данных для обнаружения горизонта и плоскости дороги | |
| CN116380088B (zh) | 车辆定位方法、装置、车辆及存储介质 | |
| US20210080264A1 (en) | Estimation device, estimation method, and computer program product | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| US10249056B2 (en) | Vehicle position estimation system | |
| JP5557036B2 (ja) | 退出判定装置、退出判定プログラム及び退出判定方法 | |
| CN116767224B (zh) | 确定可行驶区域的方法、装置、车辆、及存储介质 | |
| CN115661798B (zh) | 确定目标区域的方法、装置、车辆及存储介质 | |
| CN116563812B (zh) | 目标检测方法、装置、存储介质及车辆 | |
| CN116659529B (zh) | 数据检测方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |