CN117456493A - 目标检测方法、装置、计算机设备和存储介质 - Google Patents

目标检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117456493A
CN117456493A CN202311423592.3A CN202311423592A CN117456493A CN 117456493 A CN117456493 A CN 117456493A CN 202311423592 A CN202311423592 A CN 202311423592A CN 117456493 A CN117456493 A CN 117456493A
Authority
CN
China
Prior art keywords
feature
features
image
point cloud
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311423592.3A
Other languages
English (en)
Inventor
石俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Jiefang Automotive Co Ltd
Original Assignee
FAW Jiefang Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Jiefang Automotive Co Ltd filed Critical FAW Jiefang Automotive Co Ltd
Priority to CN202311423592.3A priority Critical patent/CN117456493A/zh
Publication of CN117456493A publication Critical patent/CN117456493A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取具有对应关系的待检测图像以及点云数据；对所述待检测图像进行特征提取，得到多个图像特征；对所述点云数据进行特征提取，得到多个点云特征；确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；基于所述融合特征，对所述待检测图像进行目标检测。采用本方法能够简化特征融合计算方式并提升融合结果精确度。

Description

目标检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种目标检测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
近年来，基于深度学习的视觉感知技术飞速发展，基于视觉、激光点云、以及三维(three dimensional，3D)目标检测技术进行图像中目标检测的方法层出不穷，极大促进了自动驾驶技术的应用落地。
目前的目测检测方法多采用后融合策略，输出视觉感知结果及激光雷达感知结果后，通过人为制定融合策略，对视觉感知结果及激光雷达感知结果进行融合，然后基于融合结果进行目标检测。这种方式需要经过视觉感知阶段、激光雷达感知阶段、以及视觉感知结果及激光雷达感知结果还要经过复杂的基于人工规则的后融合阶段等三个阶段的计算，才能得到融合结果，这种方式计算复杂，且人为制定规则所得到的融合结果精确度也比较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够简化特征融合计算方式并提升融合结果精确度的目标检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请还提供了一种目标检测方法，所述方法包括：
获取具有对应关系的待检测图像以及点云数据；
对所述待检测图像进行特征提取，得到多个图像特征；对所述点云数据进行特征提取，得到多个点云特征；
确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；
针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；
基于所述融合特征，对所述待检测图像进行目标检测。
在其中一个实施例中，所述确定与各图像特征对应的标准特征，包括：
确定所述待检测图像的采集设备的设备参数；
针对各图像特征，基于所述设备参数，确定所述图像特征对应的特征矩阵；从三维空间特征集合中确定与所述特征矩阵对应的三维空间特征，将所述三维空间特征作为所述图像特征对应的标准特征。
在其中一个实施例中，所述确定与各点云特征对应的标准特征，包括：
针对各点云特征，确定所述点云特征中包含的空间位置信息，确定三维空间特征集合中各三维空间特征中包含的空间位置信息，将与所述点云特征的空间位置信息相同的三维空间特征作为与所述点云特征对应的标准特征。
在其中一个实施例中，所述将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征，包括：
通过注意力机制，确定与所述当前标准特征对应的图像特征的图像特征权重，并确定与所述当前标准特征对应的点云特征的点云特征权重；
基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理；
基于处理结果确定所述融合特征。
在其中一个实施例中，所述基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理，包括：
将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征的特征矩阵调整为相同大小的特征矩阵；
基于调整后的所述当前标准特征对应的图像特征的特征矩阵、调整后的所述当前标准特征对应的点云特征的特征矩阵、所述图像特征权重、以及点云特征权重，进行加权求和处理。
在其中一个实施例中，所述确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征之后，所述方法还包括：
建立图像特征与标准特征的第一对应关系，以及点云特征与标准特征的第二对应关系；
基于所述第一对应关系，确定与当前标准特征对应的图像特征，基于所述第二对应关系，确定与当前标准特征对应的点云特征。
第二方面，本申请还提供了一种目标检测装置，所述装置包括：
获取模块，用于获取具有对应关系的待检测图像以及点云数据；
特征提取模块，用于对所述待检测图像进行特征提取，得到多个图像特征；对所述点云数据进行特征提取，得到多个点云特征；
第一确定模块，用于确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；
特征融合模块，用于针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；
目标检测模块，用于基于所述融合特征，对所述待检测图像进行目标检测。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时上述各方法实施例中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时上述各方法实施例中的步骤。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
上述目标检测方法、装置、计算机设备、存储介质和计算机程序产品，本申请获取具有对应关系的待检测图像以及点云数据后，对待检测图像进行特征提取，得到多个图像特征；对点云数据进行特征提取，得到多个点云特征，确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征，这样可以将图像特征和点云特征均映射到为标准特征，从而本申请只需要针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，就可以将与同一标准特征对应的图像特征和点云特征进行融合得到融合特征，从而基于融合特征对待检测图像进行目标检测，相较于后融合处理算法需要经历的三阶段，只需要进行一个特征融合阶段的计算就可以实现目标检测，计算更加简单，且避免了人为制定规则所带来的融合结果精确度低的问题。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中目标检测方法的流程示意图；
图2为另一个实施例中目标检测方法的流程示意图；
图3为另一个实施例中目标检测方法的流程示意图；
图4为另一个实施例中目标检测装置的结构示意图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种目标检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S101、获取具有对应关系的待检测图像以及点云数据；
获取联合数据集，联合数据集中包括待检测图像以及点云数据，要求待检测图像以及点云数据实现时空对其，即同一时刻的待检测图像以及点云数据相对应，可以是同一时刻的多张待检测图像以及一个点云数据相对应。
需要多个车载摄像头布置于车身四周获取待检测图像，车载摄像头安装位置分别为：前视、左前、右前、左后、右后，后视。同时需要一个激光雷达采集车辆周边点云数据，激光雷达布置于车辆车顶，线束或等效线束不低于120线。
步骤S102、对待检测图像进行特征提取，得到多个图像特征；对点云数据进行特征提取，得到多个点云特征；
利用图像增强技术，对待检测图像进行几何平移、旋转、亮度变换、混合增强(mixup)等预处理，丰富数据集样本，提高模型鲁棒性；
将预处理后的待检测图像输入到图像处理模型进行特征提取，得到多个图像特征，图像处理模型包括效率网络(efficientnet)，效率网络相较于普通卷积神经网络能够提取到更多的时序信息特征以及空间信息特征。
将点云数据输入到点云处理模型进行特征提取，得到多个点云特征，点云处理模型包括点云网络(pointnet)；
在本实施例中，可以将点云数据处理为伪图像，即将三维数据压缩为二维数据，但空间信息是没有丢失的，如图像规格一般是x*y*3对应红绿蓝(red green blue，RGB)的3通道图像，x和y是图像的宽和高，但点云数据的伪图像是x*y*N，这N个通道大于三个，既包含了点云数据也包含了空间位置信息，所以称之为伪图像，基于伪图像进行特征提取得到点云特征后，提取的特征中实际是包含其空间信息的。
步骤S103、确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；
将各图像特征投影到标准特征空间，可以从标准特征空间中找到与各图像特征对应的标准特征，同时将各点云特征投影到标准特征空间，可以从标准特征空间中找到与各点云特征对应的标准特征；
在本实施例中，一个标准特征可以对应一个或多个图像特征，一个标准特征也可以对应一个或多个点云特征。
步骤S104、针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；
针对每一标准特征，确定该当前标准特征对应的一个或多个图像特征，以及确定该当前标准特征对应的一个或多个点云特征，将所确定是一个或多个图像特征以及一个或多个点云特征进行融合，得到融合特征。
步骤S105、基于融合特征，对待检测图像进行目标检测。
将融合特征输出给目标检测头，检测目标的种类以及空间信息，输出检测结果。
本申请获取具有对应关系的待检测图像以及点云数据后，对待检测图像进行特征提取，得到多个图像特征；对点云数据进行特征提取，得到多个点云特征，确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征，这样可以将图像特征和点云特征均映射到为标准特征，从而本申请只需要针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，就可以将与同一标准特征对应的图像特征和点云特征进行融合得到融合特征，从而基于融合特征对待检测图像进行目标检测，相较于后融合处理算法需要经历的三阶段，只需要进行一个特征融合阶段的计算就可以实现目标检测，计算更加简单，且避免了人为制定规则所带来的融合结果精确度低的问题。
在其中一个实施例中，数据集包括：目标类别(车辆、行人等类别)、目标是否被其他目标遮挡或者目标超出待检测图像边界、目标朝向角、目标的三维边界框坐标、三维目标尺寸、三维目标空间位置坐标、目标三维空间朝向，即物体前进方向与相机坐标系x轴的夹角。
数据集中数据以车辆中心点为主坐标系，需要给出其余摄像头及点云数据的转换矩阵，方便后续坐标转换。每个待检测图像需要标注当前时间戳，所有摄像头每次采集待检测图像需要在同一时间戳下进行采集，保证摄像头同步。
在其中一个实施例中，图像特征与标准特征之间的转换具体实现如下：
所述确定与各图像特征对应的标准特征，包括：确定所述待检测图像的采集设备的设备参数；针对各图像特征，基于所述设备参数，确定所述图像特征对应的特征矩阵；从三维空间特征集合中确定与所述特征矩阵对应的三维空间特征，将所述三维空间特征作为所述图像特征对应的标准特征。
确定所述待检测图像的采集设备的设备参数，采集设备可以是摄像头，设备参数包括摄像头的外参矩阵以及内参矩阵，基于外参矩阵以及内参矩阵计算得到图像特征的平移矩阵和旋转矩阵，基于该平移矩阵和旋转矩阵，从三维(3D)空间特征集合中确定该图像特征对应的三维空间特征，从而建立起了图像特征到三维空间特征的投影。
标准特征空间可以是3D感知空间，三维空间特征集合即3D感知空间的3D感知空间特征集合，3D感知空间特征集合包含若干特征点的圆形特征，每张待检测图像中的图像特征可以在3D感知空间特征中找到对应的3D感知空间特征，标准特征即3D感知空间特征。
在其中一个实施例中，点云特征与标准特征之间的转换具体实现如下：
所述确定与各点云特征对应的标准特征，包括：
针对各点云特征，确定所述点云特征中包含的空间位置信息，确定三维空间特征集合中各三维空间特征中包含的空间位置信息，将与所述点云特征的空间位置信息相同的三维空间特征作为与所述点云特征对应的标准特征。
点云特征中本身包括空间位置信息，三维空间特征集合中每一三维空间特征中也包含的空间位置信息，如果点云特征中的空间位置信息与某一三维空间特征中的空间位置信息相同，则确定该点云特征与该三维空间特征对应，该三维空间特征即为与点云特征对应的标准特征。
在其中一个实施例中，参照图2，S104将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征，包括：S204、通过注意力机制，确定与当前标准特征对应的图像特征的图像特征权重，并确定与当前标准特征对应的点云特征的点云特征权重；S205、基于图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理；S206、基于处理结果确定融合特征。
在本实施例中，利用可形变注意力机制，将二维的图像特征与三维的点云特征融合至三维感知空间。
与当前标准特征对应的每一图像特征均具有对应的图像特征权重，每一图像特征均对应的图像特征权重可以不同；与当前标准特征对应的各点云特征均具有对应的点云特征权重，各点云特征均对应的点云特征权重也可以不同。
对于当前三维空间特征，对应的图像特征及点云特征有多个，假设此处共有4个，那么通过可形变注意力机制计算出四个特征点(分别为x1、x2、x3、x4)，四个特征点分别对应的权重为0.2、0.2、0.3、以及0.3，进行加权求和：0.2*x1+0.2*x2+0.3*x3+0.3*x4，得到求和结果，从而基于求和结果确定融合特征。
在其中一个实施例中，所述基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理，包括：将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征的特征矩阵调整为相同大小的特征矩阵；基于调整后的所述当前标准特征对应的图像特征的特征矩阵、调整后的所述当前标准特征对应的点云特征的特征矩阵、所述图像特征权重、以及点云特征权重，进行加权求和处理。
在本实施例中，与当前标准特征对应的二维的图像特征，组成图像特征矩阵，通过卷积操作将图像特征矩阵调整为预设大小的特征矩阵；与当前标准特征对应的、三维的点云特征，组成点云特征矩阵，通过卷积操作将点云特征矩阵也调整为预设大小的特征矩阵。例如均调整为328*328*128的特征矩阵；
通过将2维图像特征的特征矩阵和3维点云特征的特征矩阵，通过卷积调整为同一大小，然后通过如下计算方式：调整后的当前标准特征对应的图像特征的特征矩阵*图像特征权重+调整后的当前标准特征对应的点云特征的特征矩阵*点云特征权重，进行加权求和得到融合特征。
在其中一个实施例中，所述确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征之后，所述方法还包括：建立图像特征与标准特征的第一对应关系，以及点云特征与标准特征的第二对应关系；基于所述第一对应关系，确定与当前标准特征对应的图像特征，基于所述第二对应关系，确定与当前标准特征对应的点云特征。
终端还会计算2D的图像特征及3D的点云特征到3D的感知空间特征的投影索引，存储为查询表，具体来说：终端确定图像特征与3D的感知空间特征的第一对应关系后，将该对应关系存储为查询表，便建立起了2D的图像特征到3D的空间特征的投影索引。后续针对各标准特征，可以基于该第一对应关系快速检索到与当前标准特征对应的图像特征；
同时终端建立点云特征与标准特征的第二对应关系，后续针对各标准特征，可以基于该第二对应关系快速检索到与当前标准特征对应的点云特征；
在本实施例中，通过预计算2D的图像特征及3D的点云特征到3D的感知空间特征的投影索引，大大降低了特征融合时间。
在其中一个实施例中，确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征之前，该方法还包括：
构建一个参数可学习的3D感知空间。该3D感知空间中每个特征点对应到实际空间中的距离是1m，特征空间大小可自定义，但由于过大的特征空间会引起计算量的指数级增高，因此特征空间的尺寸不宜过大，默认设置成100*100的特征空间，特征空间中心点即为车辆中心点。
构建该3D感知空间，才能从3D感知空间中确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征。
综上，后融合感知策略具有增加了算法复杂性、计算成本及时延，人为制定规则带来的精度损失，多传感器稳定性差，单一传感器出现失效等问题，针对后融合感知策略的这些问题，参见图3，本方案可拆解为以下步骤：
S1、制备联合数据集；
S2、构建一个参数可学习的3D感知空间；
S3、对待检测图像及点云数据进行特征提取；
S4、预计算2D的图像特征到三维空间特征的投影索引，存储为查询表；
S5、利用可形变注意力机制将2D图像特征与3D点云特征融合至3D感知空间；
S6、将融合特征输出给3D目标检测头，预测目标种类及空间位置信息，输出检测结果。
为实现上述算法，至少需要一个车载控制器，用于处理原始图像及点云数据、进行模型推理及相关运算。为保障检测实时性，控制器算力推荐在300TOPS以上，同时需要搭载图形处理器(gra phicsprocessing unit，GPU)加速神经网络模型推理速度。
本申请方案可用于快速输出车辆周边障碍物列表，具有更高的检测精度及更低的检测时延。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的目标检测方法的目标检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标检测装置实施例中的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。
在一个示例性的实施例中，如图4所示，提供了一种目标检测装置400，包括：
获取模块401，用于获取具有对应关系的待检测图像以及点云数据；
特征提取模块402，用于对所述待检测图像进行特征提取，得到多个图像特征；对所述点云数据进行特征提取，得到多个点云特征；
第一确定模块403，用于确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；
特征融合模块404，用于针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；
目标检测模块405，用于基于所述融合特征，对所述待检测图像进行目标检测。
在其中一个实施例中，第一确定模块403在确定与各图像特征对应的标准特征时，具体用于：
确定所述待检测图像的采集设备的设备参数；
针对各图像特征，基于所述设备参数，确定所述图像特征对应的特征矩阵；从三维空间特征集合中确定与所述特征矩阵对应的三维空间特征，将所述三维空间特征作为所述图像特征对应的标准特征。
在其中一个实施例中，第一确定模块403在确定与各点云特征对应的标准特征时，具体用于：
针对各点云特征，确定所述点云特征中包含的空间位置信息，确定三维空间特征集合中各三维空间特征中包含的空间位置信息，将与所述点云特征的空间位置信息相同的三维空间特征作为与所述点云特征对应的标准特征。
在其中一个实施例中，特征融合模块404在所述将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合时，具体用于：
通过注意力机制，确定与所述当前标准特征对应的图像特征的图像特征权重，并确定与所述当前标准特征对应的点云特征的点云特征权重；
基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理；
基于处理结果确定所述融合特征。
在其中一个实施例中，特征融合模块404在所述基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理时，具体来说：
将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征的特征矩阵调整为相同大小的特征矩阵；
基于调整后的所述当前标准特征对应的图像特征的特征矩阵、调整后的所述当前标准特征对应的点云特征的特征矩阵、所述图像特征权重、以及点云特征权重，进行加权求和处理。
在其中一个实施例中，所述确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征之后，该装置还包括：
对应关系建立模块，用于建立图像特征与标准特征的第一对应关系，以及点云特征与标准特征的第二对应关系；
第二确定模块，用于基于所述第一对应关系，确定与当前标准特征对应的图像特征，基于所述第二对应关系，确定与当前标准特征对应的点云特征。
上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：
获取具有对应关系的待检测图像以及点云数据；
对所述待检测图像进行特征提取，得到多个图像特征；对所述点云数据进行特征提取，得到多个点云特征；
确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；
针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；
基于所述融合特征，对所述待检测图像进行目标检测。
2.根据权利要求1所述的方法，其特征在于，所述确定与各图像特征对应的标准特征，包括：
确定所述待检测图像的采集设备的设备参数；
针对各图像特征，基于所述设备参数，确定所述图像特征对应的特征矩阵；从三维空间特征集合中确定与所述特征矩阵对应的三维空间特征，将所述三维空间特征作为所述图像特征对应的标准特征。
3.根据权利要求1所述的方法，其特征在于，所述确定与各点云特征对应的标准特征，包括：
针对各点云特征，确定所述点云特征中包含的空间位置信息，确定三维空间特征集合中各三维空间特征中包含的空间位置信息，将与所述点云特征的空间位置信息相同的三维空间特征作为与所述点云特征对应的标准特征。
4.根据权利要求1所述的方法，其特征在于，所述将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征，包括：
通过注意力机制，确定与所述当前标准特征对应的图像特征的图像特征权重，并确定与所述当前标准特征对应的点云特征的点云特征权重；
基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理；
基于处理结果确定所述融合特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述图像特征权重、点云特征权重、与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征，进行加权求和处理，包括：
将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征的特征矩阵调整为相同大小的特征矩阵；
基于调整后的所述当前标准特征对应的图像特征的特征矩阵、调整后的所述当前标准特征对应的点云特征的特征矩阵、所述图像特征权重、以及点云特征权重，进行加权求和处理。
6.根据权利要求1所述的方法，其特征在于，所述确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征之后，所述方法还包括：
建立图像特征与标准特征的第一对应关系，以及点云特征与标准特征的第二对应关系；
基于所述第一对应关系，确定与当前标准特征对应的图像特征，基于所述第二对应关系，确定与当前标准特征对应的点云特征。
7.一种目标检测装置，其特征在于，所述装置包括：
获取模块，用于获取具有对应关系的待检测图像以及点云数据；
特征提取模块，用于对所述待检测图像进行特征提取，得到多个图像特征；对所述点云数据进行特征提取，得到多个点云特征；
第一确定模块，用于确定与各图像特征对应的标准特征，并确定与各点云特征对应的标准特征；
特征融合模块，用于针对各标准特征，将与当前标准特征对应的图像特征以及与当前标准特征对应的点云特征进行特征融合，得到融合特征；
目标检测模块，用于基于所述融合特征，对所述待检测图像进行目标检测。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311423592.3A 2023-10-30 2023-10-30 目标检测方法、装置、计算机设备和存储介质 Pending CN117456493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311423592.3A CN117456493A (zh) 2023-10-30 2023-10-30 目标检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311423592.3A CN117456493A (zh) 2023-10-30 2023-10-30 目标检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117456493A true CN117456493A (zh) 2024-01-26

Family

ID=89586980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311423592.3A Pending CN117456493A (zh) 2023-10-30 2023-10-30 目标检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117456493A (zh)

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN105894551B (zh) 图像绘制方法及装置
CN111753698A (zh) 一种多模态三维点云分割***和方法
CN116740668B (zh) 三维目标检测方法、装置、计算机设备和存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN113689578A (zh) 一种人体数据集生成方法及装置
CN113240736A (zh) 基于yolo6d改进网络的位姿估计方法及装置
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及***
CN117579753A (zh) 三维扫描方法、装置、计算机设备以及存储介质
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN115909268A (zh) 一种动态障碍物检测方法及装置
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN116740669B (zh) 多目图像检测方法、装置、计算机设备和存储介质
CN116012805B (zh) 目标感知方法、装置、计算机设备、存储介质
WO2024032101A1 (zh) 特征地图生成方法、装置、存储介质和计算机设备
CN116758206A (zh) 矢量数据的融合渲染方法、装置、计算机设备、存储介质
CN117456493A (zh) 目标检测方法、装置、计算机设备和存储介质
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN113065521B (zh) 物体识别方法、装置、设备及介质
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN116758517B (zh) 基于多目图像的三维目标检测方法、装置和计算机设备
CN115861316B (zh) 行人检测模型的训练方法及其装置、行人检测方法
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置
CN117576645B (zh) 基于bev视角的车位检测方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination