CN110706288A - 目标检测的方法、装置、设备及可读存储介质 - Google Patents

目标检测的方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110706288A
CN110706288A CN201910957822.1A CN201910957822A CN110706288A CN 110706288 A CN110706288 A CN 110706288A CN 201910957822 A CN201910957822 A CN 201910957822A CN 110706288 A CN110706288 A CN 110706288A
Authority
CN
China
Prior art keywords
point
data
coordinate system
target
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910957822.1A
Other languages
English (en)
Inventor
周康明
郭义波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201910957822.1A priority Critical patent/CN110706288A/zh
Publication of CN110706288A publication Critical patent/CN110706288A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供一种目标检测的方法、装置、设备及可读存储介质，该方法包括：获取待检测目标在像素坐标系下的中心点数据以及待检测目标在相机坐标系下的点云数据；获取中心点数据在相机坐标系下的转换数据；根据转换数据和中心点数据确定在相机坐标系下与中心点数据关联的点集；以点集中的每个点为中心点生成对应的三维锚点框；对落在三维锚点框内的点云数据进行目标检测。本发明实施例提供的方法，限制了三维锚点框只在部分相机空间生成，因此，生成的三维锚点框的数量减少，降低了后期锚点框与真实目标检测框的匹配计算量，加快了匹配速度，提高了目标检测效率。

Description

目标检测的方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及目标检测领域，尤其涉及一种目标检测的方法、装置、设备及可读存储介质。
背景技术
随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行检测的研究越来越热门，目标检测在智能化交通***、智能监控***、军事目标检测、医学保健等领域具有广泛的应用价值。
现有技术中的目标检测方法都采用了预先生成锚点框的手段，利用锚点框与真实目标检测框进行比对，为每个锚点框打标签，将锚点框分为正类和负类，再将待检测目标的特征图输入至分类模型中，将得到的正类结果再输入至回归模型，最后利用非极大值抑制算法选取最优结果。对于二维目标检测，锚点框的生成方法比较简单，例如：在待检测目标特征图的每个点上生成9个锚点框，9个锚点框面积大小不同，分别包含三种长宽比，即1:2、2:1、1:1。
然而，不同于二维目标检测只检测目标在二维像素平面上的中心点坐标、长和宽，三维目标检测需要检测目标的长、宽、高以及三维中心点坐标和偏航角。针对三维目标的检测，现有适合二维目标检测的锚点框的生成方法并不适用，具体表现为，在三维空间生成的锚点框数量庞大，造成后期锚点框与真实目标检测框的匹配计算量巨大，匹配速度慢，目标检测效率不高。
发明内容
本发明实施例提供一种目标检测的方法、装置、设备及可读存储介质，用以解决现有的目标检测方法中在三维空间生成的锚点框数量庞大，导致后期锚点框与真实目标检测框的匹配计算量巨大，匹配速度不快，目标检测效率不高的技术问题。
第一方面，本发明实施例提供一种目标检测的方法，包括：
获取待检测目标在像素坐标系下的中心点数据；
获取待检测目标在相机坐标系下的点云数据；
获取所述中心点数据在所述相机坐标系下的转换数据；
根据所述转换数据和所述中心点数据确定在所述相机坐标系下与所述中心点数据关联的点集；
以所述点集中的每个点为中心点生成对应的三维锚点框；
对落在所述三维锚点框内的所述点云数据进行目标检测。
进一步地，如上所述的方法，所述获取所述中心点数据在相机坐标系下的转换数据，包括：
以预设间隔在相机坐标系的Z轴上进行取值，以得到每个深度坐标值；将每个深度坐标值确定为所述转换数据。
进一步地，如上所述的方法，所述中心点数据为中心点坐标值，所述根据所述转换数据和所述中心点数据确定在相机坐标系下与所述中心点数据关联的点集，包括：
将所述中心点坐标值和每个深度坐标值分别输入到变换公式中，以输出每个点对应的横向坐标值和纵向坐标值；
将每个点对应的深度坐标值，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值；
将所述对应点的坐标值组成所述点集。
进一步地，如上所述的方法，所述以所述点集中的每个点为中心点生成对应的三维锚点框，包括：
获取所述三维锚点框预设的尺度数据；
以所述每个点为中心点，生成与所述尺度数据相匹配的至少一个三维锚点框；
其中，所述预设的尺度数据包括：长度、宽度和高度。
进一步地，如上所述的方法，所述获取待检测目标在像素坐标系下的中心点数据，包括：
获取待检测目标在像素坐标系下的二维框坐标数据；
根据所述二维框坐标数据计算所述中心点数据。
进一步地，如上所述的方法，所述获取待检测目标在相机坐标系下的点云数据，包括：
获取所述待检测目标返回的激光点云数据；
将所述激光点云数据由激光雷达坐标系转换到相机坐标系下，以获得所述相机坐标系下的点云数据。
第二方面，本发明实施例提供一种目标检测的装置，包括：
中心点数据获取模块，用于获取待检测目标在像素坐标系下的中心点数据；
点云数据获取模块，用于获取待检测目标在相机坐标系下的点云数据；
转换数据获取模块，用于获取所述中心点数据在所述相机坐标系下的转换数据；
确定模块，用于根据所述转换数据和所述中心点数据确定在所述相机坐标系下与所述中心点数据关联的点集；
生成模块，用于以所述点集中的每个点为中心点生成对应的三维锚点框；
检测模块，用于对落在所述三维锚点框内的所述点云数据进行目标检测。
进一步地，如上所述的装置，所述转换数据获取模块，包括：
取值子模块，用于以预设间隔在相机坐标系的Z轴上进行取值，以得到每个深度坐标值；
确定子模块，用于将所述每个深度坐标值确定为所述转换数据。
进一步地，如上所述的装置，所述中心点数据为中心点坐标值，所述确定模块具体用于：
将所述中心点坐标值和每个深度坐标值分别输入到变换公式中，以输出每个点对应的横向坐标值和纵向坐标值；将每个点对应的深度坐标值，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值；将所述对应点的坐标值组成所述点集。
进一步地，如上所述的装置，所述生成模块，具体用于：
获取所述三维锚点框预设的尺度数据；以所述每个点为中心点，生成与所述尺度数据相匹配的至少一个三维锚点框；其中，所述预设的尺度数据包括：长度、宽度和高度。
进一步地，如上所述的装置，所述中心点数据获取模块，具体用于：
获取待检测目标在像素坐标系下的二维框坐标数据；根据所述二维框坐标数据计算所述中心点数据。
进一步地，如上所述的装置，所述点云数据获取模块，具体用于：
获取所述待检测目标返回的激光点云数据；将所述激光点云数据由激光雷达坐标系转换到相机坐标系下，以获得所述相机坐标系下的点云数据。
第三方面，本发明实施例提供一种电子设备，包括：存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。
本发明实施例提供一种目标检测的方法、装置、设备及可读存储介质，将二维坐标系下待检测目标的中心点数据变换到三维相机坐标系下与该中心点数据关联的点集，以点集中的每个点为中心点生成对应的三维锚点框，对落在三维锚点框内的待检测目标的点云数据进行目标检测。本发明实施例提供的目标检测的方法、装置、设备及可读存储介质，通过将二维坐标系下待检测目标的中心点数据变换到三维相机坐标系下与该中心点数据关联的点集，并以点集中的每个点为中心点生成对应的三维锚点框，限制了三维锚点框只在部分相机空间生成，因此，生成的三维锚点框的数量减少，降低了后期锚点框与真实目标检测框的匹配计算量，加快了匹配速度，提高了目标检测效率。
应当理解，上述发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的目标检测的方法的流程图；
图2为本发明实施例二提供的目标检测的方法的流程图；
图3为本发明实施例三提供的目标检测的装置的结构示意图；
图4为本发明实施例四提供的目标检测的装置的结构示意图；
图5为本发明实施例五提供的一种电子设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
本发明实施例的说明书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本发明实施例所涉及的名词进行解释：
偏航角：偏离航线的角度，指物体在运动过程中的航向向量在地理坐标xoy平面上的投影与x轴的夹角，该x轴的正方向为从左到右。
图1为本发明实施例一提供的目标检测的方法的流程图，如图1所示，本实施例提供的目标检测的方法包括以下步骤。
步骤101，获取待检测目标在像素坐标系下的中心点数据。
其中，待检测目标可以为车辆，行人或其他运动或静止的物体，本实施例中对此不作限定。
具体地，本实施例中，获取待检测目标在像素坐标系下的中心点数据可以为：首先获取待检测目标的图像，然后对图像进行处理获取待检测目标在像素坐标系下的中心点数据。
可选地，获取待检测目标的图像的方式可以为采用图像采集传感器采集待检测目标的图像，或者从待检测目标图像的存储设备中获取待检测目标的图像。
在图像进行处理获取待检测目标在像素坐标系下的中心点数据时，作为一种可选实施方式，提取待检测目标的轮廓信息，确定待检测目标轮廓的中心点，将该中心点数据作为待检测目标在像素坐标系下的中心点数据。或者作为另一种可选实施方式，采用二维目标检测算法，将待检测目标图像输入二维目标检测算法中，二维目标检测算法对待检测目标进行检测，可输出二维框坐标数据，二维框框住待检测目标。采用二维框坐标数据确定待检测目标在像素坐标系下的中心点数据。
其中，二维目标检测算法的类型不作限定。
值的说明的是，获取待检测目标在像素坐标系下的中心点数据还可以为其他方式，本实施例中对此不做限定。
步骤102，获取待检测目标在相机坐标系下的点云数据。
具体地，待检测目标的点云数据携带有待检测目标的信息，可以通过对待检测目标返回的激光雷达坐标系下的激光点云数据进行坐标系的变换获取待检测目标在相机坐标系下的点云数据。
步骤103，获取中心点数据在相机坐标系下的转换数据。
具体地，在相机坐标系下的Z轴上以一定的间隔进行取值，上述一系列取值称为中心点数据在相机坐标系下的转换数据。
步骤104，根据转换数据和中心点数据确定在相机坐标系下与中心点数据关联的点集。
具体地，点集的确定方式如下：
将中心点数据和步骤103中获取的中心点数据在相机坐标系下的转换数据输入到坐标系变换公式中，以输出每个中心点数据对应的横向坐标值和纵向坐标值；
并将每个点对应的中心点数据在相机坐标系下的转换数据，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值，则上述多个对应点的坐标值组成点集。
步骤105，以点集中的每个点为中心点生成对应的三维锚点框。
具体地，在相机坐标系下，以点集中的每个点为中心点，以与待检测目标同类的物体的尺度数据为输入，生成与该尺度数据对应的三维锚点框。每个中心点生成的三维锚点框的数量可根据实际应用需求进行限定。三维锚点框均匀分布在中心点周围。
步骤106，对落在三维锚点框内的点云数据进行目标检测。
具体地，待检测目标的点云数据分布在三维相机空间内，本实施例仅对落入三维锚点框内的点云数据进行目标检测。
其中，目标检测的方法有多种，例如：Faster-R-CNN(Faster-Region-Convolutional Neural Networks)、SDD(Single Shot MultiBox Detector)等目标检测方法，此处不做具体限定，只要能根据该目标检测方法完成对落入三维锚点框内的待检测目标的点云数据进行有效检测即可。
本发明实施例提供一种目标检测的方法，将二维坐标系下待检测目标的中心点数据变换到三维相机坐标系下与该中心点数据关联的点集，以点集中的每个点为中心点生成对应的三维锚点框，对落在三维锚点框内的待检测目标的点云数据进行目标检测。通过将二维坐标系下待检测目标的中心点数据变换到三维相机坐标系下与该中心点数据关联的点集，并以点集中的每个点为中心点生成对应的三维锚点框，限制了三维锚点框只在部分相机空间生成，因此，生成的三维锚点框的数量减少，降低了后期锚点框与真实目标检测框的匹配计算量，加快了匹配速度，提高了目标检测效率。
图2为本发明实施例二提供的目标检测的方法的流程图，如图2所示，本实施例提供的目标检测的方法是在图1所示实施例提供的目标检测的方法的基础上，对其步骤101-步骤106进行进一步细化，则本实施例提供的目标检测的方法包括以下步骤。
步骤201，获取待检测目标在像素坐标系下的二维框坐标数据。
具体地，本实施例中，首先，获取待检测目标的图像信息，获取方式可以通过具有图像采集传感器的电子设备进行采集获取，电子设备此处不做具体限制，可以是相机、手机、平板电脑等等。
然后，将获取到的待检测目标的图像信息进行处理，处理的方法是运用二维目标检测算法，例如：Faster-R-CNN(Faster-Region-Convolutional Neural Networks)方法，对图像信息进行检测，以获取待检测目标的二维框坐标数据。
可选地，将获取的待检测目标的二维框坐标数据记为(x1,y1,x2,y2)，其中，(x1,y1)表示待检测目标的二维框在像素坐标系下左上角的横坐标值和纵坐标值，(x2,y2)表示待检测目标的二维框在像素坐标系下右下角的横坐标值和纵坐标值。
步骤202，获取待检测目标在像素坐标系下的中心点数据。
在本实施例中，根据步骤201中获取的待检测目标的二维框坐标数据(x1,y1,x2,y2)计算待检测目标在像素坐标系下的中心点数据。
具体地，在像素坐标系下，将中心点数据表示为(x,y)。
其中，x表示中心点数据的横坐标值，y表示中心点数据的纵坐标值，则x＝(x1+x2)/2，y＝(y1+y2)/2。
由此，得到待检测目标在像素坐标系下的中心点数据为((x1+x2)/2，(y1+y2)/2)。
步骤203，获取待检测目标返回的激光点云数据，将激光点云数据由激光雷达坐标系转换到相机坐标系下，以获得待检测目标在相机坐标系下的点云数据。
具体地，本实施例中，首先，由激光器发射激光至待检测目标上，并接收待检测目标返回的激光点云数据，该激光点云数据是在激光雷达坐标系下以三维坐标形式表征的一种数据。
其次，根据激光雷达坐标系到相机坐标系的转换公式，将激光雷达坐标系下的待检测目标的激光点云数据转换为相机坐标系下的待检测目标的激光点云数据。该转换公式为现有坐标系间的转换公式。
步骤204，获取中心点数据在相机坐标系下的转换数据。
可选地，步骤204包括以下步骤：
步骤2041，以预设间隔在相机坐标系的Z轴上进行取值，以得到每个深度坐标值。
步骤2042，将每个深度坐标值确定为转换数据。
具体地，本实施例中，在相机坐标系的Z轴上，以预设间隔a进行取值得到深度坐标值Zc，每一个a对应一个Zc，该Zc即为中心点数据在相机坐标系下的转换数据。
可选地，预设间隔a的取值可根据待检测目标的长度和宽度来设置。如预设间隔a可以为0.5m，1m或者其他适宜数值，本实施例中对此不作限定。
可选地，深度坐标值Zc的最大取值不超过待检测目标的长度。
步骤205，根据转换数据和中心点数据确定在相机坐标系下与中心点数据关联的点集。
可选地，步骤205包括以下步骤：
步骤2051，将中心点坐标值和每个深度坐标值分别输入到变换公式中，以输出每个点对应的横向坐标值和纵向坐标值。
步骤2052，将每个点对应的深度坐标值，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值。
步骤2053，将所有对应点的坐标值组成点集。
具体地，本实施例中，中心点数据为步骤202中获取的中心点坐标值，即((x1+x2)/2，(y1+y2)/2)，转换数据为步骤205中获取的多个深度坐标值Zc。
首先，根据像素坐标系到相机坐标系的变换公式，
Figure BDA0002227925040000091
其中，f，
Figure BDA0002227925040000092
u0，v0均为相机内参，f表示相机焦距，
Figure BDA0002227925040000093
表示x轴方向上1毫米物理单位所包含的像素个数，
Figure BDA0002227925040000094
表示y轴方向上1毫米物理单位所包含的像素个数；u0，v0表示物理图像坐标系的原点在像素坐标系下的位置。
将中心点坐标值(x，y)和深度坐标值Zc输入到坐标系变换公式(1)中，其中，
变参u和v即对应中心点坐标值的x和y，相机内参f、
Figure BDA0002227925040000101
u0，v0可以通过查询相机出厂参数或人工标定方式获取，由此可得在相机坐标系下与每一个Zc值对应的中心点坐标值的横向坐标值Xc和纵向坐标值Yc。
其次，在相机坐标系下将计算得到的横向坐标值Xc和纵向坐标值Yc以及与其对应的深度坐标值Zc构成对应点的坐标值，即像素坐标系下待检测目标的中心点坐标值映射为相机坐标系下多个对应点(Xc，Yc，Zc)，上述多个对应点的坐标值组成了点集。
步骤206，以点集中的每个点为中心点生成对应的三维锚点框。
可选地，步骤206包括以下步骤：
步骤2061，获取三维锚点框预设的尺度数据。
步骤2062，以每个点为中心点，生成与尺度数据相匹配的至少一个三维锚点框。
其中，预设的尺度数据包括：长度、宽度和高度。
具体地，本实例中，首先，从与待检测目标同类的训练集中获取与待检测目标同类的物体的尺度数据，该尺度数据包括物体的长度、宽度和高度。
可选地，若待检测目标为一辆车，则预设的尺度数据为车辆的长度、宽度和高度。显然，待检测目标还可以为其他物体，此处不做具体限定。
其次，在相机坐标系下，以步骤206中得到的点集中的每个点为中心点，生成与尺度数据对应的三维锚点框，即三维锚点框的长度、宽度和高度为尺度数据的长度、宽度和高度。每个中心点生成的三维锚点框的数量可根据实际应用需求进行限定。
可选地，例如生成12个三维锚点框，则锚点框的偏航角θ计算公式如下：
Figure BDA0002227925040000102
其中，n的取值范围为：n∈[0,11]，且n为正整数。
可选地，生成的三维锚点框均匀分布在中心点周围。
步骤207，对落在三维锚点框内的点云数据进行目标检测。
具体地，本实施例中，首先，将落在三维锚点框内的点云数据输入至卷积神经网络，例如：point net网络，对点云数据进行特征提取，得到特征图。通过该步骤，将每个锚点框内不同点数的点云转化为具有相同维度的浅层特征图。
其次，对上述浅层特征图做拼接，并将拼接后的浅层特征图输入至全卷积神经网络，得到深层特征图。
再次，将深层特征图输入至检测头和回归头，该检测头可以是现有卷积神经网络的常用模型，此处不做具体限定，通过检测头对深层特征图进行二分类。在分类之前，还需要对检测头进行训练，训练的数据集使用的是步骤206中生成的多个三维锚点框，计算每个锚点框与待检测目标的真实检测框的交并比，根据交并比的结果和设定阈值对上述每个锚点框打标签，将锚点框分为正类和负类。
可选地，考虑到正类样本数量少，负类样本数量多的情况，可以在训练时进行筛选，即减少负类样本数量，使得正类样本与负类样本的比值在合理的范围内，以便提高检测头的输出准确率。
进一步地，当训练完毕的检测头对深层特征图进行检测时，可以得到正类的锚点框和负类的锚点框。
最后，对检测头中输出的正类锚点框进行回归，通过非极大值抑制算法选取最优的锚点框。
本发明实施例提供的目标检测的方法，通过将二维坐标系下待检测目标的中心点数据变换到三维相机坐标系下与该中心点数据关联的点集，并以点集中的每个点为中心点生成对应的三维锚点框，限制了三维锚点框只在部分相机空间生成，因此，生成的三维锚点框的数量减少，降低了后期锚点框与真实目标检测框的匹配计算量，加快了匹配速度，提高了目标检测效率。此外，根据相机成像原理可知，相机坐标系下待检测目标的中心点必定与上述点集中的某一点比较接近，以这些点为中心点生成的三维锚点框能够覆盖待检测目标，同时更加接近于待检测目标的真实检测框，有利于提高目标检测的准确性。
图3为本发明实施例三提供的目标检测的装置的结构示意图，如图3所示，本实施例提供的目标检测的装置包括：
中心点数据获取模块10、点云数据获取模块15、转换数据获取模块11、确定模块12、生成模块13和检测模块14，其中，
中心点数据获取模块10，用于获取待检测目标在像素坐标系下的中心点数据。
具体地，本实施例中，中心点数据获取模块可以通过待检测目标在像素坐标系下的二维框坐标数据进行计算获取。
点云数据获取模块15，用于获取待检测目标在相机坐标系下的点云数据。
具体地，本实施例中，点云数据获取模块可以通过对待检测目标返回的激光雷达坐标系下的激光点云数据进行坐标系的变换获取待检测目标在相机坐标系下的点云数据。
转换数据获取模块11，用于获取中心点数据在相机坐标系下的转换数据。
具体地，本实施例中，转换数据获取模块，在相机坐标系下的Z轴上以一定的间隔进行取值，上述一系列取值称为中心点数据在相机坐标系下的转换数据。
确定模块12，用于根据转换数据和中心点数据确定在相机坐标系下与中心点数据关联的点集。
具体地，本实施例中，将中心点数据和中心点数据在相机坐标系下的转换数据输入到坐标系变换公式中，以输出每个中心点数据对应的横向坐标值和纵向坐标值；并将每个点对应的中心点数据在相机坐标系下的转换数据，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值，则上述多个对应点的坐标值组成点集。
生成模块13，用于以点集中的每个点为中心点生成对应的三维锚点框。
具体地，本实施例中，在相机坐标系下，以点集中的每个点为中心点，以与待检测目标同类的物体的尺度数据为输入，生成与该尺度数据对应的三维锚点框。每个中心点生成的三维锚点框的数量可根据实际应用需求进行限定。
检测模块14，用于对落在三维锚点框内的点云数据进行目标检测。
具体地，本实施例中，待检测目标的点云数据分布在三维相机空间内，仅对落入三维锚点框内的点云数据进行目标检测。检测方法可以使用Faster-R-CNN(Faster-Region-Convolutional Neural Networks)、SDD(Single Shot MultiBox Detector)等目标检测方法，此处不做具体限定，只要能根据该目标检测方法完成对落入三维锚点框内的待检测目标的点云数据进行有效检测即可。
其中，中心点数据获取模块10与转换数据获取模块11连接，转换数据获取模块11与确定模块12连接，生成模块13分别与确定模块12和点云数据获取模块15以及检测模块14连接。
本实施例提供的目标检测装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4为本发明实施例四提供的目标检测的装置的结构示意图，如图4所示，本实施例提供的目标检测的装置是在图3所示实施例提供的目标检测的装置的基础上，对其进行进一步细化，则本实施例提供的目标检测的装置包括：
中心点数据获取模块10、点云数据获取模块15、转换数据获取模块11、确定模块12、生成模块13和检测模块14，其中，
中心点数据获取模块10，用于获取待检测目标在像素坐标系下的中心点数据；
点云数据获取模块15，用于获取待检测目标在相机坐标系下的点云数据；
转换数据获取模块11，用于获取中心点数据在相机坐标系下的转换数据
确定模块12，用于根据转换数据和中心点数据确定在相机坐标系下与中心点数据关联的点集；
生成模块13，用于以点集中的每个点为中心点生成对应的三维锚点框；
检测模块14，用于对落在三维锚点框内的点云数据进行目标检测。
进一步地，转换数据获取模块11，具体包括：
取值子模块11a，用于以预设间隔在相机坐标系的Z轴上进行取值，以得到每个深度坐标值；
确定子模块11b，用于将每个深度坐标值确定为转换数据。
其中，确定子模块11b分别与中心点数据获取模块10、取值子模块11a以及确定模块12连接，生成模块13分别与确定模块12和点云数据获取模块15以及检测模块14连接。
进一步地，中心点数据为中心点坐标值，确定模块12，具体用于：
将中心点坐标值和每个深度坐标值分别输入到变换公式中，以输出每个点对应的横向坐标值和纵向坐标值；将每个点对应的深度坐标值，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值；将对应点的坐标值组成点集。
进一步地，生成模块13，具体用于：
获取三维锚点框预设的尺度数据；以每个点为中心点，生成与尺度数据相匹配的至少一个三维锚点框；其中，预设的尺度数据包括：长度、宽度和高度。
进一步地，中心点数据获取模块10，具体用于：
获取待检测目标在像素坐标系下的二维框坐标数据；根据二维框坐标数据计算中心点数据。
进一步地，点云数据获取模块15，具体用于：
获取待检测目标返回的激光点云数据；将激光点云数据由激光雷达坐标系转换到相机坐标系下，以获得相机坐标系下的点云数据。本实施例提供的目标检测装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例五提供的一种电子设备的结构示意图，如图5所示，本实施例提供的电子设备包括：存储器1001，处理器1002以及计算机程序。
其中，计算机程序存储在存储器1001中，并被配置为由处理器1002执行以实现本发明图1-图2所对应的任一实施例提供的目标检测的方法。
其中，存储器1001和处理器1002通过总线1003连接。
相关说明可以对应参见图1至图2的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
本发明一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明图1-图2所对应的任一实施例提供的目标检测的方法。
其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取待检测目标在像素坐标系下的中心点数据；
获取待检测目标在相机坐标系下的点云数据；
获取所述中心点数据在所述相机坐标系下的转换数据；
根据所述转换数据和所述中心点数据确定在所述相机坐标系下与所述中心点数据关联的点集；
以所述点集中的每个点为中心点生成对应的三维锚点框；
对落在所述三维锚点框内的所述点云数据进行目标检测。
2.根据权利要求1所述的方法，其特征在于，所述获取所述中心点数据在相机坐标系下的转换数据，包括：
以预设间隔在相机坐标系的Z轴上进行取值，以得到每个深度坐标值；
将每个深度坐标值确定为所述转换数据。
3.根据权利要求1所述的方法，其特征在于，所述中心点数据为中心点坐标值，
所述根据所述转换数据和所述中心点数据确定在相机坐标系下与所述中心点数据关联的点集，包括：
将所述中心点坐标值和每个深度坐标值分别输入到变换公式中，以输出每个点对应的横向坐标值和纵向坐标值；
将每个点对应的深度坐标值，横向坐标值和纵向坐标值构成在相机坐标系下对应点的坐标值；
将所述对应点的坐标值组成所述点集。
4.根据权利要求1所述的方法，其特征在于，所述以所述点集中的每个点为中心点生成对应的三维锚点框，包括：
获取所述三维锚点框预设的尺度数据；
以所述每个点为中心点，生成与所述尺度数据相匹配的至少一个三维锚点框；
其中，所述预设的尺度数据包括：长度、宽度和高度。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取待检测目标在像素坐标系下的中心点数据，包括：
获取待检测目标在像素坐标系下的二维框坐标数据；
根据所述二维框坐标数据计算所述中心点数据。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取待检测目标在相机坐标系下的点云数据，包括：
获取所述待检测目标返回的激光点云数据；
将所述激光点云数据由激光雷达坐标系转换到相机坐标系下，以获得所述相机坐标系下的点云数据。
7.一种目标检测的装置，其特征在于，包括：
中心点数据获取模块，用于获取待检测目标在像素坐标系下的中心点数据；
点云数据获取模块，用于获取待检测目标在相机坐标系下的点云数据；
转换数据获取模块，用于获取所述中心点数据在所述相机坐标系下的转换数据；
确定模块，用于根据所述转换数据和所述中心点数据确定在所述相机坐标系下与所述中心点数据关联的点集；
生成模块，用于以所述点集中的每个点为中心点生成对应的三维锚点框；
检测模块，用于对落在所述三维锚点框内的所述点云数据进行目标检测。
8.根据权利要求7所述的装置，其特征在于，所述转换数据获取模块包括：
取值子模块，用于以预设间隔在相机坐标系的Z轴上进行取值，以得到每个深度坐标值；
确定子模块，用于将所述每个深度坐标值确定为所述转换数据。
9.一种电子设备，其特征在于，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6中任一项所述的方法。
CN201910957822.1A 2019-10-10 2019-10-10 目标检测的方法、装置、设备及可读存储介质 Pending CN110706288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957822.1A CN110706288A (zh) 2019-10-10 2019-10-10 目标检测的方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957822.1A CN110706288A (zh) 2019-10-10 2019-10-10 目标检测的方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110706288A true CN110706288A (zh) 2020-01-17

Family

ID=69200152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957822.1A Pending CN110706288A (zh) 2019-10-10 2019-10-10 目标检测的方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110706288A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401190A (zh) * 2020-03-10 2020-07-10 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN112102409A (zh) * 2020-09-21 2020-12-18 杭州海康威视数字技术股份有限公司 目标检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597009A (zh) * 2018-04-10 2018-09-28 上海工程技术大学 一种基于方向角信息进行三维目标检测的方法
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN109784333A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及***
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110168559A (zh) * 2017-12-11 2019-08-23 北京嘀嘀无限科技发展有限公司 用于识别和定位车辆周围物体的***和方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168559A (zh) * 2017-12-11 2019-08-23 北京嘀嘀无限科技发展有限公司 用于识别和定位车辆周围物体的***和方法
CN108597009A (zh) * 2018-04-10 2018-09-28 上海工程技术大学 一种基于方向角信息进行三维目标检测的方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN109784333A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及***
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BUYU LI等: ""GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving"", 《ARXIV》 *
赵华卿等: ""三维目标检测中的先验方向角估计"", 《传感器与微***》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401190A (zh) * 2020-03-10 2020-07-10 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN112102409A (zh) * 2020-09-21 2020-12-18 杭州海康威视数字技术股份有限公司 目标检测方法、装置、设备及存储介质
CN112102409B (zh) * 2020-09-21 2023-09-01 杭州海康威视数字技术股份有限公司 目标检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
CN108198145B (zh) 用于点云数据修复的方法和装置
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及***
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN105335955A (zh) 对象检测方法和对象检测装置
CN111699410B (zh) 点云的处理方法、设备和计算机可读存储介质
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN110349186B (zh) 基于深度匹配的大位移运动光流计算方法
CN111142514B (zh) 一种机器人及其避障方法和装置
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN110751677A (zh) 一种基于改进cmt算法的视觉振动测量方法和设备
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN111724432B (zh) 物体三维检测方法和装置
CN114092771A (zh) 多传感数据融合方法、目标检测方法、装置和计算机设备
CN117292076A (zh) 工程机械局部作业场景动态三维重构方法及***
CN111862208A (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及***
CN113884025B (zh) 增材制造结构光回环检测方法、装置、电子设备和存储介质
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
CN113808196A (zh) 平面融合定位方法、装置、电子设备及存储介质
CN109089100B (zh) 一种双目立体视频的合成方法
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220920