CN111950543A - 一种目标检测方法和装置 - Google Patents

一种目标检测方法和装置 Download PDF

Info

Publication number
CN111950543A
CN111950543A CN201910397246.XA CN201910397246A CN111950543A CN 111950543 A CN111950543 A CN 111950543A CN 201910397246 A CN201910397246 A CN 201910397246A CN 111950543 A CN111950543 A CN 111950543A
Authority
CN
China
Prior art keywords
pixels
target
depth
bounding box
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910397246.XA
Other languages
English (en)
Inventor
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910397246.XA priority Critical patent/CN111950543A/zh
Publication of CN111950543A publication Critical patent/CN111950543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对采集到的原始图像进行图像检测，以获得原始图像中目标的类别信息以及边界框；基于原始图像对应的深度信息，将边界框内归属于同一目标的像素进行聚类，以对边界框内的目标进行区域划分；统计边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据区域确定目标的位置信息。该方法通过对原始图像进行图像检测得到边界框，并采用聚类的方式对边界框进行区域划分后，结合统计出的边界框内像素的深度值，过滤去除边界框内的非目标区域，保留目标区域，提升了包罗目标的边界框的精度，进而提升了目标检测的精度。

Description

一种目标检测方法和装置
技术领域
本发明涉及计算机领域，尤其涉及一种目标检测方法和装置。
背景技术
无人驾驶车辆在道路行驶的过程中面临如何去规避障碍物的问题，目标检测是无人驾驶车辆与周围环境交互的重要组成部分，也是其进行行为预测与决策规划的主要依据，目标检测的效果好坏将直接影响到无人驾驶车辆整体的性能水平。目前广泛采用的目标检测方法包括：基于激光雷达的目标检测、基于毫米波雷达的目标检测、基于单目的目标检测等。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
基于激光雷达的目标检测，传感器本身成本较高，不容易得到目标的类别信息，远距离目标的识别能力较弱；基于毫米波雷达的目标检测，检测精度低，无法检测到行人；基于单目的目标检测，与激光雷达等标定困难，检测精度低、误差大。
发明内容
有鉴于此，本发明实施例提供一种目标检测方法和装置，通过对原始图像进行图像检测得到边界框，并采用聚类的方式对边界框内的目标进行区域划分后，结合统计出的边界框内像素的深度值，过滤去除边界框内的非目标区域，保留目标区域，提升了包罗目标的边界框的精度，进而提升了目标检测的精度。
为实现上述目的，根据本发明实施例的一个方面，提供了一种目标检测方法。
本发明实施例的一种目标检测方法，包括：对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框；基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分；统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。
可选地，所述统计所述边界框内像素的深度值分布，包括：根据所述边界框内像素的深度值，将所述深度值划分为间隔相同的子区间；遍历所述边界框内像素的深度值，分别统计落在所述子区间的像素数量，以得到所述边界框内像素的深度值分布。
可选地，所述方法还包括：确定所述深度值分布中像素分布最密集的区间，将确定出的所述区间作为所述深度区间。
可选地，所述方法还包括：采用双目相机采集原始图像；所述将所述边界框内归属于同一目标的像素进行聚类，包括：遍历所述边界框内的像素；以双目相机参考系的原点为坐标原点，结合遍历出的任意两个像素的深度值，计算所述两个像素构成的线段与其中一个像素与所述坐标原点构成线段的夹角；若所述夹角大于预设阈值，则所述两个像素归属于同一目标。
可选地，所述根据所述区域确定所述目标的位置信息，包括：将所述区域内的像素转换为点云数据；确定包围所述点云数据的最小三维边界框，所述最小三维边界框的三维坐标即为所述目标的位置信息。
为实现上述目的，根据本发明实施例的另一方面，提供了一种目标检测装置。
本发明实施例的一种目标检测装置，包括：图像检测模块，用于对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框；区域划分模块，用于基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分；统计确定模块，用于统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。
可选地，所述统计确定模块，还用于：根据所述边界框内像素的深度值，将所述深度值划分为间隔相同的子区间；以及遍历所述边界框内像素的深度值，分别统计落在所述子区间的像素数量，以得到所述边界框内像素的深度值分布。
可选地，所述装置还包括：深度区间确定模块，用于确定所述深度值分布中像素分布最密集的区间，将确定出的所述区间作为所述深度区间。
可选地，所述装置还包括：图像采集模块，用于采用双目相机采集原始图像；所述区域划分模块，还用于：遍历所述边界框内的像素；以双目相机参考系的原点为坐标原点，结合遍历出的任意两个像素的深度值，计算所述两个像素构成的线段与其中一个像素与所述坐标原点构成线段的夹角；以及若所述夹角大于预设阈值，则所述两个像素归属于同一目标。
可选地，所述统计确定模块，还用于：将所述区域内的像素转换为点云数据；以及确定包围所述点云数据的最小三维边界框，所述最小三维边界框的三维坐标即为所述目标的位置信息。
为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。
本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种目标检测方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种目标检测方法。
上述发明中的一个实施例具有如下优点或有益效果：通过对原始图像进行图像检测得到边界框，并采用聚类的方式对边界框内的目标进行区域划分后，结合统计出的边界框内像素的深度值，过滤去除边界框内的非目标区域，保留目标区域，提升了包罗目标的边界框的精度，进而提升了目标检测的精度；通过为深度值划分为子区间，并统计落入各子区间的像素数量，得到边界框内像素的深度值分布，进而可以直观的看出像素的分布疏密状态；将像素分布最密集的区间作为深度区间，将该深度区间的像素对应区域提取出来，以精准的获得边界框中仅包含目标的目标区域，进一步提升目标检测精度；采用双目相机获取原始图像，可实现对远距离目标的有效检测，检测精度高，同时降低了相机与激光雷达之间的标定难度；基于深度值进行聚类，聚类效率高；将二维边界框中目标区域的像素转换为三维点云数据，提升了目标检测的稳定性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的目标检测方法的主要步骤的示意图；
图2为根据本发明实施例的目标检测方法的检测原理示意图；
图3是根据本发明实施例的目标检测方法的主要流程示意图；
图4是本发明实施例的判断两个像素是否归属于同一目标的原理示意图；
图5(a)是本发明实施例一中基于CNN对原始图像一进行图像检测的图像检测结果示意图；
图5(b)是本发明实施例一的原始图像一的像素对应的深度图像；
图5(c)是本发明实施例一的区域划分结果示意图；
图6是本发明实施例中区分目标区域以及非目标区域的原理示意图；
图7(a)为本发明实施例二中基于CNN对原始图像二进行图像检测的图像检测结果示意图；
图7(b)为本发明实施例二的将原始图像二的非目标区域过滤后的结果示意图；
图7(c)为本发明实施例二的目标检测结果示意图；
图8是根据本发明实施例的目标检测装置的主要模块的示意图；
图9是本发明实施例可以应用于其中的示例性***架构图；
图10是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的目标检测方法的主要步骤的示意图。如图1所示，本发明实施例的目标检测方法，主要包括如下步骤：
步骤S101：对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框。图像检测是指从图像中定位感兴趣的目标，准确地判断出每个目标的具体类别，并给出每个目标的边界框。可以采用图像检测算法对采集到的原始图像进行图像检测。图像检测算法可分为传统方法和基于CNN(Convolutional Neural Networks，卷积神经网络)的深度学习方法两大类，基于CNN的深度学习方法在检测精度和不同环境下的鲁棒性均优于传统方法。本发明实施例中选用基于CNN的深度学习方法进行图像检测，可得到目标的类别和目标在原始图像上的二维边界框。
步骤S102：基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分。在图像检测所得到的二维边界框内进行逐像素的聚类，并在聚类过程中，基于二维边界框内多个像素对应的深度值，判断两个像素是否归属于同一目标。将二维边界框内归属于同一目标的像素聚为同一类，并可以用相同颜色的像素表示归属于同一物体，以实现对二维边界框内目标的区域划分。
步骤S103：统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。上述步骤中虽然将归属于同一目标的像素聚类到了一起，但是无法排除背景、噪声等非目标区域对目标定位的影响。故实施例中在区域划分的基础上，引入统计学的方法确定二维边界框内多个像素的深度值分布，基于目标占据二维边界框绝大部分面积这一先验知识，将像素分布密集的区域视为目标区域，将像素分布稀疏的区域视为非目标区域，即可实现目标区域与非目标区域的区分。后续可以将该目标区域使用更加精准的二维边界框(即包围目标的最小二维边界框)包围起来，该二维边界框的坐标位置即为目标的位置。也可以将该目标区域内的像素转换为三维点云数据，包围三维点云数据的最小三维边界框即为目标在真实世界中的位置。
图2为根据本发明实施例的目标检测方法的检测原理示意图。如图2所示，本发明实施例的目标检测方法包括：数据输入、检测过程和检测结果。输入数据为双目相机采集的RGB图像和与RGB图像同尺寸且像素对齐的的深度图像。其中，RGB中R代表Red(红色)，G代表Green(绿色)，B代表Blue(蓝色)。检测过程包括基于CNN的图像检测和基于深度值的聚类过程。基于CNN的图像检测可得到目标的类别和在RGB图像上的二维边界框；聚类过程是通过聚类算法在二维边界框内将归属于同一目标的像素聚为同一类，以对边界框进行区域划分；之后基于深度值统计过滤边界框内的背景、噪声区域并保留目标区域；最后将边界框内属于目标区域的像素转换为三维点云数据后，求得包罗这些点云数据的最小三维边界框即为目标在真实世界中的位置。
图3是根据本发明实施例的目标检测方法的主要流程示意图。如图3所示，本发明实施例的目标检测方法，主要包括如下步骤：
步骤S301：采用双目相机采集无人驾驶车辆周边的原始图像，以获取原始图像以及原始图像的像素对应的深度图像。双目立体相机模型根据左右相机输出的两张图像(彩色RGB图像或者灰度图)来计算深度。由原始图像得到深度图像的实现过程可以为：首先对左右图像进行校正，校正后的两张图像位于同一平面且相互平行；对校正后的两张图像进行像素匹配；根据匹配结果计算每个像素的深度，进而得到深度图像。实施例中采用双目立体相机直接输出RGB图像和RGB图像的像素对应的深度图像。
步骤S302：基于CNN的深度学***台的计算能力往往有限，在选用图像检测模型时除了需满足检测精度需求外，还需要考虑轻量化能否达到嵌入式端/移动端可部署的效率指标。基于上述需求，实施例中的图像检测模型可以采用MobileNets模型、Faster-R-CNN系列、SSD(Single Shot MultiBox Detector，单发多盒探测器)系列、Yolo系列等。
其中，MobileNets模型是一组移动端优先的计算机视觉模型，可用于处理各种各样的训练任务，包括分析人脸，检测常见对象，照片定位，以及细粒度的识别任务。该模型采用Depthwise Separable Convolutions(深度可分离卷积)替代传统的3D卷积，减少卷积核的冗余表达，降低模型计算量和参数效率；同时其引入两个超参数宽度因子(WidthMultiplier)和分辨率因子(Resolution Multiplier)，能够在不重新设计模型的情况下，以最小的改动更小更快的模型，满足在运行速度或内存极端要求的场合下的部署需求。实施例中采用SSD-mobilenet-v2模型进行图像检测，并使用Object Detection API(谷歌开源的应用程序接口)实现模型的快速搭建与训练。
Faster-R-CNN创造性地采用卷积网络自行产生候选框，并且和目标检测网络共享卷积网络，使得候选框数目大量减少，候选框的质量也有本质的提高。SSD的主要思路是先通过启发式方法或者CNN网络产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，检测速度快。Yolo是基于回归模型的目标检测算法，具有准确率低，但是检测速度快的特点。
步骤S303：基于与原始图像同尺寸且像素对齐的深度信息，通过聚类算法将边界框内归属于同一目标的像素聚为一类，以对边界框内的目标进行区域划分。在图像检测所得到的二维边界框内进行逐像素的聚类，将归属于同一目标的像素聚为同一类。判断两个像素是否归属于同一目标的具体实现过程如下：采用广度优先遍历(Breadth-FirstSearch，BFS)算法遍历边界框内的全部像素，以双目相机参考系的原点为坐标原点，结合遍历出的任意两个像素的深度值，计算这两个像素构成的线段与其中一个像素与坐标原点构成线段的夹角；若夹角大于预设阈值(thresold)，则这两个像素归属于同一目标；否则，这两像素不属于同一目标。
图4是本发明实施例的判断两个像素是否归属于同一目标的原理示意图。如图4所示，O为坐标原点(即双目相机参考系的原点)，A、B分别为两个像素，每一个像素均对应一个确定的水平方位角；OA与OB之间的夹角β的计算公式如下：
Figure BDA0002058565320000081
式中，d1＝|OA|，为像素A的深度值；d2＝|OB|，为像素B的深度值；α为像素A和像素B的水平方位角之差，为已知值。
若β>thresold，则像素A和像素B归属于同一目标；
若β≤thresold，则像素A和像素B不属于同一目标。
图5(a)是本发明实施例一中基于CNN对原始图像一进行图像检测的图像检测结果示意图；图5(b)是本发明实施例一的原始图像一的像素对应的深度图像；图5(c)是本发明实施例一的区域划分结果示意图。如图5(a)所示，基于CNN的深度学习方法对原始图像一进行图像检测后，得到原始图像一包含的目标为行人，并用白色实线二维边界框包围。如图5(c)所示，对白色实线二维边界框的目标进行聚类后，可以使用相同颜色的像素表示归属于同一物体。
步骤S304：统计边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域。统计深度值分布的具体实现过程为：根据二维边界框内像素的深度值，将深度值划分为间隔相同的子区间；遍历边界框内像素的深度值，分别统计落在各子区间的像素数量，以得到二维边界框内全部像素的深度值分布直方图。在得到深度值分布直方图后，通过滑动窗口法得出像素分布最密集的区间，该区间内的像素即为分布于感兴趣的目标上的像素，其他位置的像素为背景、噪声等非目标区域上的像素。实施例中，将大小固定的窗口从深度值分布直方图的最左边滑动到最右边，且窗口每次滑动一个步长，在滑动过程中包含像素数量最多的位置对应的区间即为像素分布最密集的深度区间。
图6是本发明实施例中区分目标区域和非目标区域的原理示意图。如图6所示，横坐标为深度(depth)，纵坐标为像素数量(quantity)，像素分布密集的子区间(即阴影部分)的像素对应的区域即为目标区域；像素分布稀疏的子区间(即非阴影部分)的像素对应的区域可以为背景、噪声等非目标区域。提取阴影部分的像素对应的区域，过滤非阴影部分的像素对应的区域，由此可将二维边界框中的目标区域与非目标区域区分开来。
步骤S305：将区域内的像素转换为点云数据，确定包围点云数据的最小三维边界框，以基于最小三维边界框确定目标的位置和大小信息。深度图像中的像素与三维点云数据呈一一对应关系，深度图与三维点云数据之间可以相互转换。将二维边界框内目标区域的像素转换为三维点云数据，将这些三维点云数据用能够将其包罗的最小三维边界框包围起来，该最小三维边界框的六维信息(三维坐标、长、宽、高)即为目标在三维空间的位置和大小(即长、宽、高)信息。
图7(a)为本发明实施例二中基于CNN对原始图像二进行图像检测的图像检测结果示意图；图7(b)为本发明实施例二的将原始图像二的非目标区域过滤后的结果示意图；图7(c)为本发明实施例二的目标检测结果示意图。
如图7(a)所示，基于CNN的深度学习方法对原始图像二进行图像检测后，得到原始图像二包含的目标为行人1、行人2、车辆1和车辆2，并分别用白色实线二维边界框包围。
如图7(b)所示，对白色实线二维边界框的目标进行聚类后，统计边界框内像素的深度值分布；基于目标占据白色实线二维边界框中绝大部分面积这一先验知识，将相同颜色面积最大的区域视为目标区域，其他颜色区域视为背景、噪声等非目标区域；将目标区域用白色虚线二维边界框包围，即可得到仅包含目标的更为精确的二维边界框。
如图7(c)所示，过滤背景、噪声等后，将图7(b)中白色虚线二维边界框内目标的像素转换为点云数据，之后用三维边界框包围点云数据。基于三维边界框的坐标即可得到目标的位置，基于三维边界框的长、宽、高即可得到目标的大小信息。
通过本发明实施例的目标检测方法可以看出，通过对原始图像进行图像检测得到边界框，并采用聚类的方式对边界框内的目标进行区域划分后，结合统计出的边界框内像素的深度值，过滤去除边界框内的非目标区域，保留目标区域，提升了包罗目标的边界框的精度，进而提升了目标检测的精度；通过为深度值划分为子区间，并统计落入各子区间的像素数量，得到边界框内像素的深度值分布，进而可以直观的看出像素的分布疏密状态；将像素分布最密集的区间作为深度区间，将该深度区间的像素对应区域提取出来，以精准的获得边界框中仅包含目标的目标区域，进一步提升目标检测精度；采用双目相机获取原始图像，可实现对远距离目标的有效检测，检测精度高，同时降低了相机与激光雷达之间的标定难度；基于深度值进行聚类，聚类效率高；将二维边界框中目标区域的像素转换为三维点云数据，提升了目标检测的稳定性。
图8是根据本发明实施例的目标检测装置的主要模块的示意图。如图8所示，本发明实施例的目标检测装置800，主要包括：
图像检测模块801，用于对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框。图像检测是指从图像中定位感兴趣的目标，准确地判断出每个目标的具体类别，并给出每个目标的边界框。可以采用图像检测算法对采集到的原始图像进行图像检测。图像检测算法可分为传统方法和基于CNN的深度学习方法两大类，基于CNN的深度学习方法在检测精度和不同环境下的鲁棒性均优于传统方法。本发明实施例中选用基于CNN的深度学习方法进行图像检测，可得到目标的类别和目标在原始图像上的二维边界框。
区域划分模块802，用于基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分。在图像检测所得到的二维边界框内进行逐像素的聚类，并在聚类过程中，基于二维边界框内多个像素对应的深度值，判断两个像素是否归属于同一目标。将二维边界框内归属于同一目标的像素聚为同一类，并可以用相同颜色的像素表示归属于同一物体，以实现对二维边界框内目标的区域划分。
统计确定模块803，用于统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。上述模块中虽然将归属于同一目标的像素聚类到了一起，但是无法排除背景、噪声等非目标区域对目标定位的影响。故实施例中在区域划分的基础上，引入统计学的方法确定二维边界框内多个像素的深度值分布，基于目标占据二维边界框绝大部分面积这一先验知识，将像素分布密集的区域视为目标区域，将像素分布稀疏的区域视为非目标区域，即可实现目标区域与非目标区域的区分。后续可以将该目标区域使用更加精准的二维边界框(即包围目标的最小二维边界框)包围起来，该二维边界框的坐标位置即为目标的位置。也可以将该目标区域内的像素转换为三维点云数据，包围三维点云数据的最小三维边界框即为目标在真实世界中的位置。
另外，本发明实施例的目标检测装置800还可以包括：深度区间确定模块和图像采集模块(图8中未示出)。其中，深度区间确定模块，用于确定所述深度值分布中像素分布最密集的区间，将确定出的所述区间作为所述深度区间。图像采集模块，用于采用双目相机采集原始图像。
从以上描述可以看出，通过对原始图像进行图像检测得到边界框，并采用聚类的方式对边界框内的目标进行区域划分后，结合统计出的边界框内像素的深度值，过滤去除边界框内的非目标区域，保留目标区域，提升了包罗目标的边界框的精度，进而提升了目标检测的精度；通过为深度值划分为子区间，并统计落入各子区间的像素数量，得到边界框内像素的深度值分布，进而可以直观的看出像素的分布疏密状态；将像素分布最密集的区间作为深度区间，将该深度区间的像素对应区域提取出来，以精准的获得边界框中仅包含目标的目标区域，进一步提升目标检测精度；采用双目相机获取原始图像，可实现对远距离目标的有效检测，检测精度高，同时降低了相机与激光雷达之间的标定难度；基于深度值进行聚类，聚类效率高；将二维边界框中目标区域的像素转换为三维点云数据，提升了目标检测的稳定性。
图9示出了可以应用本发明实施例的目标检测方法或目标检测装置的示例性***架构900。
如图9所示，***架构900可以包括终端设备901、902、903，网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备901、902、903通过网络904与服务器905交互，以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用。
终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器905可以是提供各种服务的服务器，例如对管理员利用终端设备901、902、903所提供的RGB图像和深度图像进行处理的后台管理服务器。后台管理服务器可以对接收到的RGB图像进行图像检测，结合深度图像和检测结果进行聚类等处理，并将处理结果(例如目标的类别、位置、大小等)反馈给终端设备。
需要说明的是，本申请实施例所提供的目标检测方法一般由服务器905执行，相应地，目标检测装置一般设置于服务器905中。
应该理解，图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。
本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种目标检测方法。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种目标检测方法。
下面参考图10，其示出了适用于来实现本发明实施例的电子设备的计算机***1000的结构示意图。图10示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算机***1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有计算机***1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1100也根据需要连接至I/O接口1005。可拆卸介质1101，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1100上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1101被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像检测模块、区域划分模块和统计确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，图像检测模块还可以被描述为“对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及的边界框；基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分；统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。
从以上描述可以看出，通过对原始图像进行图像检测得到边界框，并采用聚类的方式对边界框内的目标进行区域划分后，结合统计出的边界框内像素的深度值，过滤去除边界框内的非目标区域，保留目标区域，提升了包罗目标的边界框的精度，进而提升了目标检测的精度。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种目标检测方法，其特征在于，包括：
对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框；
基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分；
统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述统计所述边界框内像素的深度值分布，包括：
根据所述边界框内像素的深度值，将所述深度值划分为间隔相同的子区间；
遍历所述边界框内像素的深度值，分别统计落在所述子区间的像素数量，以得到所述边界框内像素的深度值分布。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定所述深度值分布中像素分布最密集的区间，将确定出的所述区间作为所述深度区间。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用双目相机采集原始图像；
所述将所述边界框内归属于同一目标的像素进行聚类，包括：
遍历所述边界框内的像素；
以双目相机参考系的原点为坐标原点，结合遍历出的任意两个像素的深度值，计算所述两个像素构成的线段与其中一个像素与所述坐标原点构成线段的夹角；
若所述夹角大于预设阈值，则所述两个像素归属于同一目标。
5.根据权利要求1所述的方法，其特征在于，所述根据所述区域确定所述目标的位置信息，包括：
将所述区域内的像素转换为点云数据；
确定包围所述点云数据的最小三维边界框，所述最小三维边界框的三维坐标即为所述目标的位置信息。
6.一种目标检测装置，其特征在于，包括：
图像检测模块，用于对采集到的原始图像进行图像检测，以获得所述原始图像中目标的类别信息以及边界框；
区域划分模块，用于基于所述原始图像对应的深度信息，将所述边界框内归属于同一目标的像素进行聚类，以对所述边界框内的目标进行区域划分；
统计确定模块，用于统计所述边界框内像素的深度值分布，以获取深度值在设定深度区间内的像素对应的区域，根据所述区域确定所述目标的位置信息。
7.根据权利要求6所述的装置，其特征在于，所述统计确定模块，还用于：
根据所述边界框内像素的深度值，将所述深度值划分为间隔相同的子区间；以及
遍历所述边界框内像素的深度值，分别统计落在所述子区间的像素数量，以得到所述边界框内像素的深度值分布。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：深度区间确定模块，用于确定所述深度值分布像素分布最密集的区间，将确定出的所述区间作为所述深度区间。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：图像采集模块，用于采用双目相机采集原始图像；
所述区域划分模块，还用于：
遍历所述边界框内的像素；
以双目相机参考系的原点为坐标原点，结合遍历出的任意两个像素的深度值，计算所述两个像素构成的线段与其中一个像素与所述坐标原点构成线段的夹角；以及
若所述夹角大于预设阈值，则所述两个像素归属于同一目标。
10.根据权利要求6所述的装置，其特征在于，所述统计确定模块，还用于：
将所述区域内的像素转换为点云数据；以及
确定包围所述点云数据的最小三维边界框，所述最小三维边界框的三维坐标即为所述目标的位置信息。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201910397246.XA 2019-05-14 2019-05-14 一种目标检测方法和装置 Pending CN111950543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910397246.XA CN111950543A (zh) 2019-05-14 2019-05-14 一种目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910397246.XA CN111950543A (zh) 2019-05-14 2019-05-14 一种目标检测方法和装置

Publications (1)

Publication Number Publication Date
CN111950543A true CN111950543A (zh) 2020-11-17

Family

ID=73335528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910397246.XA Pending CN111950543A (zh) 2019-05-14 2019-05-14 一种目标检测方法和装置

Country Status (1)

Country Link
CN (1) CN111950543A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112472133A (zh) * 2020-12-22 2021-03-12 深圳市德力凯医疗设备股份有限公司 一种超声探头的姿态监控方法及装置
CN113240723A (zh) * 2021-05-18 2021-08-10 中德（珠海）人工智能研究院有限公司 一种单目深度估计方法、装置以及深度评估设备
CN113436241A (zh) * 2021-06-25 2021-09-24 兰剑智能科技股份有限公司 一种采用深度信息的干涉校验方法及***
CN113537199A (zh) * 2021-08-13 2021-10-22 上海淇玥信息技术有限公司 图像边界框筛选方法、***、电子装置及介质
CN113989276A (zh) * 2021-12-23 2022-01-28 珠海视熙科技有限公司 一种基于深度图像的检测方法、检测装置及摄像设备
CN114742885A (zh) * 2022-06-13 2022-07-12 山东省科学院海洋仪器仪表研究所 一种双目视觉***中的目标一致性判定方法
CN115345919A (zh) * 2022-08-25 2022-11-15 北京精英路通科技有限公司 一种深度确定方法、装置、电子设备以及存储介质
CN115937291A (zh) * 2022-09-14 2023-04-07 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017067390A1 (zh) * 2015-10-20 2017-04-27 努比亚技术有限公司 图像中弱纹理区域的深度信息获取方法及终端
CN107636727A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017067390A1 (zh) * 2015-10-20 2017-04-27 努比亚技术有限公司 图像中弱纹理区域的深度信息获取方法及终端
CN107636727A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHACON-MURGUIA, MI等: "Self-Adapting Fuzzy Model for Dynamic Object Detection Using RGB-D Information", 《IEEE SENSORS JOURNAL》, 31 December 2017 (2017-12-31) *
解博;朱斌;樊祥;***;马旗;张扬;: "基于SSD卷积网络的航拍图像目标检测方法", 光电子・激光, no. 04 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112472133A (zh) * 2020-12-22 2021-03-12 深圳市德力凯医疗设备股份有限公司 一种超声探头的姿态监控方法及装置
CN112472133B (zh) * 2020-12-22 2024-07-09 深圳市德力凯医疗设备股份有限公司 一种超声探头的姿态监控方法及装置
CN113240723A (zh) * 2021-05-18 2021-08-10 中德（珠海）人工智能研究院有限公司 一种单目深度估计方法、装置以及深度评估设备
CN113436241A (zh) * 2021-06-25 2021-09-24 兰剑智能科技股份有限公司 一种采用深度信息的干涉校验方法及***
CN113436241B (zh) * 2021-06-25 2023-08-01 兰剑智能科技股份有限公司 一种采用深度信息的干涉校验方法及***
CN113537199B (zh) * 2021-08-13 2023-05-02 上海淇玥信息技术有限公司 图像边界框筛选方法、***、电子装置及介质
CN113537199A (zh) * 2021-08-13 2021-10-22 上海淇玥信息技术有限公司 图像边界框筛选方法、***、电子装置及介质
CN113989276A (zh) * 2021-12-23 2022-01-28 珠海视熙科技有限公司 一种基于深度图像的检测方法、检测装置及摄像设备
CN113989276B (zh) * 2021-12-23 2022-03-29 珠海视熙科技有限公司 一种基于深度图像的检测方法、检测装置及摄像设备
CN114742885A (zh) * 2022-06-13 2022-07-12 山东省科学院海洋仪器仪表研究所 一种双目视觉***中的目标一致性判定方法
CN114742885B (zh) * 2022-06-13 2022-08-26 山东省科学院海洋仪器仪表研究所 一种双目视觉***中的目标一致性判定方法
CN115345919A (zh) * 2022-08-25 2022-11-15 北京精英路通科技有限公司 一种深度确定方法、装置、电子设备以及存储介质
CN115345919B (zh) * 2022-08-25 2024-04-12 北京精英路通科技有限公司 一种深度确定方法、装置、电子设备以及存储介质
CN115937291A (zh) * 2022-09-14 2023-04-07 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111950543A (zh) 一种目标检测方法和装置
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
WO2019223382A1 (zh) 单目深度估计方法及其装置、设备和存储介质
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
US9384556B2 (en) Image processor configured for efficient estimation and elimination of foreground information in images
EP2956891B1 (en) Segmenting objects in multimedia data
CN112801164A (zh) 目标检测模型的训练方法、装置、设备及存储介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN112560684B (zh) 车道线检测方法、装置、电子设备、存储介质以及车辆
CN110390706B (zh) 一种物体检测的方法和装置
CN111666876B (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN111931704A (zh) 评估地图质量的方法、装置、设备和计算机可读存储介质
CN111062400A (zh) 目标匹配方法及装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN111369611B (zh) 图像像素深度值优化方法及其装置、设备和存储介质
CN114495041A (zh) 车辆与目标物之间距离的测量方法、装置、设备及介质
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
CN117292076A (zh) 工程机械局部作业场景动态三维重构方法及***
CN110363847B (zh) 一种基于点云数据的地图模型构建方法和装置
CN110634155A (zh) 一种基于深度学习的目标检测方法和装置
CN111932584B (zh) 图像中运动对象的确定方法及装置
KR20210134252A (ko) 이미지 안정화 방법, 장치, 노변 기기 및 클라우드 제어 플랫폼
CN113470103A (zh) 车路协同中相机作用距离确定方法、装置和路侧设备
CN111428729A (zh) 一种目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210226

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210226

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination