CN105279484B - 对象检测方法和对象检测装置 - Google Patents

对象检测方法和对象检测装置 Download PDF

Info

Publication number
CN105279484B
CN105279484B CN201510654143.9A CN201510654143A CN105279484B CN 105279484 B CN105279484 B CN 105279484B CN 201510654143 A CN201510654143 A CN 201510654143A CN 105279484 B CN105279484 B CN 105279484B
Authority
CN
China
Prior art keywords
image
unit
piece
described piece
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510654143.9A
Other languages
English (en)
Other versions
CN105279484A (zh
Inventor
俞刚
李超
何奇正
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201510654143.9A priority Critical patent/CN105279484B/zh
Priority to US15/005,620 priority patent/US9940509B2/en
Publication of CN105279484A publication Critical patent/CN105279484A/zh
Priority to US15/922,488 priority patent/US10192107B2/en
Application granted granted Critical
Publication of CN105279484B publication Critical patent/CN105279484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种对象检测方法和对象检测装置，所述对象检测方法包括：将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；提取所述图像中的前景区域；对所述前景区域进行分块操作，以获得块集合；以及对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。

Description

对象检测方法和对象检测装置
技术领域
本发明涉及对象检测的领域，更具体地，本发明涉及一种对象检测方法和对象检测装置。
背景技术
随着监控视频的普及和对安全问题的日益关注，对于智能的分析监控视频数据中的特定对象，例如行人或车辆，有着紧迫的需求。
以行人检测为例，在一种行人检测方法中，对视频场景进行分块(blob)处理，然后以块为单位进行行人跟踪。这种方法往往对行人密集程度比较低的场景有效，但是对客流比较复杂或者客流量大的场景，每个块可能包含多个行人，这种算法难以确定地定位到每一个行人。
在另一种行人检测方法中，对视频中每一帧直接使用行人检测算法。然而，这种方法的计算时间复杂度比较高，而且对于客流比较大的监控场景，由于场景中存在很强的遮挡情况，也很难完整地定位出场景中的每一个行人。
发明内容
有鉴于上述情况，本发明提供了一种对象检测方法和对象检测装置，其即使在复杂的高密度场景中也能进行准确的对象检测。
进一步地，本发明还提供了一种对象检测方法和对象检测装置，其不仅能够在复杂的高密度场景中进行准确的对象检测，还能够在后续准确地进行对象跟踪。
根据本发明一实施例，提供了一种对象检测方法，包括：将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；提取所述图像中的前景区域；对所述前景区域进行分块操作，以获得块集合；以及对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
根据本发明另一实施例，提供了一种对象检测装置，包括：三维坐标获取单元，将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；前景提取单元，提取所述图像中的前景区域；分块单元，对所述前景区域进行分块操作，以获得块集合；以及检测单元，对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
根据本发明另一实施例，提供了一种对象检测装置，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；提取所述图像中的前景区域；对所述前景区域进行分块操作，以获得块集合；以及对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
根据本发明另一实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；提取所述图像中的前景区域；对所述前景区域进行分块操作，以获得块集合；以及对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
在本发明实施例的对象检测方法和对象检测装置中，对各帧图像进行分块操作，通过神经网络检测所得到的每个块，从而即使在复杂的高密度场景中也能进行准确的对象检测。
附图说明
图1是图示根据本发明一实施例的对象检测方法的主要步骤的流程图；
图2是图示根据本发明另一实施例的对象检测方法的主要步骤的流程图；
图3是图示根据本发明一实施例的对象检测装置的主要配置的框图；
图4是图示根据本发明另一实施例的对象检测装置的主要配置的框图；以及
图5是图示根据本发明又一实施例的对象检测装置的主要配置的框图。
具体实施方式
以下将参考附图详细描述本发明实施例。
首先，参照图1描述根据本发明实施例的对象检测方法。
如图1所示，首先，在步骤S110，将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标。
所述图像序列可以由安装在所要检测的场景中的摄像头采集。所述至少一帧图像可以为所述图像序列中的任一帧或多帧图像。可选地，在对象检测之后还要进行对象跟踪的情况下，可将图像序列中的多帧图像甚至每一帧图像映射到三维物理空间。
关于映射，示例性地，首先，可以在图像空间中确定预定参考面上的不共线的三个像素。所述预定参考面例如为地平面等。
接下来，可以获取所述三个像素的深度信息。所述深度信息表示所述像素对应的真实世界中的点与相机原点之间的距离。作为一示例，所述深度信息可以通过测距仪观测得到。作为另一示例，所述深度信息可通过人工估计得到。作为又一示例，所述深度信息可通过深度相机获得。
在获取了这三个像素的深度信息之后，可以基于所述三个像素的深度信息，建立从图像空间到三维物理空间的映射变换。示例性地，假设相机模型为小孔成像模型，从而可以基于所述三个像素的深度信息，通过小孔成像模型，建立所述映射变换。由此，可以将所述图像中的每个像素通过所述映射变换而映射到三维物理空间，从而获得每个像素的三维坐标。所述三维坐标例如可以以相机所在的位置为原点。
接下来，所述对象检测方法进行到步骤S120。在步骤S120，提取所述图像中的前景区域。
具体地，首先，可以通过例如基于以像素为单位的方法、基于颜色模型的方法、基于帧为单位的子空间方法等的各种方法，确定背景模型。然后，从所述图像中提取出不同于背景模型的区域作为前景区域。当然，以上所述的前景区域提取方式仅为示例。本领域技术人员完全可根据除此以外的各种方式来提取图像中的前景区域。
此外，可选地，为使对象检测结果更为精确，还可对所述图像进行阴影清除处理，也即，通过阴影检测算法清除前景区域中的阴影部分。具体地，例如，考虑到阴影部分中的光线亮度会比非阴影部分中的光线亮度更暗，此外，考虑到阴影部分会保存地面本身的纹理信息，因此，可以基于亮度信息、纹理信息等的各种信息，通过本领域已知的和将来开发的各种阴影检测算法找到阴影部分，然后从前景区域中清除所述阴影部分。
然后，在步骤S130，对所述前景区域进行分块操作，从而最终获得各个不连通的块，形成块集合。具体地，可以采用图像处理领域中已知的和未来开发的各种分块处理方式，对所述前景区域进行分块操作，在此不再详述。
在通过分块处理获得了由各个块组成的块集合之后，在步骤S140，对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
具体地，首先，可基于所述块中与预定参考面接触的像素的三维坐标以及所述块的尺寸信息，估计真实场景中所述块的物理尺寸。更具体地，这里，可以假设同一块中所有对象处于相同或相似的深度距离下。由此，基于所述块中与例如地平面的预定参考面相接触的像素的坐标，确定在所述图像中所述块的尺寸信息，例如所述块的宽度。进一步地，基于所述块在所述图像中的宽度以及长度，计算真实场景中所述块的物理尺寸，例如宽度以及高度。更具体地，可以预先获得所述图像所对应的真实场景的物理尺寸，并基于所述块在所述图像中的尺寸和预先获得的真实场景的物理尺寸，计算得到所述块的物理尺寸。
然后，可基于所述块的物理尺寸，计算所述块中可能存在的对象的数目的上限。例如，对于特定的对象，可预先设置所述对象的单位物理尺寸，如单位宽度。由此，可基于所述对象的单位物理尺寸和所述块的物理尺寸，估计所述块中可能存在的对象的数目的上限。此外，还可预设所述块中对象的密度，并结合预设的密度来估计上限。示例性地，可假设所述块中布满所述对象，所述块中对象的重叠率为120％、130％等等。此后，基于所述块和所述上限，通过神经网络检测所述块中的对象，以得到对象检测结果。
更具体地，所述神经网络可以为各种类型的神经网络，例如，反馈神经网络。所述反馈神经网络可以采用各种结构，在此不作具体限定。可通过所述神经网络执行多次检测过程。对于每次检测过程，将所述块和所述上限输入训练后的神经网络，以得到所述块中本次检测过程所对应的对象的位置以及所述位置处存在所述对象的置信度。多次检测过程中所分别获得的置信度可以以例如降序的特定顺序排列。
然后，判断是否达到结束条件。作为第一示例，可判断检测到的对象的数目是否到达所述上限。作为第二示例，例如在置信度降序排列的情况下，可判断本次检测过程所得到的置信度是否小于阈值。当然，如上所述的结束条件仅为示例。本领域技术人员能够在此基础之上设计其他各种结束条件。
当判断没有达到结束条件时，继续执行下一次检测过程。另一方面，当判断达到结束条件时，将各次检测过程所对应的各个对象的位置及各自的置信度输出作为对象检测结果。
以上，描述了通过神经网络检测所述块中的对象的处理。关于所述神经网络的训练，可预先将包含正样本(即，包含对象的数据)和负样本(即，不包含对象的数据)的多个训练数据输入神经网络。每个训练数据可包含图像以及图像中对象的位置等的各种信息。然后，对标定的真实数据(ground-truth)中的样本与预测结果中的样本通过诸如匈牙利算法等的各种算法进行匹配，从而训练所述神经网络。可选地，在进行所述匹配之后，还可基于匹配的准确度以及输出的结果在三维物理场景中的大小的可能性，计算出预测结果的损耗(loss)。
需要指出的是，以上描述了神经网络的一种训练方式。本领域技术人员能够理解，可通过其他各种方式对所述神经网络进行训练，在此不作具体限定。
以上，参照图1描述了本发明实施例的对象检测方法。在本发明实施例的对象检测方法中，对各帧图像进行分块操作，通过神经网络检测所得到的每个块，从而即使在复杂的高密度场景中也能进行准确的对象检测，极大提高了对象检测的准确度。
而且，本发明实施例的对象检测方法有广泛的通用性，通过一次性地简单配置可以有效地应用于各种智能监控场景和领域，从而可以有效地节约人力资源，并且实时准确地对于监控中的安全问题(如人流密度过高)给出分析和警报。
需要指出的是，在上面的描述中，有时以行人检测为例说明本发明实施例的对象检测方法。然而，本领域技术人员能够理解，本发明实施例的对象检测方法不限于此，而是可以适当地应用于诸如车辆等的其他各种对象的检测。
此外，本发明实施例的对象检测方法还可应用于对象跟踪，即，本发明实施例的对象检测方法可实现为一种对象跟踪方法。图2是图示在此情况下的对象检测方法的主要步骤的流程图。
图2中的步骤S210-S240的处理分别与图1中的步骤S110-S140的处理相类似，在此不再重复。与图1不同的是，在图2中，在获得对象检测结果之后，在步骤S250，对至少两帧图像的对象检测结果进行匹配，以得到对象跟踪结果。此时，步骤S210中的至少一帧为不少于两帧，步骤S250中的至少两帧为步骤S210中的至少一帧的子集。
具体地，所述至少两帧图像可以为所述图像序列中的任两帧图像。可选地，为使得对象跟踪结果更加准确，所述至少两帧图像为所述图像序列中时间上比较接近的两帧。例如，所述至少两帧图像可以为所述图像序列中的相邻两帧。
更具体地，可以对于所述至少两帧图像中的每一帧图像，提取所述图像中检测到的每个对象的特征信息。所述特征信息例如包括所述对象的位置信息、外观信息和纹理信息中的至少一个。所述外观信息例如为所述对象的颜色信息，如RGB或HSV直方图、方向梯度直方图等等。所述纹理信息例如为局部二值模式(local binary pattern)等等。
接下来，对于所述至少两帧图像的其中一帧中每个对象，基于所述特征信息，对所述对象与所述至少两帧图像的其他帧中每个对象的对分配权重，所述权重表示所述对象与其他帧中每个对象之间相匹配的概率。例如：对于当前帧中每个对象，基于所述特征信息，对所述对象与下一帧中每个对象的对分配权重。所述权重表示所述对象与下一帧中每个对象之间相匹配的概率。
在第一种方式中，可基于所述特征信息，通过诸如支持向量机、随机分类器(random forest)、卷积神经网络等的各种方式，直接计算所述对象与下一帧中每个对象之间的对的权重。
在第二种方式中，可通过诸如支持向量机、随机分类器(random forest)、卷积神经网络等的各种方式，计算所述对象与下一帧中每个对象之间的欧氏距离。然后，基于所述欧氏距离，对所述对象与下一帧中每个对象的对分配权重。所述欧氏距离越小，代表所述对象对中的两个对象之间的相似度越高，从而对所述对象对所分配的权重越大。所述欧氏距离越大，代表所述对象对中的两个对象之间的相似度越低，从而对所述对象对所分配的权重越小。
当然，如上所述的两种方式仅为示例。本领域技术人员可以在此基础之上设计其他方式来计算权重。
然后，基于所述权重，对所述图像序列中的所述至少两帧图像进行匹配，以得到对象跟踪结果。具体地，可通过诸如匈牙利算法、粒子滤波器、卡尔曼滤波器等的各种算法，对所述至少两帧图像之间进行匹配，以得到对象跟踪结果。
以上，描述了本发明实施例的对象检测方法在对象跟踪场景中的应用。在本发明实施例的对象检测方法中，对每帧图像进行分块操作，通过神经网络检测所得到的每个块，并对至少两帧之间的对象检测结果进行匹配从而得到对象跟踪结果，从而即使在复杂的高密度场景中也能进行准确的对象检测和跟踪。
下面，将参照图3描述本发明实施例的对象检测装置。
图3是图示本发明实施例的对象检测装置的主要配置的框图。如图3所示，本发明实施例的对象检测装置300包括：三维坐标获取单元310、前景提取单元320、分块单元330和检测单元340。
具体地，所述三维坐标获取单元310将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标。所述前景提取单元320提取所述图像中的前景区域。所述分块单元330对所述前景区域进行分块操作，以获得块集合。所述检测单元340对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
在另一实施例中，所述检测单元240包括：物理尺寸估计单元，基于所述块中与预定参考面接触的像素的三维坐标以及所述块的尺寸信息，估计真实场景中所述块的物理尺寸；上限计算单元，基于所述块的物理尺寸，计算所述块中可能存在的对象的数目的上限；以及检测结果获得单元，基于所述块和所述上限，通过神经网络检测所述块中的对象，以得到对象检测结果。
在另一实施例中，所述检测结果获得单元包括：执行单元，对于每次检测过程，将所述块和所述上限输入训练后的神经网络，以得到所述块中本次检测过程所对应的对象的位置以及所述位置处存在所述对象的置信度；以及判断单元，判断是否达到结束条件；所述执行单元当判断没有达到结束条件时，执行下一次检测过程；当判断达到结束条件时，将各次检测过程所对应的各个对象的位置及各自的置信度输出作为对象检测结果。
在另一实施例中，所述判断单元配置为执行以下中的任一：判断检测到的对象的数目是否到达所述上限；判断本次检测过程所得到的置信度是否小于阈值。
在另一实施例中，所述三维坐标获取单元包括：像素确定单元，在图像空间中确定预定参考面上的不共线的三个像素；深度信息获取单元，获取所述三个像素的深度信息；映射变换建立单元，基于所述三个像素的深度信息，建立从图像空间到三维物理空间的映射变换；以及映射单元，将每一帧图像中的每个像素通过所述映射变换而映射到三维物理空间，从而获得所述像素的三维坐标。
所述对象检测装置的各个单元的配置和操作已经在参照图1所述的对象检测方法中详细描述，在此不再详述。
此外，本发明实施例的对象检测装置还可应用于对象跟踪，即，本发明实施例的对象检测装置还可实现为一种对象跟踪装置。图4是图示在此情况下的对象检测装置的主要配置的框图。
如图4所示，本发明实施例的对象检测装置400包括：三维坐标获取单元410、前景提取单元420、分块单元430、检测单元440和跟踪单元450。
所述三维坐标获取单元410、所述前景提取单元420、所述分块单元430和所述检测单元440的配置和操作与图3所示的对象检测装置300中的相应单元的配置和操作类似，在此不再详述。
与图3所示不同的是，本发明实施例的对象检测装置400还包括跟踪单元450，其对至少两帧之间的对象检测结果进行匹配，以得到对象跟踪结果。
具体地，所述跟踪单元可包括：特征提取单元，对于所述至少两帧图像中的每一帧图像，提取所述图像中检测到的每个对象的特征信息，所述特征信息包括所述对象的位置信息、外观信息和纹理信息中的至少一个；权重分配单元，对于所述至少两帧图像的其中一帧中每个对象，基于所述特征信息，对所述对象与所述至少两帧图像的其他帧中每个对象的对分配权重，所述权重表示所述对象与其他帧中每个对象之间相匹配的概率；以及匹配单元，基于所述权重，对所述图像序列中的所述至少两帧图像进行匹配，以得到对象跟踪结果。
图5是图示根据本发明另一实施例的对象检测装置的主要配置的框图。
如图5所示，本发明实施例的对象检测装置500主要包括：一个或多个处理器510和存储器520，这些组件通过总线***530和/或其它形式的连接机构(未示出)互连。应当注意，图5所示的对象检测装置500的组件和结构只是示例性的，而非限制性的，根据需要，对象检测装置500也可以具有其他组件和结构。
处理器510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制对象检测装置300中的其它组件以执行期望的功能。
存储器520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器520可以运行所述程序指令，以实现本发明实施例的对象检测方法的功能以及/或者其它期望的功能。
以上，参照图3-图5描述了本发明实施例的对象检测装置。在本发明实施例的对象检测装置中，对各帧图像进行分块操作，通过神经网络检测所得到的每个块，从而即使在复杂的高密度场景中也能进行准确的对象检测，极大提高了对象检测的准确度。
此外，本发明实施例还提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行如上所述的对象检测方法的各个步骤。例如，所述计算机程序指令在被计算机运行时，可以将图像序列中的一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；提取所述图像中的前景区域；对所述前景区域进行分块操作，以获得块集合；以及对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果。
以上，参照图1到图5描述了根据本发明实施例的对象检测方法和对象检测装置。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，需要说明的是，在本说明书中，类似“第一…单元”、“第二...单元”的表述仅为了在描述时方便区分，而并不意味着其必须实现为物理分离的两个或多个单元。事实上，根据需要，所述单元可以整体实现为一个单元，也可以实现为多个单元。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在本发明实施例中，单元/模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成单元/模块并且实现该单元/模块的规定目的。
在单元/模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的单元/模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种对象检测方法，包括：
将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；
提取所述图像中的前景区域；
对所述前景区域进行分块操作，以获得块集合；以及
对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果，
其中，对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果的步骤包括：
基于所述块中与预定参考面接触的像素的三维坐标以及所述块的尺寸信息，估计真实场景中所述块的物理尺寸；
基于所述块的物理尺寸，计算所述块中可能存在的对象的数目的上限；以及
基于所述块和所述上限，通过神经网络检测所述块中的对象，以得到对象检测结果。
2.如权利要求1所述的对象检测方法，还包括：
对至少两帧图像的对象检测结果进行匹配，以得到对象跟踪结果。
3.如权利要求1所述的对象检测方法，通过神经网络检测所述块中的对象的步骤包括：
对于每次检测过程，将所述块和所述上限输入训练后的神经网络，以得到所述块中本次检测过程所对应的对象的位置以及所述位置处存在所述对象的置信度；
判断是否达到结束条件；以及
当判断没有达到结束条件时，执行下一次检测过程；当判断达到结束条件时，将各次检测过程所对应的各个对象的位置及各自的置信度输出作为对象检测结果。
4.如权利要求3所述的对象检测方法，其中，判断是否达到结束条件的步骤包括以下中的任一：
判断检测到的对象的数目是否到达所述上限；
判断本次检测过程所得到的置信度是否小于阈值。
5.如权利要求2所述的对象检测方法，对至少两帧图像的对象检测结果进行匹配的步骤包括：
对于所述至少两帧图像中的每一帧图像，提取所述图像中检测到的每个对象的特征信息，所述特征信息包括所述对象的位置信息、外观信息和纹理信息中的至少一个；
对于所述至少两帧图像的其中一帧中每个对象，基于所述特征信息，对所述对象与所述至少两帧图像的其他帧中每个对象的这一对的权重进行分配，所述权重表示所述对象与其他帧中每个对象之间相匹配的概率；以及
基于所述权重，对所述图像序列中的所述至少两帧图像进行匹配，以得到对象跟踪结果。
6.如权利要求1所述的对象检测方法，获得所述图像中每个像素的三维坐标的步骤包括：
在图像空间中确定预定参考面上的不共线的三个像素；
获取所述三个像素的深度信息；
基于所述三个像素的深度信息，建立从图像空间到三维物理空间的映射变换；以及
将所述图像中的每个像素通过所述映射变换而映射到三维物理空间，从而获得所述像素的三维坐标。
7.一种对象检测装置，包括：
三维坐标获取单元，将图像序列中的至少一帧图像映射到三维物理空间，以获得所述图像中每个像素的三维坐标；
前景提取单元，提取所述图像中的前景区域；
分块单元，对所述前景区域进行分块操作，以获得块集合；以及
检测单元，对所述块集合中的每个块，基于所述块中预定参考点的三维坐标，通过神经网络检测所述块中的对象，以得到对象检测结果，
其中，所述检测单元包括：
物理尺寸估计单元，基于所述块中与预定参考面接触的像素的三维坐标以及所述块的尺寸信息，估计真实场景中所述块的物理尺寸；
上限计算单元，基于所述块的物理尺寸，计算所述块中可能存在的对象的数目的上限；以及
检测结果获得单元，基于所述块和所述上限，通过神经网络检测所述块中的对象，以得到对象检测结果。
8.如权利要求7所述的对象检测装置，还包括：
跟踪单元，对至少两帧图像的对象检测结果进行匹配，以得到对象跟踪结果。
9.如权利要求7所述的对象检测装置，所述检测结果获得单元包括：
执行单元，对于每次检测过程，将所述块和所述上限输入训练后的神经网络，以得到所述块中本次检测过程所对应的对象的位置以及所述位置处存在所述对象的置信度；以及
判断单元，判断是否达到结束条件；
所述执行单元当判断没有达到结束条件时，执行下一次检测过程；当判断达到结束条件时，将各次检测过程所对应的各个对象的位置及各自的置信度输出作为对象检测结果。
10.如权利要求9所述的对象检测装置，其中，所述判断单元配置为执行以下中的任一：
判断检测到的对象的数目是否到达所述上限；
判断本次检测过程所得到的置信度是否小于阈值。
11.如权利要求8所述的对象检测装置，所述跟踪单元包括：
特征提取单元，对于所述至少两帧图像中的每一帧图像，提取所述图像中检测到的每个对象的特征信息，所述特征信息包括所述对象的位置信息、外观信息和纹理信息中的至少一个；
权重分配单元，对于所述至少两帧图像的其中一帧中每个对象，基于所述特征信息，对所述对象与所述至少两帧图像的其他帧中每个对象的这一对的权重进行分配，所述权重表示所述对象与其他帧中每个对象之间相匹配的概率；以及
匹配单元，基于所述权重，对所述图像序列中的所述至少两帧图像进行匹配，以得到对象跟踪结果。
12.如权利要求7所述的对象检测装置，所述三维坐标获取单元包括：
像素确定单元，在图像空间中确定预定参考面上的不共线的三个像素；
深度信息获取单元，获取所述三个像素的深度信息；
映射变换建立单元，基于所述三个像素的深度信息，建立从图像空间到三维物理空间的映射变换；以及
映射单元，将所述图像中的每个像素通过所述映射变换而映射到三维物理空间，从而获得所述像素的三维坐标。
CN201510654143.9A 2015-10-10 2015-10-10 对象检测方法和对象检测装置 Active CN105279484B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510654143.9A CN105279484B (zh) 2015-10-10 2015-10-10 对象检测方法和对象检测装置
US15/005,620 US9940509B2 (en) 2015-10-10 2016-01-25 Object detection method and object detection apparatus
US15/922,488 US10192107B2 (en) 2015-10-10 2018-03-15 Object detection method and object detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510654143.9A CN105279484B (zh) 2015-10-10 2015-10-10 对象检测方法和对象检测装置

Publications (2)

Publication Number Publication Date
CN105279484A CN105279484A (zh) 2016-01-27
CN105279484B true CN105279484B (zh) 2019-08-06

Family

ID=55148468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510654143.9A Active CN105279484B (zh) 2015-10-10 2015-10-10 对象检测方法和对象检测装置

Country Status (2)

Country Link
US (2) US9940509B2 (zh)
CN (1) CN105279484B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154273A1 (en) * 2015-11-30 2017-06-01 Seematics Systems Ltd System and method for automatically updating inference models
CN106250863B (zh) * 2016-08-09 2019-07-26 北京旷视科技有限公司 对象追踪方法和装置
CN106326837B (zh) * 2016-08-09 2019-09-17 北京旷视科技有限公司 对象追踪方法和装置
CN107221005B (zh) * 2017-05-04 2020-05-08 美的集团股份有限公司 物体检测方法及装置
CN109657523B (zh) * 2017-10-10 2021-03-30 北京京东乾石科技有限公司 一种可行驶区域检测方法和装置
CN107909044B (zh) * 2017-11-22 2020-04-28 天津大学 一种结合卷积神经网络和轨迹预测的人数统计方法
US10592738B2 (en) 2017-12-01 2020-03-17 International Business Machines Corporation Cognitive document image digitalization
US11004207B2 (en) * 2017-12-06 2021-05-11 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation
CN108229360B (zh) * 2017-12-26 2021-03-19 美的集团股份有限公司 一种图像处理的方法、设备及存储介质
US10664728B2 (en) * 2017-12-30 2020-05-26 Wipro Limited Method and device for detecting objects from scene images by using dynamic knowledge base
US10847048B2 (en) * 2018-02-23 2020-11-24 Frontis Corp. Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining
CN110569856B (zh) * 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
DE102018121602A1 (de) * 2018-09-05 2020-03-05 Valeo Schalter Und Sensoren Gmbh Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs; Steuereinrichtung; sowie Fahrerassistenzsystem
CN109544907A (zh) * 2018-10-23 2019-03-29 大唐软件技术股份有限公司 一种车辆计数方法、装置
AU2019365219A1 (en) * 2018-10-24 2021-05-20 Climate Llc Detecting infection of plant diseases with improved machine learning
CN109360203B (zh) * 2018-10-30 2021-12-03 京东方科技集团股份有限公司 图像配准方法、图像配准装置及存储介质
CN111126117B (zh) * 2018-11-01 2023-05-02 阿里巴巴集团控股有限公司 信息处理方法和装置
CN111460854B (zh) * 2019-01-18 2023-04-28 杭州海康威视数字技术股份有限公司 一种远距离目标检测方法、装置及***
CN111753821A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 一种文本检测方法和装置
US11030755B2 (en) * 2019-05-13 2021-06-08 Cisco Technology, Inc. Multi-spatial scale analytics
CN111383337B (zh) * 2020-03-20 2023-06-27 北京百度网讯科技有限公司 用于识别对象的方法和装置
WO2021237749A1 (en) * 2020-05-29 2021-12-02 Siemens Aktiengesellschaft Method and apparatus for object tracking and reidentification
CN112257506A (zh) * 2020-09-21 2021-01-22 北京豆牛网络科技有限公司 果蔬大小识别方法、装置、电子设备以及计算机可读介质
CN112116582B (zh) * 2020-09-24 2024-07-05 深圳爱莫科技有限公司 一种库存或陈列场景下的条烟检测识别方法
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法
CN114266885A (zh) * 2021-12-14 2022-04-01 威盛电子股份有限公司 物件侦测装置以及物件侦测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
US9247211B2 (en) * 2012-01-17 2016-01-26 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9405974B2 (en) * 2013-11-13 2016-08-02 Xerox Corporation System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments
CN104504362A (zh) * 2014-11-19 2015-04-08 南京艾柯勒斯网络科技有限公司 基于卷积神经网络的人脸检测方法
CN104835147A (zh) * 2015-04-15 2015-08-12 中国科学院上海微***与信息技术研究所 基于三维深度图数据的密集人流量实时检测方法

Also Published As

Publication number Publication date
US10192107B2 (en) 2019-01-29
CN105279484A (zh) 2016-01-27
US20170103258A1 (en) 2017-04-13
US9940509B2 (en) 2018-04-10
US20180204057A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
CN105279484B (zh) 对象检测方法和对象检测装置
CN107358149B (zh) 一种人体姿态检测方法和装置
US10497121B2 (en) Method and system for extracting a main subject of an image
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
WO2016131300A1 (zh) 一种自适应跨摄像机多目标跟踪方法及***
Ahmad et al. Overhead view person detection using YOLO
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
US10402633B2 (en) Human detection in high density crowds
US9317765B2 (en) Human image tracking system, and human image detection and human image tracking methods thereof
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
Ma et al. Counting people crossing a line using integer programming and local features
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
Sehgal Human activity recognition using BPNN classifier on HOG features
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
Wang et al. Deep learning-based human activity analysis for aerial images
Oh et al. Development of an integrated system based vehicle tracking algorithm with shadow removal and occlusion handling methods
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
Zhang et al. Camouflage modeling for moving object detection
Lee et al. On-road vehicle detection based on appearance features for autonomous vehicles
CN112861711A (zh) 区域入侵检测方法、装置、电子设备及存储介质
Mohaghegh et al. A four-component people identification and counting system using deep neural network
Anshul et al. Video flame and smoke based fire detection algorithms: a literature review

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant