CN112598725A - 图像处理设备、图像处理方法和计算机可读介质 - Google Patents

图像处理设备、图像处理方法和计算机可读介质 Download PDF

Info

Publication number
CN112598725A
CN112598725A CN202010966844.7A CN202010966844A CN112598725A CN 112598725 A CN112598725 A CN 112598725A CN 202010966844 A CN202010966844 A CN 202010966844A CN 112598725 A CN112598725 A CN 112598725A
Authority
CN
China
Prior art keywords
image
target object
images
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010966844.7A
Other languages
English (en)
Inventor
牟田元
马场康夫
矢野光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112598725A publication Critical patent/CN112598725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种图像处理设备、图像处理方法和计算机可读介质。在所述图像处理设备中，获得单元获得包括多张图像的运动图像。密度估计单元基于所述多张图像中的图像估计目标对象的密度分布。位置估计单元基于所述密度分布估计所述目标对象在所述图像中的位置。测量单元基于所述目标对象在所述多张图像中的位置测量所述目标对象的流。

Description

图像处理设备、图像处理方法和计算机可读介质
技术领域
本发明涉及图像处理设备、图像处理方法、和计算机可读介质，尤其涉及对由视频摄像机、安全摄像机等所捕获的运动图像的分析技术。
背景技术
近年来，提出如下装置：该装置用于从由摄像机等所捕获的运动图像的图像捕获区域分析目标对象(例如，人)的流(例如，人的数量或人的方向)，也即，该装置用于对人流进行分析。为了测量目标对象的流，有必要从运动图像中检测目标对象。日本特开第2007-201556号专利公开了如下方法：检测包括在由定点摄像机所捕获的图像中的人区域，以及测量人的数量。
发明内容
根据本发明的一个实施例，一种图像处理设备包括：获得单元，用于获得包括多张图像的运动图像；密度估计单元，用于基于所述多张图像中的图像估计目标对象的密度分布；位置估计单元，用于基于所述密度分布估计所述目标对象在所述图像中的位置；以及测量单元，用于基于所述目标对象在所述多张图像中的位置测量所述目标对象的流。
根据本发明的另一实施例，一种图像处理方法包括：获得包括多张图像的运动图像；基于所述多张图像中的图像估计目标对象的密度分布；基于所述密度分布估计所述目标对象在所述图像中的位置；以及基于所述目标对象在所述多张图像中的位置测量所述目标对象的流。
根据下面对示例性实施例的描述(参照附图)，本发明的其他特征将变得清楚。
附图说明
图1是例示图像处理设备的硬件结构的一个示例的图。
图2是例示图像处理设备的功能结构的一个示例的图。
图3是例示图像处理设备的处理流程的一个示例的图。
图4A和4B是例示从输入图像中提取部分图像的方法的一个示例的图。
图5A至5D是用于解释部分图像的中心区域和空白区域的图。
图6A和6B是例示输入图像中对人的密度分布估计的一个示例的图。
图7A至7C是例示从密度分布对人的位置坐标估计的一个示例的图。
图8A至8C是例示用于从位置图计算出人的位置坐标的处理的一个示例的图。
图9是例示用于匹配不同时间处的人的位置坐标的匹配方法的图。
图10A至10C是例示用于匹配的成本矩阵和匹配结果的示例的图。
图11是例示用于经由匹配计算出人的运动轨迹的处理的一个示例的图。
图12A和12B是例示基于人的估计位置的匹配方法的图。
图13A和13B是例示在运动轨迹无法继续的情况下，补偿运动轨迹的方法的图。
图14A和14B是例示从人的运动轨迹测量流量的方法的一个示例的图。
图15是例示从人的运动轨迹测量流量的方法的一个示例的图。
具体实施方式
下面将参照附图详细地描述各实施例。应注意，这些实施例决不意图限制本发明请求保护的范围。这些实施例中描述了很多特征，但是并没有一项发明需要包含所有这些特征的限制，并且这些特征可以任意地组合。进一步地，在附图中，相同或相似的配置将被赋予相同的附图标记，且重复的描述将省略。
为了在具有一群目标对象的场景(拥挤的场景)中，例如在捕获一群人的图像的情况下，准确地测量目标对象的流，需要在这种场景中准确地检测目标对象的位置。另一方面，日本特开第2007-201556号专利被配置成检测被人占据的区域以检测人的存在。在该方法中，在人的重叠变大的时候，人的检测精度将降低。因此，该方法使得在拥挤的场景中测量流的精度很低。
本发明的一个实施例可改善在拥挤的场景中测量目的对象的流的精度。
图1例示根据本发明的一个实施例的图像处理设备100的硬件结构的一个示例。图像处理设备100包括控制装置11、存储装置12、计算装置13、输入装置14、输出装置15和I/F(接口)装置16。
控制装置11是被配置为控制整个的图像处理设备100的装置。存储装置12存储由控制装置11进行的操作所需的程序和数据。计算装置13被配置为在控制装置11的控制下进行必要的计算处理。例如，计算装置13可被配置为进行将在后面描述的神经网络计算。输入装置14是人机接口设备等，且被配置为经由用户的操作接收输入。输出装置15是显示设备等，且被配置为向用户呈现由图像处理设备100生成的处理结果。
I/F装置16可以是诸如通用串行总线、
Figure BDA0002682651170000031
或光学电缆等的有线接口，或诸如Wi-Fi或
Figure BDA0002682651170000032
等的无线接口。经由I/F装置16，其它的装置可连接至图像处理设备100。例如，诸如摄像机等的图像捕获装置可连接至I/F装置16，从而图像处理设备100可经由I/F装置16获得所捕获的图像。作为另一示例，图像处理设备100可经由I/F装置16将处理结果发送至外部装置。作为再一示例，图像处理100可经由I/F装置16获得操作所需的程序、数据等。
将在后面描述的图像处理设备100的功能例如可由根据存储器(例如，存储装置12)上的程序操作的处理器(例如，控制装置11)实现。存储装置12或其它的记录介质可存储这样的程序。然而，将在后面描述的图像处理设备100的至少一部分功能可由为这至少一部分功能配置的硬件实现。此外，根据本发明的图像处理设备例如可实现为经由网络彼此连接的多个装置的组合。
图2例示根据本发明的一个实施例的图像处理设备100的功能结构的一个示例。图像处理设备100包括作为功能元件的获得单元201、密度估计单元202、位置估计单元203、跟踪单元204和测量单元205。
获得单元201被配置为获得包括多张图像的运动图像。分析由获得单元201如此获得的运动图像以测量目标对象的流。目标对象的流可以是图像上的目标对象的流或经由图像分析所估计的真实空间中的目标对象的流。请注意，没有特别地限制将要分析的目标对象，并且目标对象的示例包括人、诸如自行车和摩托车等的交通工具、诸如汽车和卡车等的车辆和诸如家畜等的动物。
运动图像可以是流、运动图像文件、每帧存储的一系列图像文件、存储在介质上的运动图像等，并且这些包括作为帧图像的多张图像。这多张图像例如可以是由安装在同一场所的图像捕获装置在不同时间捕获的图像。获得单元201可从诸如CMOS传感器或CCD传感器等的固态图像传感器或从诸如配备有这样的固态图像传感器的摄像机等的图像捕获装置获得运动图像。此外，获得单元201可从诸如硬盘或SSD等的存储装置或从存储介质等获得运动图像数据。
密度估计单元202被配置为估计其流将被测量的目标对象在由获得单元201所获得的图像中的密度分布。密度分布表示在所述图像中估计存在用于流测量的目标对象(例如，人的头部)的部分。密度分布可表示在所述图像中估计存在所述目标对象的区域。密度分布例如可以是以目标对象以高概率存在的位置为中心并且可以是与目标对象的大小相应的均匀分布。此外，密度分布可以是在目标对象以高概率存在的位置处具有最大值的任何分布。后面的示例包括高斯分布。密度分布可表示目标对象存在的概率。密度估计单元202能够输出作为表示密度分布的信息的密度图，该密度图代表目标对象在图像中每一个位置处的密度。请注意，密度图的分辨率等于或小于图像的分辨率。
在目标对象在图像中彼此重叠的情况下，密度估计单元202可计算出如下密度分布：分别对应于目标对象的密度分布是重叠的。该密度分布可被标准化，以便对应于一个目标对象的密度分布中的密度的总和为1。在这种情况下，由密度估计单元202生成的密度分布的密度的总和与图像中目标对象的数量对应。
不同的方法可用作密度估计单元202估计密度分布的方法。例如，密度估计单元202可将图像、或从图像中提取的特征、或图像和特征两者输入至神经网络。这样的神经网络的示例包括卷积神经网络、反卷积神经网络、卷积和反卷积神经网络被连接的自编码器、具有诸如U-Net等的捷径(short-cut)的网络等。由密度估计单元202使用的神经网络被训练，以便在图像输入至该神经网络的情况下，该神经网络将输出目标对象的密度分布。例如，该训练可通过使用用于训练的图像及表示像上面这样的图像的密度分布的训练数据来实现。例如，该训练可通过这样的方式来实现：神经网络的输出值的总和等于目标对象的数量，也即，输出值表示目标对象在每一个位置处的密度。
位置估计单元203被配置为基于从密度估计单元202获得的密度分布估计目标对象在图像中的位置。例如，位置估计单元203可被配置为输出这样估计的目标对象的位置的坐标。目标对象的位置的坐标是目标对象在图像中的代表点。目标对象的代表点可以是被测量作为目标对象的人的头部中心。
没有特别地限定位置估计单元203估计位置的方法，并且位置估计单元203例如可将密度分布的重心估计为目标对象的位置。另一方面，密度估计单元202可能提供与一个目标对象对应的密度分布的不清楚的边界，并且这样的边界将具有各种形状。另外，由于与一个目标对象对应的密度分布的重叠，存在这样重叠的密度分布具有复杂的形状的可能。此外，在特定的情况下，密度估计单元202可能提供不期望的输出。在一个实施例中，位置估计单元203被配置为通过使用神经网络来估计目标对象的位置。神经网络的使用使得不管输入的密度分布如何，都可获得具有预先确定的固定计算量的位置估计的结果。因此，位置估计单元203能够处理密度估计单元202输出的各种密度分布。
例如，由位置估计单元203使用的神经网络可被配置成，在输入表示密度分布的密度图的情况下，使得神经网络输出通过概率表示密度图上每一个位置的二类分类的估计结果的位置图。用这种方式，位置估计单元203可进行这样的二类分类：对于图像中的每一个位置，区分该位置是否表示目标对象的代表点。在该二类分类中，在密度图上的位置表示目标对象的位置坐标的情况下，位置的估计结果为1，并且，在密度图上的位置不表示目标对象的位置坐标的情况下，位置的估计结果为0。位置图701可表示密度图上的每一个位置是否是表示目标对象的位置坐标的位置的概率。这样的位置图是如此的稀疏，以至于大多数元素都是0。因此，由于能够处理稀疏输出的二类分类问题，实施用于生成这样的位置图的神经网络的训练变得更加容易。
这样的神经网络的示例包括卷积神经网络、反卷积神经网络、卷积和反卷积神经网络被连接的自编码器、具有诸如U-Net等的捷径(short-cut)的网络等。此外，由位置估计单元203使用的神经网络可具有值区域大于0但小于1的输出层。这样的输出层的示例包括阶梯函数(step function)、S型函数(Sigmoid function)、SoftMax函数等。具有这样的输出层的神经网络可提供适合于二类分类问题的输出。
由位置估计单元203使用的神经网络被预先训练，从而在密度图被输入神经网络的情况下，神经网络将输出目标对象的位置。这样的训练例如可通过使用用于训练的密度图及代表密度图的、其中与人的位置对应的元素是1且其它元素是0的训练数据来实现。
测量单元205被配置为基于目标对象在多张图像中的、由位置估计单元203估计的位置来测量目标对象的流。例如，测量单元205可测量目标对象的流量或目标对象的流向。流量例如可以是通过预先设置的测量区域或测量线的目标对象的数量。例如，测量单元205可被配置为测量从一个区域移动至另一个区域的目标对象的数量，其中这些区域由测量区域分割。在测量区域是线(测量线)的情况下，测量单元205可被配置为测量穿过测量线的目标对象的数量。
这样的测量区域可基于图像捕获场景预先设置。在这种情况下，测量单元205可被配置为从诸如存储装置12等的存储器获得预先确定的测量区域的设置值。此外，测量单元205可被配置为，参照在输出装置15上显示的图像，获得由用户通过操作与输入装置14连接的人机接口设备等输入的设置值。
测量区域可以是一个或多个测量区域。另外，测量区域的形状没有特别地限制，并且例如可以是折线、曲线、多边形、圆形、视情况而定的椭圆形或由闭合曲线构成的任意形状。此外，测量区域可以是厚度不大的线或厚度大的线(或纵向矩形形状)。这样的测量区域可根据可以是线、矩形形状等的自由选择的引导形状来设置。例如，根据这样的引导形状的形状可提供于图像的特定位置处。这样的引导形状可以是一个或多个引导形状。此外，引导形状可通过扩大其宽度等来扩展。
没有特别地限制基于目标对象的位置测量目标对象的流的方法，但是本实施例被配置成使得测量单元205通过使用由跟踪单元204获得的目标对象的跟踪结果来测量流。跟踪单元204被配置为跟踪目标对象的位置。跟踪单元204可被配置为基于由位置估计单元203估计的目标对象的位置来跟踪目标对象的位置。例如，基于对多张图像估计的目标对象的位置，跟踪单元204可被配置为进行跟踪，以便跟踪单元204跟踪被估计为是同一目标对象的随着时间推移的位置的变化。
在一个实施例中，跟踪单元204被配置为基于由位置估计单元203输出的目标对象的位置坐标、通过跟踪目标对象的位置坐标来获得目标对象的运动轨迹。跟踪单元204能够将多张图像中第一时间处的第一图像中的目标对象的位置与多张图像中第二时间处的第二图像中的目标对象的位置相关联。通过重复这样的关联，跟踪单元204可获得目标对象的运动轨迹。
例如，跟踪单元204可被配置为通过使用不同时间的图像中的目标对象的位置坐标列表进行跟踪。例如，密度估计单元202和位置估计单元203对在相同的场所、以相同的视角但在不同的时间所捕获的多张图像中的每一个进行上述的处理，从而为多张图像中的每一个准备目标对象的位置坐标列表。跟踪单元204可被配置为通过将针对一个时间的位置坐标列表上的目标对象的位置坐标与针对另一个时间的位置坐标列表上的目标对象的位置坐标相匹配来获得目标对象的运动轨迹。在这种情况下，测量单元205例如可通过判断运动轨迹是否穿过测量线来测量目标对象的流量。下面将参照图3描述具体的处理示例。
将参照图3描述根据本实施例的图像处理设备100的一个处理示例。下面，将以测量人的流量为例进行描述。更具体地，将测量穿过预先设置的测量区域的人的数量。
在步骤S301中，获得单元201获得运动图像。此外，获得单元201从运动图像获得用于测量流量的多张图像。例如，获得单元201可被配置成获得在测量开始时间到测量结束时间之间的多个时间分别捕获的多张图像。请注意，获得单元201可配置成从图像捕获装置获得帧图像。下面，在步骤S301中获得的多张图像中的每一个被视为输入图像。将对每一张输入图像执行步骤S302和S303的处理。
获得单元201可从输入图像提取一个或多个部分图像。获得单元201可从多张图像中的每一个中提取一个或多个部分图像，该一个或多个部分图像属于图像的一部分。通过使用大小比输入图像小的部分图像，可减少步骤S302之后的处理量。这样的配置将有助于流量的实时测量。可预先设置输入图像的区域(部分区域)，从该区域将提取部分图像。要从中提取部分图像的区域(部分区域)可由用户设置。例如，可配置成用户操作连接至输入装置14的人机接口设备等，以便在输出装置15上显示的输入图像上设置部分区域。要从中提取部分图像的区域的设置方法及该区域的具体形状没有特别地限制。例如，获得单元201可基于用户指定的区域自动地确定要提取的部分区域。如上所述，获得单元201可获得测量区域的用户指定。在这种情况下，获得单元201可基于如此指定的测量区域自动地确定要提取的部分区域。例如，获得单元201可以部分图像包括测量区域这样的方式从输入图像提取部分图像。
此外，如图4A所例示，获得单元201可被配置成将整个的输入图像400分割成多数个子区域。在这种情况下，获得单元201可从一个或多个子区域的每一个中提取部分图像，该一个或多个子区域从所述多数个子区域中选择。例如，如图4A所例示，如果在输入图像400中设置了测量区域401的情况下，可从由粗框包围的、包括测量区域401的矩形区域提取要用于测量流量的部分图像。此外，如图4B所例示，可在输入图像402的一部分中设置包括测量区域403的一个或多个矩形区域。从如此设置的矩形区域，可提取要用于测量流量的部分图像。
尽管图4A和4B中的部分图像是矩形，但是部分图像的形状例如可以是多边形、圆形、视情况而定的椭圆形或由闭合曲线构成的任意形状。此外，在测量区域的形状不是线段而是折线、曲线、多边形、圆形、视情况而定的椭圆形或由闭合曲线构成的任意形状的情况下，可用相似的方式提取部分图像。
在由诸如摄像机等图像捕获装置获得的输入图像中，根据人所在的位置，要测量的人将被描绘成具有不同的大小。因此，部分图像的大小可根据图像中的位置而变化。例如，部分图像的大小可以这样的方式设置：部分图像的大小与人的大小之间的比率将变成大致的常量，并且可根据该大小来提取部分图像。此处，人的大小可以是包括人的头部和肩部的人体部位的大小、人的头部的大小、整个人体的大小等。图4A和4B例示了以这种方式变化部分图像的大小的示例。也即，在图4A和4B中，绘制人的区域所处的位置越远(也即，输入图像的上部)，部分图像的大小越小。
在照这样设置部分图像的情况下，将对输入图像中的部分图像中的每一个执行步骤S302和S303的处理。也即，密度估计单元202可估计每一个部分图像中的目标对象的密度分布，并且位置估计单元203可从每一个部分图像的密度分布估计目标对象的位置。另一方面，步骤S302和S303的估计结果的精度在部分图像周围的边界区域(***区域)会更低。因此，在一实施例中，可配置成在部分图像中限定中心区域，以便在步骤S305中对在中心区域检测到的人进行流量的测量。该配置通过使用高精度的人的检测结果来进行流量的测量，因此可改善测量的精度。
如图5A所例示，在部分图像中限定中心区域的方法的一个示例包括在部分图像500内部限定中心区域501和空白区域502，空白区域502被部分图像500的边界线和中心区域501的边界线包围。如图5A中所例示的示例，中心区域501是矩形，但是并不特别地限制中心区域501的形状。例如，中心区域501的形状可以是能够包含在部分图像500内部的、诸如多边形、圆形、椭圆形或任何闭合曲线等的任何形状。
空白区域的大小可根据要对其进行流量测量的人的大小来设置。例如，空白区域可被设置成具有在其中可包含检测人所需的人体部位的大小。图5B例示了一个这样的示例。在图5B中，部分图像500的空白区域502被设置成这样的大小，在其中可包含检测要对其进行流量测量的人503或人504所需的人体部位。更具体地，空白区域的大小被设置成在其中可包含人的头部和肩部的大小。作为另一示例，空白区域可以这样的方式来设置：空白区域足够的大以在其中包含人的头部但不包括肩部，或足够的大以在其中包括人的全身。
在从输入图像提取出多个部分图像的情况下，部分图像的区域可以以使得相邻的部分图像彼此重叠的方法来设置。例如，获得单元201可将图像分割成多个区域。对于从这多个区域中选择的一个或多个区域中的每一个，获得单元201可从区域(中心区域)及包围该区域的空白区域提取部分图像。图5C例示了一个这样的分割示例。在图5C中，两个相邻的部分图像505和506彼此部分地重叠。更具体地，部分图像505和506以这样的方式提取：在部分图像505的中心区域507与部分图像506的中心区域508之间没有间隙。即使要检测的人510在部分图像505的空白区域512中，可从与部分图像505相邻的部分图像506的中心区域508检测人510。
使用如图5C所例示的、各部分图像的中心区域彼此没有间隙地相邻的配置，要测量的人可在部分图像的中心区域的任何一个中检测到，因此可改善测量的精度。部分图像的这样的提取方法的一个示例是：输入图像被分割成多个区域，并且从每一个区域(对应于中心区域)及分别包围该区域的空白区域提取一个部分图像。此外，可通过最优化计算等来确定能够以必要的最小面积覆盖测量区域并同时确保部分图像的空白区域的分割方法。在图5D中，沿着输入图像520中设置的测量区域521，各自具有空白区域的多个部分图像522被提取。
在下面的解释中，词“输入图像”表示输入图像本身或部分图像。也即，可对输入图像或输入图像中的部分图像中的每一个进行步骤S302和S303的处理。
在步骤S302中，如上所述，密度估计单元202从由获得单元201像这样获得的输入图像估计要测量的人的密度分布。在图6A所例示的示例中，密度估计单元202估计输入图像600中人601的头部位置的密度分布。如图6B所例示，密度估计单元202生成表示人601的头部位置的密度分布603的密度图602。
请注意，密度估计单元202所使用的输入图像不限于一个，并且密度估计单元202可使用多张输入图像来估计密度分布。例如，密度估计单元202可通过将多张输入图像输入至神经网络来估计密度分布。密度估计单元202所使用的多张输入图像例如可以是包含在运动图像中的多个不同帧的图像。此外，密度估计单元202输出的密度分布不限于一个。例如，密度估计单元202可被配置为输出分别对应于多张输入图像的多个密度分布。在密度估计单元202被配置为输出多个密度分布的情况下，后续的位置估计单元203可接收所有的密度分布或接收所选择的一个或多个密度分布。
在步骤S303中，如上所述，位置估计单元203从由密度估计单元202输出的密度分布估计人的位置坐标。例如，位置估计单元203通过向神经网络输入如图7A所例示的密度图700，可输出如图7B所例示的位置图701。位置图701例示了人的位置坐标与位置图701上的元素的位置相匹配的情况。在这种情况下，与一个人对应的一个元素的值(概率值)将变大。因此，可以将这样的元素的位置确定为人的位置坐标。
另一方面，如图7C所例示的位置图702所示，在人的位置坐标与位置图702上的元素的位置不匹配的情况下(也即，网格状点的位置)，与一个人对应的多个元素的值(概率值)将变大。因此，存在一些将输入图像上彼此相邻的多个位置估计为表示目标对象的位置的情形。在这种情况下，位置估计单元203可基于输入图像上彼此相邻的多个位置计算出目标对象的位置，该彼此相邻的多个位置已被估计为表示目标对象的位置。例如，位置估计单元203可通过将在多个元素之间分离的概率值整合成一个点来确定人的位置坐标。
例如，如图8A至8C所例示，位置估计单元203可通过把3×3max pooling(最大池化)应用于从神经网络输出的位置图800来获得图801。然后，位置估计单元203可对每个元素比较位置图800和图801。在这种情况下，位置估计单元203将其在位置图800上的值与在图801上的值相匹配的元素的坐标确定为人的位置坐标(如图802上所例示)。max pooling的核大小不限于3×3，可以是诸如5×5等的其它大小。可单独地执行max pooling的处理，或可通过在位置估计单元203所使用的神经网络的输出层旁边添加最大池化层来执行maxpooling的处理。
如何整合多个概率值不限于这种方法，并且位置估计单元203可利用诸如watershed(分水岭)等的其它的最大值检测方法。此外，位置估计单元203可使用这样的方法：对检测到概率值的多个元素进行聚类，并且将各群集的中心坐标作为人的位置坐标。聚类方法的示例包括层次聚类(hierarchical clustering)和k均值聚类(k-meansclustering)。群集的中心坐标可以是群集中元素坐标的简单平均、群集中的元素中具有最高概率的元素的坐标、或例如群集中的元素的坐标的存在概率的加权平均。
在从位置估计单元203所使用的神经网络输出的位置图中，与人的位置坐标不对应的元素可能有微小的概率，其将充当噪声。如果在存在这种噪声的情况下执行如图8A至8C所例示的将相邻元素的概率值整合成一个点的示例，具有微小噪声的元素的坐标将被错误地确定为人的位置坐标。因此，可配置成：修正从神经网络输出的位置图以便将等于或小于阈值的、要被视为噪声的微小概率修正为0，并且位置估计单元203进行将概率值整合成一个点的处理及人的位置坐标的确定。
在步骤S304中，跟踪单元204根据由位置估计单元203输出的位置坐标跟踪人的位置坐标。如上所述，通过对在不同时间捕获的各输入图像进行步骤S302和S303的处理，可获得包含在在不同时间捕获的输入图像中的人的位置坐标列表。图9例示了针对时间t1的位置坐标列表900和针对比时间t1晚的时间t2的位置坐标列表901。在位置坐标列表900和901中，显示了从输入图像检测到的人的位置。通过在位置坐标列表900与位置坐标列表901之间进行人的位置匹配(关联)，跟踪单元204可获得从时间t1至时间t2的人的运动轨迹903。
所述匹配不限定于特定方法。例如，跟踪单元204可以以减少基于匹配结果计算出的成本总和的方式来进行匹配。进行匹配的算法的示例包括匈牙利匹配(Hungarianmatching)、线性规划(linear programming)、神经网络等。可参考的成本的示例包括人与人之间的距离等。此外，可使用基于输入图像间的人的图像信息的相似度的成本。此外，可使用多余一种类型的成本，并且可使用多个文档的成本的组合。例如，可基于人与人之间的距离和输入图像间的人的图像信息的相似度两者来计算成本。跟踪单元204可以以将成本最小化的方式来进行匹配。
下面，将参照图10A-10C描述将人与人之间的距离用作成本的示例。图10A中所例示的输入图像1000表示人的位置坐标A、B和C。此外，从输入图像前一帧的图像，检测到位置坐标b、c、d。请注意，在该示例中，位置坐标b和位置坐标B是一个人的位置坐标，并且位置坐标c和位置坐标C是另一个人的位置坐标。因此，包括位置坐标组合(b,B)和(c,C)的匹配结果被修正。
另一方面，在跟踪单元204以将人与人之间的距离的总和最小化的方式进行匹配的情况下，存在获得位置坐标组合(c,B)和(b,C)的可能性。鉴于此，跟踪单元204可被配置成以这样的方式定义成本：对应于距离bB的成本与对应于距离cC的成本之和小于对应于距离cB的成本与对应于距离Cb的成本之和。在一实施例中，针对距离d的成本小于对应于距离2d的成本的一半。例如，可使用这样的一种强调长距离Cb的距离尺度来定义成本。这样的距离尺度的示例包括平方欧式距离等。
此外，在输入图像1000的位置坐标A处绘制的人存在于捕获前一帧的图像时的图像捕获范围之外的位置坐标a处，并且在捕获输入图像1000时，该人移动至图像捕获范围。进一步地，在前一帧的图像的位置坐标d处绘制的人移动至捕获输入图像1000时的图像捕获范围之外的位置坐标D处。在这种情况下，要与位置坐标A和d匹配的位置坐标a和D无法在输入图像1000和前一帧的图像中检测到。在这种情况下，如果以最小化人与人之间的距离的总和的方式来匹配在输入图像1000的图像捕获范围内检测到的所有的位置坐标，存在错误地获得不正确的匹配结果的可能性。例如，在图10A所例示的示例中，将错误地获得位置坐标组合(A,b)、(B,c)和(C,d)。
在一个实施例中，跟踪单元204可被配置成以不匹配像位置坐标A和d这样的孤立的位置坐标的方式来进行匹配。例如，可设置用于匹配的最大距离r。在这种情况下，跟踪单元204能够以不匹配比最大距离r更远的位置坐标的方式来进行匹配。
图10B和10C例示了为了防止匹配孤立的位置坐标而用于匈牙利匹配的成本矩阵和匹配结果。在图10B中，B、C、b和c分布对应于图10A中的位置坐标B、C、b和c。位置坐标A和d是与所有其他位置坐标的距离等于或长于最大距离r的、孤立的位置坐标。因此，为了防止位置坐标A和d与其它位置坐标匹配，将关于位置坐标A和d的成本从图10B中所例示的成本矩阵中排除。跟踪单元204例如可基于平方欧式距离来生成这样的成本矩阵。在图10B的示例中，用粗框突出显示的位置坐标组合(B,b)和(C,c)以最小化成本的总和这样的方式获得。
在图10C所例示的另一示例中，A、B、C、b、c和d对应于图10A中的位置坐标A、B、C、b、c和d(下文中，称为实际坐标)。在图10C所例示的示例中，首先，跟踪单元204例如基于平方欧式距离生成实际坐标的成本矩阵。其次，跟踪单元204添加与位置坐标A、B和C一样多的三个虚拟(也即，对应于×1、×2和×3的列)，位置坐标A、B和C是从输入图像1000检测到的实际坐标。进一步地，跟踪单元204添加与位置坐标b、c和d一样多的三个虚拟(也即，对应于X1、X 2和X 3的行)，位置坐标b、c和d是从前一帧的图像检测到的实际坐标。然后，跟踪单元204通过使用大于最大距离r的值r1来设置虚拟与任意的实际坐标之间的成本，并且通过使用比值r1大的值r2来设置其间的距离比最大距离r长的实际坐标之间的成本。也即，r<r1<r2。跟踪单元204例如可基于平方欧式距离来生成这样的成本矩阵。通过使用这样的成本矩阵来进行匹配，孤立的实际坐标将不会与其它实际坐标匹配，而是与虚拟匹配。此外，多余的虚拟将彼此间进行匹配。在图10C中，通过使用成本矩阵进行的匹配的结果用粗框表示。跟踪单元204可通过排除这些虚拟的匹配结果来获得匹配结果。
在又一示例中，跟踪单元204可被配置成，在进行匹配之前，对彼此间的距离在最大距离r内的位置坐标进行相互分组。在这种情况下，跟踪单元204可进行分组匹配，以便在同一组中的位置坐标相互匹配。例如，跟踪单元204可针对各组单独地生成如图10B或10C所例示的成本矩阵，并且用所述成本矩阵进行匹配。通过这样的分组将排除如图10A所例示的孤立的位置坐标A和d。通过这样的方法，在人的数量(也即，检测到的位置坐标的数量)很大的情况下，可改善处理速度。分组并不限制于特别的方法，分组方法的示例包括通过使用包含孤立的位置坐标的成本矩阵或相邻图形来搜索未链接的独立的图形的方法。此外，可使用诸如层次聚类和k均值聚类等的聚类方法。
如上所述，跟踪单元204可将从输入图像检测到的人的位置坐标与从在先前的时间所捕获的图像检测到的人的位置坐标进行匹配。在另一方面，跟踪单元204可通过参照先前获得的匹配结果进行匹配。
在一实施例中，跟踪单元204被配置成通过参照匹配时间t1处的位置坐标和时间t2处位置坐标的匹配结果，将时间t2处的位置坐标与比时间t2晚的时间t3处的位置坐标进行匹配。例如，在图11的示例中，跟踪单元204进行匹配以匹配对时间t1和时间t2之间的位置坐标进行匹配的匹配结果1100和针对时间t3的位置坐标列表1101。通过这样的处理，可获得人从时间t1到时间t2再到时间t3的运动轨迹1103。通过对后面的时间的位置坐标重复这样的处理，可获得同一个人长时间的运动轨迹。
跟踪单元204可通过以这种方式进行这样的处理来进行匹配：除了时间t2处的位置坐标和时间t3处的位置坐标，还使用人在时间t2处的运动方向或运动速度。也即，跟踪单元204通过优先地匹配时间t2处的位置坐标和时间t3处的、不与人在时间t2处的运动方向或运动速度相矛盾的位置坐标来进行匹配。
例如，跟踪单元204可被配置成至少基于在时间t2处目标对象在输入图像中的位置，预测在时间t3处目标对象在输入图像中的位置。图12A表示在时间t2与时间t3之间人的位置坐标的运动。在该示例中，在时间t2处检测到位置坐标b和c，并且在时间t3处检测到位置坐标B和C。在这样的情况下，由于人太接近，存在获得错误的匹配(B,c)的可能性。跟踪单元204通过使用在时间t3处的人的预测的位置坐标b*和c*(如图12B所例示)来进行匹配，从而可改善匹配精度。
跟踪单元204可从在时间t3之前的时间的运动轨迹计算出在时间t3处的人的预测的位置坐标b*和c*。例如，跟踪单元204可通过使用基于在时间t2及其之前的匹配结果而获得的运动轨迹计算出人的预测的位置坐标b*和c*。在图12B所例示的示例中，在时间t1处的位置坐标b’与在时间t2处的位置坐标b相互匹配，并且在时间t1处的位置坐标c’与在时间t2处的位置坐标c相互匹配。在该示例中，跟踪单元204可从由时间t1到时间t2的运动轨迹计算出在时间t3处的预测的位置坐标1202(b*,c*)。预测的位置坐标的计算并不限制于特别的方法。例如，跟踪单元204可通过使用在时间t1处和在时间t2处的位置坐标、根据线性外推计算出在时间t3处的预测的位置坐标。
根据上述的方法，跟踪单元204进行匹配1204以匹配预测的位置坐标1202(b*,c*)和在时间t3处检测到的位置坐标1203(B,C)。以这样的方式，代替在时间t2处检测到的位置坐标b和c，跟踪单元204将在时间t3处的预测的位置坐标b*和c*与在时间t3处检测到的位置坐标B和C进行匹配。由于比起位置坐标b和c，更期望预测的位置坐标b*和c*更接近于位置坐标B和C，因此根据该方法，可改善匹配精度。基于将预测的位置坐标b*和c*与位置坐标B和C进行匹配的匹配结果，跟踪单元204可将位置坐标B和C与位置坐标b和c进行匹配。以这样的方式，可获得从时间t1到时间t2再到时间t3的运动轨迹1205。
请注意，时间t3处的预测的位置坐标的计算可使用先于时间t3的多个时间处的位置坐标，而非使用两个时间(时间t1和时间t2)处的位置坐标。
由于某些原因，存在要提供给获得单元201的输入图像被丢失、密度估计单元202的人的密度分布被丢失或位置估计单元203无法检测到人的位置坐标的可能性。例如，如在图13A所例示的示例中，人在时间t3处的位置1304没有被检测到，但在时间t4处被重新检测到。在人的运动轨迹中断的情况下，将错误地判断出人没有穿过表示测量区域的线1301和1302。为了避免这样的事件，如图13B所示，跟踪单元204可通过使用在时间t3处的预测的位置坐标1305来补偿中断的运动轨迹。通过这样的方法，即使运动轨迹被中断，也可判断为人穿过了测量区域。在时间t3处的预测的位置坐标1305可如上所述计算出。
例如，跟踪单元204可预测人在时间t3将存在于预测位置坐标1305处，并基于该预测生成穿过预测的位置坐标1305的人的运动轨迹。请注意，在这样生成的运动轨迹与在时间t3之后检测到的位置坐标不匹配的情况下，跟踪单元204运动轨迹排除预测的位置坐标1305。
在人的运动轨迹中断的情况下，人的位置坐标的估计不限于上述的方法。例如，跟踪单元204可通过使用诸如模板匹配等目标对象跟踪方法来进行人的位置坐标的估计。此外，即使在两帧或更多帧上发生检测不到人的位置坐标，可通过重复计算预测的位置坐标来跟踪人的运动轨迹。
此外，跟踪单元204可被配置成匹配在时间t2处人的位置坐标和在时间t4处的人的位置坐标。在这种情况下，跟踪单元204可从在时间t2处(以及在诸如时间t1等的先于时间t2的时间处)的人的位置坐标计算出在时间t4处的人的预测的位置坐标。如上所述，通过将这些预测的位置坐标与在时间t4处检测到的人的位置坐标进行匹配，可将直至时间t2的人的运动轨迹与在时间t4处检测到的人的位置坐标进行匹配。在这种情况下，可计算出从在时间t2处检测到的位置坐标到在时间t4处检测到的位置坐标的人的运动轨迹。在这种情况下，跟踪单元204可进一步计算出在时间t3处的人的预测的位置坐标。此外，跟踪单元204可计算出从时间t2处检测到的位置坐标通过在时间t3处的人的预测的位置坐标到在时间t4处检测到的位置坐标的人的运动轨迹。
请注意，在图9所例示的示例中，用于匹配的位置坐标列表900和901没有指定与各个位置对应的人。然而，可通过图像识别处理等来指定与各个位置对应的人。在这种情况下，参照用于识别人的信息，跟踪单元204可通过匹配不同时间处的人的位置坐标来进行匹配。
在步骤S305，测量单元205基于从跟踪单元204输出的人的运动轨迹测量人的流量。例如，测量单元205可通过判断从跟踪单元204输出的人的运动轨迹是否穿过预先设置的测量区域来测量人的流量。请注意，测量区域的设置方法如上所述。如参照图4A和4B的说明，可在步骤S301中设置要从中提取部分图像的区域的时候设置测量区域401和403。
下面将参照图14A-14B，描述在测量区域是线性的情况下，估计人的流量的方法的一个示例。图14A例示了在时间t1处的输入图像1400和用作测量区域的线1401。而且，从输入图像1400检测到人1402的位置坐标1403以及人1404的位置坐标1405。类似地，图14B例示了在时间t2处的输入图像1406。从输入图像1406检测到人1402的位置坐标1407以及从位置坐标1403到位置坐标1407的运动轨迹1409。而且，从输入图像1406检测到人1404的位置坐标1408以及从位置坐标1405到位置坐标1408的运动轨迹1410。
在图14B所例示的示例中，测量单元205可确定运动轨迹1409穿过线1401，从而可确定人1402通过线1401。类似地，测量单元205可确定运动轨迹1410也穿过线1401，从而可确定人1404也通过线1401。在这种情况下，测量单元205可确定人1404穿过线1401的方向与人1402穿过线1401的方向相反。例如可通过诸如一条线与一条线的交叉判断等的几何方法来实现的运动轨迹与线的交叉判断。
在一实施例中，在人从被测量区域分开的一个区域移动至另一个区域的情况下，测量单元205确定人穿过了测量区域。另一方面，在人在测量区域中存在时，测量单元205不确定人穿过了测量区域。也即，测量单元205测量跨越测量区域从一个区域移动至另一区域的人的数量，然而测量的人的数量中不包含从一个区域移动至测量区域但还未移动至另一区域的人的数量。
例如，图15例示了用作测量区域的线1500和人的运动轨迹1501。在该示例中，测量单元205可确定在a、d、f三个点处人从下往上穿过线1500，并且可确定在c、e两个点处人从上往下穿过线1500。另一方面，测量单元205可确定在b、g处(人正好在线1500上)人没有穿过线1500。如上所述，线1500可以是厚度大的线(也即，矩形区域)，并且在这种情况下，在人还在线1500上时，测量单元205不确定人穿过了线1500。
通过对每一个人的运动轨迹进行这样的确定，测量单元205可测量人的流量。在图15所例示的示例中，测量单元205可将从下往上穿过线1500的累计数和从上往下穿过线1500的累计数测量为在各自方向上的人的流量。此处，如参照图15所说明的，在人还在测量区域上时，通过确定人没有穿过测量区域，可避免由人在测量区域周围的微小的运动导致的累计穿过数的重复计数。
测量单元205可被配置为计算每一个人在各自的运动方向上跨越测量区域的累计穿过数之间的差作为人的流量。更具体地，测量单元205可计算从一个区域穿过测量区域到另一区域的人的数量与从该另一区域穿过测量区域到该一个区域的人的数量之间的差。例如，在图15的情况下，对于用运动轨迹1501表示的人，从下往上穿过线1500的累计数是3次，从上往下穿过线1500的累计数是2次。测量单元205通过计算在各个运动方向上的累计穿过数之间的差可确定一个人从下往上通过线1500。
如上所述，测量区域的形状没有特别地限制。例如，在测量区域是包围某一区域的闭合曲线的情况下，测量单元205可测量进入测量区域的人的流量和从测量区域出来的人的流量。
根据本实施例，即使图像中的一目标对象与另一目标对象重叠，仍可估计密度分布和从密度分布估计目标对象的位置。因此，与例如如日本特开第2007-201556号专利中的从图像中直接检测目标对象的配置相比，根据本实施例的配置可改善在拥挤的场景中目标对象的位置估计精度。此外，由于表示位置估计结果的位置图高度稀疏(例如，大多数位置的值为0)，因此，使用神经网络直接从图像中进行目标对象的位置估计可能不容易。另一方面，根据本实施例，可通过对密度图上的每一个位置解决二类分类问题来获得位置估计结果，从而使得位置估计更容易。在一实施例中，为了达到这些效果，获得单元201、密度估计单元202和位置估计单元203进行步骤S301至S303的处理，而由跟踪单元204和测量单元205进行的步骤S304和S305的处理可选择性地省略。
此外，根据本实施例，在帧之间跟踪目标对象的位置坐标，从而使得可准确地测量目标对象的流。在一实施例中，为了达到这样的效果，跟踪单元204和测量单元205进行步骤S304和S305的处理，而由获得单元201、密度估计单元202和位置估计单元203进行的步骤S301至S303的处理可选择性的省略。
其它实施例
一些实施例还可以通过读出并执行记录在存储介质(也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(ASIC))的***或装置的计算机来实现，以及通过由***或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

Claims (18)

1.一种图像处理设备，包括：
获得单元，用于获得包括多张图像的运动图像；
密度估计单元，用于基于所述多张图像中的图像估计目标对象的密度分布；
位置估计单元，用于基于所述密度分布估计所述目标对象在所述图像中的位置；以及
测量单元，用于基于所述目标对象在所述多张图像中的位置测量所述目标对象的流。
2.根据权利要求1所述的图像处理设备，其中，所述密度分布表示在所述图像中估计存在所述目标对象的区域。
3.根据权利要求1所述的图像处理设备，其中，所述位置估计单元进一步用于，对于所述图像上的每一个位置，进行用于区分该位置是否表示所述目标对象的代表点的二类分类。
4.根据权利要求1所述的图像处理设备，其中，所述位置估计单元进一步用于基于所述图像中的多个位置计算所述目标对象的位置，所述多个位置被估计以表示所述目标对象的位置，所述多个位置彼此邻接。
5.根据权利要求1所述的图像处理设备，其中，所述获得单元进一步用于，从所述多张图像中的每一个中，提取属于所述图像的一部分的一个或多个部分图像，以及
所述密度估计单元进一步用于估计在所述一个或多个部分图像的每一个中所述目标对象的密度分布。
6.根据权利要求5所述的图像处理设备，其中，所述获得单元进一步用于以这样的方式从所述图像中提取所述部分图像，所述方式是所述部分图像包括将在其中测量所述目标对象的流的测量区域。
7.根据权利要求6所述的图像处理设备，其中，所述获得单元进一步用于经由用户获得所述测量区域的指定，并且基于所述指定设置将从中提取所述部分图像的区域。
8.根据权利要求5所述的图像处理设备，其中，所述获得单元进一步用于将所述图像分割为多个区域，并且用于对于从所述多个区域中选择的一个或多个区域中的每一个，从该区域和该区域周围的空白区域中提取所述部分图像。
9.根据权利要求1至8中任一项所述的图像处理设备，其中，密度估计单元进一步用于生成所述图像的密度图，所述密度图表示所述目标对象在所述图像上每一个位置处的密度，以及
所述位置估计单元进一步用于，对于所述密度图像上的每一个位置，进行区分该位置是否表示所述目标对象的代表点的二类分类。
10.根据权利要求1至8中任一项所述的图像处理设备，其中，所述测量单元进一步用于测量从第一区域移动至第二区域的目标对象的数量，所述第一区域和第二区域由将在其中测量所述目标对象的流的测量区域分开。
11.根据权利要求10所述的图像处理设备，其中，所述测量单元进一步用于测量从所述第一区域跨越所述测量区域移动至所述第二区域的目标对象的数量，同时，从所测量的目标对象的数量中排除从所述第一区域移动至所述测量区域而非至所述第二区域的目标对象的数量。
12.根据权利要求10所述的图像处理设备，其中，所述测量单元进一步用于计算从所述第一区域移动至所述第二区域的目标对象的数量与从所述第二区域移动至所述第一区域的目标对象的数量之差。
13.根据权利要求1至8中任一项所述的图像处理设备，进一步包括关联单元，用于将所述多张图像中第一时间处的第一图像中的目标对象的位置与所述多张图像中第二时间处的第二图像中的目标对象的位置相关联。
14.根据权利要求13所述的图像处理设备，其中，所述关联单元进一步用于：
至少基于所述第二图像中的目标对象的位置，预测比所述第二时间晚的第三时间处的第三图像中的目标对象的位置；以及
基于所述第三时间处的第三图像中的目标对象的预测位置和所述第三图像中的目标对象的位置，将所述第二图像中的目标对象的位置与所述第三图像中的目标对象的位置相关联。
15.根据权利要求1至8中任一项所述的图像处理设备，其中，所述密度估计单元进一步用于使用神经网络估计所述密度分布。
16.根据权利要求1至8中任一项所述的图像处理设备，其中，所述位置估计单元进一步用于使用神经网络估计所述目标对象的位置。
17.一种图像处理方法，包括：
获得包括多张图像的运动图像；
基于所述多张图像中的图像估计目标对象的密度分布；
基于所述密度分布估计所述目标对象在所述图像中的位置；以及
基于所述目标对象在所述多张图像中的位置测量所述目标对象的流。
18.一种计算机可读介质，其存储有程序，该程序在由计算机执行时使得所述计算机进行根据权利要求17所述的方法。
CN202010966844.7A 2019-09-17 2020-09-15 图像处理设备、图像处理方法和计算机可读介质 Pending CN112598725A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-168734 2019-09-17
JP2019168734A JP7383435B2 (ja) 2019-09-17 2019-09-17 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112598725A true CN112598725A (zh) 2021-04-02

Family

ID=72517157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010966844.7A Pending CN112598725A (zh) 2019-09-17 2020-09-15 图像处理设备、图像处理方法和计算机可读介质

Country Status (4)

Country Link
US (1) US11721036B2 (zh)
EP (1) EP3796256A1 (zh)
JP (1) JP7383435B2 (zh)
CN (1) CN112598725A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468391B2 (ja) * 2021-02-09 2024-04-16 株式会社Ｊｖｃケンウッド 撮像装置および撮像処理方法
CN116311084B (zh) * 2023-05-22 2024-02-23 青岛海信网络科技股份有限公司 一种人群聚集的检测方法及视频监控设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
WO2012111138A1 (ja) * 2011-02-18 2012-08-23 株式会社日立製作所 歩行者移動情報検出装置
CN103871082A (zh) * 2014-03-31 2014-06-18 百年金海科技有限公司 一种基于安防视频图像的人流量统计方法
US20160019698A1 (en) * 2014-07-21 2016-01-21 Florida Atlantic University Systems and methods for people counting in sequential images
CN107944327A (zh) * 2016-10-10 2018-04-20 杭州海康威视数字技术股份有限公司 一种人数统计方法及装置
CN109508583A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 一种人群分布特征的获取方法和装置
CN110188597A (zh) * 2019-01-04 2019-08-30 北京大学 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和***
CN110210603A (zh) * 2019-06-10 2019-09-06 长沙理工大学 人群的计数模型构建方法、计数方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201556A (ja) 2006-01-23 2007-08-09 Fujifilm Corp 混雑情報提供システム及び方法
TWI500904B (zh) 2014-09-18 2015-09-21 Vivotek Inc 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
CN106407946B (zh) 2016-09-29 2020-03-03 北京市商汤科技开发有限公司 跨线计数方法和深度神经网络训练方法、装置和电子设备
EP3547211B1 (en) * 2018-03-30 2021-11-17 Naver Corporation Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
WO2012111138A1 (ja) * 2011-02-18 2012-08-23 株式会社日立製作所 歩行者移動情報検出装置
CN103871082A (zh) * 2014-03-31 2014-06-18 百年金海科技有限公司 一种基于安防视频图像的人流量统计方法
US20160019698A1 (en) * 2014-07-21 2016-01-21 Florida Atlantic University Systems and methods for people counting in sequential images
CN107944327A (zh) * 2016-10-10 2018-04-20 杭州海康威视数字技术股份有限公司 一种人数统计方法及装置
CN109508583A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 一种人群分布特征的获取方法和装置
CN110188597A (zh) * 2019-01-04 2019-08-30 北京大学 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和***
CN110210603A (zh) * 2019-06-10 2019-09-06 长沙理工大学 人群的计数模型构建方法、计数方法和装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AISHWARYA S N RANI ET AL.: "Robust object tracking using kernalized correlation filters（KCF）and Kalman predictive estimates", 《2017 2ND IEEE INTERNATIONAL CONFERENCE ON RECENT TRENDS IN ELECTRONICS, INFORMATION & COMMUNICATION TECHNOLOGY (RTEICT)》, 19 May 2017 (2017-05-19) *
DI KANG ET AL.: "Beyond Counting：Comparisons of Density Maps for Crowd Analysis Tasks-Counting，Detection，and Tracking", 《IEEE TRANSACTION ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 29, no. 05, 1 May 2019 (2019-05-01) *
WEIHONG REN ET AL.: "Fusing Crowd Density Maps and Visual Object Trackers for People Tracking in Crowd Scenes", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 18 June 2018 (2018-06-18) *
李峰松: "基于视频的室内空间人数统计算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 03, 15 March 2015 (2015-03-15), pages 1 - 52 *
白阳: "基于卷积神经网络的行人检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 01, 15 January 2019 (2019-01-15), pages 1 - 47 *
赵传强: "基于卷积神经网络的静态图像密集人群计数算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 09, 15 September 2019 (2019-09-15), pages 1 - 40 *

Also Published As

Publication number Publication date
JP2021047538A (ja) 2021-03-25
JP7383435B2 (ja) 2023-11-20
US11721036B2 (en) 2023-08-08
EP3796256A1 (en) 2021-03-24
US20210082141A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
CN108090456B (zh) 识别车道线模型的训练方法、车道线识别方法及装置
CN110400332B (zh) 一种目标检测跟踪方法、装置及计算机设备
US9824296B2 (en) Event detection apparatus and event detection method
CN110268440B (zh) 图像解析装置、图像解析方法、以及存储介质
US7729512B2 (en) Stereo image processing to detect moving objects
KR102416227B1 (ko) 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램
KR101557376B1 (ko) 사람 계수 방법 및 그를 위한 장치
US20160133025A1 (en) Method for detecting crowd density, and method and apparatus for detecting interest degree of crowd in target position
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN109740609B (zh) 一种轨距检测方法及装置
US10586115B2 (en) Information processing device, information processing method, and computer program product
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
US9489593B2 (en) Information processing apparatus and training method
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
US20160055382A1 (en) Vehicle discrimination apparatus
CN112598725A (zh) 图像处理设备、图像处理方法和计算机可读介质
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
US20170053172A1 (en) Image processing apparatus, and image processing method
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN111699509B (zh) 物体检测装置、物体检测方法以及记录介质
CN111091041A (zh) 一种车辆违法判别方法、装置、计算机设备和存储介质
KR20130091441A (ko) 물체 추적 장치 및 그 제어 방법
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
KR102260556B1 (ko) 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination