CN113168694B - 人检测装置以及人检测方法 - Google Patents

人检测装置以及人检测方法 Download PDF

Info

Publication number
CN113168694B
CN113168694B CN201980079319.9A CN201980079319A CN113168694B CN 113168694 B CN113168694 B CN 113168694B CN 201980079319 A CN201980079319 A CN 201980079319A CN 113168694 B CN113168694 B CN 113168694B
Authority
CN
China
Prior art keywords
human body
candidate
head
detection
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980079319.9A
Other languages
English (en)
Other versions
CN113168694A (zh
Inventor
田中清明
辻郁奈
松永纯平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113168694A publication Critical patent/CN113168694A/zh
Application granted granted Critical
Publication of CN113168694B publication Critical patent/CN113168694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

人检测装置对通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像进行解析，检测存在于所述检测对象区域内的人，该人检测装置具有：头部检测部，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补；人体检测部，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补；以及判定部，将组合所述头部检测部的检测结果和所述人体检测部的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人。

Description

人检测装置以及人检测方法
技术领域
本发明涉及使用鱼眼相机的图像来检测人的技术。
背景技术
在建筑自动化(BA)和工厂自动化(FA)的领域中，需要利用图像传感器自动测量人的“数量”、“位置”、“动作线路”等，对照明或空调等设备进行最佳控制的应用。在这样的用途中，为了取得尽可能宽范围的图像信息，而利用搭载了鱼眼镜头(Fish Eye Lens)的超广角的相机(称为鱼眼相机、全方位相机、球型(日文：全天球)相机等，但其含义均相同。在本说明书中使用“鱼眼相机”一词。)的情况较多。
由鱼眼相机拍摄的图像严重失真。因此，从鱼眼相机的图像(以下称为“鱼眼图像”。)中检测人体或面部等的情况下，一般是通过预先将鱼眼图像进行平面展开而校正为失真少的图像后实施检测处理的方法(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2016-39539号公报
发明内容
发明要解决的课题
然而，在现有技术中存在如下问题。一个问题是，由于对鱼眼图像进行平面展开这样的预处理发生，因而整体的处理成本增大。这可能使实时的检测处理变得困难，导致设备控制的延迟，并不优选。第二个问题是，存在于鱼眼相机的正下方等刚好在平面展开时的边界(图像的缝隙)的位置的人或物体的像由于平面展开的处理而大幅变形，或者像被分割，从而有可能无法正确地检测。
为了避免这些问题，本发明人等正在研究将鱼眼图像直接(“不进行平面展开”的意思。)地进行检测处理的方法。但是，与通常的相机图像相比，在鱼眼图像的情况下，成为检测对象的人的外观(人体的倾斜、歪曲、大小)的变化增加，因此检测变得困难。特别是，在设想BA或FA等应用的情况下，由于在图像中存在很多椅子、个人计算机、垃圾箱、电风扇、循环器(Circulator)等容易被误认为人体或头部的物体，因此容易导致检测精度的降低。
本发明是鉴于上述实际情况而完成的，其目的在于提供一种从鱼眼图像高速且高精度地检测人的技术。
用于解决课题的手段
为了实现上述目的，本发明采用以下结构。
本发明的第一侧面提供人检测装置，该人检测装置对通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像进行解析，检测存在于所述检测对象区域内的人，其特征在于，具有：头部检测部，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补；人体检测部，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补；以及判定部，将组合所述头部检测部的检测结果和所述人体检测部的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人。
“鱼眼相机”是搭载了鱼眼镜头的相机，是与通常的相机相比能够进行超广角的拍摄的相机。全方位相机或球型相机也是鱼眼相机的一种。鱼眼相机设置为从检测对象区域的上方俯视检测对象区域即可。典型地，设置成鱼眼相机的光轴垂直向下，但鱼眼相机的光轴也可以相对于垂直方向倾斜。“检测人的头部的算法”和“检测人体的算法”在前者仅将头部作为检测对象、后者将人体作为检测对象这一点上是不同的算法。在此，“人体”可以是人的全身，也可以是半身(例如上半身、头部和躯体等)。
根据本发明，由于不对鱼眼图像进行平面展开，所以能够进行高速的检测处理。另外，由于从图像中一起检测出头部和身体、并且它们满足规定的条件的情况下，才判定为“人”，所以能够实现高精度的检测。
所述规定的条件可以包含与所述头部候补和所述人体候补的相对位置相关的条件。在由鱼眼相机得到的鱼眼图像中，由于头部的区域与人体的区域的位置关系具有一定的规则，因此能够基于头部的区域与人体的区域的相对位置来判定该对的妥当性(是人的确定性(日文：確からしさ))。具体而言，所述规定的条件可以包含所述头部候补的区域与所述人体候补的区域具有重叠这样的条件。所述规定的条件可以包括所述人体候补存在于比所述头部候补更靠近所述鱼眼图像的中心的坐标处这样的条件。
所述规定的条件可以包含与所述头部候补和所述人体候补的相对尺寸相关的条件。由于能够预先设想由固定相机得到的鱼眼图像中的头部以及人体的尺寸，因此能够基于头部候补和人体候补的相对尺寸来判定该对的妥当性(是人的确定性)。具体而言，所述规定的条件可以包含所述头部候补和所述人体候补的尺寸比率在规定的范围内这样的条件。在此，所述判定部可以根据所述头部候补或所述人体候补在所述鱼眼图像上的坐标，改变所述规定的范围。
也可以是，所述头部检测部按检测出的每个头部候补输出检测的可靠度，所述人体检测部按检测出的每个人体候补输出检测的可靠度，所述规定的条件包括与所述头部候补以及所述人体候补的可靠度相关的条件。由此，能够实现最终的检测结果的可靠度、即检测精度的提高。
例如，所述判定部也可以根据所述头部候补的可靠度和所述人体候补的可靠度求出总可靠度，所述规定的条件可以包括所述总可靠度大于阈值这样的条件。总可靠度只要是头部候补的可靠度和人体候补的可靠度的函数，哪种指标都可以。例如，可以使用头部候补的可靠度和人体候补的可靠度的合计、简单平均、加权平均等。
所述判定部也可以根据所述头部候补或所述人体候补在所述鱼眼图像上的坐标，改变当求取所述总可靠度时的所述头部候补的可靠度和所述人体候补的可靠度的权重。例如，位于相机正下方的人拍入头部，但由于人体仅拍入两肩左右，所以与头部检测相比，人体检测变得困难。这样，由于依赖于图像上的坐标，头部候补的可靠度和人体候补的可靠度的哪一个值容易变高是变化的，所以在求取总可靠度时通过考虑该特性，能够实现最终的判定精度的提高。
在所述头部候补的可靠度和所述人体候补的可靠度的任意一方足够高的情况下，所述判定部也可以放宽对于另一方的可靠度的条件。这是因为，如果任意一方的可靠度足够高，则被认为(即便是另一方的检测的可靠度稍低)是人的确定性高。
本发明的第二侧面提供人检测方法，该人检测方法对通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像进行解析，检测存在于所述检测对象区域内的人，其特征在于，具有：头部检测步骤，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补；人体检测步骤，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补；以及判定步骤，将组合所述头部检测步骤的检测结果和所述人体检测步骤的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人。
本发明既可以作为具有上述单元的至少一部分的人检测装置来理解，也可以作为对检测出的人进行识别(认知)的人识别装置、对检测出的人进行跟踪的人跟踪装置、或者图像处理装置或监视***来理解。另外，本发明也可以作为包含上述处理的至少一部分的人检测方法、人识别方法、人跟踪方法、图像处理方法、监视方法来理解。另外，本发明也可以作为用于实现该方法的程序或将该程序非暂时记录的记录介质来理解。另外，上述单元以及处理的每一个可以尽可能地相互组合构成本发明。
发明的效果
根据本发明，能够从鱼眼图像高速且高精度地检测人。
附图说明
图1是表示本发明的人检测装置的应用例的图。
图2是表示具备人检测装置的监视***的结构的图。
图3是表示鱼眼图像的例子的图。
图4是人检测处理的流程图。
图5是表示头部检测的结果的例子的图。
图6是表示在头部检测的结果上重叠了人体检测的结果的例子的图。
图7是表示最终判定结果(人检测结果)的例子的图。
图8是基于相对位置的配对处理的流程图。
图9是基于相对尺寸的配对处理的流程图。
图10是表示根据图像上的位置改变处理的例子的图。
具体实施方式
<应用例>
参照图1说明本发明的人检测装置的应用例。人检测装置1是对由设置在检测对象区域11的上方(例如天花板12等)的鱼眼相机10得到的鱼眼图像进行解析，检测存在于检测对象区域11内的人13的装置。该人检测装置1例如在办公室或工厂等中进行在检测对象区域11中经过的人13的检测、识别、跟踪等。人检测装置1的检测结果被输出到外部装置，例如用于人数的计数、照明或空调等各种设备的控制、可疑者的监视等。
人检测装置1在将鱼眼图像直接(即，不进行平面展开或失真校正等预处理)地用于人检测处理这一点，具有特征之一。由此，实现检测处理的高速化(实时性)。进而，人检测装置1在对鱼眼图像进行头部检测和人体检测，并组合头部检测的结果和人体检测的结果来进行最终的判定(是否是人的判定)这一点，具有特征之一。此时，通过考虑鱼眼图像的特性，进行头部与人体的配对以及可靠度的评价，能够实现高精度的检测。
<监视***>
参照图2说明本发明的实施方式。图2是表示应用了本发明的实施方式的人检测装置的监视***的结构的框图。监视***2大致具备鱼眼相机10和人检测装置1。
鱼眼相机10是具有包括鱼眼镜头的光学***和摄像元件(CCD或CMOS等图像传感器)的摄像装置。鱼眼相机10例如可以如图1所示，以使光轴垂直向下的状态设置在检测对象区域11的天花板12等上，拍摄检测对象区域11的全方位(360度)的图像。鱼眼相机10通过有线(USB电缆、LAN电缆等)或无线(WiFi等)与人检测装置1连接，由鱼眼相机10拍摄的图像数据被取入到人检测装置1。图像数据是单色图像、彩色图像的哪一种都可以，并且图像数据的分辨率、帧速率或格式是任意的。在本实施方式中，设想使用以10fps(每秒10张)取入的单色图像。
图3表示从鱼眼相机10取入的鱼眼图像的例子。在以光轴垂直向下的方式设置了鱼眼相机10的情况下，在鱼眼图像的中心出现对存在于鱼眼相机10的正下方的人从头顶部进行观察而得到的像。并且，随着朝向鱼眼图像的端部，俯角变小，因此出现从斜上方观察到人的像。另外，鱼眼图像的中心失真比较小，但随着朝向鱼眼图像的端部，图像的失真变大。如在背景技术的栏中所述，以往在创建了对鱼眼图像的失真进行了校正的平面展开图像之后，进行检测或识别等图像处理，但在本实施方式的监视***2中，将图3所示的鱼眼图像直接(保持失真的状态)地用于检测或识别的处理。由此，省略失真校正等预处理，实现实时监视。
返回图2，说明人检测装置1。本实施方式的人检测装置1具有图像输入部20、头部检测部22、人体检测部24、判定部26、存储部27、输出部28。头部检测部22和人体检测部24也统称为“检测部21”。图像输入部20具有从鱼眼相机10取入图像数据的功能。所取入的图像数据被保存在存储部27中。头部检测部22具有使用检测人的头部的算法，从鱼眼图像检测头部候补的功能。头部检测字典23是预先注册(登记)了会在鱼眼图像中出现的头部的图像特征的字典。人体检测部24具有使用检测人体的算法，从鱼眼图像中检测人体候补的功能。人体检测字典25是预先注册了会在鱼眼图像中出现的人体的图像特征的字典。判定部26具有基于头部检测部22和人体检测部24的检测结果，判定存在于鱼眼图像内的“人”的功能。存储部27具有存储鱼眼图像、检测结果、判定结果等的功能。输出部28具有将鱼眼图像、检测结果、判定结果等信息输出到外部装置的功能。例如，输出部28可以在作为外部装置的显示器上显示信息，也可以向作为外部装置的计算机转发信息，也可以向作为外部装置的照明装置、空调或FA装置发送信息或控制信号。
人检测装置1例如可以由具备CPU(处理器)、存储器(memory)、储存器(storage)等的计算机构成。在这种情况下，通过将保存在储存器中的程序加载到存储器中并由CPU执行该程序来实现图2所示的结构。该计算机可以是诸如个人计算机、服务器计算机、平板终端和智能电话这样的通用计算机，也可以是机载计算机(On-board computer)这样的嵌入式计算机。或者，图2所示的结构的全部或一部分也可以由ASIC或FPGA等构成。或者，图2所示的结构的全部或一部分也可以通过云计算或分布式计算来实现。
<人检测处理>
图4是由监视***2进行的人检测处理的流程图。按照图4说明人检测处理的整体流程。另外，图4的流程图表示对1帧的鱼眼图像的处理。在以10fps输入鱼眼图像的情况下，图4的处理在1秒内执行10次。
首先，图像输入部20从鱼眼相机10输入1帧的鱼眼图像(步骤S40)。图3是输入的鱼眼图像的例子。在该图像中拍入有5人。
接着，头部检测部22从鱼眼图像中检测人的头部(步骤S41)。在鱼眼图像内存在多个人的情况下，检测多个头部。另外，在很多情况下，有时也会错误地检测出不是头部的物体(例如球、PC、循环器、圆椅等形状或颜色与人的头部容易混淆的物体)。这样，在头部检测部22的检测结果中也会包含不是头部的物体，因此在该阶段称为“头部候补”。在检测结果中，例如可以包含检测到的头部候补的外接矩形(也称为“边界框”)。)和检测的可靠度(是头部的确定性)。图5是头部检测的结果的例子。标号50表示边界框。在该例中，除了人的头部51、52、53、54、55之外，不是头部的物体56、57也被检测为头部候补。另外，头部检测使用哪种算法都可以。例如，可以使用组合了HoG或Haar-like等图像特征和增强(Boosting)的识别器，也可以使用基于深度学习(例如R-CNN、Fast R-CNN、YOLO、SSD等)的头部识别。
接着，人体检测部24从鱼眼图像中检测人体(步骤S41)。在鱼眼图像内存在多个人的情况下，检测多个人体。另外，在很多情况下，有时也错误地检测出不是人体的物体(例如，电风扇、桌椅、衣帽架等形状或颜色与人体容易混淆的物体)。这样，在人体检测部24的检测结果中也会包含不是人体的物体，因此在该阶段称为“人体候补”。在检测结果中，例如，可以包括检测到的人体候补的外接矩形(也称为“边界框”)和检测的可靠度(为人体的确定性(日文：確からしさ))。图6是在头部检测的结果上重叠了人体检测的结果的例子。标号60表示人体候补的边界框。在该例子中，除了人体61、62、63、64、65之外，不是人体的物体66、67也被检测为人体候补。另外，人体检测使用哪种算法都可以。例如，可以使用组合了HoG或Haar-like等图像特征和增强的识别器，也可以使用基于深度学习(例如R-CNN、FastR-CNN、YOLO、SSD等)的人体识别。在本实施方式中，作为人体检测人的全身，但不限于此，也可以将上半身等身体的一部分作为检测对象。
另外，由于头部检测和人体检测是独立的处理，所以可以按照人体检测→头部检测的顺序执行，也可以并行处理头部检测和人体检测。
接着，判定部26进行头部候补和人体候补的配对(步骤S43)。判定部26例如从图6所示的7个头部候补51～57和7个人体候补61～67的49个的对中，仅选择满足规定的配对条件的对。配对条件以及配对处理的细节将后述。
接着，判定部26求出在步骤S43中得到的各对的可靠度(步骤S44)。所谓对的可靠度，是表示该对(头部候补和人体候补)表示实际的人的头部和身体的可能性的高低(是人的确定性)的尺度。可靠度的细节将后述。
接着，判定部26从在步骤S43中得到的多个对中，仅提取满足规定的可靠度条件的对(步骤S45)。然后，判定部26将在此提取出的对(头部候补和人体候补的组合)最终判定为“人”，并将该判定结果保存在存储部27中。判定结果例如可以包括包含头部候补以及人体候补的外接矩形(边界框)的位置以及尺寸、该对的可靠度等信息。图7是最终判定结果(人检测结果)的例子。
最后，输出部28将在步骤S45中得到的判定结果输出到外部装置(步骤S46)。以上，对1帧的鱼眼图像的处理结束。
根据本实施方式的人检测处理，直接对鱼眼图像进行解析，从鱼眼图像直接进行人检测。因此，能够省略鱼眼图像的平面展开或失真校正这样的预处理，能够进行高速的人检测处理。将鱼眼图像直接用于检测处理的方法与在进行平面展开(失真校正)后进行检测处理的方法相比，存在检测精度降低的课题，但在本实施方式中，由于采用了从鱼眼图像一起检测出头部和身体，并且它们满足规定的条件的情况下判定为“人”的逻辑，所以能够实现非常高精度的检测。
另外，在本实施方式中，作为规定的条件，使用了配对条件和可靠度条件这两个条件，但只要仅任意一方也能够得到足够的精度，也可以仅使用一方的条件。或者，也可以使用配对条件和可靠度条件以外的其他条件。
<配对>
说明由判定部26进行的配对处理以及配对条件的具体例子。
(1)基于相对位置的配对
因为鱼眼图像是以俯视人的角度拍摄的，所以如图6所示，头部区域(边界框)和人体区域(边界框)具有重叠。另外，在存在于相机的正下方(即，光轴上)的人的情况下，头部区域与人体区域的中心大致一致，但在存在于除此以外的位置的人的情况下，人体区域与头部区域相比更靠图像的中心侧来拍入(换言之，从图像的中心观察，按照人体区域的中心、头部区域的中心这样的顺序排列。)。利用这样的鱼眼图像的特性，考虑头部区域和人体区域的相对位置，由此，能够评价头部候补和人体候补的组合的妥当性。
图8是基于相对位置的配对处理的流程图。首先，判定部26从头部候补和人体候补的全部组合中，生成头部区域和人体区域具有重叠的对(步骤S80)。在图6的例子的情况下，生成6个对。比实际的人数(5人)多的理由是，也生成人体候补62和基于误检测的头部候补56的对。
接着，判定部26对于在步骤S80中得到的各个对，判定头部区域和人体区域的哪一个接近图像中心，仅提取人体区域一方接近图像中心的对(步骤S81)。该判定例如通过比较头部区域的中心与图像中心之间的距离、和人体区域的中心与图像中心之间的距离来进行即可。通过该处理，能够将人体候补62和头部候补56的对除外。其结果，筛选为头部候补51和人体候补61、头部候补52和人体候补62、头部候补53和人体候补63、头部候补54和人体候补64、头部候补55和人体候补65这5对。
(2)基于相对尺寸的配对
在鱼眼相机10的位置相对于检测对象区域而被固定的情况下，能够大致预测头部或人体在鱼眼图像上的尺寸。另外，身体的大小的个人差异能够通过计算头部和人体的相对尺寸来消除。利用这样的鱼眼图像的特性，考虑头部区域和人体区域的相对尺寸，由此，能够评价头部候补和人体候补的组合的妥当性。
图9是基于相对尺寸的配对处理的流程图。首先，判定部26从头部候补和人体候补的全部组合中，生成头部区域和人体区域具有重叠的对(步骤S90)。该处理与图8的步骤S80相同。接着，判定部26针对在步骤S90中得到的各个对，计算头部区域和人体区域的尺寸比率(步骤S91)。例如，可以将边界框的面积比作为尺寸比率求出，也可以将边或对角线的长度的比作为尺寸比率求出。然后，判定部26仅提取尺寸比率收敛于规定范围的对(步骤S92)。通过这样的处理，能够将尺寸与实际的头部或人体明显不同的误检测物体从配对对象中除外。
然而，作为鱼眼图像的特性，具有随着朝向图像的端部而俯角变小，与头部区域相比人体区域的尺寸相对地变大的特性。即，头部区域和人体区域的尺寸比率在图像整体上不是固定的，会根据鱼眼图像内的位置而变化。因此，判定部26也可以根据头部候补或人体候补在图像上的坐标，使在步骤S102中使用的“规定的范围”可变。例如，如图10所示，将鱼眼图像分割为L1～L25的25个区域，对各分割区域设定尺寸比率的正解范围。在图10的例子中，设定了距图像中心的距离越远、尺寸比率(头部区域/人体区域)越小这样的正解范围。判定部26在步骤S92的判定处理中参照图10所示的表，由此能够实现与鱼眼图像内的位置对应的适当的判定。由此，能够进一步提高配对的可靠度。
<可靠度>
说明几个由判定部26进行的可靠度判定的具体例。
(1)单独判定
在构成对的头部候补和人体候补各自的可靠度都超过规定的阈值的情况下，判定部26也可以判定为该对是人。即，在将头部候补的可靠度设为Ch、将人体候补的可靠度设为Cb、将头部候补的阈值设为Th、将人体候补的阈值设为Tb时，判定为
Ch>Th且Cb>Tb人
Ch≤Th或Cb≤Tb不是人的判定方法是单独判定。
(2)简单平均
判定部26也可以根据头部候补的可靠度Ch和人体候补的可靠度Cb来求出总可靠度Cw，根据该总可靠度Cw是否大于阈值Tw，来判定该对是否是人。在简单平均的情况下，总可靠度Cw可以通过下式计算。
Cw＝(Ch+Cb)/2
(3)加权平均
在加权平均的情况下，总可靠度Cw例如可以通过以下式计算。
Cw＝(w×Ch+(1－w)×Cb)/2
其中，w是权重。权重w可以是固定值，也可以根据头部候补或人体候补在鱼眼图像上的坐标而改变。如图6所示，在图像的中央部分，头部被拍入得较大，但几乎未拍入人体。并且，随着朝向图像的端部，人体的拍入比例变大。考虑到这样的鱼眼图像的特性，可以在图像的中央部分相对地增大头部候补的可靠度Ch的权重w，随着朝向图像的端部，逐渐增大人体候补的可靠度Cb的权重(1－w)。
(4)头部优先
在头部候补的可靠度Ch极高的情况下，判定部26也可以不考虑人体候补的可靠度Cb(或者使人体候补的可靠度Cb的权重极小)，而进行是否是人的最终判定。进而，在头部候补的可靠度Ch极高的情况下，即使在未发现成为对的人体候补的情况下，也可以判定为“人”(视为身体被遮挡在阴影中的可能性高)。另外，用于判断可靠度Ch是否极高的阈值可以设定为比上述Th、Tw大的值。
(5)人体优先
在人体候补的可靠度Cb极高的情况下，判定部26也可以不考虑头部候补的可靠度Ch(或者使头部候补的可靠度Ch的权重极小)，而进行是否是人的最终判定。进而，在人体候补的可靠度Cb极高的情况下，即使在未发现成为对的头部候补的情况下，也可以判定为“人”(视为头部被遮挡于阴影中的可能性高)。另外，用于判断可靠度Cb是否极高的阈值可以设定为比上述Tb、Tw大的值。
<其他>
上述实施方式只不过是对本发明的结构例进行例示说明。本发明不限于上述具体的方式，在其技术思想的范围内可以进行各种变形。
<附记1>
(1)一种人检测装置(1)，对通过设置在检测对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像进行解析，检测存在于所述检测对象区域(11)内的人(13)，其特征在于，具有：
头部检测部(22)，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补；
人体检测部(24)，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补；以及
判定部(26)，将组合所述头部检测部(22)的检测结果和所述人体检测部(24)的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人。
(2)一种人检测方法，对通过设置在检测对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像进行解析，检测存在于所述检测对象区域(11)内的人(13)，其特征在于，具有：
头部检测步骤(S41)，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补；
人体检测步骤(S42)，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补；以及
判定步骤(S45)，将组合所述头部检测步骤的检测结果和所述人体检测步骤的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人。
标号说明
1:人检测装置
2:监视***
10:鱼眼相机
11:检测对象区域
12:天花板
13:人。

Claims (10)

1.一种人检测装置，对通过设置在检测对象区域的上方的鱼眼摄像机得到的鱼眼图像进行解析，检测存在于所述检测对象区域内的人，其特征在于，具有：
头部检测部，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补，并且按检测出的每个头部候补输出检测的可靠度；
人体检测部，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补，并且按检测出的每个人体候补输出检测的可靠度；以及
判定部，将组合所述头部检测部的检测结果和所述人体检测部的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人，
所述规定的条件包括如下条件：根据所述头部候补的可靠度和所述人体候补的可靠度求出的总可靠度大于阈值，
所述判定部根据所述头部候补或所述人体候补在所述鱼眼图像上的坐标，改变当求取所述总可靠度时的所述头部候补的可靠度和所述人体候补的可靠度间的相对的权重。
2.根据权利要求1所述的人检测装置，其特征在于，
所述规定的条件包括与所述头部候补和所述人体候补的相对位置相关的条件。
3.根据权利要求1所述的人检测装置，其特征在于，
所述规定的条件包括如下条件：所述头部候补的区域与所述人体候补的区域具有重叠。
4.根据权利要求1所述的人检测装置，其特征在于，
所述规定的条件包括如下条件：所述人体候补存在于比所述头部候补更接近所述鱼眼图像的中心的坐标处。
5.根据权利要求1所述的人检测装置，其特征在于，
所述规定的条件包括与所述头部候补和所述人体候补的相对尺寸相关的条件。
6.根据权利要求1所述的人检测装置，其特征在于，
所述规定的条件包括如下条件：所述头部候补和所述人体候补的尺寸比率是规定的范围。
7.根据权利要求6所述的人检测装置，其特征在于，
所述判定部根据所述头部候补或所述人体候补在所述鱼眼图像上的坐标，改变所述规定的范围。
8.根据权利要求1～7中任一项所述的人检测装置，其特征在于，
在所述头部候补的可靠度和所述人体候补的可靠度中的任意一方足够高的情况下，所述判定部放宽对于另一方的可靠度的条件。
9.一种人检测方法，对通过设置在检测对象区域的上方的鱼眼摄像机得到的鱼眼图像进行解析，检测存在于所述检测对象区域内的人，其特征在于，具有：
头部检测步骤，使用检测人的头部的算法，从所述鱼眼图像中检测一个以上的头部候补，并且按检测出的每个头部候补输出检测的可靠度；
人体检测步骤，使用检测人体的算法，从所述鱼眼图像中检测一个以上的人体候补，并且按检测出的每个人体候补输出检测的可靠度；以及
判定步骤，将组合所述头部检测步骤的检测结果和所述人体检测步骤的检测结果而创建的所述头部候补和所述人体候补的对中的、满足规定的条件的对，判定为人，
所述规定的条件包括如下条件：根据所述头部候补的可靠度和所述人体候补的可靠度求出的总可靠度大于阈值，
在所述判定步骤中，根据所述头部候补或所述人体候补在所述鱼眼图像上的坐标，改变当求取所述总可靠度时的所述头部候补的可靠度和所述人体候补的可靠度间的相对的权重。
10.一种计算机可读取的存储介质，其特征在于，
存储了用于使计算机执行权利要求9中记载的人检测方法的各步骤的程序。
CN201980079319.9A 2018-12-26 2019-11-08 人检测装置以及人检测方法 Active CN113168694B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-243475 2018-12-26
JP2018243475A JP7255173B2 (ja) 2018-12-26 2018-12-26 人検出装置および人検出方法
PCT/JP2019/043977 WO2020137193A1 (ja) 2018-12-26 2019-11-08 人検出装置および人検出方法

Publications (2)

Publication Number Publication Date
CN113168694A CN113168694A (zh) 2021-07-23
CN113168694B true CN113168694B (zh) 2024-04-30

Family

ID=71129009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079319.9A Active CN113168694B (zh) 2018-12-26 2019-11-08 人检测装置以及人检测方法

Country Status (5)

Country Link
US (1) US11983951B2 (zh)
JP (1) JP7255173B2 (zh)
CN (1) CN113168694B (zh)
DE (1) DE112019006414T5 (zh)
WO (1) WO2020137193A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494935B2 (en) * 2019-10-17 2022-11-08 Objectvideo Labs, Llc Scaled human video tracking
US11640701B2 (en) * 2020-07-31 2023-05-02 Analog Devices International Unlimited Company People detection and tracking with multiple features augmented with orientation and size based classifiers
CN113326773A (zh) * 2021-05-28 2021-08-31 北京百度网讯科技有限公司 识别模型训练方法、识别方法、装置、设备及存储介质
JP2024008196A (ja) * 2022-07-07 2024-01-19 オムロン株式会社 情報処理装置および情報処理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
CN1503194A (zh) * 2002-11-26 2004-06-09 中国科学院计算技术研究所 利用身材信息辅助人脸信息的身份识别方法
JP2005351814A (ja) * 2004-06-11 2005-12-22 Konica Minolta Holdings Inc 検出装置および検出方法
CN101561928A (zh) * 2009-05-27 2009-10-21 湖南大学 基于属性关系图外观模型的多人体跟踪方法
CN101833791A (zh) * 2010-05-11 2010-09-15 成都索贝数码科技股份有限公司 一种单摄像机下的场景建模方法及***
CN101866425A (zh) * 2010-06-02 2010-10-20 北京交通大学 基于鱼眼摄像头的人体检测方法
CN101996401A (zh) * 2009-08-24 2011-03-30 三星电子株式会社 基于强度图像和深度图像的目标分析方法及设备
WO2013001941A1 (ja) * 2011-06-27 2013-01-03 日本電気株式会社 物体検知装置、物体検知方法および物体検知プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
EP2988248B1 (en) * 2014-07-22 2019-09-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, information processing apparatus, information processing method, and program
JP6381353B2 (ja) 2014-08-08 2018-08-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US20190130215A1 (en) * 2016-04-21 2019-05-02 Osram Gmbh Training method and detection method for object recognition
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7230345B2 (ja) * 2018-06-07 2023-03-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
CN1503194A (zh) * 2002-11-26 2004-06-09 中国科学院计算技术研究所 利用身材信息辅助人脸信息的身份识别方法
JP2005351814A (ja) * 2004-06-11 2005-12-22 Konica Minolta Holdings Inc 検出装置および検出方法
CN101561928A (zh) * 2009-05-27 2009-10-21 湖南大学 基于属性关系图外观模型的多人体跟踪方法
CN101996401A (zh) * 2009-08-24 2011-03-30 三星电子株式会社 基于强度图像和深度图像的目标分析方法及设备
CN101833791A (zh) * 2010-05-11 2010-09-15 成都索贝数码科技股份有限公司 一种单摄像机下的场景建模方法及***
CN101866425A (zh) * 2010-06-02 2010-10-20 北京交通大学 基于鱼眼摄像头的人体检测方法
WO2013001941A1 (ja) * 2011-06-27 2013-01-03 日本電気株式会社 物体検知装置、物体検知方法および物体検知プログラム

Also Published As

Publication number Publication date
WO2020137193A1 (ja) 2020-07-02
US11983951B2 (en) 2024-05-14
JP7255173B2 (ja) 2023-04-11
US20220004749A1 (en) 2022-01-06
CN113168694A (zh) 2021-07-23
JP2020106970A (ja) 2020-07-09
DE112019006414T5 (de) 2021-09-16

Similar Documents

Publication Publication Date Title
CN113168694B (zh) 人检测装置以及人检测方法
US11869199B2 (en) Object tracking device and object tracking method
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
US10212324B2 (en) Position detection device, position detection method, and storage medium
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
JP7188240B2 (ja) 人検出装置および人検出方法
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN113168693B (zh) 人检测装置以及人检测方法
JP6590609B2 (ja) 画像解析装置及び画像解析方法
KR20070026972A (ko) 휴대용 개인단말장치를 이용한 지문인식 시스템 및지문특징 추출장치 및 방법
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP6492746B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
WO2022014252A1 (ja) 情報処理装置および情報処理方法
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
JP7338174B2 (ja) 物体検出装置および物体検出方法
WO2021140844A1 (ja) 人体検出装置および人体検出方法
CN113646803B (zh) 人检测装置以及人检测方法
CN116964627A (zh) 信息处理装置、信息处理方法以及控制程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant