CN102334142A

CN102334142A - 人物追踪装置以及人物追踪程序

Info

Publication number: CN102334142A
Application number: CN2010800089195A
Authority: CN
Inventors: 田口进也
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-02-24
Filing date: 2010-02-09
Publication date: 2012-01-25
Also published as: WO2010098024A1; TW201118803A; JP5230793B2; US20120020518A1; JPWO2010098024A1

Abstract

设有追踪由人物检测部(44)所计算出的各影像上的位置来计算各影像中的各个人物的二维移动轨迹的二维移动轨迹计算部(45)，三维移动轨迹计算部(46)实施由二维移动轨迹计算部45所计算出的各影像中的二维移动轨迹间的立体匹配，计算二维移动轨迹的匹配率，根据该匹配率为规定值以上的二维移动轨迹，计算出各个人物的三维移动轨迹。

Description

人物追踪装置以及人物追踪程序

技术领域

本发明涉及一种对存在于监视对象区域内的各个人物进行检测来追踪各人物的人物追踪装置以及人物追踪程序。

背景技术

在高层建筑物中设置有非常多的电梯，但是例如在早晨上班高峰时、午休的拥挤时等，为了有效地输送乘客而需要进行使许多电梯协作运转的群管理。

为了有效地进行许多电梯的群管理，需要测定“多少人在哪个楼层上梯、在哪个楼层下梯”这样的乘客的移动历史，并将该移动历史提供给群管理***。

以往，对于使用摄像机(camera)来进行乘客人数的计数、乘客移动的测定的人物追踪技术，提出了各种建议。

作为其中之一，有如下人物追踪装置：求出预先存储的背景图像与通过摄像机摄像得到的电梯内的图像之间的差分的图像(背景差分图像)，从而检测电梯内的乘客，对电梯内的乘客数进行计数(例如，参照专利文献1)。

但是，在非常拥挤的电梯中，在约25cm的正方形中存在一个乘客，产生乘客相互重叠的状况，因此背景差分图像成为一块轮廓(silhouette)。因此，从背景差分图像分离各个人物及其困难，在上述的人物追踪装置中，无法正确地对电梯内的乘客数进行计数。

另外，作为其它技术，有如下人物追踪装置：在电梯内的上部设置摄像机，通过实施预先存储的头部图像的参照图案、与该摄像机的摄像图像之间的图案匹配来检测电梯内的乘客的头部，从而对电梯内的乘客数进行计数(例如，参照专利文献2)。

但是，在利用这种简单的图案匹配来检测乘客的情况下，例如在从摄像机观看时，如果发生某一乘客被其他乘客挡住等的遮挡时，有时会错误地对人数进行计数。另外，在电梯内设置有镜子的情况下，有时会对映在镜子中的乘客进行误检测。

另外，作为其它技术，有如下人物追踪装置：在电梯内的上部设置立体摄像机，立体观察从立体摄像机的摄像图像中检测出的人物，求出人物的三维位置(例如，参照专利文献3)。

但是，在该人物追踪装置的情况下，有时会检测出比实际的人数还多的人物。

即，在该人物追踪装置的情况下，例如如图45所示那样求出人物X的三维位置时，计算出从摄像机到检测人物为止的矢量VA1与矢量VB1所交叉的点而作为人物的位置。

但是，有时会推定为在矢量VA1与矢量VB2所交叉的点处也存在人物，在实际的人物只存在2人的情况下，有时也会错误地计算为存在3人。

而且，作为利用多视点摄像机的多个人物的检测方法有如下方法：根据利用背景差分而得到的人物的轮廓，使用动态规划法来求出人物的移动轨迹(例如，参照非专利文献1)；使用“Particle Filter(粒子滤波)”来求出人物的移动轨迹(例如，参照非专利文献2)。

这些方法在某视点处遮挡了人物的状况下也能够使用其它视点的轮廓信息、时间序列信息，来求出人数和人物的移动轨迹。

但是，在拥挤的电梯、电车内，不论从哪个视点进行摄像，轮廓始终会相互重叠，因此无法应用这些方法。

专利文献1：日本特开平8-26611号公报(段落[0024]、图1)

专利文献2：日本特开2006-168930号公报(段落[0027]、图1)

专利文献3：日本特开平11-66319号公报(段落[0005]、图2)

非专利文献1：Berclaz，J.，Fleuret，F.，Fua，P.，“Robust PeopleTracking with Global Trajectory Optimization，”Proc.CVPR，Vol1，pp 744-750，Jun.2006.

非专利文献2：Otsuka，K.，Mukawa，N.，“A particle filter fortracking densely populated objects based on explicit multiviewocclusion analysis，”Proc.of the 17th International Conf.on PatternRecognition，Vol.4，pp.745-750，Aug.2004.

发明内容

以往的人物追踪装置如以上那样所构成，因此在作为监视对象区域的电梯处于非常拥挤的状况等中，存在如下课题：无法正确地检测出电梯内的乘客，无法正确地追踪乘客等。

本发明是为了解决如上所述的课题而作出的，目的在于得到一种在监视对象区域处于非常拥挤的状况下也能够正确地追踪存在于该监视对象区域内的人物的人物追踪装置以及人物追踪程序。

与本发明有关的人物追踪装置设置有：人物位置计算单元，分析由多个摄像单元所摄像的监视对象区域的影像，计算存在于该监视对象区域内的各个人物在各影像上的位置；以及二维移动轨迹计算单元，追踪由人物位置计算单元所计算出的各影像上的位置，计算出各影像中的各个人物的二维移动轨迹，三维移动轨迹计算单元实施由二维移动轨迹计算单元所计算出的各影像中的二维移动轨迹间的立体匹配，计算出二维移动轨迹的匹配率，并根据该匹配率为规定值以上的二维移动轨迹，计算出各个人物的三维移动轨迹。

根据本发明，构成为设置有：人物位置计算单元，分析由多个摄像单元所摄像的监视对象区域的影像，计算存在于该监视对象区域内的各个人物在各影像上的位置；以及二维移动轨迹计算单元，追踪由人物位置计算单元所计算出的各影像上的位置，计算出各影像中的各个人物的二维移动轨迹，三维移动轨迹计算单元实施由二维移动轨迹计算单元所计算出的各影像中的二维移动轨迹间的立体匹配，计算出二维移动轨迹的匹配率，并根据该匹配率为规定值以上的二维移动轨迹，计算出各个人物的三维移动轨迹，因此具有如下效果：在监视对象区域非常拥挤的状况下，也能够正确地追踪存在于该监视对象区域内的人物。

附图说明

图1是表示本发明的实施方式1的人物追踪装置的结构图。

图2是表示构成影像分析部3的门开闭识别部11的内部的结构图。

图3是表示构成影像分析部3的楼层识别部12的内部的结构图。

图4是表示构成影像分析部3的人物追踪部13的内部的结构图。

图5是表示构成影像分析部3的影像分析结果显示部4的内部的结构图。

图6是表示本发明的实施方式1的人物追踪装置的处理内容的流程图。

图7是表示门开闭识别部11的处理内容的流程图。

图8是表示门开闭识别部11的处理内容的说明图。

图9是表示门开闭识别部11的门索引的说明图。

图10是表示楼层识别部12的处理内容的流程图。

图11是表示楼层识别部12的处理内容的说明图。

图12是表示人物追踪部13的前处理的内容的流程图。

图13是表示人物追踪部13的后处理的内容的流程图。

图14是表示使用格子旗图案(checkered flag pattern)作为校准图案(calibration pattern)的例子的说明图。

图15是表示选择电梯的天花板、四角作为校准图案的例子的说明图。

图16是表示人体的头部的检测处理的说明图。

图17是表示摄像机透视过滤器(camera perspective filter)的说明图。

图18是表示二维移动轨迹计算部45的计算处理的流程图。

图19是表示二维移动轨迹计算部45的处理内容的说明图。

图20是表示二维移动轨迹图生成部47的处理内容的说明图。

图21是表示二维移动轨迹图生成部47的处理内容的说明图。

图22是表示轨迹立体部48的处理内容的流程图。

图23是表示轨迹立体部48中的二维移动轨迹图的搜索处理的说明图。

图24是表示二维移动轨迹的匹配率的计算处理的说明图。

图25是表示二维移动轨迹的重叠的说明图。

图26是表示三维移动轨迹图生成部49的处理内容的说明图。

图27是表示三维移动轨迹图生成部49的处理内容的说明图。

图28是表示轨迹组合推定部50的处理内容的流程图。

图29是表示轨迹组合推定部50的处理内容的说明图。

图30是表示影像分析结果显示部4的画面结构例的说明图。

图31是表示时间序列信息显示部52的画面的详细例子的说明图。

图32是表示概要显示部53的画面例的说明图。

图33是表示运行关联信息显示部54的画面例的说明图。

图34是表示分类数据显示部55的画面例的说明图。

图35是表示本发明的实施方式2的人物追踪装置的人物追踪部13的内部的结构图。

图36是表示轨迹组合推定部61的处理内容的流程图。

图37是表示轨迹组合推定部61的处理内容的说明图。

图38是表示本发明的实施方式3的人物追踪装置的人物追踪部13的内部的结构图。

图39是表示二维移动轨迹标记部71和三维移动轨迹成本计算部72的处理内容的流程图。

图40是表示二维移动轨迹标记部71和三维移动轨迹成本计算部72的处理内容的说明图。

图41是表示本发明的实施方式4的人物追踪装置的结构图。

图42是表示本发明的实施方式4的人物追踪装置的处理内容的流程图。

图43是表示本发明的实施方式5的人物追踪装置的结构图。

图44是表示本发明的实施方式5的人物追踪装置的处理内容的流程图。

图45是表示以往的人物追踪装置的人物检测方法的说明图。

具体实施方式

下面，为了更详细地说明本发明，按照附图来说明用于实施本发明的方式。

实施方式1.

图1是表示本发明的实施方式1的人物追踪装置的结构图。

在图1中，构成摄像单元的多个摄像机1分别设置于作为监视对象区域的电梯的轿厢内的上部的不同位置，从不同的角度同时对轿厢内进行摄像。

但是，没有特别限定摄像机1的种类，除了一般的监视摄像机之外，也可以是可视摄像机、能够拍摄至近红外线区域的高灵敏度摄像机、能够拍摄热源的远红外线摄像机等。另外，也可以用能够测定距离的红外线距离传感器、激光测距仪等来代替使用。

影像获取部2是获取由多个摄像机1所摄像的电梯的轿厢内的影像的影像输入接口，实施将电梯的轿厢内的影像输出到影像分析部3的处理。

这里，设为影像获取部2将轿厢内的影像实时地输出到影像分析部3，但是也可以在预先准备的硬盘等记录装置中记录影像，并将该影像离线地输出到影像分析部3。

影像分析部3执行如下处理：分析从影像获取部2所输出的电梯的轿厢内的影像，计算存在于轿厢内的各个人物的三维移动轨迹，并根据该三维移动轨迹来计算表示各个人物的上梯楼层和下梯楼层的人物移动历史等。

影像分析结果显示部4实施将通过影像分析部3所计算出的人物移动历史等显示到显示器(未图示)的处理。此外，影像分析结果显示部4构成影像分析结果显示单元。

门开闭识别部11实施如下处理：分析从影像获取部2所输出的电梯的轿厢内的影像，确定该电梯的门的开闭时刻。此外，门开闭识别部11构成门开闭时刻确定单元。

楼层识别部12实施如下处理：分析从影像获取部2所输出的电梯的轿厢内的影像，确定各时刻的电梯的楼层。此外，楼层识别部12构成楼层确定单元。

人物追踪部13实施如下处理：分析从影像获取部2所输出的电梯的轿厢内的影像，追踪存在于轿厢内的各个人物，从而计算各个人物的三维移动轨迹，并根据该三维移动轨迹来计算表示各个人物的上梯楼层和下梯楼层的人物移动历史等。

在图2中，背景图像登记部21实施如下处理：将门关闭的状态的电梯内的门区域的图像登记为背景图像。

背景差分部22实施如下处理：计算由背景图像登记部21所登记的背景图像与由摄像机1所摄像的门区域的影像之间的差分。

光流计算部23实施如下处理：根据由摄像机1所摄像的门区域的影像的变化，计算表示门的移动方向的运动矢量。

门开闭时刻确定部24实施如下处理：根据由背景差分部22所计算出的差分和由光流计算部23所计算出的运动矢量来判别门的开闭状态，确定门的开闭时刻。

背景图像更新部25实施如下处理：使用由摄像机1所摄像的门区域的影像来更新该背景图像。

图3是表示构成影像分析部3的楼层识别部12内部的结构图。

在图3中，模板图像登记部31实施如下处理：将表示电梯的楼层的指示器(indicator)的图像登记为模板图像。

模板匹配部32实施如下处理：实施由模板图像登记部31所登记的模板图像与由摄像机1所摄像的电梯内的指示器区域的影像之间的模板匹配，来确定各时刻的电梯的楼层。或者实施如下处理：分析电梯的控制基本信息来确定各时刻的电梯的楼层。

模板图像更新部33实施如下处理：使用由摄像机1所摄像的指示器区域的影像，来更新该模板图像。

图4是表示构成影像分析部3的人物追踪部13的内部的结构图。

在图4中，人物位置计算部41实施如下处理：分析由多个摄像机1所摄像的电梯的轿厢内的影像，计算存在于轿厢内的各个人物在各影像上的位置。此外，人物位置计算部41构成人物位置计算单元。

人物位置计算部41的摄像机校准部42实施如下处理：在开始人物追踪处理之前，分析预先由多个摄像机1所摄像的校准图案的影像的失真程度，计算多个摄像机1的摄像机参数(与透镜的失真、焦点距离、光轴、图像中心(principal point：主点)有关的参数)。

另外，摄像机校准部42实施如下处理：使用由多个摄像机1所摄像的校准图案的影像、和多个摄像机1的摄像机参数，计算针对电梯的轿厢内的基准点的多个摄像机1的设置位置以及设置角度。

人物位置计算部41的影像校正部43实施如下处理：使用由摄像机校准部42所计算出的摄像机参数，来校正由多个摄像机1所摄像的电梯的轿厢内的影像的失真。

人物位置计算部41的人物检测部44实施如下处理：对映现在由影像校正部43校正失真后的各影像中的各个人物进行检测，计算各个人物在各影像上的位置。

二维移动轨迹计算部45实施如下处理：追踪由人物检测部44所计算出的各影像上的位置，计算各影像中的各个人物的二维移动轨迹。此外，二维移动轨迹计算部45构成二维移动轨迹计算单元。

三维移动轨迹计算部46实施如下处理：实施由二维移动轨迹计算部45所计算出的各影像中的二维移动轨迹间的立体匹配，计算出该二维移动轨迹的匹配率，并从该匹配率为规定值以上的二维移动轨迹，计算出各个人物的三维移动轨迹，并且将各个人物的三维移动轨迹与由楼层识别部12所确定的楼层对应起来，计算表示各个人物的上梯楼层和下梯楼层的人物移动历史。此外，三维移动轨迹计算部46构成三维移动轨迹计算单元。

三维移动轨迹计算部46的二维移动轨迹图生成部47实施如下处理：实施针对由二维移动轨迹计算部45所计算出的二维移动轨迹的分割处理以及连接处理，生成二维移动轨迹图。

三维移动轨迹计算部46的轨迹立体部48实施如下处理：搜索由二维移动轨迹图生成部47所生成的二维移动轨迹图来计算出多个二维移动轨迹的候补，考虑针对由摄像机校准部42所计算出的轿厢内的基准点的多个摄像机1的设置位置以及设置角度，实施各影像中的二维移动轨迹的候补间的立体匹配，计算该二维移动轨迹的候补的匹配率，从该匹配率为规定值以上的二维移动轨迹的候补，计算出各个人物的三维移动轨迹。

三维移动轨迹计算部46的三维移动轨迹图生成部49实施如下处理：实施针对由轨迹立体部48所计算出的三维移动轨迹的分割处理以及连接处理，生成三维移动轨迹图。

三维移动轨迹计算部46的轨迹组合推定部50实施如下处理：搜索由三维移动轨迹图生成部49所生成的三维移动轨迹图来计算多个三维移动轨迹的候补，从多个三维移动轨迹的候补中选择最佳的三维移动轨迹，推定存在于轿厢内的人物的人数，并且将最佳的三维移动轨迹与由楼层识别部12所确定的楼层对应起来，计算表示各个人物的上梯楼层和下梯楼层的人物移动历史。

在图5中，影像显示部51实施如下处理：显示由多个摄像机1所摄像的电梯的轿厢内的影像。

时间序列信息显示部52实施如下处理：以时间序列方式对由人物追踪部13的三维移动轨迹计算部46所计算出的人物移动历史进行图示。

概要显示部53实施如下处理：求出由三维移动轨迹计算部46所计算出的人物移动历史的统计，并显示该人物移动历史的统计结果。

运行关联信息显示部54实施如下处理：参照由三维移动轨迹计算部46所计算出的人物移动历史，显示与电梯的运行相关联的信息。

分类数据显示部55实施如下处理：将由三维移动轨迹计算部46所计算出的人物移动历史进行分类来显示。

此外，在图1中，设想作为人物追踪装置的结构要素的影像获取部2、影像分析部3以及影像分析结果显示部4分别由专用的硬件(例如，安装了CPU的半导体集成电路基板)所构成，但是在用计算机来构成人物追踪装置的情况下，也可以将记述了影像获取部2、影像分析部3以及影像分析结果显示部4的处理内容的人物追踪程序保存到该计算机的存储器中，并由该计算机的CPU执行保存在该存储器中的人物追踪程序。

接着说明动作。

首先，说明图1的人物追踪装置的概要动作。

当多个摄像机1开始摄像电梯的轿厢内的影像时，影像获取部2从多个摄像机1获取电梯的轿厢内的影像，将各影像输出到影像分析部3(步骤ST1)。

影像分析部3的门开闭识别部11在从影像获取部2接受由多个摄像机1所摄像的影像时，分析各影像，确定电梯的门的开闭时刻(步骤ST2)。

即，门开闭识别部11分析各影像，确定电梯的门开着的时刻、和门关着的时刻。

影像分析部3的楼层识别部12在从影像获取部2接受由多个摄像机1所摄像的影像时，分析各影像，确定各时刻的电梯的楼层(电梯的停止楼层)(步骤ST3)。

影像分析部3的人物追踪部13在从影像获取部2接受由多个摄像机1所摄像的影像时，分析各影像，检测存在于轿厢内的各个人物。

并且，人物追踪部13参照各个人物的检测结果和由门开闭识别部11所确定的门的开闭时刻，追踪存在于轿厢内的各个人物，从而计算各个人物的三维移动轨迹。

并且，人物追踪部13将各个人物的三维移动轨迹与由楼层识别部12所确定的楼层对应起来，计算表示各个人物的上梯楼层和下梯楼层的人物移动历史(步骤ST4)。

在影像分析部3计算出人物移动历史等时，影像分析结果显示部4将该人物移动历史等显示到显示器(步骤ST5)。

接着，详细地说明图1的人物追踪装置中的影像分析部3的处理内容。

图7是表示门开闭识别部11的处理内容的流程图。另外，图8是表示门开闭识别部11的处理内容的说明图，图9是表示门开闭识别部11的门索引(Door Index)的说明图。

首先，门开闭识别部11从由多个摄像机1所摄像的电梯的轿厢内的影像中，选择摄像到门的门区域(步骤ST11)。

在图8的(A)的例子中，将门的上部的区域选择为门区域。

门开闭识别部11的背景图像登记部21获取门关着的状态的电梯内的门区域的图像(例如，当门关着时由摄像机1所摄像的影像，参照图8的(B))，将该图像登记为背景图像(步骤ST12)。

当背景图像登记部21登记背景图像时，门开闭识别部11的背景差分部22从影像获取部2接受时时刻刻变化的摄像机1的影像，如图8的(C)所示那样，计算摄像机1的影像中的门区域的影像与上述背景图像的差分(步骤ST13)。

当背景差分部22计算门区域的影像与背景图像的差分时，在该差分大的情况下(例如，差分比规定的阈值大、且门区域的影像与背景图像有很大不同的情况下)，门开着的可能性高，因此将门开闭判断用的标志Fb设定为“1”。

另一方面，该差分小的情况下(例如，在差分比规定的阈值小、且门区域的影像与背景图像没那么不同的情况下)，门关着的可能性高，因此将门开闭判断用的标志Fb设定为“0”。

门开闭识别部11的光流计算部23从影像获取部2接受时时刻刻变化的摄像机1的影像，根据摄像机1的影像中的门区域的影像的变化(连续的两个影像帧)，计算表示门的移动方向的运动矢量(步骤ST14)。

光流计算部23例如如图8的(D)所示，在电梯的门为中央门的情况下，如果运动矢量所表示的门的移动方向为朝外，则当前门正在开着的可能性高，因此将门开闭判断用的标志Fo设定为“1”。

另一方面，如果运动矢量所表示的门的移动方向为朝内，则当前门正在关着的可能性高，因此将门开闭判断用的标志Fo设定为“0”。

此外，在电梯的门不动的情况下(维持开着的状态、或者维持关着的状态的情况下)，运动矢量没有表示门的移动方向，因此将门开闭判断用的标志Fo设定为“2”。

当背景差分部22设定门开闭判断用的标志Fb、光流计算部23设定门开闭判断用的标志Fo时，门开闭识别部11的门开闭时刻确定部24参照这些标志Fb、Fo来判别门的开闭状态，确定门的开闭时刻(步骤ST15)。

即，门开闭时刻确定部24判断为在标志Fb和标志Fo双方为“0”的时间段、或者标志Fb为“0”且标志Fo为“2”的时间段中门关着，并判断为在标志Fb或者标志Fo中的至少一个为“1”的时间段中门开着。

此外，如图9所示，门开闭时刻确定部24将门关着的时间段的门索引di设定为“0”，对于门开着的时间段的门索引di，从影像开始起按照门打开的顺序将门索引di设定为1、2、3、…。

门开闭识别部11的背景图像更新部25从影像获取部2接受时时刻刻变化的摄像机1的影像，使用摄像机1的影像中的门区域的影像，来更新登记在背景图像登记部21中的背景图像(在下一时刻，背景差分部22所利用的背景图像)(步骤ST16)。

由此，例如门附近的影像由于照明变化的原因而发生变化的情况下，也能够根据该变化来适应性地实施背景差分处理。

图10是表示楼层识别部12的处理内容的流程图，图11是表示楼层识别部12的处理内容的说明图。

首先，楼层识别部12从由多个摄像机1所摄像的电梯的轿厢内的影像中，选择表示电梯的楼层的指示器被摄像的指示器区域(步骤ST21)。

在图11的(A)的例子中，将显示有指示器的数字的区域选择为指示器区域。

楼层识别部12的模板图像登记部31在所选择的指示器区域中，将各楼层的数字图像登记为模板图像(步骤ST22)。

例如，在是从1层移动到9层的电梯的情况下，如图11的(B)所示，将各楼层的数字图像(“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”、“9”)逐次登记为模板图像。

当模板图像登记部31登记模板图像时，楼层识别部12的模板匹配部32从影像获取部2接受时时刻刻变化的摄像机1的影像，实施摄像机1的影像中的指示器区域的影像与上述模板图像的模板匹配，从而确定各时刻的电梯的楼层(步骤ST23)。

关于模板匹配的方法，只要使用已有的标准化互相关(normalized cross correlation)等方法即可，因此这里省略详细的说明。

楼层识别部12的模板图像更新部33从影像获取部2接受时时刻刻变化的摄像机1的影像，使用摄像机1的影像中的指示器区域的影像，更新登记在模板图像登记部31中的模板图像(在下一时刻，模板匹配部32所利用的模板图像)(步骤ST24)。

由此，例如指示器附近的影像由于照明变化的原因而发生变化的情况下，也能够根据该变化而适应性地实施模板匹配处理。

图12是表示人物追踪部13的前处理的内容的流程图，图13是表示人物追踪部13的后处理的内容的流程图。

首先，在人物追踪部13的摄像机校准部42计算各个摄像机1的摄像机参数之前，各个摄像机1对校准图案进行摄像(步骤ST31)。

影像获取部2获取由各个摄像机1所摄像的校准图案的影像，将该校准图案的影像输出到摄像机校准部42。

作为这里所使用的校准图案，例如适合大小已知的黑白的格子旗图案(参照图14)等。

此外，利用摄像机1，从约1～20个程度的不同的位置、角度，对校准图案进行摄像。

摄像机校准部42在从影像获取部2接受由各个摄像机1所摄像的校准图案的影像时，分析该校准图案的影像的失真程度，计算各个摄像机1的摄像机参数(例如，透镜的失真、焦点距离、光轴、与图像中心有关的参数)(步骤ST32)。

摄像机参数的计算方法是公知的技术，因此省略详细说明。

接着，在摄像机校准部42计算多个摄像机1的设置位置以及设置角度时，在将多个摄像机1设置到电梯的轿厢内的上部之后，多个摄像机1同时对已知大小的同一校准图案进行摄像(步骤ST33)。

例如，如图14所示，作为校准图案将格子旗图案铺在轿厢内的地板上，多个摄像机1同时对该格子旗图案进行摄像。

此时，对于铺在轿厢内的地板上的校准图案，将离轿厢内的基准点(例如，轿厢的入口)的位置和角度作为偏移量(offset)进行测定，另外测定轿厢的内部尺寸(inside dimension)。

在图14的例子中，作为校准图案，设成铺在轿厢内的地板上的格子旗图案，但是不限于此，例如也可以是直接描绘在轿厢内的地板上的图案。在这种情况下，预先测定描绘在地板上的图案的大小。

另外，如图15所示，作为校准图案，也可以对无人的轿厢内进行摄像，选择轿厢内的地板的四角和天花板的三角。在这种情况下，测定轿厢的内部尺寸。

摄像机校准部42在从影像获取部2接受由多个摄像机1所摄像的校准图案的影像时，使用该校准图案的影像和多个摄像机1的摄像机参数，计算相对于电梯的轿厢内的基准点的多个摄像机1的设置位置以及设置角度(步骤ST34)。

具体地说，摄像机校准部42在例如使用黑白的格子旗图案作为校准图案的情况下，计算相对于由多个摄像机1所摄像的格子图案的摄像机1的相对位置和相对角度。

并且，通过对多个摄像机1的相对位置和相对角度相加预先测定的格子图案的偏移量(距离作为轿厢内的基准点的轿厢的入口的位置和角度)，而计算相对于轿厢内的基准点的多个摄像机1的设置位置和设置角度。

另一方面，作为校准图案如图15所示使用轿厢内的地板的四角和天花板的三角的情况下，根据预先测定的轿厢的内部尺寸，计算相对于轿厢内的基准点的多个摄像机1的设置位置和设置角度。

在这种情况下，通过在轿厢内设置摄像机1，就能够自动地求出摄像机1的设置位置和设置角度。

在人物追踪部13实施人物的检测处理、移动轨迹的分析处理等时，多个摄像机1对实际运行中的电梯的轿厢内的区域反复进行摄像。

影像获取部2时时刻刻获取由多个摄像机1所摄像的电梯的轿厢内的影像(步骤ST41)。

人物追踪部13的影像校正部43每当从影像获取部2获取由多个摄像机1所摄像的影像时，使用摄像机校准部42所计算出的摄像机参数来校正多个影像的失真，生成没有失真的影像即标准化图像(步骤ST42)。

此外，对影像的失真进行校正的方法是公知的技术，因此省略详细的说明。

当影像校正部43生成由多个摄像机1所摄像的影像的标准化图像时，人物追踪部13的人物检测部44将存在于各标准化图像中的人体的特征部分检测为人物，计算该人物在标准化图像上的位置(图像坐标)，并且计算该人物的确信度(步骤ST43)。

然后，人物检测部44通过对该人物的图像坐标施以摄像机透视过滤器，删除不合适的大小的人物检测结果。

这里，例如在人物检测部44检测出人体的头部(特征部分)的情况下，人物的图像坐标表示将该头部的区域进行包围的矩形的中心坐标。

另外，确信度是表现人物检测部44的检测物接近人类(人体的头部)到何种程度的指标，表示确信度越高，是人类的概率越高，确信度越低，是人类的概率越低。

下面，具体地说明人物检测部44的人物的检测处理。

图16是表示人体的头部的检测处理的说明图。

图16的(A)表示如下状况：通过轿厢内的天花板的对角位置处所设置的2台摄像机1₁、1₂，对轿厢内的3位乘客(人物)进行摄像。

图16的(B)表示如下状态：从由摄像机1₁对脸方向进行摄像得到的影像中检测头部，并对作为检测结果的头部的区域附加确信度。

图16的(C)表示如下状态：从由摄像机1₂对后头部方向进行摄像得到的影像中检测头部，并对作为检测结果的头部的区域附加确信度。

但是，在图16的(C)的情况下，图中右端的乘客(人物)的脚部被误检测，该误检测部分的确信度被计算得低。

这里，作为头部的检测方法，例如使用下述的参考文献1所公开的脸检测方法即可。

即，能够通过Adaboost来选择被称作“Rectangle Feature(矩形特征)”的哈尔基底(Haar-basis)状的图案，获取许多弱分类器(weakclassifier)，并将这些弱分类器的输出和适当的阈值全部相加得到的值作为确信度进行利用。

另外，作为头部的检测方法，也可以应用下述的参考文献2所公开的道路标识检测方法来计算其图像坐标和确信度。

此外，在图16中，示出了在人物检测部44检测人物时对作为人体特征部分的头部进行检测的情形，但是这只不过是一个例子，例如也可以检测肩膀、胴体等。

参考文献1

Viola，P.，Jones，M.，“Rapid Object Detection Using a BoostedCascade of Simple Features”，IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR)，ISSN：1063-6919，Vol.1，pp.511-518，December 2001

参考文献2

田口進也、神田準史郎、島嘉宏、瀧口純一、“特徴量ベクトルの相関係数行列を用ぃた少なぃサンプルでの高精度画像認識道路標識認識への適用(向使用了特征量矢量的相关系数矩阵的少的采样中的高精度图像识别道路标识识别的应用)”電子情報通信学会技術研究報告IE、画像工学、Vol.106，No.537(20070216)，pp.55-60，IE2006-270

图17是表示摄像机透视过滤器的说明图。

如图17的(A)所示，摄像机透视过滤器是如下过滤器：将影像上的点A处的人物的检测结果之中的比点A处的人物头部的最大矩形尺寸大的检测结果、与比点A处的人物头部的最小矩形尺寸小的检测结果视作误检测来删除。

图17的(B)表示点A处的人物头部的最大检测矩形尺寸和最小矩形尺寸的求出方法。

首先，人物检测部44求出通过影像上的点A与摄像机1的中心的方向矢量V。

接着，人物检测部44对在电梯内设想的人物的最大身高(例如，200cm)、最小身高(例如，100cm)以及头部尺寸(例如，30cm)进行设定。

接着，人物检测部44将最大身高人物的头部投影到摄像机1，把将该投影的头部进行包围的图像上的矩形尺寸定义为点A处的人物头部的最大检测矩形尺寸。

同样地，将最小身高人物的头部投影到摄像机1，把将该投影的头部进行包围的图像上的矩形尺寸定义为点A处的人物头部的最小检测矩形尺寸。

人物检测部44在定义点A处的人物头部的最大检测矩形尺寸和最小检测矩形尺寸时，将点A处的人物的检测结果与最大检测矩形尺寸以及最小检测矩形尺寸进行比较，在点A处的人物的检测结果比最大矩形尺寸大的情况下、或者点A处的人物的检测结果比最小矩形尺寸小的情况下，将该检测结果作为误检测而删除。

每当人物检测部44从由影像校正部43时时刻刻生成的标准化图像(图像帧)中检测出各个人物而计算出各个人物的图像坐标时，二维移动轨迹计算部45求出该图像坐标的点列，计算移动该点列的各个人物的二维移动轨迹(步骤ST44)。

下面，具体地说明二维移动轨迹计算部45中的二维移动轨迹的计算处理。

图18是表示二维移动轨迹计算部45的计算处理的流程图，图19是表示二维移动轨迹计算部45的处理内容的说明图。

首先，二维移动轨迹计算部45获取由人物检测部44所计算出的时刻t的图像帧中的人物检测结果(人物的图像坐标)，对各个人物检测结果分配计数器(步骤ST51)。

例如，如图19的(A)所示，在从时刻t起开始人物的追踪的情况下，获取时刻t的图像帧中的人物检测结果。

这里，对人物检测结果分别分配计数器，计数器的值在开始追踪时被初始化为“0”。

接着，二维移动轨迹计算部45将时刻t的图像帧中的人物检测结果设为模板图像，搜索图19的(B)所示的下一时刻t+1的图像帧中的人物图像坐标(步骤ST52)

这里，作为对人物的图像坐标进行搜索的方法，例如使用作为已知技术的标准化互相关法等即可。

在这种情况下，将时刻t中的人物区域的图像设为模板图像，在时刻(t+1)，通过标准化互相关法求出相关值最高的矩形区域的图像坐标并输出。

另外，作为对人物的图像坐标进行搜索的其它方法，例如也可以使用上述的参考文献2所记载的特征量的相关系数。

在这种情况下，在时刻t的人物区域的内侧所包含的多个部分区域中计算特征量的相关系数，将以它们为成分的矢量设为相应人物的模板矢量。并且，接着在时刻(t+1)，搜索与模板矢量的距离最小这样的区域，将该区域的图像坐标作为人物的搜索结果而输出。

而且，作为对人物的图像坐标进行搜索的其它方法，也可以通过下述的参考文献3所记载的利用了特征量的方差协方差矩阵的方法来实施人物追踪，时时刻刻求出人物的图像坐标。

参考文献3

Porikli，F.Tuzel，O.Meer，P.，“Covariance Tracking usingModel Update Based on Lie Algebra”，Computer Vision and PatternRecognition 2006，Volume 1，17-22，June 2006，pp.728-735

接着，二维移动轨迹计算部45获取由人物检测部44所计算出的时刻t+1的图像帧中的人物检测结果(人物的图像坐标)(步骤ST53)。

例如，获取如图19的(C)所示那样的人物检测结果，该人物检测结果示出了如下状态：检测到人物A，但是没有检测到人物B。

接着，二维移动轨迹计算部45使用通过步骤ST52所计算出的人物图像坐标、和通过步骤ST53所获取的人物图像坐标，来更新进行追踪的人物的信息(步骤ST54)。

例如，如图19的(B)所示，在时刻(t+1)中的人物A的搜索结果的周边，存在如图19的(C)所示那样的人物A的人物检测结果。因此，如图19的(D)所示，将人物A的计数器的值从“1”上调到“2”。

另一方面，如图19的(C)所示，在时刻(t+1)中的人物B的人物检测失败的情况下，在图19的(B)中的人物B的搜索结果的周边，不存在人物B的人物检测结果。因此，如图19的(D)所示，将人物B的计数器的值从“0”下调到“-1”。

这样，二维移动轨迹计算部45在搜索结果的周边存在检测结果的情况下，将计数器的值上调一个，在搜索结果的周边不存在检测结果的情况下，将计数器的值下调一个。

其结果，在检测到人物的次数多的情况下，该计数器的值变大，另一方面，在检测到人物的次数低的情况下，计数器的值变小。

另外，在步骤ST54中，也可以是由二维移动轨迹计算部45累积人物检测的确信度。

例如，在搜索结果的周边存在检测结果的情况下，二维移动轨迹计算部45对相应的检测结果的确信度进行累积相加，在搜索结果的周边不存在检测结果的情况下，不相加确信度。其结果，在是检测到人物的次数多的二维移动轨迹的情况下，该累积确信度变大。

接着，二维移动轨迹计算部45实施追踪处理的结束判定(步骤ST55)。

作为结束判定的基准，利用在步骤ST54中叙述的计数器即可。

例如，在通过步骤ST54所求出的计数器的值比一定的阈值还低的情况下，当作不是人物来结束追踪。

另外，作为结束判定的基准，也可以通过对在步骤ST54中叙述的确信度的累积值进行规定的阈值处理，从而实施追踪结束判定。

例如，在确信度的累积值比规定的阈值还小的情况下，当作不是人物来结束追踪。

通过这样进行追踪处理的结束判定，能够避免对不是人物的事物错误地进行追踪的现象。

二维移动轨迹计算部45通过对检测到时时刻刻来到的人物的帧图像反复进行步骤ST52至ST55的图像模板匹配处理，从而表示为所移动的各个人物的图像坐标的序列(sequence)、即点列。将该点列作为进行移动的各个人物的二维移动轨迹而进行计算。

这里，在由于遮挡等而导致中途结束追踪的情况下，从没有遮挡的时刻起重新开始人物的追踪即可。

在本实施方式1中，示出了二维移动轨迹计算部45对由人物检测部44所计算出的人物的图像坐标在时间上向前方(从当前向未来)进行追踪的情形，但是也可以在时间上向后方(从当前向过去)进行追踪，计算出在时间上前后的人物的二维移动轨迹。

通过这样在时间上前后地进行追踪，能够尽量不遗漏地计算出人物的二维移动轨迹。例如，在某个人物的追踪过程中，即使在时间上前方的追踪失败，如果在时间上后方的追踪成功，则也能够消除追踪的遗漏。

当二维移动轨迹计算部45计算出各个人物的二维移动轨迹时，二维移动轨迹图生成部47实施针对各个人物的二维移动轨迹的分割处理以及连接处理，生成二维移动轨迹图(图13的步骤ST45)。

即，二维移动轨迹图生成部47对于由二维移动轨迹计算部45所计算出的各个人物的二维移动轨迹的集合，搜索空间或者时间附近的二维移动轨迹并实施分割、连接等的处理，生成以二维移动轨迹为图的顶点、以连接了的二维移动轨迹为图的有向边的二维移动轨迹的图。

下面，具体地说明二维移动轨迹图生成部47的处理内容。

图20以及图21是表示二维移动轨迹图生成部47的处理内容的说明图。

首先，叙述二维移动轨迹图生成部47的空间附近的例子。

如图21的(A)所示，例如，二维移动轨迹T1的终点T1E的空间附近存在的二维移动轨迹被定义为在以终点T1E为中心的一定的距离范围内(例如，20像素以内)具有起点的二维移动轨迹、或者与二维移动轨迹T1的终点T1E之间的最短距离在一定的距离范围内的二维移动轨迹。

在图21的(A)的例子中，可以说在从二维移动轨迹T1的终点T1E起的某一定的距离范围内存在二维移动轨迹T2的起点T2S，在二维移动轨迹T1的终点T1E的空间附近存在二维移动轨迹T2的起点T2S。

另外，二维移动轨迹T1的终点T1E与二维移动轨迹T3的最短距离d在一定的距离范围内，因此可以说在二维移动轨迹T1的终点T1E的空间附近存在二维移动轨迹T3。

另一方面，二维移动轨迹T4的起点远离二维移动轨迹T1的终点T1E，因此在二维移动轨迹T1的空间附近不存在二维移动轨迹T4。

接着，叙述二维移动轨迹图生成部47的时间附近的例子。

例如，当图21的(B)所示的二维移动轨迹T1的记录时间为[t1t2]、二维移动轨迹T2的记录时间为[t3 t4]时，如果二维移动轨迹T1的终点的记录时间t2与二维移动轨迹T2的起点的记录时间t3之间的时间间隔|t3-t2|在一定值以内(例如，3秒以内)，则定义为在二维移动轨迹T1的时间附近存在二维移动轨迹T2。

相反地，在时间间隔|t3-t2|超过了一定值的情况下，定义为在二维移动轨迹T1的时间附近不存在二维移动轨迹T2。

这里，叙述了二维移动轨迹T1的终点T1E的空间附近以及时间附近的例子，但是对于二维移动轨迹的起点的空间附近、时间附近，也可以同样地进行定义。

接着，说明二维移动轨迹图生成部47的轨迹分割处理和轨迹连接处理。

[轨迹分割处理]

在由二维移动轨迹计算部45所计算出的某个二维移动轨迹的起点S的空间附近且时间附近存在其它二维移动轨迹A的情况下，二维移动轨迹图生成部47在起点S附近分割二维移动轨迹A。

例如，如图20的(A)所示，在由二维移动轨迹计算部45计算出二维移动轨迹{T1，T2，T4，T6，T7}的情况下，二维移动轨迹T1的起点存在于二维移动轨迹T2附近。

因此，二维移动轨迹图生成部47在二维移动轨迹T1的起点附近分割二维移动轨迹T2，新生成二维移动轨迹T2和二维移动轨迹T3，获取图20的(B)所示的二维移动轨迹的集合{T1，T2，T4，T6，T7，T3}。

另外，在由二维移动轨迹计算部45所计算出的某个二维移动轨迹的终点S的空间附近且时间附近存在其它二维移动轨迹A的情况下，二维移动轨迹图生成部47在终点S附近分割二维移动轨迹A。

在图20的(B)的例子中，二维移动轨迹T1的终点存在于二维移动轨迹T4附近。

因此，二维移动轨迹图生成部47在二维移动轨迹T1的终点附近分割二维移动轨迹T4，新生成二维移动轨迹T4和二维移动轨迹T5，获取图20的(C)所示的二维移动轨迹的集合{T1，T2，T4，T6，T7，T3，T5}。

[轨迹连接处理]

针对通过轨迹分割处理所获取的二维移动轨迹的集合，在某个二维移动轨迹A的结束点的空间附近且时间附近存在其它二维移动轨迹B的开始点的情况下，二维移动轨迹图生成部47连接相应的两个二维移动轨迹A和二维移动轨迹B。

即，二维移动轨迹图生成部47通过将各二维移动轨迹设为图的顶点、另外将连接了的二维移动轨迹的对(pair)设为图的有向边，获取二维移动轨迹图。

在图20的(C)的例子中，设通过轨迹分割处理和轨迹连接处理而获得下述的信息。

·连接到T1的二维移动轨迹的集合＝{T5}

·连接到T2的二维移动轨迹的集合＝{T1，T3}

·连接到T3的二维移动轨迹的集合＝{T4，T6}

·连接到T4的二维移动轨迹的集合＝{T5}

·连接到T5的二维移动轨迹的集合＝{φ(空集合)}

·连接到T6的二维移动轨迹的集合＝{T7}

·连接到T7的二维移动轨迹的集合＝{φ(空集合)}

在这种情况下，二维移动轨迹图生成部47生成以二维移动轨迹T1～T7为图的顶点、另外具有二维移动轨迹的对(T1，T5)、(T2，T1)、(T2，T3)、(T3，T4)、(T3，T6)、(T4，T5)、(T6，T7)这样的有向边的信息的二维移动轨迹图。

另外，二维移动轨迹图生成部47不仅向时间增加的方向(向未来)连接二维移动轨迹，而且也可以向时间减少的方向(向过去)生成图。在这种情况下，从各二维移动轨迹的终点向起点进行连接。

在图20的(C)的例子中，通过轨迹分割处理和轨迹连接处理来生成具有下述信息的二维移动轨迹图。

·连接到T7的二维移动轨迹的集合＝{T6}

·连接到T6的二维移动轨迹的集合＝{T3}

·连接到T5的二维移动轨迹的集合＝{T4，T1}

·连接到T4的二维移动轨迹的集合＝{T3}

·连接到T3的二维移动轨迹的集合＝{T2}

·连接到T2的二维移动轨迹的集合＝{φ(空集合)}

·连接到T1的二维移动轨迹的集合＝{T2}

在人物的追踪过程中影像中存在穿着相同颜色的服装的人等、或人物重叠而被遮挡的情况下，有时二维移动轨迹被分支为两个、或二维移动轨迹在时间上不连续。因此，如图20的(A)所示，有时计算出多个某同一人物的二维移动轨迹的候补。

因此，二维移动轨迹图生成部47能够通过生成二维移动轨迹图来保持人物的多个移动路径的信息。

当二维移动轨迹图生成部47生成二维移动轨迹图时，轨迹立体部48搜索该二维移动轨迹图来计算多个二维移动轨迹的候补，考虑相对于由摄像机校准部42所计算出的轿厢内的基准点的多个摄像机1的设置位置以及设置角度，实施各影像中的二维移动轨迹的候补间的立体匹配，计算该二维移动轨迹的候补的匹配率，从该匹配率为规定值以上的二维移动轨迹的候补，计算出各个人物的三维移动轨迹(图13的步骤ST46)。

下面，具体地说明轨迹立体部48的处理内容。

图22是表示轨迹立体部48的处理内容的流程图。另外，图23是表示轨迹立体部48中的二维移动轨迹图的搜索处理的说明图，图24是表示二维移动轨迹的匹配率的计算处理的说明图，图25是表示二维移动轨迹的重叠的说明图。

首先，叙述搜索二维移动轨迹图来列举二维移动轨迹的候补的方法。

如图23的(A)所示，假定：获得由二维移动轨迹T1～T7所构成的二维移动轨迹图G，二维移动轨迹图G具有下述的图信息。

·连接到T1的二维移动轨迹的集合＝{T5}

·连接到T2的二维移动轨迹的集合＝{T1，T3}

·连接到T3的二维移动轨迹的集合＝{T4，T6}

·连接到T4的二维移动轨迹的集合＝{T5}

·连接到T5的二维移动轨迹的集合＝{φ(空集合)}

·连接到T6的二维移动轨迹的集合＝{T7}

·连接到T7的二维移动轨迹的集合＝{φ(空集合)}

此时，轨迹立体部48搜索二维移动轨迹图G，列出所有的被连接的二维移动轨迹的候补。

在图23的例子中，计算下述的二维移动轨迹的候补。

·二维移动轨迹候补A＝{T2，T3，T6，T7}

·二维移动轨迹候补B＝{T2，T3，T4，T5}

·二维移动轨迹候补C＝{T2，T1，T5}

首先，轨迹立体部48获取与多个摄像机1的摄像机影像相对应的各一个的二维移动轨迹(步骤ST61)，计算各一个的二维移动轨迹彼此重叠的时间(步骤ST62)。

下面，具体地说明所重叠的时间的计算处理。

如图24的(b)所示，设通过在电梯的内部的不同位置处设置的2台摄像机1_α、1_β来对轿厢的内部进行摄像。

图24的(a)虚拟地表示针对人物A和人物B的二维移动轨迹被计算出的状况，α1是摄像机1_α的影像中的人物A的二维移动轨迹，α2是摄像机1_α的影像中的人物B的二维移动轨迹。

另外，β1是摄像机1_β的影像中的人物A的二维移动轨迹，β2是摄像机1_β的影像中的人物B的二维移动轨迹。

轨迹立体部48例如在步骤ST61中获取了图24的(A)所示的二维移动轨迹α1和二维移动轨迹β1的情况下，假定将二维移动轨迹α1和二维移动轨迹β1表示为如下式那样。

二维移动轨迹α1

≡{Xa1(t)}_{t＝T1，...，T2}

＝{Xa1(T1)，Xa1(T1+1)，…，Xa1(T2)}

二维移动轨迹β1

≡{Xb1(t)}_{t＝T3，...，T4}

＝{Xb1(T3)，Xb1(T3+1)，…，Xb1(T4)}

这里，Xa1(t)、Xb1(t)是时刻t中的人物A的二维图像坐标。二维移动轨迹α1表示从时刻T1到T2为止记录了图像坐标，二维移动轨迹β1表示从时刻T3到T4为止记录了图像坐标。

图25是表示该两个二维移动轨迹α1、β1的记录时间的图，二维移动轨迹α1表示从时刻T1到T2为止记录了图像坐标，另一方面，二维移动轨迹β1表示从时刻T3到T4为止记录了图像坐标。

在这种情况下，二维移动轨迹α1和二维移动轨迹β1重叠的时间是从时刻T3到时刻T2为止的期间，因此由轨迹立体部48计算该时间。

轨迹立体部48在计算出各一个的二维移动轨迹彼此重叠的时间时，使用由摄像机校准部42所计算出的各个摄像机1的设置位置以及设置角度，在所重叠的各时刻中，实施形成相对应的二维移动轨迹的点列彼此的立体匹配，计算点列彼此的距离(步骤ST63)。

下面，具体地说明点列彼此的立体匹配处理。

如图24的(B)所示，轨迹立体部48在所重叠的所有的时间t中，使用由摄像机校准部42所计算出的2台摄像机1_α、1_β的设置位置以及设置角度，求出通过摄像机1_α的中心和图像坐标Xa1(t)的直线Va1(t)，并且求出通过摄像机1_β的中心和图像坐标Xb1(t)的直线Vb1(t)。

另外，轨迹立体部48将直线Va1(t)和直线Vb1(t)的交点计算为人物的三维位置Z(t)，同时计算直线Va1(t)和直线Vb1(t)彼此的距离d(t)。

例如，从{Xa1(t)}t＝T1、…、T2和{Xb1(t)}t＝T3、…、T4，得到所重叠的时间t＝T3、…、T2中的三维位置矢量Z(t)和直线的距离d(t)的集合{Z(t)，d(t)}t＝T3、…、T2。

在图24的(b)中示出了直线Va1(t)和直线Vb1(t)交叉的情况，但是在实际中由于头部的检测误差、校准误差的原因，直线Va1(t)和直线Vb1(t)大多只是靠近而不交叉。在这种情况下，也可以求出将直线Va1(t)和直线Vb1(t)以最短距离进行连接的线段的距离d(t)，并求出它的中点作为交点Z(t)。

或者，也可以通过下述的参考文献4所公开的“最佳校正”的方法来计算两个直线的距离d(t)和交点Z(t)。

参考文献4

K.Kanatani，“Statistical Optimization for GeometricComputation：Theory and Practice，Elsevier Science”，Amsterdam，The Netherlands，April 1996.

接着，轨迹立体部48使用点列彼此的立体匹配时所求出的点列彼此的距离来计算出二维移动轨迹的匹配率(步骤ST64)。

此外，在重叠时间为“0”的情况下，将匹配率计算为“0”。这里，例如将在重叠时间内直线交叉的次数计算为匹配率。

即，在图24以及图25的例子中，在时刻t＝T3、…、T2中，将距离d(t)成为一定的阈值(例如，15cm)以下的次数计算为匹配率。

这里，示出了将在重叠时间内直线交叉的次数计算为匹配率的情形，但是不限于此，例如也可以将在重叠时间内两个直线交叉的比率计算为匹配率。

即，在图24以及图25的例子中，在时刻t＝T3、…、T2中，计算距离d(t)成为一定的阈值(例如，15cm)以下的次数，把将该次数除以重叠时间|T3-T2|得到的值计算为匹配率。

另外，也可以将重叠时间内的两个直线的距离的平均计算为匹配率。

即，在图24的(b)的例子中，在时刻t＝T3、…、T2中，将距离d(t)的倒数的平均计算为匹配率。

另外，也可以将重叠时间内的两个直线的距离的合计计算为匹配率。

即，在图24的(b)的例子中，在时刻t＝T3、…、T2中，将距离d(t)的倒数的合计计算为匹配率。

而且，也可以通过组合上述的计算方法来计算匹配率。

这里，叙述了通过实施二维移动轨迹的立体匹配而获得的效果。

例如，图24中的二维移动轨迹α2和二维移动轨迹β2是同一人物B的二维移动轨迹，因此当实施二维移动轨迹α2和二维移动轨迹β2的立体匹配时，各时刻的距离d(t)取小的值。因此，距离d(t)的倒数的平均成为大的值，二维移动轨迹α2和二维移动轨迹β2的匹配率成为高的值。

另一方面，二维移动轨迹α1和二维移动轨迹β2是不同的人物A和人物B的二维移动轨迹，因此当实施二维移动轨迹α1和二维移动轨迹β2的立体匹配时，有时在某个时刻直线偶尔交叉，但是在大部分时刻直线不交叉，距离d(t)的倒数的平均成为小的值。因此，二维移动轨迹α1和二维移动轨迹β2的匹配率成为低的值。

以往如图45所示，对某个瞬间的人物检测结果进行立体匹配来推定人物的三维位置，因此有时无法避免立体视觉的模糊而错误地推定人物的位置。

但是，在本实施方式1中，通过对一定的时间中的二维移动轨迹彼此进行立体匹配，从而能够消除立体视觉的模糊，正确地求出人物的三维移动轨迹。

如上所述，轨迹立体部48在计算出各影像中的二维移动轨迹的匹配率时，比较该匹配率与规定的阈值(步骤ST65)。

在各影像中的二维移动轨迹的匹配率超过阈值的情况下，轨迹立体部48进行如下处理：根据各影像中的二维移动轨迹，计算出各影像中的二维移动轨迹重叠的时间的三维移动轨迹(能够通过实施通常的立体匹配来推定各影像中的二维移动轨迹重叠的时间的三维位置。但由于是公知的技术，因此省略详细的说明)，对该三维移动轨迹施加过滤，去除错误推定了的三维移动轨迹(步骤ST66)。

即，由于人物检测部44对人物进行误检测的原因，轨迹立体部48有时会错误地计算出人物的三维移动轨迹，因此例如在人物的三维位置Z(t)符合下面的条件(ァ)～(ゥ)的情况下，将该三维移动轨迹当作不是原来人物的轨迹而废弃。

条件(ァ)：人物的身高为一定长度(例如，50cm)以上。

条件(ィ)：人物存在于特定的区域内(例如，电梯轿厢内)。

条件(ゥ)：人物的三维移动历史平滑。

根据条件(ァ)，位于极端低的位置处的三维移动轨迹被当作误检测的轨迹而被废弃。

另外，根据条件(ィ)，例如，设置于轿厢内的镜子中映现的人物像的三维移动轨迹被当作不是人物的轨迹而被废弃。

另外，根据条件(ゥ)，例如，上下左右急剧变化这样的不自然的三维移动轨迹被当作不是人物的轨迹而被废弃。

接着，轨迹立体部48使用各影像中的二维移动轨迹所重叠的时间的三维位置，来计算形成没有了重叠的时刻中的两个二维移动轨迹的点列的三维位置，从而推定各个人物的三维移动轨迹(步骤ST67)。

在图25的情况下，二维移动轨迹α1和二维移动轨迹β1在时刻t＝T3、…、T2重叠，但是在其它时刻没有重叠。

在通常的立体匹配中，无法计算出没有重叠的时间段的人物的三维移动轨迹，但是在这种情况下，计算出重叠的时间中的人物的高度的平均，使用该高度的平均来推定没有重叠的时间中的人物的三维移动轨迹。

在图25的例子中，首先求出与{Z(t)，d(t)}t＝T3、…、T2中的三维位置矢量Z(t)的高度成分有关的平均值aveH。

接着，在各时刻t，求出通过摄像机1_α的中心和图像坐标Xa1(t)的直线Va1(t)上的点之中的离地板的高度为aveH的点，并将该点推定为人物的三维位置Z(t)。同样地，从各时刻t的图像坐标Xb1(t)，推定人物的三维位置Z(t)。

由此，能够获得二维移动轨迹α1和二维移动轨迹β1被记录的所有的时刻T1至T4的三维移动轨迹{Z(t)}t＝T1、…、T4。

由此，由于遮挡等的理由，在一定期间人物没有被一个摄像机照到的情况下，如果由另一个摄像机计算出人物的二维移动轨迹、且在遮挡的前后二维移动轨迹重叠，轨迹立体部48也能够计算出人物的三维移动轨迹。

如果针对所有的二维移动轨迹的对完成匹配率的计算，则结束轨迹立体部48的处理，转移到三维移动轨迹计算部49的处理(步骤ST68)。

当轨迹立体部48计算出各个人物的三维移动轨迹时，三维移动轨迹图生成部49实施针对该三维移动轨迹的分割处理以及连接处理来生成三维移动轨迹图(步骤ST47)。

即，三维移动轨迹图生成部49对于由轨迹立体部48所计算出的各个人物的三维移动轨迹的集合，搜索空间或者时间附近的三维移动轨迹来实施分割、连接等处理，生成以三维移动轨迹为图的顶点、以连接了的三维移动轨迹为图的有向边的三维移动轨迹的图。

下面，具体地说明三维移动轨迹图生成部49的处理内容。

图26以及图27是表示三维移动轨迹图生成部49的处理内容的说明图。

首先，叙述三维移动轨迹图生成部49中的空间附近的例子。

如图27的(A)所示，例如将三维移动轨迹L1的终点L1E的空间附近存在的三维移动轨迹，定义为在以终点L1E为中心的一定的距离范围内(例如，25cm以内)具有起点的三维移动轨迹、或者与三维移动轨迹L1的终点L1E之间的最短距离在一定的距离范围内的三维移动轨迹。

在图27的(A)的例子中，可以说从三维移动轨迹L1的终点L1E起在某一定的距离范围内存在三维移动轨迹L2的起点L2S，在三维移动轨迹L1的终点L1E的空间附近存在三维移动轨迹L2。

另外，由于三维移动轨迹L1的终点L1E和三维移动轨迹L3的最短距离d在一定的距离范围内，因此可以说在三维移动轨迹L1的终点L1E的空间附近存在三维移动轨迹L3。

另一方面，三维移动轨迹L4的起点从三维移动轨迹L1的终点L1E离开，因此在三维移动轨迹T1的空间附近不存在三维移动轨迹L4。

接着，叙述三维移动轨迹图生成部49中的时间附近的例子。

例如，当图27的(B)所示的三维移动轨迹L1的记录时间为[t1t2]、三维移动轨迹L2的记录时间为[t3 t4]时，如果三维移动轨迹L1的终点的记录时间t2、与三维移动轨迹L2的起点的记录时间t3之间的时间间隔|t3-t2|在一定值以内(例如，3秒以内)，则定义为在三维移动轨迹L1的时间附近存在三维移动轨迹L2。

相反地，在时间间隔|t3-t2|超过了一定值的情况下，定义为在三维移动轨迹L1的时间附近不存在三维移动轨迹L2。

这里，叙述了三维移动轨迹L1的终点L1E的空间附近以及时间附近的例子，但是也能够同样地对三维移动轨迹的起点的空间附近、时间附近进行定义。

接着，说明三维移动轨迹图生成部49的轨迹分割处理和轨迹连接处理。

[轨迹分割处理]

在由轨迹立体部48所计算出的某个三维移动轨迹的起点S的空间附近且时间附近存在其它三维移动轨迹A的情况下，三维移动轨迹图生成部49在起点S附近分割三维移动轨迹A。

图26的(A)是从上观看电梯内部的示意图，示出了电梯的入口、入退场区域、以及三维移动轨迹L1～L4。

在图26的(A)的情况下，三维移动轨迹L2的起点存在于三维移动轨迹L3附近。

因此，三维移动轨迹图生成部49在三维移动轨迹L2的起点附近分割三维移动轨迹L3，新生成三维移动轨迹L3和三维移动轨迹L5，获取图20的(B)所示的三维移动轨迹的集合。

另外，在由轨迹立体部48所计算出的某个三维移动轨迹的终点S的空间附近且时间附近存在其它三维移动轨迹A的情况下，三维移动轨迹图生成部49在终点S附近分割三维移动轨迹A。

在图26的(B)的例子中，三维移动轨迹L5的终点存在于三维移动轨迹L4附近。

因此，三维移动轨迹图生成部49在三维移动轨迹L5的终点附近分割三维移动轨迹L4，新生成三维移动轨迹L4和三维移动轨迹L6，获取图20的(C)所示的三维移动轨迹的集合L1～L6。

[轨迹连接处理]

对于通过轨迹分割处理而获取的三维移动轨迹的集合，在某个三维移动轨迹A的结束点的空间附近且时间附近存在其它三维移动轨迹B的开始点的情况下，三维移动轨迹图生成部49连接相应的两个三维移动轨迹A和三维移动轨迹B。

即，三维移动轨迹图生成部49通过将各三维移动轨迹设为图的顶点、另外将连接了的三维移动轨迹的对设为图的有向边，取得三维移动轨迹图。

在图26的(C)的例子中，通过轨迹分割处理和轨迹连接处理来生成具有下述信息的三维移动轨迹图。

·连接到L1的三维移动轨迹集合＝{L3}

·连接到L2的三维移动轨迹集合＝{φ(空集合)}

·连接到L3的三维移动轨迹集合＝{L2，L5}

·连接到L4的三维移动轨迹集合＝{L6}

·连接到L5的三维移动轨迹集合＝{L6}

·连接到L6的三维移动轨迹集合＝{φ(空集合)}

由于二维图像中的人物头部的追踪错误等的理由，由轨迹立体部48所计算出的各个人物的三维移动轨迹由在空间上或者时间上中断的多个三维移动轨迹的断片的集合所构成的情况较多。

因此，三维移动轨迹图生成部49能够通过实施针对这些三维移动轨迹的分割处理、连接处理来求出三维移动轨迹图，从而保持人物的多个移动路径的信息。

当三维移动轨迹图生成部49生成三维移动轨迹图时，轨迹组合推定部50搜索该三维移动轨迹图，计算出从各个人物的入场到退场为止的三维移动轨迹的候补，从这些三维移动轨迹的候补中推定最佳的三维移动轨迹的组合，从而计算出各个人物的最佳的三维移动轨迹和存在于轿厢内的各时刻的人物的人数(步骤ST48)。

下面，具体地说明轨迹组合推定部50的处理内容。

图28是表示轨迹组合推定部50的处理内容的流程图，图29是表示轨迹组合推定部50的处理内容的说明图。此外，图29的(A)是从上观看电梯的图。

首先，轨迹组合推定部50在成为监视对象区域的场所中，设定人物的入退场区域(步骤ST71)。

在对人物的入退场进行判定的基准中利用入退场区域，在图29的(A)的例子中，在电梯的轿厢内的入口附近虚拟地设定入退场区域。

例如，如果头部的移动轨迹是从电梯的入口附近设定的入退场区域开始的，则能够判断为从该楼层上梯。另外，如果移动轨迹在入退场区域结束，则能够判断为在该楼层下梯。

接着，轨迹组合推定部50搜索由三维移动轨迹图生成部49所生成的三维移动轨迹图，计算出在分析对象时间内满足下述的入场条件和退场条件的各个人物的三维移动轨迹(从向监视对象区域的入场到退场为止的三维移动轨迹)的候补(步骤ST72)。

[入场条件]

(1)入场条件：三维移动轨迹的方向从门朝向电梯的内部

(2)入场条件：三维移动轨迹的起点位置位于入退场区域内

(3)入场条件：由门开闭识别部11所设定的三维移动轨迹的起点时刻中的门索引di不是“0”

[退场条件]

(1)退场条件：三维移动轨迹的方向从电梯的内部朝向门

(2)退场条件：三维移动轨迹的终点位置位于入退场区域内

(3)退场条件：由门开闭识别部11所设定的三维移动轨迹的终点时刻中的门索引di不是“0”、且门索引di与入场时不同

在图29的(A)的例子中，各个人物的三维移动轨迹如下所述。

三维移动轨迹图G由三维移动轨迹L1～L6构成，三维移动轨迹图G具有下述的信息。

·连接到L1的三维移动轨迹集合＝{L2，L3}

·连接到L2的三维移动轨迹集合＝{L6}

·连接到L3的三维移动轨迹集合＝{L5}

·连接到L4的三维移动轨迹集合＝{L5}

·连接到L5的三维移动轨迹集合＝{φ(空集合)}

·连接到L6的三维移动轨迹集合＝{φ(空集合)}

另外，三维移动轨迹L1、L2、L3、L4、L5、L6的门索引di分别设为1、2、2、4、3、3。其中，假定三维移动轨迹L3是由于人物头部的追踪错误、人物的遮挡的原因而错误地求出的三维移动轨迹。

因此，连接到三维移动轨迹L1的三维移动轨迹有两个(三维移动轨迹L2、L3)，在人物的移动路径中产生模糊。

在图29的(A)的例子中，满足入场条件的三维移动轨迹是三维移动轨迹L1和三维移动轨迹L4，满足退场条件的三维移动轨迹是三维移动轨迹L5和三维移动轨迹L6。

在这种情况下，轨迹组合推定部50例如从三维移动轨迹L1开始按照L1→L2→L6的顺序搜索三维移动轨迹图G，从而得到从向监视对象区域的入场到退场为止的三维移动轨迹的候补{L1，L2，L6}。

同样地，轨迹组合推定部50通过搜索三维移动轨迹图G，得到从向下述三个监视对象区域的入场到退场为止的三维移动轨迹的候补。

轨迹候补A＝{L1，L2，L6}

轨迹候补B＝{L4，L5}

轨迹候补C＝{L1，L3，L5}

接着，轨迹组合推定部50从向监视对象区域的入场到退场为止的三维移动轨迹的候补中，定义考虑了人物彼此的位置关系、人物的数量、立体视觉的精度等的成本函数，并求出使该成本函数最大化的三维移动轨迹的组合，从而求出正确的人物的三维移动轨迹和人数(步骤ST73)。

例如，成本函数是反映了“三维移动轨迹不重叠”、且“推定尽量多的三维移动轨迹”这样的条件的函数，定义为如下。

成本＝“三维移动轨迹数”-“三维移动轨迹的重叠次数”

其中，三维移动轨迹数表示监视对象区域中的人物数。

在图29的(B)的例子中计算上述成本时，轨迹候补A＝{L1，L2，L6}和轨迹候补C＝{L1，L3，L5}在L1的部分中重叠，“三维移动轨迹的重叠次数”被计算为“1”。

同样地，轨迹候补B＝{L4，L5}和轨迹候补C＝{L1，L3，L5}在L5的部分中重叠，“三维移动轨迹的重叠次数”被计算为“1”。

因此，各轨迹候补的组合的成本如下所述。

·A、B以及C的组合的成本＝3-2＝1

·A和B的组合的成本＝2-0＝2

·A和C的组合的成本＝2-1＝1

·B和C的组合的成本＝2-1＝1

·仅A的成本＝1-0＝1

·仅B的成本＝1-0＝1

·仅C的成本＝1-0＝1

因而，判断为轨迹候补A和轨迹候补B的组合是成本函数为最大的组合，且是最佳的三维移动轨迹的组合。

最佳的三维移动轨迹的组合是轨迹候补A和轨迹候补B的组合，因此也同时推定监视对象区域内的人数为2人。

轨迹组合推定部50在求出监视对象区域中的从入退场区域开始且在入退场区域结束的人物的三维移动轨迹的最佳的组合时，将该三维移动轨迹与由楼层识别部12所确定的楼层(表示电梯的停止楼层的停止楼层信息)对应起来，计算出表示各个人物的上梯楼层和下梯楼层的人物移动历史(表示“多少人在哪个楼层上梯、在哪个楼层下梯”的各个人物的移动历史)(步骤ST74)。

这里，示出了将由楼层识别部12所确定的停止楼层信息对应起来的情形，但是也可以另行从电梯的控制设备获取停止楼层信息而对应起来。

这样，轨迹组合推定部50定义考虑了人物彼此的位置关系、人物的数量、立体视觉的精度等的成本函数，并求出使该成本函数最大化的三维移动轨迹的组合，从而由于遮挡等的原因而在人物头部的追踪结果中存在错误的情况下，也能够求出监视对象区域中的人物的三维移动轨迹和人物数。

但是，在上下梯人员的人数多而使三维移动轨迹图的结构复杂的情况下，三维移动轨迹的候补的数量、其组合方式非常多，有时无法在实际的时间内进行处理。

在这种的情况下，轨迹组合推定部50也可以定义考虑了人物彼此的位置关系、人物数以及立体视觉的精度的似然度函数，使用MCMC(Markov Chain Monte Carlo：马尔可夫链蒙特卡洛)、GA(Genetic Algorithm：遗传算法)等概率性的最佳化方法，来求出三维移动轨迹的最佳的组合。

下面，具体地说明如下处理：轨迹组合推定部50使用MCMC，求出成本函数成为最大的人物的最佳的三维移动轨迹的组合。

首先，如下面那样定义符号。

[符号]

y_i(t)：三维移动轨迹yi的时刻t中的三维位置。y_i(t)∈R₃

y_i：第i个人物从监视对象区域中的入场到退场为止的三维移动轨迹

y_i＝{y_i(t)}

|y_i|：三维移动轨迹y_i的记录时间

N：从监视对象区域中的入场到退场为止的三维移动轨迹数(人物的数量)

Y＝{y_i}_{i＝1，…，N}：三维移动轨迹的集合

S(y_i)：三维移动轨迹y_i的立体成本

O(y_i，y_j)：三维移动轨迹y_i和三维移动轨迹y_j的重叠成本

w₊：作为正确的三维移动轨迹而选择的三维移动轨迹y_i的集合

w_-：没有被选择的三维移动轨迹y_i的集合。w_-＝w-w₊

w：w＝{w₊，w_-}

w_opt：使似然度函数最大化的w

|w₊|：w₊的原来的数(作为正确的三维移动轨迹而选择的轨迹的数量)

Ω：w的集合。w∈Ω(三维移动轨迹的集合Y的分割方式的集合)

L(w|Y)：似然度函数

L_num(w|Y)：选择轨迹数的似然度函数

L_str(w|Y)：与选择轨迹的立体视觉有关的似然度函数

L_ovr(w|Y)：与选择轨迹的重叠有关的似然度函数

q(w’|w)：提案分布

A(w’|w)：受理概率

[模型]

在三维移动轨迹图生成部49生成三维移动轨迹图时，轨迹组合推定部50搜索该三维移动轨迹图，求出满足上述入场条件和退场条件的各个人物的三维移动轨迹的候补的集合Y＝{y_i}_{i＝1，…，N}。

另外，作为将w₊选择为正确的三维移动轨迹的三维移动轨迹候补的集合，定义w_-＝w-w₊和w＝{w₊，w_-}。

轨迹组合推定部50的目的在于，从三维移动轨迹的候补的集合Y中选择正确的三维移动轨迹，该目的能够作为将似然度函数L(w/Y)定义为成本函数并使该成本函数最大化的问题而公式化。

即，如果将最佳的轨迹选择设为w_opt，则利用下式给出w_opt。

w_opt＝argmax L(w|Y)

例如，也可以如下述那样定义似然度函数L(w|Y)。

L(w|Y)＝L_ovr(w|Y)L_num(w|Y)L_str(w|Y)

这里，L_ovr是将“三维移动轨迹在三维空间内不重叠”进行公式化得到的似然度函数，L_num是将“存在尽可能多的三维移动轨迹”进行公式化得到的似然度函数、L_str是将“三维移动轨迹的立体视觉的精度高”进行公式化得到的似然度函数。

下面，详细叙述各似然度函数。

[与选择轨迹的重叠有关的似然度函数]

如下述那样将“三维移动轨迹在三维空间内不重叠”这样的条件进行公式化。

L_ovr(w|Y)∝exp(-c1∑_i，j∈w+O(y_i，y_j))

这里，O(y_i，y_j)是三维移动轨迹y_i和三维移动轨迹y_j的重叠成本，在三维移动轨迹y_i和三维移动轨迹y_j完全重叠的情况下成为“1”，在完全没有重叠的情况下设为“0”。这里c1是正的常数。

这里，如下地求出O(y_i，y_j)。

设y_i＝{y_i(t)}_{t＝t1，…，t2}、y_j＝{y_j(t)}_{t＝t3，…，t4}，设三维移动轨迹y_i和三维移动轨迹y_j在时间F＝[t3 t2]同时存在。

另外，如下述那样定义函数g。

g(y_i(t)，y_j(t))

＝1(if||y_i(t)-y_j(t)||＜Th1)，＝0(otherwise)

这里，Th1是恰当的距离的阈值，例如设定为Th1＝25cm。

即，函数g是如果三维移动轨迹接近阈值Th1以内则给予处罚(penalty)的函数。

此时，如下述那样求出重叠成本O(y_i，y_j)。

·|F|≠0的情况下

O(y_i，y_j)＝∑_t∈Fg(y_i(t)，y_j(t))/|F|

·|F|＝0的情况下

O(y_i，y_j)＝0

[与选择轨迹的数量有关的似然度函数]

如下述那样将“存在尽可能多的三维移动轨迹”这样的条件进行公式化。

L_num(w|Y)∝exp(c2|w₊|)

这里，|w₊|是w₊的原来的数。另外c2是正的常数。

[与选择轨迹的立体视觉精度有关的似然度函数]

如下述那样将“三维移动轨迹的立体视觉的精度高”这样的条件进行公式化。

L_str(w|Y)∝exp(-c3∑_i∈w+S(y_i))

这里，S(y_i)是立体成本，在通过立体视觉而推定了三维移动轨迹的情况下取小的值，在三维移动轨迹为单眼视觉、或存在从哪个摄像机1都观测不到的期间的情况下取大的值。另外c3是正的常数。

下面，叙述立体成本S(y_i)的计算方法。

这里，当设y_i＝{y_i(t)}_{t＝t1，…，t2}时，在三维移动轨迹y_i的期间F_i＝[t1t2]中，混合存在下述的三个期间F1_i、F2_i、F3_i。

·F1_i：通过立体视觉而推定了三维移动轨迹的期间

·F2_i：通过单眼视觉而推定了三维移动轨迹的期间

·F3_i：从哪个摄像机1都观测不到三维移动轨迹的期间

在这种情况下，立体成本S(y_i)成为如下所述。

S(y_i)＝(c8×|F1_i|+c9×|F2_i|+c10×|F3_i|)/|F_i|

这里，c8、c9、c10是正的常数。

[MCMC的轨迹候补的组合最佳化]

接着，叙述轨迹组合推定部50通过MCMC而使似然度函数L(w|Y)最大化的方法。

首先，算法的概要如下所述。

[MCMC算法]

输入：Y，w_init，N_mc 输出：w_opt

(1)初始化w＝w_init，w_opt＝w_init

(2)主程序

for n＝1 to N_mc

step1.按照ζ(m)，对m进行采样

step2.按照m来选择提案分布q，对w’进行采样

step3.从均匀分布Unif[0 1]对u进行采样

step4.if u＜A(w，w’)，w＝w’；

step5.If L(w|Y)/L(w_opt|Y)＞1，

w_opt＝w’；(最大值的保存)

end(结束)

这里，对算法的输入是三维移动轨迹的集合Y、初始分割w_init、采样次数N_mc，另外作为算法的输出得到最佳的分割w_opt。

在初始化中，设初始分割w_init＝{w₊＝φ，w_-＝Y}。

在主程序中，在step(步骤)1中按照概率分布ζ(m)来对m进行采样。例如，概率分布ζ(m)也可以设定为均匀分布。

接着，在step2中按照与索引m相对应的提案分布q(w’|w)，对候补w’进行采样。

提案算法的提案分布定义“生成(generation)”、“消失(disappearance)”、“交换(swap)”这三个类型。

设索引m＝1对应于“生成”，m＝2对应于“消失”、m＝3对应于“交换”。

接着，在step3中，从均匀分布Unif[0 1]中采样u。

在接着的step4中，根据u和受理概率A(w，w’)来受理或者放弃候补w’。

通过下式来给出受理概率A(w，w’)。

A(w，w’)

＝min(1，q(w|w’)L(w’|Y)/q(w’|w)L(w|Y))

最后，在step5中，保存使似然度函数最大化的最佳的w_opt。

下面，叙述提案分布q(w’|w)的详细情况。

(A)生成

从集合w_-中选择一个三维移动轨迹y而加到w₊中。

这里，优先选择在空间上与存在于w₊中的轨迹不重叠的轨迹而作为y。

即，设y∈w_-、w＝{w₊，w_-}、w’＝{{w₊+y}，{w_--y}}时，由下式来给出提案分布。

q(w’|w)∝ζ(1)exp(-c4∑_j∈w+O(y，y_j))

这里，O(y，y_j)是上述的重叠成本，在轨迹y和y_j完全重叠的情况下成为“1”，在完全没有重叠的情况下取“0”。c4是正的常数。

(B)消失

从集合w₊中选择一个三维移动轨迹y而加到w_-中。

这里，优先选择在w₊的内部中在空间上重叠的轨迹而作为y。

即，设y ∈w₊、w＝{w₊，w_-}w’＝{{w₊-y}，{w_-+y}}时，由下式来给出提案分布。

q(w’|w)∝ζ(2)exp(c5∑_j∈w+O(y，y_j))

此外，在w₊为空集合的情况下设为如下所述。

q(w’|w)＝1(if w’＝w)，q(w’|w)＝0(otherwise(否则))

c5是正的常数。

(C)交换

将立体成本高的三维移动轨迹与立体成本低的三维移动轨迹进行交换。即，从集合w₊中选择一个三维移动轨迹y，另外从集合w_-中选择一个三维移动轨迹z，交换该三维移动轨迹y和三维移动轨迹z。

具体地说，首先，优先选择立体成本高的轨迹作为三维移动轨迹y。

接着，优先选择与三维移动轨迹y重叠、且立体成本低的轨迹作为三维移动轨迹z。

即，设

y∈w₊，z∈w_-，w’＝{{w₊-y+z}，{w_-+y-z}}，

p(y|w)∝exp(c6S(y))，

p(z|w，y)∝exp(-c6S(z)exp(c7O(z，y))

时，由下式来给出提案分布。

q(w’|w)∝ζ(3)×p(z|w，y)p(y|w)

其中，c6、c7是正的常数。

影像分析部3在如上所述那样计算各个人物的移动历史时，将该移动历史提供给对多台电梯的运行进行管理的群管理***(未图示)。

由此，在群管理***中，能够根据从各电梯得到的移动历史，始终实施最佳的电梯的群管理。

另外，影像分析部3根据需要，将各个人物的移动历史等输出到影像分析结果显示部4。

影像分析结果显示部4在从影像分析部3接受各个人物的移动历史等时，将各个人物的移动历史等显示到显示器(未图示)。

下面，具体地说明影像分析结果显示部4的处理内容。

图30是表示影像分析结果显示部4的画面结构例的说明图。

如图30所示，影像分析结果显示部4的主画面包括：对由多个摄像机1所摄像的影像进行显示的影像显示部51的画面、以及以时间序列方式对人物移动历史进行图示的时间序列信息显示部52的画面。

影像分析结果显示部4的影像显示部51同步显示由多个摄像机1所摄像的电梯的轿厢内的影像(摄像机(1)的影像、摄像机(2)的影像、楼层识别用的指示器影像)以及影像分析部3的分析结果，并将作为影像分析部3的分析结果的头部检测结果、二维移动轨迹等重叠在影像中进行显示。

影像显示部51同步显示多个影像，从而使建筑物维护作业人员等用户能够同时得知多个电梯的状况，另外能够在视觉上掌握头部检测结果、二维移动轨迹等影像分析结果。

影像分析结果显示部4的时间序列信息显示部52将由人物追踪部13的三维移动轨迹计算部46所计算出的人物移动历史和轿厢移动历史设为时间序列图，并与影像同步地进行显示。

图31是表示时间序列信息显示部52的画面的详细例子的说明图。在图31中，横轴为时间，纵轴为楼层，以时间序列方式对各电梯(轿厢)的移动历史进行图示。

在图31的画面例子中，时间序列信息显示部52显示对影像进行再生/停止的影像再生/停止按钮、能够随机地对影像进行寻迹(seek)的影像进度条、对所显示的轿厢编号进行选择的复选框、对显示时间单位进行选择的下拉等用户界面。

另外，在图中显示表示与影像之间的时间同步的条，用粗线来显示门开着的时间段。

另外，在图中，在显示各门开时间的粗线附近，对楼层、门开时间、上梯人数、下梯人数进行了文本“F15-D10-J0-K3”显示。

该文本“F15-D10-J0-K3”简记了轿厢的楼层为15层、门开时间为10秒、上梯人数为0人、下梯人数为3人的情形。

这样，时间序列信息显示部52通过以时间序列方式对影像分析结果进行显示，从而使建筑物维护作业人员等用户能够在视觉上得知多个电梯的上下梯人员、门开闭时间等信息的时间变化。

影像分析结果显示部4的概要显示部53求出由三维移动轨迹计算部46所计算出的人物移动历史的统计，并对一定时间段的各轿厢以及各楼层的上下梯人员进行一览显示而作为该人物移动历史的统计结果。

图32是表示概要显示部53的画面例的说明图。在图32中，纵轴为楼层，横轴为各轿厢编号，排列显示某一定时间段(图32的例子中是从AM7时到AM10时点为止的时间段)的各轿厢以及各楼层的上下梯人员人数的合计。

概要显示部53通过对一定时间段的各轿厢以及各楼层的上下梯人员进行一览显示，从而使用户能够一目了然地掌握建筑物整体的电梯的运行状况。

在图32的画面例子中，对各上下梯人员人数的合计进行显示的部分为按钮，当用户按下各按钮时，能够弹出显示与其对应的运行关联信息显示部54的详细显示画面。

影像分析结果显示部4的运行关联信息显示部54参照由三维移动轨迹计算部46所计算出的人物移动历史，显示人物移动历史的详细信息。即，对于某个指定的时间段、楼层以及电梯轿厢编号，显示移动到其它楼层的人数、从其它楼层移动过来的人数、乘客的等待时间等与电梯运行相关联的详细信息。

图33是表示运行关联信息显示部54的画面例的说明图。

在图33的画面中的各区域(A)～(F)中，显示下述的信息。

(A)：对成为对象的时间段、轿厢编号、楼层进行显示

(B)：对成为对象的时间段、轿厢编号、楼层进行显示

(C)：对在AM7:00～AM10:00从2楼乘坐轿厢#1并向上方向移动了的人数为10人的情形进行显示

(D)：对在AM7:00～AM10:00从3楼乘坐轿厢#1并在2楼下梯的人数为1人、其平均等待时间为30秒的情形进行显示

(E)：对在AM7:00～AM10:00从3楼乘坐轿厢#1并向下方向移动了的人数为3人的情形进行显示

(F)：对在AM7:00～AM10:00从地下1楼乘坐轿厢#1并在2楼下梯的人数为2人、其平均等待时间为10秒的情形进行显示

运行关联信息显示部54通过显示进行了分析后的人物移动历史的详细信息，从而使用户能够阅览各楼层、各轿厢的单独的信息，能够分析电梯运行的问题等的详细原因。

分类数据显示部55分类地显示由三维移动轨迹计算部46所计算出的人物移动历史。即，利用影像分析部3的分析结果，对与门开时间、上下梯人员人数、等待时间等有关的数据进行分类，从上位或者下位的数据顺序地进行显示。

图34是表示分类数据显示部55的画面例的说明图。

在图34的(A)的例子中，分类数据显示部55将“门开时间”作为分类关键字来分类影像分析部3的分析结果，将门开时间大的数据设为上位而顺序地进行显示。

另外，在图34的(A)中，同时显示“轿厢编号(#)”、***时间(影像记录时间)、“门开时间”的数据。

在图34的(B)的例子中，分类数据显示部55将“上下梯人员人数”作为分类关键字来分类影像分析部3的分析结果，将“上下梯人员人数”大的数据设为上位而顺序地进行显示。

另外，在图34的(B)中，同时显示“轿厢(#)”、“时间段(例如，以30分钟为单位)”、“上下梯(表示上梯或者下梯的标志)”、“上下梯人员人数”的数据。

在图34的(C)的例子中，分类数据显示部55将“上下梯人员移动人数”作为分类关键字来分类影像分析部3的分析结果，将“上下梯人员移动人数”大的数据设为上位而顺序地进行显示。

另外，在图34的(C)中，同时显示“时间段(例如，以30分钟为单位)”、“上梯楼层”、“下梯楼层”、“上下梯人员人数”的数据。

分类数据显示部55通过显示进行了分类的数据，例如发现门异常打开的时间段，通过参照相同时间段的影像、分析结果，能够找到该问题的原因。

通过以上可知，根据本实施方式1，构成为设置有：人物检测部44，分析由多个摄像机1所摄像的监视对象区域的影像，计算出存在于该监视对象区域内的各个人物在各影像上的位置；以及二维移动轨迹计算部45，追踪由人物检测部44所计算出的各影像上的位置，来计算各影像中的各个人物的二维移动轨迹，其中，三维移动轨迹计算部46实施由二维移动轨迹计算部45所计算出的各影像中的二维移动轨迹间的立体匹配，计算二维移动轨迹的匹配率，根据该匹配率为规定值以上的二维移动轨迹来计算出各个人物的三维移动轨迹，因此，起到如下效果：在监视对象区域非常拥挤的状况下也能够正确地追踪存在于该监视对象区域内的人物。

即，在以往例子中，在如电梯那样狭窄且拥挤的场所中，由于某个人会被其他人遮挡，因此人物的检测、追踪变得困难，但是根据本实施方式1，即使存在由于人物被遮挡的原因而错误地求出的三维移动轨迹之类的情况下，也能够通过列举多个三维移动轨迹的候补，并求出使考虑了人物彼此的位置关系、人物数、立体视觉的精度等的成本函数最大化那样的三维移动轨迹候补的组合，从而求出各个人物的正确的三维移动轨迹，并且推定监视对象区域中的人数。

另外，三维移动轨迹图的结构非常复杂，在从入场到退场为止的三维移动轨迹的候补的组合数非常多的情况下，轨迹组合推定部50也能使用MCMC、GA等概率性的最佳化方法来求出三维移动轨迹的最佳的组合，因此能够在实际的处理时间中求出三维移动轨迹候补的组合。其结果，在监视对象区域非常拥挤的状况下，也能够正确地检测出监视对象区域内的各个人物，并且能够正确地追踪各个人物。

另外，影像分析结果显示部4以方便观看的方式显示多个摄像机1的影像、影像分析部3的影像分析结果，因此建筑物维护作业人员、建筑物业主等用户能够容易掌握电梯的运行状况、问题位置，能够顺利地实施电梯的运行高效化、维护作业。

此外，在本实施方式1中，示出了影像分析结果显示部4将多个摄像机1的影像、影像分析部3的影像分析结果显示到显示器(未图示)的情形，但是影像分析结果显示部4也可以将多个摄像机1的影像、影像分析部3的影像分析结果显示到电梯的轿厢外的各楼层处所设置的显示面板、电梯的轿厢内部的显示面板，向乘客提示电梯的拥挤程度。

由此，乘客能够根据电梯的拥挤程度，掌握何时乘坐哪个电梯更好。

另外，在本实施方式1中，说明了监视对象区域为电梯的轿厢内的情形，但是这只不过是一个例子，例如还能够利用于将电车内应用为监视对象区域来测定电车的拥挤度等的情况。

另外，还能够应用于将安全需求高的场所作为监视对象区域而求出人物的移动历史的处理，监视可疑人物的行动。

另外，通过应用于车站、店铺等中而分析人物的移动轨迹，从而还能够利用于销售(marketing)等。

而且，还能够利用于如下情形：将自动扶梯的楼梯平台(landing)应用为监视对象区域，对存在于楼梯平台的人物的数量进行计数，在楼梯平台拥挤的情况下，例如通过进行自动扶梯的慢行、停止等合适的控制，预先避免人在自动扶梯上多米诺式地跌倒等的事故。

实施方式2.

在上述实施方式1中，搜索多个三维移动轨迹图，计算满足入退场条件的三维移动轨迹的候补，列举从入场到退场为止的三维移动轨迹的候补，并利用MCMC等而使成本函数在概率上最大化从而求出三维移动轨迹的候补的最佳的组合，但是在三维移动轨迹图的结构复杂的情况下，有时满足入退场条件的三维移动轨迹的候补数成为天文数字，无法在实际的时间内进行处理。

因此，在本实施方式2中对三维移动轨迹图的顶点(构成图的各三维移动轨迹)添加标签，使考虑了入退场条件的成本函数在概率上最大化，从而在实际的时间内推定三维移动轨迹的最佳的组合。

图35是表示本发明的实施方式2的人物追踪装置的人物追踪部13的内部的结构图，在图中，与图4相同的符号表示相同或者相当的部分，因此省略说明。

轨迹组合推定部61实施如下处理：对由三维移动轨迹图生成部49所生成的三维移动轨迹图的顶点施加标记来计算出多个标记候补，从多个标记候补中选择最佳的标记候补，推定存在于监视对象区域内的人物的人数。

接着说明动作。

与上述实施方式1相比，除了轨迹组合推定部50代替为轨迹组合推定部61以外是相同的，因此只说明轨迹组合推定部61的动作。

图36是表示轨迹组合推定部61的处理内容的流程图，图37是表示轨迹组合推定部61的处理内容的说明图。

首先，轨迹组合推定部61与图4的轨迹组合推定部50同样地，在成为监视对象区域的场所中，设定人物的入退场区域(步骤ST81)。

在图37的(A)的例子中，在电梯的轿厢内的入口附近虚拟地设定入退场区域。

接着，轨迹组合推定部61对由三维移动轨迹图生成部49所生成的三维移动轨迹图，标记三维移动轨迹图的顶点(构成图的三维移动轨迹)，计算多个标记候补(步骤ST82)。

这里，轨迹组合推定部61也可以到处搜索三维移动轨迹图。列举所有可能的标记候补，但是在标记的候补数多的情况下，也可以随机地选出预先确定的数量的标记候补。

具体地说，如下面那样计算出多个标记候补。

如图37的(A)所示，设得到具有下述信息的三维移动轨迹图。

·连接到L1的三维移动轨迹集合＝{L2，L3}

·连接到L2的三维移动轨迹集合＝{L6}

·连接到L3的三维移动轨迹集合＝{L5}

·连接到L4的三维移动轨迹集合＝{L5}

·连接到L5的三维移动轨迹集合＝{φ(空集合)}

·连接到L6的三维移动轨迹集合＝{φ(空集合)}

其中，设L2是由于人物头部的追踪错误等而错误地求出的三维移动轨迹。

在这种情况下，轨迹组合推定部61通过对图37的(A)的三维移动轨迹图进行标记，计算如图37的(B)所示那样的标记候补A、B。

例如，在标记候补A中，如下所述那样，对各三维移动轨迹的断片赋予从0到2的标签编号的标签。

·标签0＝{L3}

·标签1＝{L4，L5}

·标签2＝{L1，L2，L6}

这里，定义为标签0为不是人物的三维移动轨迹(错误的三维移动轨迹)的集合，标签1以上表示各单独的人物的三维移动轨迹的集合。

在这种情况下，标记候补A表示在监视对象区域中存在两个人(标签1和标签2)，表示某个人物(1)的三维移动轨迹由赋予了标签1的三维移动轨迹L4和三维移动轨迹L5构成，另外某个人物(2)的三维移动轨迹由赋予了标签2的三维移动轨迹L1、三维移动轨迹L2以及三维移动轨迹L6构成。

另外，在标记候补B中，如下所述，对各三维移动轨迹的断片赋予从0到2的标签编号的标签。

·标签0＝{L2，L6}

·标签1＝{L1，L3，L5}

·标签2＝{L4}

在这种情况下，标记候补B表示在监视对象区域中存在两个人(标签1和标签2)，表示某个人物(1)的三维移动轨迹由赋予了标签1的三维移动轨迹L1、三维移动轨迹L3以及三维移动轨迹L5构成，另外某个人物(2)的三维移动轨迹由赋予了标签2的三维移动轨迹L4构成。

接着，轨迹组合推定部61对于多个标记候补，计算考虑了人物数、人物彼此的位置关系、立体视觉精度以及向监视对象区域的入退场条件等的成本函数，求出该成本函数成为最大的标记候补，计算出各个人物的最佳的三维移动轨迹和人物数(步骤ST83)。

作为成本函数，定义如下所示的成本。

成本＝“满足了入退场条件的三维移动轨迹的数量”

这里，作为入退场条件，例如利用在上述实施方式1中所述的入场条件以及退场条件。

在图37的(B)的情况下，在标记候补A中，标签1和标签2是满足入退场条件的三维移动轨迹。

另外，在标记候补B中，仅标签1是满足入退场条件的三维移动轨迹。

因而，标记候补A、B的成本成为如下所示，因此成本函数成为最大的标记候补是标记候补A，标记候补A被判断为最佳的三维移动轨迹图的标记。

因此，也同时推定出在电梯的轿厢内移动了的人是2人。

·标记候补A的成本＝2

·标记候补B的成本＝1

接着，轨迹组合推定部61在选择成本函数成为最大的标记候补来计算出各个人物的最佳的三维移动轨迹时，将各个人物的最佳的三维移动轨迹与由楼层识别部12所确定的楼层(表示电梯的停止楼层的停止楼层信息)对应起来，计算出表示各个人物的上梯楼层和下梯楼层的人物移动历史(表示“多少人在哪个楼层上梯、在哪个楼层下梯”的各个人物的移动历史)(步骤ST84)。

这里，示出了将由楼层识别部12所确定的停止楼层信息对应起来的情形，但是也可以另行从电梯的控制设备获取停止楼层信息来对应起来。

但是，在上下梯人员的人数多而使三维移动轨迹图的结构复杂的情况下，有时会有大量的针对三维移动轨迹图的标记，在现实中无法对所有的标记计算成本函数。

在这种情况下，轨迹组合推定部61也可以使用MCMC、GA等概率性的最佳化方法来实施三维移动轨迹图的标记处理。

下面，具体地说明三维移动轨迹图的标记处理。

[模型]

当三维移动轨迹图生成部49生成三维移动轨迹图时，轨迹组合推定部61将该三维移动轨迹图的顶点的集合、即人物的三维移动轨迹的集合设为Y＝{y_i}_{i＝1，…，N}。这里，N是三维移动轨迹的数量。

另外，如下面那样定义状态空间w。

w＝{τ₀，τ₁，τ₂，…，τ_K}

这里，τ₀是不属于任何人物的三维移动轨迹y_i的集合，τ_i是属于第i个人物的三维移动轨迹的三维移动轨迹y_i的集合，K是三维移动轨迹的数量(人物数)。

τ_i由多个连接了的三维移动轨迹构成，能够看作一个三维移动轨迹。

另外，设满足以下。

·U_{k＝0，…，K} τ_k＝Y

·τ_i ∩τ_j＝φ(for all i≠j)

·|τ_k|＞1(for all k)

此时，轨迹组合推定部61的目的在于，求出三维移动轨迹的集合Y属于三维移动轨迹τ₀至τ_K的哪个集合。即，其目的与对集合Y的要素进行0至K的标记的问题等价。

这能够将似然度函数L(w/Y)定义为成本函数，并作为使该成本函数最大化的问题而进行公式化。

即，当设最佳的轨迹标记为w_opt时，利用下式来给出w_opt。

w_opt＝argmax L(w|Y)

这里，如下所示定义似然度函数L(w|Y)。

L(w|Y)＝L_ovr(w|Y)L_num(w|Y)L_str(w|Y)

这里，L_ovr是将“三维移动轨迹在三维空间内不重叠”进行公式化得到的似然度函数，L_num是将“尽可能多地存在满足入退场条件的三维移动轨迹”进行公式化得到的似然度函数，L_str是将“三维移动轨迹的立体视觉的精度高”进行公式化得到的似然度函数。

下面，叙述各似然度函数的详细情况。

[与轨迹的重叠有关的似然度函数]

如下所示将“三维移动轨迹在三维空间内不重叠”这样的条件进行公式化。

L_ovr(w|Y)∝exp(-c1∑_τi∈w-τ0∑_τj∈w-τ0O(τ_i，τ_j))

这里，O(τ_i，τ_j)是三维移动轨迹τ_i和三维移动轨迹τ_j的重叠成本，在三维移动轨迹τ_i和三维移动轨迹τ_j完全重叠的情况下成为“1”，在完全不重叠的情况下取“0”。

O(τ_i，τ_j)是例如利用在上述实施方式1中说明的内容。c1是正的常数。

[与轨迹的数量有关的似然度函数]

如下述那样将“尽可能多地存在满足入退场条件的三维移动轨迹”这样的条件进行公式化。

L_num(w|Y)∝exp(c2×K+c3×J)

这里，K是三维移动轨迹的数量，通过K＝|w-τ₀|来提供。另外，J是K个三维移动轨迹τ₁至τ_K中的满足入退场条件的三维移动轨迹的数量。

入退场条件例如利用在上述实施方式1中说明的内容。

似然度函数L_num(w|Y)的作用为：从集合Y中选择尽可能多的三维移动轨迹，且其中存在很多满足入退场条件的三维移动轨迹。c2、c3是正的常数。

[与轨迹的立体视觉精度有关的似然度函数]

L_str(w|Y)∝exp(-c4×∑_τi∈w-τ0S(τ_i))

这里，S(τ_i)是立体成本，在三维移动轨迹通过立体视觉而被推定了的情况下取小的值，在三维移动轨迹为单眼视觉、存在从哪个摄像机都观测不到的期间的情况下取大的值。

例如，立体成本S(τ_i)的计算方法利用在上述实施方式1中说明的方法。c4是正的常数。

能够使用MCMC、GA等概率性的最佳化方法，将如以上那样定义的似然度函数进行最佳化。

通过以上可知，根据本实施方式2，构成为轨迹组合推定部61对由三维移动轨迹图生成部49所生成的三维移动轨迹图的有向边施加标记来计算出多个标记候补，从多个标记候补中选择最佳的标记候补，推定存在于监视对象区域内的人物的人数，因此起到如下效果：在满足入退场条件的三维移动轨迹的候补数为天文数字的情况下，也能够在实际的时间内推定人物的最佳(或者准最佳)的三维移动轨迹和人物数。

实施方式3.

在上述实施方式2中，对三维移动轨迹图的顶点(构成图的各三维移动轨迹)添加标签，在概率上使考虑了入退场条件的成本函数最大化，从而在实际的时间内推定三维移动轨迹的最佳的组合。但是，在照到影像中的人物数增加，而且二维移动轨迹图的结构复杂的情况下，立体视觉的结果所得到的三维移动轨迹的断片的候补数成为天文数字，有时利用实施方式2的方法，也无法在实际的时间内结束处理。

因此，在本实施方式3中，对二维移动轨迹图的顶点(构成图的各二维移动轨迹)概率性地添加标签，根据二维移动轨迹的标签来实现三维移动轨迹的立体视觉，通过评价考虑了入退场条件的三维移动轨迹的成本函数，在实际的时间内推定最佳的三维移动轨迹。

图38是表示本发明的实施方式3的人物追踪装置的人物追踪部13的内部的结构图，在图中，与图4相同的符号表示相同或者相当的部分，因此省略说明。在图38中，追加了二维移动轨迹标记部71和三维移动轨迹成本计算部72。

二维移动轨迹标记部71实施如下处理：对由二维移动轨迹图生成部47所生成的二维移动轨迹图的有向边施加标记，计算出多个标记候补。三维移动轨迹成本计算部72实施如下处理：计算与三维移动轨迹的组合有关的成本函数，从多个标记候补中选择最佳的标记候补，推定存在于监视对象区域内的人物的人数。

接着说明动作。

与上述实施方式1相比，代替三维移动轨迹图生成部49以及轨迹组合推定部50，追加了二维移动轨迹标记部71和三维移动轨迹成本计算部72。由于除此以外的结构相同，因此下面以二维移动轨迹标记部71和三维移动轨迹成本计算部72的动作为中心进行说明。

图39是表示二维移动轨迹标记部71和三维移动轨迹成本计算部72的处理内容的流程图，图40是表示二维移动轨迹标记部71和三维移动轨迹成本计算部72的处理内容的说明图。

首先，二维移动轨迹标记部71对由二维移动轨迹图生成部47所生成的二维移动轨迹图，标记二维移动轨迹图的顶点(构成图的二维移动轨迹)，计算出多个标记候补(步骤ST91)。这里，二维移动轨迹标记部71也可以到处搜索二维移动轨迹图来列举所有的可能的标记候补，但是在标记的候补数多的情况下，也可以随机地选出预先确定的数量的标记候补。

具体地说，如下面那样计算多个标记候补。

如图40的(A)所示，设在对象区域中存在人物X和人物Y，得到具有下述信息的二维移动轨迹图。

摄像机1的影像

·连接到二维移动轨迹T1的二维移动轨迹集合＝{T2，T3}

·连接到二维移动轨迹T4的二维移动轨迹集合＝{T5，T6}

摄像机2的影像

·连接到二维移动轨迹P1的二维移动轨迹集合＝{P2，P3}

·连接到二维移动轨迹P4的二维移动轨迹集合＝{P5，P6}

在这种情况下，二维移动轨迹标记部71对图40的(A)的二维移动轨迹图，进行用于推定人物的移动轨迹和人数的标记(参照图40的(B))。例如，在标记候补1中，如下所示，对各摄像机影像的二维移动轨迹赋予从A到C的标签。

[标记候补1]

·标签A＝{{T1，T3}，{P1，P2}}

·标签B＝{{T4，T6}，{P4，P5}}

·标签Z＝{{T2，T5}，{P3，P6}}

这里，如下那样解释标记候补1。表示在监视对象区域中存在两个人(标签A和标签B)，某个人物Y的二维移动轨迹由赋予了标签A的二维移动轨迹T1、T3、P1、P2构成。另外，表示某个人物X的二维移动轨迹由赋予了标签B的二维移动轨迹T4、T6、P4、P5构成。这里，标签Z定义为特别的标签，设赋予了标签Z的T2、T5、P3、P6表示是错误地求出的不是人物的二维移动轨迹的集合。

这里所使用的标签是A、B，Z这三个，但是不限于此，也可以根据需要而任意地增加标签的数量。

接着，当二维移动轨迹标记部71对二维的轨迹图生成多个标记候补时，轨迹立体部48考虑针对由摄像机校准部42所计算出的轿厢内的基准点的多个摄像机1的设置位置以及设置角度，实施各影像中的被赋予了相同标签的二维移动轨迹的立体匹配，计算出该二维移动轨迹的候补的匹配率，计算各个人物的三维移动轨迹(步骤ST92)。

在图40的(C)的例子中，通过对摄像机1的影像中的赋予了标签A的二维移动轨迹的集合{T1，T3}、与摄像机2的影像中的赋予了标签A的二维移动轨迹的集合{P1，P2}进行立体匹配，生成标签A的三维移动轨迹L1。同样地，通过对摄像机1的影像中的赋予了标签B的二维移动轨迹的集合{T4，T6}、与摄像机2的影像中的赋予了标签A的二维移动轨迹的集合{P4，P5}进行立体匹配，生成标签B的三维移动轨迹L2。

另外，赋予了标签Z的T2、T5、P3、P6被解释为不是人物的轨迹，因此不实施立体匹配。

除此之外，轨迹立体部48的与二维移动轨迹的立体视觉有关的动作与实施方式1相同，因此省略说明。

接着，三维移动轨迹成本计算部72对于所述轨迹立体部48所计算出的针对多个标记候补的三维移动轨迹的集合，计算考虑了人物数、人物彼此的位置关系、二维移动轨迹的立体匹配率、立体视觉精度以及向监视对象区域的入退场条件等的成本函数，求出该成本函数成为最大的标记候补，计算出各个人物的最佳的三维移动轨迹和人物数(步骤ST93)。

例如，作为最单纯的成本函数，定义如下所示的成本。

成本＝“满足了入退场条件的三维移动轨迹的数量”

这里，作为入退场条件，例如利用在上述实施方式1中所述的入场条件以及退场条件。例如在图40的(C)的情况下，在标记候补1中，标签A和标签B是满足入退场条件的三维移动轨迹，因此计算为标记候补1的成本＝2。

另外，作为成本函数，也可以利用下述所定义的函数。

成本＝“满足了入退场条件的三维移动轨迹的数量”

-a×“三维移动轨迹的重叠成本的合计”

+b×“二维移动轨迹的匹配率的合计”

这里，a、b是用于取各评价值的平衡的正的常数。另外，二维移动轨迹的匹配率和三维移动轨迹的重叠成本例如利用在实施方式1中所说明的内容。

另外，在上下梯人员的人数多而使二维移动轨迹图的结构复杂的情况下，有时会有大量的二维移动轨迹标记部71针对二维移动轨迹图的标记候补，在现实中无法对所有的标记计算成本函数。

在这种情况下，也可以通过使用MCMC、GA等概率性的最佳化方法，概率地生成二维移动轨迹标记部71中的标记候补，并求出最佳或者准最佳的三维移动轨迹，从而在实际的时间内结束处理。

最后，三维移动轨迹成本计算部72在选择成本函数成为最大的标记候补来计算各个人物的最佳的三维移动轨迹时，将各个人物的最佳的三维移动轨迹与由楼层识别部12所确定的楼层(表示电梯的停止楼层的停止楼层信息)对应起来，计算出表示各个人物的上梯楼层和下梯楼层的人物移动历史(表示“多少人在哪个楼层上梯、在哪个楼层下梯”的各个人物的移动历史)(步骤ST94)。

通过以上可知，根据本实施方式3，构成为二维移动轨迹标记部71对由二维移动轨迹图生成部47所生成的二维移动轨迹图施加标记来计算出多个标记候补，从多个标记候补中选择最佳的标记候补，推定存在于监视对象区域内的人物的人数，因此起到如下效果：在二维移动轨迹图的结构复杂、标记的候补数为天文数字的情况下，也能够在实际的时间内推定人物的最佳(或者准最佳)的三维移动轨迹和人物数。

实施方式4.

在上述实施方式1至实施方式3中，叙述了电梯上下梯人员的人物移动历史的测定方法，但是在本实施方式4中叙述人物移动历史的利用方法。

图41是表示本发明的实施方式4的人物追踪装置的结构图。在图41中，构成摄像单元的多个摄像机1、影像获取部2、影像分析部3与实施方式1、实施方式2、或者实施方式3相同，因此省略说明。

传感器81设置在作为监视对象区域的电梯外部，例如由可视摄像机、红外线摄像机、或者激光测距仪等构成。

楼层人物检测部82实施如下处理：利用传感器81所获取的信息来测定电梯外部的人物的移动历史。

轿厢呼叫测定部83实施测定电梯呼叫历史的处理。

群管理最佳化部84实施用于有效地调度多个电梯群使得电梯等待时间成为最小的最佳化处理，而且实施在实施了最佳的电梯群管理时的仿真交通流计算。

交通流可视化部85实施如下处理：将影像分析部3、楼层人物检测部82以及轿厢呼叫测定部83所测定的实际的交通流、与群管理最佳化部84所生成的仿真交通流进行比较，用动画、图来进行显示。

图42是表示本发明的实施方式4的人物追踪装置的处理内容的流程图。另外，以下对于与实施方式1的人物追踪装置相同的步骤附加与图6中所使用的符号相同的符号，省略或者简化说明。

首先，摄像机1、影像获取部2、影像分析部3计算电梯内部的人物移动历史(步骤ST1～ST4)。

楼层人物检测部82使用设置在电梯外部的传感器81，测定电梯外部的人物的移动历史(步骤ST101)。

例如，在传感器81中使用可视摄像机，与实施方式1同样地从影像检测和追踪人物的头部，楼层人物检测部82实施如下处理：测定等待电梯到来的人物、从现在开始上电梯的人物的三维移动轨迹、以及他们的人数。

传感器81不限于可视摄像机，只要是感知热的红外线摄像机、激光测距仪、或者铺设于楼层的压力传感器等能够测定人物移动信息的设备就都可以。

轿厢呼叫测定部83测定电梯的轿厢呼叫历史(步骤ST102)。例如，轿厢呼叫测定部83实施如下处理：对配置于各楼层的电梯呼叫按钮被按下的历史进行测定。

群管理最佳化部84将影像分析部3所求出的电梯内部的人物移动历史、楼层人物检测部82所测定的电梯外部的人物移动历史、以及轿厢呼叫测定部83所测定的电梯呼叫历史进行合并，实施用于有效地调度多个电梯群的最佳化处理，以使平均或者最大的电梯等待时间成为最小。而且，计算出实施了最佳的电梯群管理时的由计算机进行了仿真的人物移动历史的结果(步骤ST103)。

这里，电梯等待时间是指，从某个人到达楼层后到所期望的电梯到达为止的时间。

作为群管理的最佳化算法，例如也可以利用下述的参考文献5所公开的算法。

参考文献5

Nikovski，D.；Brand，M.，″Exact Calculation of ExpectedWaiting Times for Group Elevator Control″，IEEE Transactions onAutomatic Control，ISSN：0018-9286，Vol.49，Issue 10，pp.1820-1823，October 2004

以往没有对正确的电梯的人物移动历史进行测定的单元，因此在群管理最佳化算法中假定电梯内外的人物移动历史的恰当的概率分布，来进行电梯群管理的最佳化处理。但是，在本实施方式4中，通过向现有的算法输入实测的人物移动历史，能够实现更佳的群管理。

最后，交通流可视化部85实施如下处理：将影像分析部3、楼层人物检测部82以及轿厢呼叫测定部83所测定的实际的人物移动历史、与群管理最佳化部84所生成的基于仿真的人物移动历史进行比较，用动画、图来进行显示(步骤ST104)。

例如，交通流可视化部85在显示了电梯、租客(tenant)的建筑物的二维截面图上通过动画来显示电梯等待时间、人物的移动量合计、或者人物的每单位时间的移动概率、或通过图来显示电梯的轿厢移动的图表(diagram)。交通流可视化部85能够通过计算机的仿真，虚拟地计算增减电梯台数或导入了电梯新机种时的人物的移动历史，同时显示该仿真结果与影像分析部3、楼层人物检测部82以及轿厢呼叫测定部83所测定的实际的人物移动历史，因此起到如下效果：通过比较仿真结果与实际的人物移动历史，能够验证当前的建筑物内的交通流与改建后的交通流之间的变化。

通过以上可知，在本实施方式4中，构成为在电梯的乘梯处等电梯外部设置传感器81来测定人物移动历史，因此起到如下效果：能够完整地求出与电梯有关的人物移动。另外，起到如下效果：根据实测的人物移动历史，实现最佳的电梯群管理。另外，通过比较实测的人物移动历史与计算机的仿真，能够正确地验证基于改建的交通流的变化。

实施方式5.

以往，在按下了电梯的轮椅专用按钮的情况下，优先调度电梯。但是，由于在健全人员无意地错误按下轮椅专用按钮的情况下也优先调度电梯，因此成为降低电梯群的运行效率的原因。

因此，在本实施方式5中示出如下结构：通过图像处理来识别轮椅，仅在楼层以及电梯的轿厢内存在坐轮椅的人的情况下优先运行轿厢，由此进行有效的电梯的运行。

图43是表示本发明的实施方式5的人物追踪装置的结构图。在图43中，构成摄像单元的多个摄像机1、影像获取部2、影像分析部3、传感器81、楼层人物检测部82、轿厢呼叫测定部83与实施方式4相同，因此省略说明。

轮椅检测部91实施如下处理：从影像分析部3以及楼层人物检测部82所计算出的人物中确定轮椅和坐在该轮椅上的人。

图44是表示本发明的实施方式5的人物追踪装置的处理内容的流程图。另外，以下，对于与实施方式1以及实施方式4的人物追踪装置相同的步骤附加与图6以及图42中使用的符号相同的符号，省略或者简化说明。

首先，摄像机1、影像获取部2、影像分析部3计算电梯内部的人物移动历史(步骤ST1～ST4)。楼层人物检测部82使用设置于电梯外部的传感器81，测定电梯外部的人物的移动历史(步骤ST101)。轿厢呼叫测定部83测定电梯的轿厢呼叫历史(步骤ST102)。

轮椅检测部91实施如下处理：从影像分析部3和楼层人物检测部82所计算出的人物中确定轮椅和坐在该轮椅上的人(步骤ST201)。例如，实施如下处理：通过图像处理，利用Adaboost算法、支持矢量机(support vector machine)等来机械地学习轮椅图像的图案，根据学习的图案，从摄像机影像中确定存在于轿厢内、楼层的轮椅。另外，也可以预先对轮椅赋予RFID(Radio Frequency IDentification：无线射频识别)等电子标签，检测轮椅靠近电梯乘梯处的情形。

接着，在由轮椅检测部91检测到轮椅的情况下，群管理最佳化部84对轮椅的人物优先调度电梯(步骤ST202)。例如，在坐在轮椅上的人按下了电梯呼叫的按钮的情况下，群管理最佳化部84优先向该楼层调度电梯，并且实施除了目的地楼层以外不停止等优先的电梯运行。另外，在轮椅的人物要进入轿厢内的情况下，也可以将电梯的门打开的时间设定得长，或将门关闭的时间设定得长。

以往，在健全人员为了呼叫电梯而无意地按下了轮椅专用按钮的情况下也优先调度电梯，因此降低了多个电梯的运行效率。但是，根据本实施方式5，构成为轮椅检测部91检测轮椅，向该楼层优先地调度电梯等，根据轮椅的检测状态而动态地实施电梯群管理，因此能够实现比以往更有效的电梯运行。另外，起到不需要准备轮椅专用按钮这样的效果。

另外，在本实施方式5中说明了轮椅的检测，但是不限于轮椅，也可以构成为自动地检测建筑物的重要人物、老人、孩子等，适应性地控制电梯的调度、门开闭时间等。

产业上的可利用性

与本发明有关的人物追踪装置能够可靠地确定存在于监视区域内的人物，因此能够利用于电梯群的电梯调度控制等。

Claims

1.一种人物追踪装置，具备：

多个摄像单元，设置于相互不同的位置，对同一监视对象区域进行摄像；

人物位置计算单元，分析由所述多个摄像单元所摄像的监视对象区域的影像，计算出存在于所述监视对象区域内的各个人物在各影像上的位置；

二维移动轨迹计算单元，追踪由所述人物位置计算单元所计算出的各影像上的位置，计算出各影像中的各个人物的二维移动轨迹；以及

三维移动轨迹计算单元，实施由所述二维移动轨迹计算单元所计算出的各影像中的二维移动轨迹间的立体匹配，计算出所述二维移动轨迹的匹配率，并根据所述匹配率为规定值以上的二维移动轨迹，计算出各个人物的三维移动轨迹。

2.根据权利要求1所述的人物追踪装置，其特征在于，

三维移动轨迹计算单元根据各个人物的三维移动轨迹，生成三维移动轨迹图，搜索所述三维移动轨迹图而计算出多个三维移动轨迹的候补，并从多个三维移动轨迹的候补中选择最佳的三维移动轨迹。

3.根据权利要求2所述的人物追踪装置，其特征在于，

人物位置计算单元包括：

摄像机校准部，分析由多个摄像单元所摄像的校准图案的影像的失真程度，计算出所述多个摄像单元的摄像机参数；

影像校正部，使用由所述摄像机校准部所计算出的摄像机参数，校正由所述多个摄像单元所摄像的监视对象区域的影像的失真；以及

人物检测部，检测出由所述影像校正部校正了失真后的各影像中映现的各个人物，计算出各个人物在各影像上的位置，

二维移动轨迹计算单元包括二维移动轨迹计算部，该二维移动轨迹计算部追踪由所述人物检测部所计算出的各影像上的位置，计算出各影像中的各个人物的二维移动轨迹，

三维移动轨迹计算单元包括：

二维移动轨迹图生成部，实施针对由所述二维移动轨迹计算部所计算出的二维移动轨迹的分割处理以及连接处理，生成二维移动轨迹图；

轨迹立体部，搜索由所述二维移动轨迹图生成部所生成的二维移动轨迹图来计算出多个二维移动轨迹的候补，考虑相对于所述监视对象区域内的基准点的所述多个摄像单元的设置位置以及设置角度，实施各影像中的二维移动轨迹的候补间的立体匹配，计算出所述二维移动轨迹的候补的匹配率，并根据所述匹配率为规定值以上的二维移动轨迹的候补，计算出各个人物的三维移动轨迹；

三维移动轨迹图生成部，实施针对由所述轨迹立体部所计算出的三维移动轨迹的分割处理以及连接处理，生成三维移动轨迹图；以及

轨迹组合推定部，搜索由所述三维移动轨迹图生成部所生成的三维移动轨迹图来计算出多个三维移动轨迹的候补，并从多个三维移动轨迹的候补中选择最佳的三维移动轨迹，推定存在于所述监视对象区域内的人物的人数。

4.根据权利要求2所述的人物追踪装置，其特征在于，

设置门开闭时刻确定单元，该门开闭时刻确定单元在监视对象区域为电梯的内部的情况下，分析由多个摄像单元所摄像的电梯的内部的影像，确定所述电梯的门的开闭时刻，

在三维移动轨迹计算单元从多个三维移动轨迹的候补中选择最佳的三维移动轨迹时，参照由所述门开闭时刻确定单元所确定的门的开闭时刻，排除轨迹起点的时刻以及轨迹终点的时刻与门关着的时刻一致的三维移动轨迹的候补。

5.根据权利要求3所述的人物追踪装置，其特征在于，

6.根据权利要求4所述的人物追踪装置，其特征在于，

门开闭时刻确定单元包括：

背景图像登记部，将门关着的状态的电梯内的门区域的图像登记为背景图像；

背景差分部，计算出由所述背景图像登记部所登记的背景图像与由摄像单元所摄像的门区域的影像的差分；

光流计算部，根据由所述摄像单元所摄像的门区域的影像的变化，计算表示门的移动方向的运动矢量；

门开闭时刻确定部，根据由所述背景差分部所计算出的差分和由所述光流计算部所计算出的运动矢量来判别门的开闭状态，确定所述门的开闭时刻；以及

背景图像更新部，使用由所述摄像单元所摄像的门区域的影像，更新所述背景图像。

7.根据权利要求5所述的人物追踪装置，其特征在于，

门开闭时刻确定单元包括：

8.根据权利要求1所述的人物追踪装置，其特征在于，

设置楼层确定单元，该楼层确定单元分析电梯的内部的影像来确定各时刻的所述电梯的楼层，

三维移动轨迹计算单元将各个人物的三维移动轨迹与由所述楼层确定单元所确定的楼层对应起来，计算表示各个人物的上梯楼层和下梯楼层的人物移动历史。

9.根据权利要求8所述的人物追踪装置，其特征在于，

楼层确定单元包括：

模板图像登记部，将表示电梯的楼层的指示器的图像登记为模板图像；

模板匹配部，实施由所述模板图像登记部所登记的模板图像与由摄像单元所摄像的电梯内的指示器区域的影像的模板匹配，确定各时刻的所述电梯的楼层；以及

模板图像更新部，使用由所述摄像单元所摄像的指示器区域的影像来更新所述模板图像。

10.根据权利要求8所述的人物追踪装置，其特征在于，

设置影像分析结果显示单元，该影像分析结果显示单元显示由三维移动轨迹计算单元所计算出的人物移动历史。

11.根据权利要求9所述的人物追踪装置，其特征在于，

12.根据权利要求10所述的人物追踪装置，其特征在于，

影像分析结果显示单元包括：

影像显示部，显示由多个摄像单元所摄像的电梯的内部的影像；

时间序列信息显示部，以时间序列方式对由三维移动轨迹计算单元所计算出的人物移动历史进行图示；

概要显示部，求出由所述三维移动轨迹计算单元所计算出的人物移动历史的统计，显示所述人物移动历史的统计结果；

运行关联信息显示部，参照由所述三维移动轨迹计算单元所计算出的人物移动历史，显示与电梯的运行相关联的信息；以及

分类数据显示部，分类地显示由所述三维移动轨迹计算单元所计算出的人物移动历史。

13.根据权利要求11所述的人物追踪装置，其特征在于，

影像分析结果显示单元包括：

14.根据权利要求3所述的人物追踪装置，其特征在于，

摄像机校准部使用由多个摄像单元所摄像的校准图案的影像和所述多个摄像单元的摄像机参数，计算出相对于监视对象区域内的基准点的所述多个摄像单元的设置位置以及设置角度，并将所述多个摄像单元的设置位置以及设置角度输出到轨迹立体部。

15.根据权利要求3所述的人物追踪装置，其特征在于，

在人物检测部计算出各个人物在各影像上的位置时，计算所述人物的确信度，如果由所述人物检测部所计算出的确信度的累积值为规定的阈值以下，则二维移动轨迹计算部结束该人物的位置的追踪。

16.根据权利要求3所述的人物追踪装置，其特征在于，

人物检测部实施各个人物的检测处理，如果检测出该人物，则二维移动轨迹计算部实施上调与该人物的检测结果有关的计数器的值的处理，另一方面，如果无法检测出该人物，则二维移动轨迹计算部实施下调与该人物的检测结果有关的计数器的值的处理，如果所述计数器的值为规定的阈值以下，则二维移动轨迹计算部结束该人物的位置的追踪。

17.根据权利要求3所述的人物追踪装置，其特征在于，

人物检测部在检测出由影像校正部校正了失真后的各影像中映现的各个人物时，将人物的检测结果之中的人物的头部尺寸比最小矩形尺寸小的检测结果、和人物的头部尺寸比最大矩形尺寸大的检测结果视作误检测，而从人物的检测结果中排除。

18.根据权利要求3所述的人物追踪装置，其特征在于，

二维移动轨迹计算部在计算各影像中的各个人物的二维移动轨迹时，在时间上向前方追踪由人物检测部所计算出的各影像上的位置来计算出二维移动轨迹，并且在时间上向后方追踪各影像上的位置来计算出二维移动轨迹。

19.根据权利要求3所述的人物追踪装置，其特征在于，

轨迹立体部在根据匹配率为规定值以上的二维移动轨迹的候补而计算出各个人物的三维移动轨迹时，在所述三维移动轨迹不满足针对监视对象区域的入退场条件的情况下，放弃所述三维移动轨迹。

20.根据权利要求3所述的人物追踪装置，其特征在于，

轨迹立体部计算出二维移动轨迹的候补重叠的时间段的人物的三维位置，并根据所述三维位置推定二维移动轨迹的候补没有重叠的时间段的人物的三维位置，从而计算出各个人物的三维移动轨迹。

21.根据权利要求3所述的人物追踪装置，其特征在于，

轨迹组合推定部在从多个三维移动轨迹的候补中选择最佳的三维移动轨迹时，排除轨迹起点以及轨迹终点不存在于监视对象区域的入退场区域内的三维移动轨迹的候补，保留从向所述监视对象区域的入场到退场为止的三维移动轨迹的候补。

22.根据权利要求21所述的人物追踪装置，其特征在于，

轨迹组合推定部从入场到退场为止的三维移动轨迹的候补中，选择监视对象区域内存在的人物的人数、人物彼此的位置关系以及轨迹立体部中的立体匹配的精度被反映的成本函数成为最大的三维移动轨迹的候补的组合。

23.根据权利要求2所述的人物追踪装置，其特征在于，

人物位置计算单元包括：

人物检测部，检测由所述影像校正部校正了失真后的各影像中映现的各个人物，计算出各个人物在各影像上的位置，

三维移动轨迹计算单元包括：

轨迹立体部，搜索由所述二维移动轨迹图生成部所生成的二维移动轨迹图来计算出多个二维移动轨迹的候补，考虑相对于所述监视对象区域内的基准点的所述多个摄像单元的设置位置以及设置角度，实施各影像中的二维移动轨迹的候补间的立体匹配，计算出所述二维移动轨迹的候补的匹配率，根据所述匹配率为规定值以上的二维移动轨迹的候补，计算出各个人物的三维移动轨迹；

轨迹组合推定部，对由所述三维移动轨迹图生成部所生成的三维移动轨迹图的顶点施加标记来计算出多个标记候补，从多个标记候补中选择最佳的标记候补，推定存在于所述监视对象区域内的人物的人数。

24.根据权利要求23所述的人物追踪装置，其特征在于，

轨迹组合推定部从多个标记候补中，选择存在于监视对象区域内的人物的人数、人物彼此的位置关系、轨迹立体部中的立体匹配的精度以及针对监视对象区域的入退场条件被反映的成本函数成为最大的标记候补。

25.根据权利要求2所述的人物追踪装置，其特征在于，

三维移动轨迹计算单元包括：

二维移动轨迹图生成部，实施针对由二维移动轨迹计算部所计算出的二维移动轨迹的分割处理以及连接处理，生成二维移动轨迹图；

二维移动轨迹标记部，对于由所述二维移动轨迹图生成部所生成的二维移动轨迹图的顶点，按照概率附加标签；

轨迹立体部，对于由所述二维移动轨迹标记部所生成的二维移动轨迹的多个标记候补，考虑相对于监视对象区域内的基准点的多个摄像单元的设置位置以及设置角度，实施各影像中的被赋予了同一标签的二维移动轨迹的候补间的立体匹配，计算出所述二维移动轨迹的候补的匹配率，并根据所述匹配率为规定值以上的二维移动轨迹的候补，计算出各个人物的三维移动轨迹；以及

三维移动轨迹成本计算部，对于由所述轨迹立体部所生成的三维移动轨迹的集合，评价考虑了人物数、人物彼此的位置关系、二维移动轨迹的立体匹配率、立体视觉精度以及向监视对象区域的入退场条件等的三维移动轨迹的成本函数，推定最佳的三维移动轨迹。

26.根据权利要求1所述的人物追踪装置，其特征在于，具备：

楼层人物检测部，从设置在电梯外部的传感器所获取的信息中测定电梯外部的人物移动历史；

轿厢呼叫测定部，测定电梯的呼叫历史；以及

群管理最佳化部，根据由三维移动轨迹计算单元所计算出的各个人物的三维移动轨迹、由所述楼层人物检测部所测定的电梯外部的人物移动历史以及由所述轿厢呼叫测定部所测定的呼叫历史，实施电梯群调度的最佳化处理，并且计算出基于所述最佳化处理的电梯群的仿真交通流。

27.根据权利要求26所述的人物追踪装置，其特征在于，

具备交通流可视化部，该交通流可视化部比较由各个人物的三维移动轨迹、电梯外部的人物移动历史以及呼叫历史构成的实测人物移动历史、与群管理最佳化部所计算出的仿真交通流，并显示比较结果。

28.根据权利要求26所述的人物追踪装置，其特征在于，

具备轮椅检测部，该轮椅检测部检测轮椅，

群管理最佳化部根据所述轮椅检测部的检测状态来实施电梯群管理。

29.一种人物追踪程序，使计算机执行：

人物位置计算处理步骤，当提供由设置在相互不同的位置的多个摄像单元所摄像的同一监视对象区域的影像时，计算出存在于所述监视对象区域内的各个人物在各影像上的位置；

二维移动轨迹计算处理步骤，追踪通过所述人物位置计算处理步骤所计算出的各影像上的位置，计算出各影像中的各个人物的二维移动轨迹；以及

三维移动轨迹计算处理步骤，实施通过所述二维移动轨迹计算处理步骤所计算出的各影像中的二维移动轨迹间的立体匹配，计算出所述二维移动轨迹的匹配率，根据所述匹配率为规定值以上的二维移动轨迹，计算出各个人物的三维移动轨迹。