CN111670456B - 信息处理装置、追踪方法和记录介质 - Google Patents

Abstract

信息处理装置(100)具有：位置检测部(110)，其根据多个检测装置分别周期性地检测到第1检测对象的多个检测信息，检测表示第1检测对象的位置的多个检测对象位置；转换部(120)，其将多个检测对象位置转换成基于设置有多个检测装置的空间的坐标；存储部(140)，其存储第1坐标，所述第1坐标是多个检测装置进行检测之前第1检测对象所在的位置；分类部(150)，其从多个转换后坐标中，取得根据如下的检测信息检测到的多个检测对象位置被转换后的转换后坐标，从取得的转换后坐标中提取预计与第1坐标有关系的多个第2坐标，其中，所述检测信息是在比该周期长的第1时间以内检测到的；以及代表坐标计算部(160)，其根据多个第2坐标计算代表坐标，将代表坐标决定为第1检测对象从第1坐标移动后的位置。

Description

信息处理装置、追踪方法和记录介质

技术领域

本发明涉及信息处理装置、追踪方法和记录介质。

背景技术

由于近年来的半导体技术的进步，超过面向工业设备的SoC(System On Chip：片上***)、VGA(Video Graphics Array：视频图形阵列)分辨率的数字摄像机和图像传感器成为高性能且低成本。因此，能够容易地实现使用数字摄像机或图像传感器的***。例如，该***能够追踪空间内的人或物体。

这里，提出追踪人或物体的技术(参照专利文献1、2)。例如，专利文献1的通过人数计测装置根据多个摄像机拍摄到的图像数据提取人，追踪提取出的人。例如，专利文献2的控制装置从多个摄像机取入图像，提取图像上的表示车辆的特征，追踪车辆的移动。

现有技术文献

专利文献

专利文献1：日本特开平10-49718号公报

专利文献2：日本特开平10-269362号公报

发明内容

发明要解决的课题

但是，通过对多个位置信息进行统合，计算人或物体的移动轨迹。有时在多个位置信息中包含异常值的位置信息。例如，异常值是误检测到人或物体的位置时的位置信息。在对包含异常值的多个位置信息进行统合时，人或物体的移动轨迹的精度变差。

仅单纯地提高摄像机的帧率无法解决人或物体的移动轨迹的精度变差的问题。此外，仅提高传感器采样的周期无法解决人或物体的移动轨迹的精度变差的问题。

本发明的目的在于提高移动轨迹的精度。

用于解决课题的手段

提供本发明的一个方式的信息处理装置。信息处理装置具有：位置检测部，其根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置；转换部，其将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标；存储部，其存储第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标；分类部，其从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的多个检测对象位置被转换后的转换后坐标，从取得的转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的；以及代表坐标计算部，其根据所述多个第2坐标计算代表坐标，将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置。

发明效果

根据本发明，能够提高移动轨迹的精度。

附图说明

图1是示出实施方式1的追踪***的图(其一)。

图2是示出实施方式1的追踪***的图(其二)。

图3是示出实施方式1的信息处理装置具有的主要硬件结构的图。

图4是示出实施方式1的信息处理装置的结构的功能框图。

图5是示出实施方式1的移动轨迹表的例子的图。

图6是示出实施方式1的转换后坐标的存储处理的流程图。

图7是示出实施方式1的代表坐标的计算处理的流程图。

图8是示出实施方式1的追踪处理的具体例的图(其一)。

图9是示出实施方式1的追踪处理的具体例的图(其二)。

图10是示出实施方式1的追踪处理的具体例的图(其三)。

图11是示出实施方式2的信息处理装置的结构的功能框图。

图12是示出实施方式2的代表坐标的计算处理的流程图(其一)。

图13是示出实施方式2的代表坐标的计算处理的流程图(其二)。

具体实施方式

下面，参照附图对实施方式进行说明。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。

实施方式1

图1是示出实施方式1的追踪***的图(其一)。追踪***包含信息处理装置100和摄像机200、201、202。信息处理装置100和摄像机200、201、202经由网络连接。

信息处理装置100能够实施拍摄对象者的追踪。例如，信息处理装置100是计算机。信息处理装置100取得摄像机200、201、202拍摄到的图像。

摄像机200、201、202也称作摄像装置或图像生成装置。摄像机200、201、202也可以是传感器。摄像机200、201、202也可以包含传感器。摄像机、传感器或包含传感器的摄像机也称作检测装置。在图1中，示出3台摄像机的情况。但是，摄像机的台数不限于3台。

摄像机200、201、202设置于拍摄对象空间。拍摄对象空间是设置有摄像机的空间，是摄像机能够拍摄的范围的空间。摄像机200、201、202设置于拍摄对象空间的上方。例如，摄像机200、201、202设置于作为拍摄对象空间的室内的天花板。摄像机200、201、202从上方对拍摄对象进行拍摄。信息处理装置100取得拍摄到的图像。此外，拍摄到的图像对应有拍摄的时刻。

在图1中，示出摄像机200、201、202设置于室内的天花板的状态。信息处理装置100可以存在于该室内，也可以存在于与该室内不同的场所。

图2是示出实施方式1的追踪***的图(其二)。图2示出从侧面观察图1的状态。摄像机200和摄像机201可拍摄的范围的一部分重叠。摄像机201和摄像机202可拍摄的范围的一部分重叠。这样，重叠多个摄像机可拍摄的范围的一部分是指利用多个摄像机对拍摄对象进行拍摄。

另外，在图2中，省略信息处理装置100的图示。

接着，对信息处理装置100的主要硬件结构进行说明。

图3是示出实施方式1的信息处理装置具有的主要硬件结构的图。信息处理装置100具有处理器101、易失性存储装置102和非易失性存储装置103。

处理器101对信息处理装置100整体进行控制。例如，处理器101是CPU(CentralProcessing Unit：中央处理单元)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等。处理器101也可以是多处理器。信息处理装置100可以通过处理电路实现，或者也可以通过软件、固件或它们的组合实现。另外，处理电路也可以是单一电路或复合电路。

易失性存储装置102是信息处理装置100的主存储装置。例如，易失性存储装置102是RAM(Random Access Memory：随机存取存储器)。非易失性存储装置103是信息处理装置100的辅助存储装置。例如，非易失性存储装置103是HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)。

图4是示出实施方式1的信息处理装置的结构的功能框图。信息处理装置100具有位置检测部110、转换部120、坐标蓄积部130、存储部140、分类部150、代表坐标计算部160、显示控制部170和计时器180。位置检测部110具有物体检测部111、112、113。转换部120具有坐标转换部121、122、123。

位置检测部110、物体检测部111、112、113、转换部120、坐标转换部121、122、123、分类部150、代表坐标计算部160和显示控制部170的一部分或全部可以通过处理器101实现。位置检测部110、物体检测部111、112、113、转换部120、坐标转换部121、122、123、分类部150、代表坐标计算部160和显示控制部170的一部分或全部也可以作为处理器101执行的程序的模块来实现。该程序存储在易失性存储装置102或非易失性存储装置103中。此外，该程序是追踪程序。这样，位置检测部110、物体检测部111、112、113、转换部120、坐标转换部121、122、123、分类部150、代表坐标计算部160和显示控制部170能够作为信息处理装置100(例如计算机)具有的处理器101执行的追踪程序的模块来实现。

坐标蓄积部130和存储部140作为易失性存储装置102或非易失性存储装置103中确保的存储区域来实现。

位置检测部110根据摄像机200、201、202分别周期性地拍摄到拍摄对象的多个拍摄图像，检测表示拍摄对象的位置的多个图像坐标。拍摄对象也称作检测对象。拍摄对象也可以表现为第1检测对象。拍摄图像也称作检测信息。图像坐标也称作检测对象位置。

此外，多个拍摄图像可以是摄像机200、201、202分别在相同周期拍摄到拍摄对象的图像，也可以是摄像机200、201、202分别在不同周期拍摄到拍摄对象的图像。

转换部120将多个图像坐标转换成基于设置有摄像机200、201、202的空间的坐标。该空间也可以表现为对摄像机200、201、202的拍摄对象空间统合而成的空间。将基于该空间的坐标称作公共***坐标。

坐标蓄积部130存储多个图像坐标被转换成公共***坐标后的多个转换后坐标。

存储部140存储拍摄对象过去所在的多个位置信息。多个位置信息用坐标表示。该坐标是公共***坐标。显示控制部170对多个位置信息(即多个坐标)进行统合，由此能够生成移动轨迹。移动轨迹也可以表现为流线。将在作为移动轨迹基础的多个坐标中与最新时刻对应的坐标称作最新坐标。最新坐标也可以表现为移动轨迹开头的坐标即开头坐标。

例如，存储部140存储摄像机200、201、202检测某拍摄对象(例如也称作第1检测对象)之前该拍摄对象所在的位置的坐标。该坐标是基于空间的坐标(即公共***坐标)。如后所述，该坐标是最接近转换后坐标的该拍摄对象的最新坐标，也可以表现为第1坐标。

分类部150从坐标蓄积部130中存储的多个转换后坐标中，提取预计与最新坐标有关系的多个坐标。此外，该多个坐标也称作多个第2坐标。

代表坐标计算部160根据该多个坐标计算代表坐标。代表坐标计算部160将代表坐标决定为拍摄对象从最新坐标移动后的位置。

如上所述，显示控制部170根据存储部140中存储的多个位置信息(即多个坐标)，生成表示移动轨迹的二维图。例如，二维图是从空间上方俯瞰的图，表现人或物体的移动轨迹。显示控制部170在信息处理装置100具有的显示器显示二维图。由此，利用者能够识别人或物体的移动轨迹。

接着，对存储部140中存储的信息进行说明。

图5是示出实施方式1的移动轨迹表的例子的图。移动轨迹表141存储在存储部140中。移动轨迹表141具有项目编号、数据内容、数据形式和数据尺寸的项目。

项目编号的项目示出标识符。数据内容的项目示出数据内容。数据形式的项目示出数据形式。数据尺寸的项目示出数据尺寸。数据尺寸的项目中登记的信息的单位是字节。

例如，项目编号2示出移动轨迹ID(identifier：标识符)的数量为N(N为正整数)个。在项目编号3中登记有移动轨迹ID为T1的拍摄对象(以下表记为“移动轨迹ID：T1”)的移动开始位置的坐标。

在项目编号4中登记有与移动轨迹ID：T1对应的拍摄对象ID。在项目编号5中登记有计算与移动轨迹ID：T1对应的拍摄对象ID的移动轨迹时使用的坐标的数量。在图5中，示出该坐标的数量为m₁个。在项目编号6中登记有移动轨迹ID：T1的最终更新时刻。从项目编号7起按照时序顺序登记有与移动轨迹ID：T1对应的拍摄对象ID移动后的位置。在图5中例示三维坐标的情况，但是还存在二维坐标的情况。

此外，在图5中，示出移动轨迹ID：T1的最新坐标。移动轨迹ID：T1的最新坐标是x坐标m_1x、y坐标m_1y、z坐标m_1z。

显示控制部170使用m₁个坐标，由此能够生成与移动轨迹ID：T1对应的拍摄对象ID的移动轨迹。

在移动轨迹表141中，在与移动轨迹ID：T1有关的信息后，登记与移动轨迹ID：T2、…、TN有关的信息。此外，在移动轨迹表141中，如移动轨迹ID：T1那样，按照每个移动轨迹ID登记有最新坐标。

接着，使用流程图对转换后坐标存储在坐标蓄积部130中之前的处理进行说明。

此外，物体检测部111执行的处理与物体检测部112、113执行的处理相同。因此，在图6中，对物体检测部111执行的处理进行说明。而且，省略物体检测部112、113执行的处理的说明。

坐标转换部121执行的处理与坐标转换部122、123执行的处理相同。因此，在图6中，对坐标转换部121执行的处理进行说明。而且，省略坐标转换部122、123执行的处理的说明。

图6是示出实施方式1的转换后坐标的存储处理的流程图。每当摄像机200进行拍摄时，执行图6的处理。此外，在图6的处理的说明中，参照图1、2和图4。

(步骤S11)物体检测部111取得摄像机200拍摄到的图像。

(步骤S12)物体检测部111对图像执行识别处理，检测拍摄对象。例如，识别处理是背景差分处理、帧间差分处理、一般物体识别技术或特定物体识别技术。此外，在图像中存在多个拍摄对象的情况下，物体检测部111检测多个拍摄对象。

(步骤S13)物体检测部111检测图像内的拍摄对象的位置。即，物体检测部111检测图像坐标。图像坐标是以摄像机200为基准的相对位置。此外，物体检测部111在检测到多个拍摄对象的情况下，检测多个图像坐标。

(步骤S14)坐标转换部121将图像坐标转换成公共***坐标。在转换中，事前计测公共***坐标中的摄像机200、201、202的设置位置和与摄像机200、201、202的朝向对应的位置，计算用于对坐标进行转换的参数。坐标转换部121使用参数将图像坐标转换成公共***坐标。

此外，坐标转换部121也可以将图像坐标转换成二维的公共***坐标，还可以将图像坐标转换成三维的公共***坐标。例如，坐标转换部121在将图像坐标转换成三维的公共***坐标的情况下，向地面或地板等已知平面投影二维的公共***坐标来求出。

(步骤S15)坐标转换部121将图像坐标被转换成公共***坐标后的转换后坐标存储在坐标蓄积部130中。

这样，在坐标蓄积部130中存储基于摄像机200、201、202周期性地拍摄到的图像的多个转换后坐标。

此外，在图像坐标被转换后的转换后坐标中对应有拍摄包含该图像坐标的图像的拍摄时刻。拍摄时刻也称作检测时刻。

这里，对摄像机200等是传感器的情况进行说明。例如，传感器是红外线传感器。传感器使用红外线等对检测对象进行检测。物体检测部111从传感器取得检测到检测对象的检测信息。物体检测部111根据检测信息对检测对象位置进行检测。例如，检测对象位置是表示从传感器到检测对象的距离的信息。坐标转换部121将检测对象位置转换成公共***坐标。坐标转换部121将检测对象位置被转换成公共***坐标后的转换后坐标存储在坐标蓄积部130中。每当传感器对检测对象进行检测时，信息处理装置100将对检测对象位置进行转换后的转换后坐标存储在坐标蓄积部130中。此外，在坐标中对应有检测到检测对象的检测时刻。

这样，在摄像机200是传感器的情况下，信息处理装置100也与图6所示的处理同样地进行处理。

图7是示出实施方式1的代表坐标的计算处理的流程图。在分类部150接收到周期触发时开始图7的处理。周期触发由计时器180产生并发送到分类部150。此外，在图7的处理的说明中，参照图1、2和图4。

(步骤S21)分类部150从移动轨迹表141取得各移动轨迹ID的最新坐标。例如，分类部150从移动轨迹表141取得移动轨迹ID：T1的最新坐标、移动轨迹ID：T2的最新坐标等。

(步骤S22)分类部150从坐标蓄积部130取得在从步骤S22的执行开始时点到规定的时间前为止拍摄到的图像的图像坐标被转换后的转换后坐标。即，分类部150根据拍摄时刻(即检测时刻)，从坐标蓄积部130取得多个转换后坐标。规定的时间是比摄像机200、201、202执行的采样周期长的时间。此外，也可以根据实际运用中求出的时间分辨率的精度决定规定的时间。例如，规定的时间为0.1～2秒左右。另外，规定的时间也称作第1时间。这样，分类部150能够与分类部150的动作时刻对应地取得多个转换后坐标。

此外，分类部150也可以取得坐标蓄积部130中存储的全部转换后坐标。

此外，能够在转换后坐标中对应转换后坐标存储在坐标蓄积部130中的时刻(也称作存储时刻)。分类部150也可以根据存储时刻，在从步骤S22的执行开始时点到规定的时间前为止，取得坐标蓄积部130中存储的多个转换后坐标。

(步骤S23)分类部150从在步骤S22中取得的多个转换后坐标中选择一个转换后坐标。

(步骤S24)分类部150将各移动轨迹ID的最新坐标中的最接近在步骤S23中选择出的转换后坐标的最新坐标的移动轨迹ID，附加给在步骤S23中选择出的转换后坐标。例如，分类部150计算各移动轨迹ID的最新坐标与在步骤S23中选择出的转换后坐标之间的距离。分类部150计算的结果是，确定最接近在步骤S23中选择出的转换后坐标的最新坐标是移动轨迹ID：T1。分类部150对在步骤S23中选择出的转换后坐标附加移动轨迹ID：T1。

最接近在步骤S23中选择出的转换后坐标的最新坐标也称作第1坐标。此外，可以说被附加了移动轨迹ID的转换后坐标是预计与该移动轨迹ID的最新坐标有关系的坐标。

(步骤S25)分类部150判定是否选择了在步骤S22中取得的全部多个转换后坐标。在未选择在步骤S22中取得的全部多个转换后坐标的情况下(步骤S25：否)，分类部150使处理进入步骤S23。在选择了在步骤S22中取得的全部多个转换后坐标的情况下(步骤S25：是)，分类部150使处理进入步骤S26。

这里，在选择了全部多个转换后坐标的情况下，对多个转换后坐标分别附加移动轨迹ID。这样，分类部150通过执行步骤S24，能够按照每个移动轨迹ID对多个转换后坐标进行分类。即，分类部150通过执行步骤S24进行聚类。

此外，在步骤S25结束的时点，按照每个移动轨迹ID对多个转换后坐标进行分类。例如，设移动轨迹ID：T1的最新坐标为第1坐标。此外，设除了移动轨迹ID：T1以外的移动轨迹ID：T1以外的多个最新坐标为多个第3坐标。可以说被附加了移动轨迹ID：T1的多个转换后坐标是在包含第1坐标和多个第3坐标的多个坐标中与第1坐标之间的距离最近的坐标。

(步骤S26)代表坐标计算部160按照在步骤S24中附加的每个移动轨迹ID计算代表坐标。即，代表坐标计算部160根据按照每个移动轨迹ID分类后的多个转换后坐标计算代表坐标。

例如，代表坐标计算部160在转换后坐标是二维坐标的情况下，从被附加了相同移动轨迹ID的多个转换后坐标中选择一个转换后坐标。代表坐标计算部160单独计算多个转换后坐标中的除了选择出的转换后坐标以外的多个转换后坐标中的各个转换后坐标与选择出的转换后坐标之间的距离。然后，计算在坐标之间单独计算出的距离的合计。同样，针对全部转换后坐标，代表坐标计算部160也计算在坐标之间单独计算出的距离的合计。代表坐标计算部160将距离的合计中的最短距离的转换后坐标决定为代表坐标。

或者，代表坐标计算部160从被附加了相同移动轨迹ID的多个转换后坐标中，随机选择若干个转换后坐标，计算选择出的转换后坐标的平均坐标。在以平均坐标为中心存在于规定的范围内的转换后坐标的数量为阈值以上的情况下，代表坐标计算部160将该平均坐标决定为代表坐标。此外，在存在于规定的范围内的转换后坐标的数量小于该阈值的情况下，代表坐标计算部160再次执行随机选择转换后坐标的处理。

代表坐标计算部160将按照每个移动轨迹ID计算出的代表坐标决定为从每个移动轨迹ID的最新坐标移动后的位置。例如，代表坐标计算部160将根据被附加了移动轨迹ID：T1的多个转换后坐标计算出的代表坐标决定为与移动轨迹ID：T1对应的拍摄对象从移动轨迹ID：T1的最新坐标移动后的位置。

(步骤S27)代表坐标计算部160按照每个移动轨迹ID将代表坐标作为新的最新坐标追加到移动轨迹表141中。此外，代表坐标计算部160将追加有代表坐标的时刻登记在移动轨迹表141中。例如，代表坐标计算部160将对移动轨迹ID：T1的代表坐标追加的时刻登记为移动轨迹表141的移动轨迹ID：T1的最终更新时刻。

(步骤S28)分类部150待机一定时间。分类部150在待机后使处理进入步骤S21。此外，一定时间是比摄像机200、201、202的采样周期长的时间。例如，一定时间是采样周期的2倍以上。

这里，在一般的代表坐标的计算中，去除空间上的异常值。但是，在实施方式1中，由分类部150分类后的多个转换后坐标(即被附加了相同移动轨迹ID的多个转换后坐标)是基于在多个拍摄时刻拍摄到的图像的坐标，因此，同时执行空间上的异常值的去除和时间上的异常值的去除。即，在移动轨迹表141中不包含异常值。因此，信息处理装置100能够根据移动轨迹表141生成高精度的移动轨迹。由此，信息处理装置100能够提高移动轨迹的精度。

此外，可以任意地计算各移动轨迹ID的最初的代表坐标。

在步骤S22中，从坐标蓄积部130取得在从步骤S22的执行开始时点到规定的时间前为止拍摄到的图像的图像坐标被转换后的转换后坐标。该规定的时间可以与在步骤S28中分类部150待机的待机时间一致，也可以比该待机时间长。

分类部150对在步骤S22中取得的多个转换后坐标附加各移动轨迹ID。但是，在与各移动轨迹ID的最新坐标中的最接近在步骤S23中选择出的转换后坐标的最新坐标之间的距离为阈值Th3(也称作第3阈值)以下的情况下，分类部150也可以将最接近的最新坐标的移动轨迹ID附加给在步骤S23中选择出的转换后坐标。可以如下考虑。分类部150针对在步骤S24中被附加了相同移动轨迹ID的多个转换后坐标中的与该移动轨迹ID的最新坐标之间的距离为阈值Th3以下的转换后坐标，不进行任何处理，去除对超过阈值Th3的转换后坐标附加的移动轨迹ID。然后，代表坐标计算部160根据与该移动轨迹ID的最新坐标之间的距离为阈值Th3以下的多个转换后坐标计算代表坐标。由此，分类部150能够排除异常值。

此外，分类部150也可以执行以下记载的处理。在与各移动轨迹ID的最新坐标中的最接近在步骤S23中选择出的转换后坐标的最新坐标之间的距离超过阈值Th1(也称作第1阈值)的情况下，分类部150不将最接近的最新坐标的移动轨迹ID附加给在步骤S23中选择出的转换后坐标。即，可以说未被附加移动轨迹ID的转换后坐标是与各移动轨迹ID的最新坐标中的各个最新坐标之间的距离超过阈值Th1的坐标。这样，分类部150从在步骤S22中取得的多个转换后坐标中，提取未被附加移动轨迹ID的转换后坐标。未被附加移动轨迹ID的转换后坐标也称作第1转换后坐标。此外，例如，也可以将这些处理表现为分类部150提取与包含第1坐标和多个第3坐标的多个坐标中的各个坐标之间的距离超过第1阈值的多个第1转换后坐标。

分类部150根据未被附加移动轨迹ID的转换后坐标检测多个特征。分类部150按照每个特征对未被附加移动轨迹ID的转换后坐标进行分类。例如，分类部150根据多个特征中的第1特征，从未被附加移动轨迹ID的转换后坐标中提取转换后坐标(也称作第2转换后坐标)。这里，作为第1特征的定义，例如使用如下的定义：以该坐标为中心在规定的范围内其他转换后坐标的数量存在阈值Th6以上。在提取出的转换后坐标的数量为阈值Th2(也称作第2阈值)以上的情况下，分类部150判定为是新检测到的人或物体。在提取出的转换后坐标的数量为阈值Th2以上的情况下，代表坐标计算部160根据提取出的转换后坐标计算代表坐标。代表坐标计算部160将代表坐标作为检测到新检测到的人或物体的位置登记在移动轨迹表141中。此外，代表坐标计算部160对新检测到的人或物体附加新的移动轨迹ID，将其登记在移动轨迹表141中。由此，分类部150能够检测开始追踪的新的人或物体的初始位置。

图8是示出实施方式1的追踪处理的具体例的图(其一)。图8示出摄像机200、201设置于室内的天花板。拍摄对象者U1和拍摄对象者U2在该室内的地板300上交错地步行。

图9是示出实施方式1的追踪处理的具体例的图(其二)。状况信息400示出根据摄像机200在时刻T1拍摄到的图像检测到的拍摄对象者U1的位置和根据摄像机201在时刻T1拍摄到的图像检测到的拍摄对象者U2的位置。

根据摄像机200拍摄到的图像检测到的拍摄对象者的位置和根据摄像机201拍摄到的图像检测到的拍摄对象者的位置是被转换成公共***坐标的转换后坐标。

区域301示出摄像机200可拍摄的范围。区域302示出摄像机201可拍摄的范围。区域303是摄像机200和摄像机201重复拍摄的范围。设重复拍摄的范围为重复区域。在图9中，网格的区域是重复区域。

状况信息401示出根据摄像机200在时刻T2拍摄到的图像检测到的拍摄对象者U1的位置和根据摄像机201在时刻T2拍摄到的图像检测到的拍摄对象者U1、U2的位置。

状况信息402示出根据摄像机200在时刻T3拍摄到的图像检测到的拍摄对象者U1、U2的位置和根据摄像机201在时刻T3拍摄到的图像检测到的拍摄对象者U1、U2的位置。

状况信息403示出根据摄像机200在时刻T4拍摄到的图像检测到的拍摄对象者U1、U2的位置和根据摄像机201在时刻T4拍摄到的图像检测到的拍摄对象者U1的位置。

状况信息404示出根据摄像机200在时刻T5拍摄到的图像检测到的拍摄对象者U2的位置和根据摄像机201在时刻T5拍摄到的图像检测到的拍摄对象者U1的位置。

图9示出位置检测部110和转换部120理想地进行坐标转换的情况。在图9的重复区域中，根据摄像机200和摄像机201拍摄到的图像检测到的拍摄对象者的位置大致一致。这样，在检测到的拍摄对象者的位置大致一致的情况下，例如，通过对摄像机200和摄像机201在时刻T2～T4分别检测到的各拍摄对象者的位置进行平均，能够高精度地估计拍摄对象者U1和拍摄对象者U2的位置。通过使用高精度地估计出的位置生成移动轨迹，能够生成高精度的移动轨迹。

图10是示出实施方式1的追踪处理的具体例的图(其三)。图10的不同之处在于图9的状况信息402被变更成状况信息402a。

状况信息402a示出根据摄像机200在时刻T3′拍摄到的图像检测到的拍摄对象者U1、U2的位置和根据摄像机201在时刻T3′拍摄到的图像检测到的拍摄对象者U1、U2的位置。

状况信息402a与状况信息402的不同之处在于，根据摄像机200在时刻T3′拍摄到的图像检测到的拍摄对象者U1的位置不同。例如，状况信息402a的拍摄对象者U1的位置是由于位置检测部110对拍摄对象者U1的误检测而检测到的。或者，状况信息402a的拍摄对象者U1的位置是由于转换部120具有的转换参数的精度不充分等原因而产生的。

这样，图10示出拍摄对象者U1的检测位置在时刻T3′大幅偏离的例子。使用检测位置大幅偏离的位置生成拍摄对象者U1的移动轨迹会降低拍摄对象者U1的移动轨迹的精度。

在实施方式1中，在拍摄对象者U1的检测位置大幅偏离的情况下，也能够提高拍摄对象者U1的移动轨迹的精度。下面说明理由。

设坐标蓄积部130存储有状况信息401、402a、403的信息。即，坐标蓄积部130存储有根据摄像机200、201在时刻T2、T3′、T4拍摄到的图像检测到的拍摄对象者U1、U2的位置。分类部150提取根据摄像机200、201在时刻T2、T3′、T4拍摄到的图像检测到的拍摄对象者U1、U2的位置中的最接近时刻T1的拍摄对象者U1的位置。例如，分类部150提取图10的区域501、502、503内的位置(即变化后坐标)。提取出的位置是预计与时刻T1的拍摄对象者U1的位置有关系的位置。代表坐标计算部160根据图10的区域501、502、503内的位置(即变化后坐标)决定代表坐标。状况信息402a的拍摄对象者U1的位置成为异常值，从代表坐标中除外。代表坐标成为状况信息402a的拍摄对象者U1的位置以外的位置。然后，所决定的代表坐标被决定为从状况信息400的拍摄对象者U1的位置移动后的位置。这样，信息处理装置100不将状况信息402a的拍摄对象者U1的位置包含在表示拍摄对象者U1的移动轨迹的坐标(即位置信息)中，由此，能够提高拍摄对象者U1的移动轨迹的精度。

实施方式2

接着，对实施方式2进行说明。主要说明与实施方式1不同的事项，省略与实施方式1相同的事项的说明。在实施方式2的说明中，参照图1～6。

图11是示出实施方式2的信息处理装置的结构的功能框图。信息处理装置100a具有分类部150a和代表坐标计算部160a。分类部150a和代表坐标计算部160a的功能在后面详细说明。

与图4所示的结构相同或对应的图11的结构标注与图4所示的标号相同的标号。

图12是示出实施方式2的代表坐标的计算处理的流程图(其一)。在分类部150a接收到周期触发时，开始图12的处理。周期触发由计时器180产生并发送到分类部150a。此外，在坐标蓄积部130中存储有多个转换后坐标。在图12的处理的说明中，参照图11。

(步骤S31)分类部150a从移动轨迹表141取得各移动轨迹ID的最新坐标。

这里，在实施方式2的代表坐标的计算处理中，使用当前代表坐标候选。当前代表坐标候选是在从步骤S34起的处理中使用的信息。此外，在多个当前代表坐标候选中分别对应有不同的移动轨迹ID。

(步骤S32)分类部150a将各移动轨迹ID的最新坐标设定成各移动轨迹ID的当前代表坐标候选。即，分类部150a将移动轨迹ID的最新坐标设定成与该移动轨迹ID相同的移动轨迹ID的当前代表坐标候选。例如，分类部150a将移动轨迹ID：T1的最新坐标设定成移动轨迹ID：T1的当前代表坐标候选。另外，各移动轨迹ID的最新坐标也称作第4坐标。

(步骤S33)分类部150a从坐标蓄积部130取得在从步骤S33的执行开始时点到规定的时间前为止拍摄到的图像的图像坐标被转换后的转换后坐标。即，分类部150a根据拍摄时刻(即检测时刻)，从坐标蓄积部130取得多个转换后坐标。

此外，分类部150a也可以取得坐标蓄积部130中存储的全部转换后坐标。

(步骤S34)分类部150a从步骤S33中取得的多个转换后坐标中选择一个转换后坐标。

(步骤S35)分类部150a将各移动轨迹ID的当前代表坐标候选中的最接近在步骤S34中选择出的转换后坐标的当前代表坐标候选的移动轨迹ID附加给在步骤S34中选择出的转换后坐标。

(步骤S36)分类部150a判定是否选择了在步骤S33中取得的全部多个转换后坐标。在未选择在步骤S33中取得的全部多个转换后坐标的情况下(步骤S36：否)，分类部150a使处理进入步骤S34。在选择了在步骤S33中取得的全部多个转换后坐标的情况下(步骤S36：是)，分类部150a使处理进入步骤S37。

这样，分类部150a从在步骤S33中取得的多个转换后坐标中，按照多个第4坐标中的每个第4坐标(即每个移动轨迹ID的最新坐标)，提取预计有关系的多个坐标。

(步骤S37)代表坐标计算部160a按照在步骤S35中附加的每个移动轨迹ID计算代表坐标。即，代表坐标计算部160a根据按照每个移动轨迹ID分类后的多个转换后坐标计算代表坐标。代表坐标的计算方法与步骤S26相同。

然后，代表坐标计算部160a使处理进入步骤S41。

图13是示出实施方式2的代表坐标的计算处理的流程图(其二)。

(步骤S41)代表坐标计算部160a按照每个移动轨迹ID，计算当前代表坐标候选与代表坐标之间的距离。例如，代表坐标计算部160a计算移动轨迹ID：T1的当前代表坐标候选与在步骤S37中计算出的移动轨迹ID：T1的代表坐标之间的距离。

(步骤S42)代表坐标计算部160a判定按照每个移动轨迹ID计算出的各距离是否为阈值Th4(也称作第4阈值)以下或重复次数是否超过阈值Th5。例如，代表坐标计算部160a在步骤S41中计算出的距离中存在至少一个比阈值Th4长的距离的情况下，使处理进入步骤S43。

另外，重复次数是在步骤S42中判定为“否”而执行步骤S43等的处理并再次反复进行步骤S42的判定处理的次数。此外，将最初在步骤S42中判定为“否”的情况设为第1次。

代表坐标计算部160a在满足条件的情况下(步骤S42：是)，使处理进入步骤S44。代表坐标计算部160a在不满足条件的情况下(步骤S42：否)，使处理进入步骤S43。

(步骤S43)代表坐标计算部160a将各移动轨迹ID的代表坐标设定成各移动轨迹ID的当前代表坐标候选。即，代表坐标计算部160a将移动轨迹ID的代表坐标设定成与该移动轨迹ID相同的移动轨迹ID的当前代表坐标候选。例如，代表坐标计算部160a将在步骤S37中计算出的移动轨迹ID：T1的代表坐标设定成移动轨迹ID：T1的当前代表坐标候选。

然后，代表坐标计算部160a使处理进入步骤S34。

(步骤S44)代表坐标计算部160a将各移动轨迹ID的代表坐标作为最新坐标追加到移动轨迹表141中。此外，代表坐标计算部160将追加有代表坐标的时刻登记在移动轨迹表141中。

(步骤S45)分类部150a待机一定时间。分类部150a在待机后使处理进入步骤S31。

根据实施方式2，信息处理装置100a通过反复进行步骤S42，收敛于适当的代表坐标。因此，可以说移动轨迹表141中登记的代表坐标高精度地表示拍摄对象的位置。信息处理装置100a通过使用移动轨迹表141中登记的坐标，能够生成高精度的移动轨迹。

变形例

在本实施方式1、2中，例示了摄像机200、201、202。但是，摄像机200、201、202也可以是至少能够在拍摄对象空间内从上方检测拍摄对象的相对位置作为二维坐标的传感器。例如，传感器是包含图形传感器的图像传感器。例如，在拍摄对象限于人的情况下，图像传感器是红外线图像传感器或热图像传感器。例如，在从红外线图像传感器取得的红外线图像中，人物区域表现为温度比周围高的区域。因此，位置检测部110能够在背景差分处理中从没有人的情况下的红外线图像与从红外线图像传感器取得的红外线图像的差分图像中提取人物区域。此外，位置检测部110能够提取圆形区域作为人物头部。由此，位置检测部110能够检测人和人的位置。

此外，摄像机200、201、202也可以是ToF(Time of Flight：飞行时间)传感器。位置检测部110进行从ToF传感器取得的信息和没有拍摄对象的情况下的信息的进深图的比较，由此，能够从上方检测拍摄对象的相对位置作为二维坐标。另外，ToF传感器是计量光的飞行时间来计测距离的技术，传感器的输出是作为从传感器中心起的进深图像而得到的。位置检测部110在使用ToF传感器的情况下，在进深图像上得到人物区域作为进深较小的区域，因此，计算在背景差分中减去没有人物的情况下的进深图像而得到的差分图像，提取局部进深较小的区域作为人物头部区域。使用ToF传感器具有如下效果：与图像传感器相比，拍摄对象的检测变得稳定。

这样，摄像机200、201、202也可以是图像传感器或ToF传感器。图像传感器或ToF传感器也称作检测装置、摄像装置或图像生成装置。

以上说明的各实施方式中的特征能够相互适当组合。

标号说明

100、100a：信息处理装置；110：位置检测部；111、112、113：物体检测部；120：转换部；121、122、123：坐标转换部；130：坐标蓄积部；140：存储部；141：移动轨迹表；150、150a：分类部；160、160a：代表坐标计算部；170：显示控制部；180：计时器；200、201、202：摄像机。

Claims (7)

1.一种信息处理装置，该信息处理装置具有：

位置检测部，其根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置；

转换部，其将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标；

存储部，其存储第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标，所述存储部还存储多个第3坐标，所述多个第3坐标是所述多个检测装置检测除了所述第1检测对象以外的检测对象之前除了所述第1检测对象以外的检测对象所在的位置的坐标，并且是基于所述空间的坐标；

分类部，其从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的所述多个检测对象位置被转换后的多个转换后坐标，从取得的所述多个转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，所述多个第2坐标分别是在包含所述第1坐标和所述多个第3坐标在内的多个坐标中与所述第1坐标之间的距离最近的坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的；以及

代表坐标计算部，其根据所述多个第2坐标计算代表坐标，将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置，

其中，

所述分类部从所述多个转换后坐标中，提取与包含所述第1坐标和所述多个第3坐标在内的多个坐标中的各个坐标之间的距离超过第1阈值的多个第1转换后坐标，根据所述多个第1转换后坐标检测多个特征，根据所述多个特征中的第1特征，从所述多个第1转换后坐标中提取第2转换后坐标，

在所述第2转换后坐标的数量为第2阈值以上的情况下，所述代表坐标计算部根据所述第2转换后坐标计算代表坐标，将计算出的代表坐标作为新检测到检测对象的位置存储在所述存储部中。

2.根据权利要求1所述的信息处理装置，其中，

所述代表坐标计算部根据在所述多个第2坐标中与所述第1坐标之间的距离为第3阈值以下的多个坐标计算代表坐标。

3.一种信息处理装置，该信息处理装置具有：

位置检测部，其根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置；

转换部，其将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标；

存储部，其存储第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标，

所述存储部还存储多个第4坐标，所述多个第4坐标是所述多个检测装置检测包含所述第1检测对象在内的多个检测对象之前所述多个检测对象所在的位置的坐标，并且是基于所述空间的坐标，

分类部，其从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的所述多个检测对象位置被转换后的转换后坐标，从取得的转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的，

所述分类部从所述多个转换后坐标中，按照所述多个第4坐标中的每个第4坐标提取预计有关系的多个坐标，以及

代表坐标计算部，其根据所述多个第2坐标计算代表坐标，将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置，

所述代表坐标计算部根据按照所述多个第4坐标中的每个第4坐标提取出的多个坐标计算多个代表坐标，

在所述多个代表坐标与所述多个第4坐标之间的距离超过第4阈值的情况下，所述分类部还从所述多个转换后坐标中，按照所述多个代表坐标中的每个代表坐标提取预计有关系的多个坐标，

所述代表坐标计算部还根据按照所述多个代表坐标中的每个代表坐标提取出的多个坐标，新计算多个代表坐标。

4.一种追踪方法，其中，

信息处理装置根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置，

所述信息处理装置将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标，

所述信息处理装置取得第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标，所述信息处理装置还取得多个第3坐标，所述多个第3坐标是所述多个检测装置检测除了所述第1检测对象以外的检测对象之前除了所述第1检测对象以外的检测对象所在的位置的坐标，并且是基于所述空间的坐标，

所述信息处理装置从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的所述多个检测对象位置被转换后的多个转换后坐标，从取得的所述多个转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，所述多个第2坐标分别是在包含所述第1坐标和所述多个第3坐标在内的多个坐标中与所述第1坐标之间的距离最近的坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的，

所述信息处理装置根据所述多个第2坐标计算代表坐标，

所述信息处理装置将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置，

其中，所述信息处理装置从所述多个转换后坐标中，提取与包含所述第1坐标和所述多个第3坐标在内的多个坐标中的各个坐标之间的距离超过第1阈值的多个第1转换后坐标，根据所述多个第1转换后坐标检测多个特征，根据所述多个特征中的第1特征，从所述多个第1转换后坐标中提取第2转换后坐标，

在所述第2转换后坐标的数量为第2阈值以上的情况下，根据所述第2转换后坐标计算代表坐标，将计算出的代表坐标作为新检测到检测对象的位置存储在存储部中。

5.一种追踪方法，其中，

信息处理装置根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置，

所述信息处理装置将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标，

所述信息处理装置取得第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标，

所述信息处理装置从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的所述多个检测对象位置被转换后的转换后坐标，从取得的转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的，

所述信息处理装置根据所述多个第2坐标计算代表坐标，

所述信息处理装置将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置，

其中，所述信息处理装置存储多个第4坐标，所述多个第4坐标是所述多个检测装置检测包含所述第1检测对象在内的多个检测对象之前所述多个检测对象所在的位置的坐标，并且是基于所述空间的坐标，

所述信息处理装置从所述多个转换后坐标中，按照所述多个第4坐标中的每个第4坐标提取预计有关系的多个坐标，

所述信息处理装置根据按照所述多个第4坐标中的每个第4坐标提取出的多个坐标计算多个代表坐标，

在所述多个代表坐标与所述多个第4坐标之间的距离超过第4阈值的情况下，还从所述多个转换后坐标中，按照所述多个代表坐标中的每个代表坐标提取预计有关系的多个坐标，

所述信息处理装置还根据按照所述多个代表坐标中的每个代表坐标提取出的多个坐标，新计算多个代表坐标。

6.一种记录有追踪程序的记录介质，该追踪程序使计算机执行以下处理：

根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置，

将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标，

取得第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标，

还取得多个第3坐标，所述多个第3坐标是所述多个检测装置检测除了所述第1检测对象以外的检测对象之前除了所述第1检测对象以外的检测对象所在的位置的坐标，并且是基于所述空间的坐标，

从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的所述多个检测对象位置被转换后的多个转换后坐标，从取得的所述多个转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，所述多个第2坐标分别是在包含所述第1坐标和所述多个第3坐标在内的多个坐标中与所述第1坐标之间的距离最近的坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的，

根据所述多个第2坐标计算代表坐标，

将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置，

其中，

从所述多个转换后坐标中，提取与包含所述第1坐标和所述多个第3坐标在内的多个坐标中的各个坐标之间的距离超过第1阈值的多个第1转换后坐标，根据所述多个第1转换后坐标检测多个特征，根据所述多个特征中的第1特征，从所述多个第1转换后坐标中提取第2转换后坐标，

在所述第2转换后坐标的数量为第2阈值以上的情况下，根据所述第2转换后坐标计算代表坐标，存储计算出的代表坐标作为新检测到检测对象的位置。

7.一种记录有追踪程序的记录介质，该追踪程序使计算机执行以下处理：

根据多个检测装置分别周期性地检测第1检测对象而得到的多个检测信息，检测表示所述第1检测对象的位置的多个检测对象位置，

将所述多个检测对象位置转换成基于设置有所述多个检测装置的空间的坐标，

取得第1坐标，所述第1坐标是所述多个检测装置检测所述第1检测对象之前所述第1检测对象所在的位置的坐标，并且是基于所述空间的坐标，

从所述多个检测对象位置被转换成基于所述空间的坐标后的多个坐标即多个转换后坐标中，取得根据如下的检测信息检测到的所述多个检测对象位置被转换后的转换后坐标，从取得的转换后坐标中提取预计与所述第1坐标有关系的多个坐标即多个第2坐标，其中，所述检测信息是所述多个检测装置分别在比检测检测对象的周期长的第1时间以内检测到的，

根据所述多个第2坐标计算代表坐标，

将计算出的代表坐标决定为所述第1检测对象从所述第1坐标移动后的位置，

取得多个第4坐标，所述多个第4坐标是所述多个检测装置检测包含所述第1检测对象在内的多个检测对象之前所述多个检测对象所在的位置的坐标，并且是基于所述空间的坐标，

从所述多个转换后坐标中，按照所述多个第4坐标中的每个第4坐标提取预计有关系的多个坐标，

根据按照所述多个第4坐标中的每个第4坐标提取出的多个坐标计算多个代表坐标，

在所述多个代表坐标与所述多个第4坐标之间的距离超过第4阈值的情况下，还从所述多个转换后坐标中，按照所述多个代表坐标中的每个代表坐标提取预计有关系的多个坐标，

还根据按照所述多个代表坐标中的每个代表坐标提取出的多个坐标，新计算多个代表坐标。