CN113226952A - 物品位置管理装置、物品位置管理***、物品位置管理方法和程序 - Google Patents

Abstract

提供了一种以低成本并且准确地管理物品位置的物品位置管理装置。物品位置管理装置包括输入单元和指定单元。输入单元输入来自照相机设备的图像数据。如果照相机设备是移动照相机设备时，指定单元基于图像数据中包含的附连于物品的物品标记和包含在现场内的绝对坐标系中的预定坐标信息的基准点标记来指定物品的位置。如果照相机设备是固定照相机设备，则指定单元基于图像数据中包含的物品标记来指定物品的位置。

Description

物品位置管理装置、物品位置管理***、物品位置管理方法和 程序

技术领域

(相关申请的引用)

本申请是基于并要求于2018年12月27日提交的日本专利申请No.2018-244356的优先权权益，该申请公开的全部内容以引用方式并入本文。

本发明涉及物品位置管理装置、物品位置管理***、物品位置管理方法和程序。

背景技术

在诸如工厂等之类的生产现场，重要的是管理诸如待使用材料之类的物品的位置。这是因为，及时找到所需的材料对于工厂的顺利运行是必要的。作为实现物品的这种位置管理的方法，存在包括以下步骤的方法：获取承载物品的移动体的位置；以及将物品被定位时移动体的位置以及物品的标识符彼此关联地记录。

作为用于获得移动***置的方法，存在已知的获得绝对位置的绝对位置估计。绝对位置估计包括卫星定位(全球定位***(GPS)定位)、使用无线的无线电信号的定位以及使用可被照相机识别的地标(标记或特征)作为基准点。

卫星定位(GPS定位)的优点在于，只要有信号接收器可用，就可容易地使用它。另一方面，它的缺点在于，在卫星处于盲区的室内，信号接收器无法从卫星接收到信号并且不工作。

因此，存在使用基于使用无线的无线电信号(信标)的强度(RSSI；接收信号强度指示符)的接近定位或三角测量的位置测量方法的情况。此外，使用信标的物品位置测量不仅可用于测量移动体的位置，而且可用于测量物品本身的位置。

专利文献1(PTL1)描述了一种简化在数据库中登记资产的位置信息和方位信息的操作的技术。在PTL 1中公开的***包括附连于资产的标记，将参考资产的位置信息和方向信息连同附连于参考资产的标记的ID信息一起保持的资产管理服务器，以及在资产管理服务器上登记未登记资产的位置信息和方向信息的操作终端。

PTL 2公开了一种各自能够高准确度地估计指示对象的3D位置和姿势的对象坐标系的估计装置、估计方法和估计程序。

引用列表

专利文献

PTL 1：国际公开WO2012/157055

PTL 2：未经审查的专利申请公开No.JP2011-203148A

发明内容

技术问题

以上NPL 1和2的公开内容通过引用并入本文。本发明的发明人进行了以下分析。

如上所述，物品位置管理在工厂等中是重要的。作为实现物品位置管理的方法，存在使用无线电信号(信标)的方法。然而，这种方法有一些问题。

更具体地，每个待管理物品都需要接收信标的手段。因此，如果需要管理数量庞大的物品，则需要大量的成本。另外，存在在使用信标的物品的位置测量中定位误差大的问题。PTL 1中公开的技术需要人类操作的终端。这使得难以将该技术应用于诸如工厂等之类的大面积生产现场中的物品位置管理。

本发明的主要目的是提供各自都有助于进行准确且低成本的物品位置管理的物品位置管理装置、物品位置管理***、物品位置管理方法和程序。

问题的解决方案

根据本发明或本公开的第一方面，提供了一种物品位置管理装置，所述物品位置管理装置包括：输入部，其从照相机装置接收图像数据；以及识别部，其在所述照相机装置是移动照相机装置时，基于附连于所述物品的物品标记和其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品的位置，所述物品标记和所述基准点标记包括在所述图像数据中，并且在所述照相机装置是固定照相机装置时，所述识别部基于所述图像数据中包括的所述物品标记来识别所述物品的位置。

根据本发明或本公开的第二方面，提供了一种物品位置管理***，所述物品位置管理***包括：拍摄基准点标记和物品标记以生成图像数据的装置，该基准点标记的坐标信息在现场的绝对坐标系中，该物品标记附连于物品；从所述图像数据中提取所述基准点标记和所述物品标记的装置；当所述图像数据由移动照相机装置生成时基于所述基准点标记和所述物品标记来识别所述物品的位置的装置；以及当所述图像数据由固定照相机装置生成时基于所述物品标记来识别所述物品的位置的装置。

根据本发明或本公开的第三方面，提供了一种物品位置管理装置的物品位置管理方法，所述方法包括：

从照相机装置接收图像数据；

当所述照相机装置是移动照相机装置时，基于附连于物品的物品标记和其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品位置，所述物品标记和所述基准点标记包括在所述图像数据中；以及

当所述照相机装置是固定照相机装置时，基于所述图像数据中包括的所述物品标记来识别所述物品的位置。

根据本发明或本公开的第四方面，提供了一种使安装在物品位置管理装置上的计算机执行处理的程序，所述处理包括：

从照相机装置接收图像数据；

当所述照相机装置是移动照相机装置时，基于附连于物品的物品标记和其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品位置，所述物品标记和所述基准点标记被包括在所述图像数据中；以及

当所述照相机装置是固定照相机装置时，基于所述图像数据中包括的所述物品标记来识别所述物品的位置。

上述程序可被记录在计算机可读存储介质中。存储介质可以是诸如半导体存储器、硬盘、磁记录介质或光记录介质之类的非瞬时(或非暂态)介质。本发明可被实现为计算机程序产品。

本发明的有利效果

根据本发明，提供了有助于进行准确且低成本的物品位置管理的物品位置管理装置、物品位置管理***、物品位置管理方法和程序。

附图说明

图1是例示了示例实施例的概况的示图。

图2是例示了根据第一示例实施例的物品位置管理***的示意性配置示例的示图。

图3是例示了AR(增强现实)标记示例的示图。

图4是例示了根据第一示例实施例的移动照相机装置示例的示图。

图5是例示了根据第一示例实施例的移动照相机装置的处理配置示例的示图。

图6是例示了根据第一示例实施例的物品位置管理装置的处理配置示例的示图。

图7是例示了基准点标记信息示例的示图。

图8是例示了物品标记信息示例的示图。

图9是例示了照相机相关信息示例的示图。

图10是例示了物品位置信息示例的示图。

图11是例示了根据第一示例实施例的物品位置识别部的操作示例的流程图。

图12是例示了根据第一示例实施例的物品位置管理装置的操作的示图。

图13是例示了根据第一示例实施例的物品位置管理装置的操作的示图。

图14是例示了根据第二示例实施例的移动照相机装置的外观的示图。

图15是例示了根据第二示例实施例的物品位置识别部的操作示例的流程图。

图16是例示了根据第三示例实施例的物品位置管理***的操作的示图。

图17是例示了根据第三示例实施例的物品位置识别部的操作示例的流程图。

图18是例示了根据第四示例实施例的物品位置管理装置的处理配置(操作模块)示例的示图。

图19是例示了物品位置管理装置的硬件配置示例的示图。

图20是例示了移动照相机装置的另一处理配置示例的示图。

图21是例示了移动照相机装置的另一处理配置示例的示图。

具体实施方式

首先，将描述示例实施例的概述。在下面的概述中，为了方便起见，各个部件都附带有参考符号。即，以下参考符号仅用作示例，以便理解概述。因此，概述的公开并不意在以任何方式进行限制。另外，各图中的框之间的连接线包括双向和单向二者。单向箭头示意性示出主信号(数据)的流，而并没有排除双向。另外，在电路图、框图、内部配置图、连接图等中，在连接线的输入端和输出端处分别有输入端口和输出端口，尽管未明确公开。这同样适用于I/O接口。

根据示例实施例的物品位置管理装置100包括输入部101和识别部102(参见图1)。输入部从照相机装置接收图像数据。当照相机装置是移动照相机装置时，识别部基于附连于物品的物品标记和其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品位置，物品标记和基准点标记包括在图像数据中。此外，当照相机装置是固定照相机装置时，识别部基于图像中包括的物品标记来识别物品位置。

物品位置管理装置100切换根据照相机装置的类型计算物品绝对位置的方法。更具体地，当照相机装置是移动类型时，物品位置管理装置100提取一个图像中的基准点标记和物品标记，并使用这些标记来识别物品位置。相比之下，当照相机装置是固定类型时，物品位置管理装置100提取一个图像中的物品标记，并使用该标记来识别物品位置。以这种方式，通过切换根据照相机装置的类型识别物品位置的方法，可准确地识别物品位置。更具体地，照相机装置移动并捕获直到现场每个角落的图像。这使照相机能够准确地识别物品位置，固定的照相机装置由于盲区无法识别该物品的精确位置。另外，通过使用固定照相机装置来捕获物品在其中的位置频繁变化的区域的精确图像，可以实时地掌握物品的移动，而移动照相机装置不能立即掌握物品的移动。此外，使用打印材料作为识别物品位置的标记使得可以以比信标接收器低得多的成本制备必要的部件。因此，与使用信标的物品位置管理不同，可执行低成本的精确物品位置管理。

以下，将参考附图更详细地描述特定实施例。在各实施例中，相同的符号附连于相同的元件，并省略了对其的描述。

[第一示例实施例]

下文中，将参考附图来更详细地描述第一示例实施例。

图2是例示了根据第一示例实施例的物品位置管理***的示意性配置示例的示图。参照图2，物品位置管理***包括多个移动照相机装置10、多个固定照相机装置20和物品位置管理装置30。

在第一示例实施例中，移动照相机装置10被安装在诸如叉车之类的移动体上。叉车由工人操作以拾取物品、放置物品等。

注意的是，移动照相机装置10仅需要能够改变其在现场中的位置。例如，移动照相机装置10可以是在铺设在天花板上的轨道上移动的照相机装置，或者照相机可被安装在巡查现场的机器人上。物品位置管理***还可包括根据上述各种模式的多种类型的移动照相机装置10。例如，可存在安装在诸如叉车之类的物品运送装置上的移动照相机装置10和安装在巡逻机器人上的移动照相机装置10的混合物。

固定照相机装置20是固定在现场的柱子或天花板上的照相机。安装固定照相机装置20以捕获现场中的预定区域的图像。

移动照相机装置10、固定照相机装置20和物品位置管理装置30被配置为通过有线或无线连接以彼此进行通信(发送和接收数据)。在以下描述中，不作任何特别说明而简单表示的“照相机装置”是指移动照相机装置10或固定照相机装置20。

在第一实施例中，物品位置管理装置30基于从照相机装置发送的信息(数据)来识别和管理放置在现场的物品的位置。

如图2中例示的，现场包含多个物品40。物品40例如是堆叠在托盘上的容器、一个纸板箱或多个纸板箱、机器、设备等。放置在现场中的多个物品40中的每一个都被用物品标记50进行标记。对附连于各物品的物品标记50进行管理，使得没有重复物，并且物品40与物品标记50之间一一对应。也就是说，如果物品标记50被唯一地识别并且物品标记50的位置被识别，则物品40的位置接着被识别。

物品标记50可由安装在照相机装置上的照相机检测，并用作使得能够计算标记与照相机装置的相对位置的标识符(标记)。例如，增强现实(AR)标记可被用作物品标记50。注意的是，物品标记50不限于AR标记，可使用任何标记，只要照相机能检测到标记并且可计算照相机与标记之间的相对位置即可。

如图2中例示的，在现场设置了多个基准点标记60。AR标记也可用于基准点标记60。物品标记50和基准点标记60中的每一个都可使用打印标记。打印的AR标记可附连于物品40或附连于现场中的预设位置。

如上所述，物品标记50和基准点标记60是使得能够计算各标记与照相机装置的相对位置的标识符。为了计算相对位置，可使用解决n点透视(PnP)问题的方法(下文中称为PnP方法)。也就是说，基准点标记60和物品标记50的各个相对位置可以被计算为PnP问题的解决方案。

下面概述了AR标记的识别和使用AR标记的相对位置计算。

图3是例示了AR标记示例的示图。预定图案被打印在AR标记上的黑框内，如图3中例示的。可以通过对通过捕获AR标记而获得的图像数据执行图像处理来识别AR标记。

更具体地，可通过检测图像数据中包括的黑框来掌握AR标记本身的存在，并且AR标记是通过黑框内的图案被唯一识别的。更具体地，AR标记的黑框内的区域被划分为多个区域，并且预先准备对各划分区域中的图像进行量化(或数字化)的图案文件。通过将从照相机捕获的图像数据中提取的图案与预先准备的图案文件进行比较来唯一地识别AR标记。

为了将PnP方法应用于AR标记，需要3D坐标系中的三个或更多个坐标以及与3D坐标系中的三个或更多个坐标对应的2D图像的三个或更多个坐标。在第一示例实施例中，使用AR标记的四个角顶点P1至P4作为以上特征点。

针对许多AR标记，建立了在2D图像上获取被检测标记的四角顶点坐标的方法。因此，通过记录在安装AR标记时标记的位置(地点)、方位(方向)和大小，可获得AR标记的四个角在3D坐标系中的顶点坐标。如果AR标记为正方形，则大小为一个边长的长度，或者如果AR标记I为矩形，则大小为垂直和水平长度。

要注意，在第一示例实施例中，使用AR标记的四个角作为特征点，但特征点不一定必须是四个角的顶点。当使用除了四个角之外的特征点时，可记录使得能够获得该特征点在3D坐标系中的坐标的信息。

基准点标记60具有单个坐标信息(绝对位置和绝对方位(方向))和标记大小。例如，在图2中，例示了三个基准点标记60，各基准点标记具有不同的坐标信息。关于基准点标记60的大小(标记大小)，各标记的大小可以是相同或不同的。可使用任何大小，只要预先确定了各标记的大小即可。

各基准点标记60具有的坐标信息中包括的绝对位置是以任意位置(例如，入口)为原点的绝对坐标系中的坐标。另选地，可使用经度和纬度来表示坐标信息中包括的绝对位置。基准点标记60具有的坐标信息中包括的绝对方位(方向)是基于以上原点的坐标系(绝对坐标系)的方位(方向)(表示为相对于三个轴中的每一个轴的角度)。即，绝对位置和绝对方位是在具有预先预设的原点的坐标系中的位置和方位。

使用坐标信息(绝对位置、绝对方位)和基准点标记60的大小的PnP方法使得可以计算认出基准点标记60的照相机的位置和方位。

以下部分概述了PnP问题的解决方案。

为了解决PnP问题，需要关于所拍摄图像数据的照相机的视角和畸变的信息。更详细地，需要被称为“照相机矩阵”和“畸变系数向量”的数据。

照相机矩阵是包括以像素单元表示的焦距fx和fy以及通常是图像中心的主点(cx，cy)的三维方阵(下面的矩阵A)。

在以上矩阵A中，照相机视角由fx和fy表示。例如，考虑图像宽度为2000个像素且水平视角为60度的典型照相机(针孔照相机模型)的情况。在这种情况下，“cx＝2000/2＝1000”且“fx＝1/tan(60/2)×(2000/2)＝约1732”。

照相机矩阵是为了求解PnP问题而求出r11至r33和t1至t3所必需的矩阵，r11至r33和t1至t3使表示以下示出的透视投影变换的等式中的误差最小化。

作为以上等式(表示透视投影变换的等式)的解而获得的r11至r33和t1至t3对应于照相机的方位(旋转矩阵)和照相机的位置(平移向量)。

使用畸变系数向量从观测点坐标获得具有畸变校正的理想点坐标。可通过照相机校准获取照相机矩阵和畸变系数向量，如以下参考文献1和2中指示的。

【参考文献1】

http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_calib3d/py_calibration/py_calibration.html#calibration

【参考文献2】

http://opencv.jp/opencv-2.1/cpp/camera_calibration_and_3d_reconstruction.html#cv-calibratecamera

【***操作的概况】

下面参考图2描述物品位置管理***的操作概况。

照相机装置(移动照相机装置10和固定照相机装置20)以预定的定时或周期性地捕获现场的图像。由照相机装置捕获的图像数据与各照相机装置的标识符(ID；标识)一起被发送到物品位置管理装置30。

物品位置管理装置30基于接收到的图像数据来计算物品40(物品标记50)在现场的绝对位置。在这样做时，物品位置管理装置30根据图像数据的源(移动照相机装置10或固定照相机装置20)改变(切换)用于计算物品40的绝对位置的方法。对图像数据的源的识别是基于各照相机装置的标识符。

首先，将描述接收到的图像数据的源是移动照相机装置10的情况。在这种情况下，物品位置管理装置30确定基准点标记60和物品标记50是否同时出现在图像数据中。更具体地，物品位置管理装置30尝试从所获得的图像数据中提取基准点标记60和物品标记50。

如果两个标记同时出现在图像数据中，则物品位置管理装置30基于关于基准点标记60的信息，计算在捕获相关图像数据(出现两个标记的图像数据)的时刻基准点标记60相对于移动照相机装置10的位置(相对位置)。

物品位置管理装置30基于图像数据中包括的关于物品标记50的信息，计算在捕获图像数据捕获的时刻物品标记50相对于移动照相机装置10的相对位置。

然后，物品位置管理装置30基于以上计算出的两个标记的相对位置和基准点标记60的坐标信息(绝对位置和绝对方位)，计算图像数据中包括的物品标记50的绝对位置。

物品位置管理装置30通过将物品标记50的绝对位置与物品40相关联来管理各物品40的位置。

接下来，描述接收到的图像数据的源是固定照相机装置20的情况。

物品位置管理装置30确定物品标记50是否出现在接收到的图像数据上。如果物品标记50出现在图像数据上，则物品位置管理装置30计算物品标记50相对于固定照相机装置20的相对位置。

由于物品位置管理装置30已知固定照相机装置20的坐标信息(绝对位置和绝对方位)，因此物品位置管理装置30基于固定照相机装置20的坐标信息和物品标记50的相对位置来计算物品标记50的绝对位置。

物品位置管理装置30通过将物品标记50的绝对位置与物品40相关联来管理各物品40的位置。

因此，在照相机装置是移动照相机装置10的情况下，物品位置管理装置30基于其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记60和附连于物品的物品标记50来识别物品40的位置。相比之下，在照相机装置是固定照相机装置20的情况下，物品位置管理装置30基于图像数据中包括的物品标记50来识别物品40的位置。注意的是，固定照相机装置20的坐标信息也是预先设定的。

接下来，将描述物品位置管理***中包括的个体装置。

【移动照相机装置】

图4是例示了第一示例实施例的移动照相机装置10的外观示例的示图。

如上所述，通过在诸如叉车之类的移动体上安装照相机来实现移动照相机装置10。移动体可以是运输推车或者“人”。在第一示例实施例中，将描述在一个移动体上安装一个移动照相机装置10的情况。如上所述，移动照相机装置10的原动力(移动***)可以是任何动力，因此省略对其的详细地描述。

图5是例示了根据第一示例实施例的移动照相机装置10的处理配置(处理模块)示例的示图。参照图5，移动照相机装置10包括照相机控制部201、数据输出部202和存储部203。

照相机控制部201是控制照相机(未示出)的装置。照相机控制部201控制照相机获得图像数据。注意的是，照相机控制部201可按预定间隔或以预定定时获得图像数据。可替换地，照相机控制部201可与移动体(例如，叉车)等的控制模块协作地在移动体的移动满足预定条件时获取图像数据。例如，照相机控制部201可在移动体来到一个停止点时获得图像数据。可替换地，照相机控制部201可基于来自***管理员、叉车操作者或物品位置管理装置30的指示来获得图像数据。

照相机控制部201将所获得的图像数据传送到数据输出部202。数据输出部202将图像数据发送到物品位置管理装置30。数据输出部202可实时地将图像数据发送到物品位置管理装置30，或者可在累积了预定量的图像数据之后，将图像数据成批地发送到物品位置管理装置30。

存储部203是存储移动照相机装置10的操作所必需的信息和数据的装置。例如，存储部203存储分配给其自身装置(移动照相机装置10)的标识符。当向物品位置管理装置30发送图像数据时，数据输出部202还发送其自身装置的以上标识符。

【固定照相机装置】

由于固定照相机装置20的处理配置(处理模块)可与移动照相机装置10的处理配置(处理模块)相同，因此省略了与图5对应的针对固定照相机装置20的描述。

【物品位置管理装置】

图6是例示了根据第一示例实施例的物品位置管理装置30的处理配置(处理模块)示例的示图。参照图6，物品位置管理装置30包括数据输入部301、物品位置识别部302和存储部303。

数据输入部301是从照相机装置(移动照相机装置10或固定照相机装置20)接收(获取)图像数据的装置。数据输入部301将所获得的图像数据传送到物品位置识别部302。

物品位置识别部302基于所获得的图像数据来识别物品40的位置。下面，描述物品位置识别部302的操作。

存储部303存储物品位置管理装置30的操作所必需的信息和数据。更具体地，存储部303存储关于基准点标记60的信息、关于物品标记50的信息、关于照相机的信息和关于物品40的位置的信息。在下面的描述中，关于基准点标记60的信息将被称为“基准点标记信息”。关于物品标记50的信息被称为“物品标记信息”。关于照相机的信息被称为“照相机相关信息”。关于物品40的位置的信息被称为“物品位置信息”。

图7是例示了基准点标记信息示例的示图。如图7中所示，基准点标记信息使基准点标记的标识符、基准点标记的坐标信息(绝对位置、绝对方位)和基准点标记的大小相互关联。

基准点标记60的标识符是例如如上所述指定AR标记的模式文件(例如，文件名等)的信息。

基准点标记60的绝对位置是相对于原点(例如，现场的入口或出口)的坐标。基准点标记60的绝对方位是指示基准点标记60的附连方位的旋转矩阵。基准点标记60的方向可由可生成旋转矩阵的参数(侧倾、俯仰和偏航)指定，而不是由旋转矩阵指定。

如果基准点标记60的形状是正方形，则该基准点标记60的大小是一边的长度，而如果它是矩形，则该基准点标记60的大小是垂直和水平长度。在图7中，基准点标记被设置为正方形并且列入了其一边的长度。

图8是例示了物品标记信息示例的示图。如图8中例示的，物品标记信息是与附连有物品标记的物品的标识符、物品标记的标识符和物品标记的大小相对应的信息。

物品的标识符是例如正受管理的物品的序列号。可替换地，可使用物品名称作为物品标识符。

物品标记50的标识符是与上述基准点标记60的标识符相同种类的信息。物品标记50的大小也是与上述基准点标记60的大小相同种类的信息。因此，省略关于这些的描述。

图9是例示了照相机相关信息示例的示图。如图9中例示的，照相机相关信息是使照相机装置的标识符、各照相机装置的类型(移动或固定的)、关于安装在各照相机装置上的照相机的视角和畸变的信息，以及固定照相机装置的坐标信息(绝对位置和方位)相互关联的信息。

例如，IP(互联网协议)地址或MAC(媒体访问控制)地址可被用作照相机装置的标识符。如果照相机装置是固定照相机装置20，则安装有照相机装置的坐标信息(绝对位置和绝对方位)被登记为照相机相关信息。如上所述，使用照相机相关信息中包括的关于照相机的视角和畸变的信息通过PnP方法来检测基准点标记60等的相对位置。更具体地，使用关于视角(照相机矩阵)的信息作为求解透视投影变换等式中的PnP问题的参数。使用关于畸变的信息(畸变系数向量)从观察点坐标获得经畸变校正的理想点坐标。

图10是例示了物品位置信息示例的示图。如图10中例示的，物品位置信息是使物品标识符和物品绝对位置相互关联的信息。“绝对方位”可被添加到物品位置信息。也就是说，不仅物品的绝对位置而且物品放置的方位可通过物品位置信息来管理。

以下描述了物品位置识别部302的操作。

图11是例示了物品位置识别部302的操作示例的流程图。

物品位置识别部302基于分配给图像数据的照相机装置的标识符，确定图像数据的源是移动照相机装置10还是固定照相机装置20(步骤S101)。通过访问照相机相关信息，物品位置识别部302可以确定分配给图像数据的标识符是对应于移动照相机装置10还是固定照相机装置20的标识符。

当图像数据的源是移动照相机装置10时，物品位置识别部302执行步骤S102及此后的处理。

当图像数据的源是固定照相机装置20时，物品位置识别部302执行步骤S110及此后的处理。

在步骤S102中，物品位置识别部302确定图像数据是否包含“基准点标记”和“物品标记”二者。更具体地，物品位置识别部302通过参照基准点标记信息和物品标记信息，尝试通过上述方法从图像数据中提取基准点标记60的标识符和物品标记50的标识符。

如果提取了两个标记的标识符，则确定图像数据包含基准点标记60和物品标记50。如果两个标记的标识符中的至少一个没有被提取，则确定图像不同时包含基准点标记60和物品标记50。

如果两个标记不同时在该图像中(步骤S102，“否”分支)，则物品位置识别部302结束处理。

如果两个标记同时在该图像中(步骤S102，“是”分支)，物品位置识别部302参照照相机相关信息，并获得关于捕获接收到的图像数据的照相机的视角和畸变的信息(步骤S103)。

物品位置识别部302参照基准点标记信息，并且获得与图像数据中包含的基准点标记60的标识符相对应的基准点标记60的坐标信息(绝对位置和绝对方位)和标记大小(步骤S104)。

物品位置识别部302使用照相机的视角和畸变以及基准点标记60的标记大小，计算在捕获图像数据的时刻基准点标记60与移动照相机装置10的相对位置(步骤S105)。更具体地，物品位置识别部302使用PnP方法来计算基准点标记60的相对位置。

接下来，物品位置识别部302参照物品标记信息，并且获得与图像数据中包括的物品标记50的标识符对应的物品标记50的大小(步骤S106)。

物品位置识别部302使用照相机的视角和畸变以及物品标记50的大小(标记大小)，计算在捕获图像数据的时刻物品标记50相对于移动照相机装置10的相对位置(步骤S107)。更具体地，物品位置识别部302使用PnP方法计算基准点标记50的相对位置。

物品位置识别部302通过使用从基准点标记信息获取的基准点标记60的坐标信息(绝对位置和绝对方位)、基准点标记60的相对位置和物品标记50的相对位置来计算物品标记50的绝对位置(步骤S108)。

物品位置识别部302通过使用计算出的物品标记50的绝对位置来更新物品位置信息(步骤S109)。在这样做时，物品位置识别部302通过参照物品标记信息来获得与图像数据中包括的物品标记50的标识符相关联的物品40的标识符，并且识别由移动照相机装置10捕获的物品40。物品位置识别部302用以上计算出的物品标记50的绝对位置更新与所识别的物品40(物品40的标识符)相对应的物品位置信息的绝对位置。

注意的是，如上所述，物品位置识别部302还可以反映物品位置信息中的物品标记50的绝对方位。

下面参考图12详细地描述当上述图像数据的源是移动照相机装置10时用于管理物品的位置的方法。

移动照相机装置10同时捕获基准点标记60和物品标记50的图像。物品位置识别部302获得同时捕获了两个标记的图像数据。

物品位置识别部302掌握捕获了图像数据的照相机和基准点标记60的细节(坐标信息和标记大小)，并且可以使用PnP方法计算基准点标记60相对于移动照相机装置10的位置c的相对位置cA。

类似地，物品位置识别部302掌握捕获了图像数据的照相机和物品标记50的细节，并且可以使用PnP方法计算物品标记50相对于移动照相机装置10的位置c的相对位置cB。

物品位置识别部302可以使用相对位置cA和cB来计算物品标记50的位置B与基准点标记60的位置A的相对位置cAB。更具体地说，物品位置识别部302使用以下等式(1)计算相对位置cAB。

【等式1】

cAB＝cB-cA

注意的是，等式(1)中的cAB是从基准点标记60的位置A到物品标记50的位置B的方位向量。

接下来，物品位置识别部302基于基准点标记60的绝对方位，使用基准点标记60的坐标信息(绝对位置和绝对方位)获得从位置A到物品标记50的位置B的方位向量。更具体地，物品位置识别部302使用以下等式(2)，基于基准点标记60的绝对方位来获得从位置A到位置B的方位向量rAB。

【等式2】

rAB＝rAmat×cAB

其中，等式(2)中的rAmat是指示基准点标记60的绝对方位的旋转矩阵。

接下来，物品位置识别部302使用以下等式(3)获得物品标记50的绝对位置rB。

【等式3】

rB＝rA+rAB

其中，等式(3)中的rA是基准点标记60的绝对位置(位置A的绝对坐标)。当在物品位置信息中登记物品标记50的绝对方位时，物品位置识别部302使用上述等式(2)中的“rAB”。

接下来，返回图11，描述图像数据的源是固定照相机装置20的情况。

在步骤S110中，物品位置识别部302判断在图像数据中是否包括物品标记50。

如果物品标记50不在图像中(步骤S110，“否”分支)，则物品位置识别部302结束处理。

如果物品标记50在图像中(步骤S110，“是”分支)，则物品位置识别部302参照照相机相关信息，并且获得关于捕获接收到的图像数据的照相机的视角和畸变的信息(步骤S111)。

物品位置识别部302参照物品标记信息，并且获得与图像数据中包括的物品标记50的标识符对应的物品标记50的大小(步骤S112)。

物品位置识别部302使用以上照相机的视角和畸变以及物品标记50的大小(标记大小)，计算在捕获图像数据的时刻物品标记50相对于固定照相机装置20的相对位置(步骤S113)。

物品位置识别部302使用固定照相机装置20的坐标信息(绝对位置和绝对方位)和已经计算出的物品标记50的相对位置，计算物品标记50的绝对位置(步骤S114)。

物品位置识别部302使用计算出的物品标记50的绝对位置来更新物品位置信息(步骤S109)。

下面参考图13详细地描述在上述图像数据的源是固定照相机装置20的情况下管理物品位置的方法。

固定照相机装置20捕获物品标记50。物品位置识别部302获得捕获了物品标记50的图像数据。

物品位置识别部302掌握捕获了图像数据的照相机和物品标记50的细节，并可使用PnP方法计算物品标记50相对于固定照相机装置20的位置c的相对位置cB。

接下来，基于固定照相机装置20的绝对方位，物品位置识别部302使用固定照相机装置20的坐标信息(绝对位置和绝对方位)来获得从位置c到物品标记50的位置B的方位向量。更具体地，物品位置识别部302使用以下等式(4)，基于固定照相机装置20的绝对方位来获得从位置c到位置B的方位向量rcB。

【等式4】

rcB＝rCmat×cB

注意的是，等式(4)中的rCmat是指示固定照相机装置20的绝对方位的旋转矩阵。

接下来，物品位置识别部302使用以下等式(5)获得物品标记50的绝对位置rB。

【等式5】

rB＝rC+rcB…(5)

在等式(5)中，rC是固定照相机装置20的绝对位置(位置c的绝对坐标)。当在物品位置信息中登记了物品标记50的绝对方位时，物品位置识别部302使用上述等式(4)中的“rCB”。

如上所述，第一示例实施例的物品位置管理装置30切换根据照相机装置的类型计算物品40的绝对位置的方法。更具体地，当照相机装置是移动照相机装置10时，物品位置管理装置30计算在捕获图像数据的时刻相对于移动照相机装置10的基准点标记60的相对位置和物品标记50相对位置。然后，物品位置管理装置30使用至少基准点标记60的坐标信息、基准点标记60的相对位置和物品标记50的相对位置来识别物品的位置。此外，当照相机装置是固定照相机装置20时，物品位置管理装置30计算在捕获图像数据的时刻物品标记50相对于固定照相机装置20的相对位置。然后，物品位置管理装置30使用至少固定照相机装置的坐标信息和物品标记50的相对位置来识别物品的位置。

结果，准确管理了物品40的位置。在第一示例实施例中，照相机移动并拍摄现场的每个角落。因此，可准确地掌握由于盲区而不能被固定照相机装置20掌握的物品40的位置。另外，通过固定照相机装置20对物品40的位置频繁变化的区域执行精确拍摄，可实时地掌握用移动照相机装置10不能立即掌握的物品40的移动。

另外，第一示例实施例使得可以以低成本实现物品40的位置管理。上述物品40的位置管理所必需的元件主要是标记(基准点标记60、物品标记50)。这种标记在打印形式中是可用的，并且即使物品的数量增加，获得标记的成本也是有限的。因此，与使用信标等的物品位置管理不同，物品40的位置管理可以低成本准确地执行。

【第二示例实施例】

下文中，将参考附图来详细地描述第二示例实施例。

在第一示例实施例中，描述了在一个移动体上安装一台照相机的情况。第二示例实施例描述了在一个移动体上安装两台或更多台照相机的情况。

图14是例示了根据第二示例实施例的移动照相机装置的外观的示图。如图14中例示的，移动照相机装置10包括两台照相机11和12。尽管不限于此，但优选的是，以拍摄方向不重叠这样的方式安装两台照相机11和12。

另外，安装在移动体上的两台照相机11、12的位置关系和照相机方位不改变，这样的位置关系是可预先知道的信息。也就是说，预先知道照相机12相对于照相机11安装多远和以什么角度(方位)安装。

注意的是，第二示例实施例中的***配置可与第一示例实施例中的***配置相同，因此省略了对应于图2的描述。另外，由于移动照相机装置10、物品位置管理装置30等的各处理配置可与第一示例实施例的处理配置相同，因此省略了与其相关的描述。

下面的描述侧重于第一示例实施例与第二示例实施例之间的差异。

第二示例实施例与第一示例实施例的不同之处主要在于在图像数据的源是物品位置管理装置30中的移动照相机装置10的情况下的操作。更具体地，关于图11中的步骤S102至S108的操作是不同的。

图15是例示了根据第二示例实施例的物品位置识别部302的操作示例的流程图。将参考图15描述物品位置识别部302的第二示例实施例的操作，图15仅例示了在图11中例示的处理之外的第一示例实施例与第二示例实施例不同的处理。

假设由照相机11和12捕获的图像数据基本上同时被从移动照相机装置10发送到物品位置管理装置30(图像数据的发送时间差异小于或等于预定值)。也就是说，数据输入部301从安装在相同移动装置上的至少两台或更多台照相机中的每一个接收图像数据。

物品位置识别部302确定两个图像数据中的至少一个是否包括基准点标记60(步骤S201)。

如果没有图像数据包括基准点标记60(步骤S201，“否”分支)，则物品位置识别部302结束处理。

如果任一图像数据包括基准点标记60(步骤S201，“是”分支)，则物品位置识别部302确定其它图像数据是否包括物品标记50(步骤S202)。

如果其它图像数据不包括物品标记50(步骤S202，“否”分支)，则物品位置识别部302结束处理。如果其它图像数据包括物品标记50(步骤S202，“是”分支)，则物品位置识别部302执行步骤S203及此后的处理。

下面，假设图14中例示的照相机11捕获基准点标记60并且照相机12捕获物品标记50。

物品位置识别部302通过使用其中出现基准点标记60的图像数据，计算在捕获图像数据的时刻基准点标记60相对于照相机11的相对位置(步骤S203至S205)。该计算可与第一示例实施例中描述的方法相同，因此省略了对其的描述。

物品位置识别部302通过使用其中出现物品标记50的图像数据，计算在捕获图像数据的时刻物品标记50相对于照相机12的相对位置(步骤S206和S207)。该计算可与第一示例实施例中描述的方法相同，因此省略了对其的描述。

物品位置识别部302通过使用基准点标记60的相对位置、物品标记50的相对位置以及关于两台照相机11和12的位置和方位的差异来计算物品标记50的绝对位置(步骤S208)。

注意的是，关于两台照相机11和12的位置的差异是照相机11与照相机12之间的绝对位置差异。两台照相机11和12的方位差异是照相机11与照相机12之间的绝对方位差异。关于两台照相机的信息(位置和方位的差异)被预先存储在物品位置管理装置30的存储部303中。

在第一示例实施例中，例如在图12中，使用相对位置cA和cB来计算物品标记50的位置B相对于基准点标记60的位置A的相对位置cAB(参见等式(1))。在第二示例实施例中，关于两台照相机的信息被反映在相对位置cAB的计算中。

更具体地，物品位置识别部302根据以下等式(6)获得在照相机12被用作参考(原点)时基准点标记60的相对位置c2A。

【等式6】

c2A＝c12vec+c12mat×c2B…(6)

在等式(6)中，c12vec是照相机11与照相机12的绝对位置之间的差异。C12mat是照相机11与照相机12之间的绝对方位的差异(C12mat是指示绝对方位差异的旋转矩阵)。c2B是物品标记50相对于照相机12的相对位置。

由于可使用上述等式(6)获得基准点标记60相对于捕获物品标记50的照相机12的相对位置，因此可通过将等式(1)中的“cA”替换为“c2A”来获得从基准点标记60的位置A到物品标记50的位置B的方位向量。一旦获得了方向向量，物品位置识别部302就可通过使用等式(2)和等式(3)来计算物品标记50的坐标信息(绝对位置和方位)。

因此，在存在两台照相机的情况下，存在通过PnP方法获得的两个坐标系。因此，物品位置识别部302将两个坐标系组合成一个坐标系，并计算物品标记50的最终位置。

在以上对第二示例实施例的描述中，已经描述了两台照相机安装在同一移动体上的情况，但当然，即使在三台或更多台照相机安装在同一移动体上的情况下，也可按相同的方式识别对象的位置。安装在同一移动体上的两台或更多台照相机可具有相同的规格或不同的规格。当两台或更多台照相机具有不同的规格时，关于各照相机的视角和畸变的信息可被登记在相机相关信息中。

在第一示例实施例中，需要在单个图像中同时包括基准点标记60和物品标记50，但在第二示例实施例中不需要这样的图像。在第二示例实施例中，现场的图像由多台照相机捕获，并且当基准点标记60和物品标记50可基本上同时由照相机捕获时，可识别物品的位置。也就是说，即使在仅用一台照相机难以同时捕获基准点标记60和物品标记50的情况下，第二示例实施例也可准确地识别物品40的位置。

【第三示例实施例】

接下来，将参考附图来详细地描述第三示例实施例。

在第三示例实施例中，描述了以下情况：将标记(下文中被称为移动体标记70)附连于移动体，并且使用其中捕获了移动体标记70的图像数据来识别物品标记50的位置。AR标记也可以被用作基准点标记。

图16是例示了根据第三示例实施例的物品位置管理***的操作的示图。如图16中例示的，移动体标记70附连于移动照相机装置10-1和10-2中的每个。

在第三示例实施例中，描述了以下情况：移动照相机装置10-1同时捕获基准点标记60和移动体标记70，并且移动照相机装置10-2在基本上相同的定时捕获物品标记50。在第三示例实施例中，各移动照相机装置10还将图像数据的捕获(拍摄)时间与图像数据一起发送到物品位置管理装置30。另外，各移动照相机装置10的内部时钟(时钟)被配置为使得它们可彼此同步，或者当***操作时校正时钟偏斜。

物品位置识别部302可使用与第一示例实施例中描述的相同的方法，用移动照相机装置10-1捕获的图像数据来计算移动照相机装置10-2的坐标信息(绝对位置和方位)。

另外，由于移动照相机装置10-2捕获物品标记50，因此物品位置管理装置30可以按照与第一示例实施例中描述的由固定照相机装置20识别物品标记50的位置的方法相同的方式，计算物品标记50的绝对位置。

注意的是，第三示例实施例中的***配置可与第一示例实施例中的***配置相同，因此省略了对应于图2的描述。另外，由于移动照相机装置10、物品位置管理装置30等的处理配置可与第一示例实施例的处理配置相同，因此省略了与其相关的描述。

物品位置管理装置30的存储部303预先存储移动体标记信息。移动体标记信息是将附连有移动体标记的移动照相机装置10的标识符、移动体标记的标识符和标记大小彼此关联的信息。

以下描述侧重于第一示例实施例与第三示例实施例之间的差异。

第三示例实施例与第一示例实施例的不同之处主要在于用于管理物品位置识别部302中物品的位置的方法。更具体地，关于图11中的步骤S102至S108的操作是不同的。

图17是例示了根据第三示例实施例的物品位置识别部的操作示例的流程图。参考图17，将描述第三示例实施例的物品位置识别部302的操作。图17仅例示了图11中例示的处理之外的对于第一示例实施例和第三示例实施例之间不同的处理。

在第三示例实施例中，假设移动照相机装置10-1和10-2中的每一个捕获的图像数据基本上同时被发送到物品位置管理装置30。也就是说，物品位置管理装置30在所获取的图像数据当中处理两个图像之间关于捕获时间的差异小于或等于预定值的图像数据。

物品位置识别部302确定两个图像数据中的至少一个是否包含基准点标记60和移动体标记70(步骤S301)。

如果不存在包括两个标记的图像数据(步骤S301，“否”分支)，则物品位置识别部302结束处理。

如果存在包括两个标记的图像数据(步骤S301，“是”分支)，物品位置识别部302检查是否基本上同时从与移动标记70的标识符对应的移动照相机装置10获取了图像数据(步骤S302)。在图16的示例中，物品位置识别部302确定是否已从移动照相机装置10-2获取了图像数据。

如果没有获取以上的图像数据(步骤S302，“否”分支)，则物品位置识别部302结束处理。

如果已获取了以上图像数据(步骤S302，“是”分支)，则物品位置识别部302执行步骤S303及此后的处理。

在步骤S303至S308中，物品位置识别部302计算移动体标记70的坐标信息(绝对位置和绝对方位)。对于步骤S303至S308的处理，将在第一示例实施例中描述的步骤S103至S108中的“物品标记”替换为“移动体标记”就足够了，因此省略了细节。

接下来，物品位置识别部302对在步骤S302中被检查到存在的图像数据执行处理。更具体地，物品位置识别部302将其中捕获了移动体标记70的移动照相机装置10的坐标信息(绝对位置和绝对方位)作为固定照相机装置20的坐标信息。也就是说，物品位置识别部302使用与第一示例实施例中描述的步骤S111至S114相同的计算(步骤S309至S312)来计算物品标记50的绝对位置。

因此，物品位置管理装置30的第三示例实施例从移动照相机装置10-1接收第一图像数据并从移动照相机装置10-2接收第二图像数据。另外，移动体标记附连于至少移动照相机装置10-2。物品位置管理装置30基于第一图像数据中包括的基准点标记60和附连于移动照相机装置10-2的移动体标记70来识别移动照相机装置10-2的位置。此外，物品位置管理装置30基于在第二图像中的物品标记50和移动照相机装置10-2的位置来识别物品40的位置。

在第三示例实施例中，假设一个移动体上安装一台照相机的情况，但如第二示例实施例中描述的，一个移动体上可安装多台照相机。也就是说，可组合第二示例实施例和第三示例实施例。另外，尽管以上描述了两个移动照相机装置10的协调，但可通过三个或更多个移动照相机装置10的协调来识别物品40的位置。

如上所述，在第三示例实施例中，如果同时捕获了基准点标记60和移动体标记70，则通过将移动照相机装置10的移动体标记70视为物品标记来识别移动体标记70的位置。当所识别的移动照相机装置10捕获物品标记50时，通过以与固定照相机装置20相同的方式处理移动照相机装置10，可识别物品40的位置。结果，即使将管理大型现场，也可通过将大量的移动照相机装置10引入***中而无遗漏地管理物品40在现场的位置。

【第四示例实施】

下文中，将参考附图来详细地描述第四示例实施例。

第四示例实施例描述了将物品标记50作为新基准点标记60的情况，其中物品标记50附连于其位置已经被识别的物品40上。

图18是例示了根据第四示例实施例的物品位置管理装置30的处理配置(处理模块)示例的示图。如图18中例示的，在第四示例实施例中，添加基准点标记信息更新部304。

在识别到物品40的位置之后，物品位置识别部302将物品40的坐标信息(绝对位置和绝对方位)通知给基准点标记信息更新部304。基准点标记信息更新部304将物品40的坐标信息附加到基准点标记信息(参见图7)。

在被附加到基准点标记信息的信息当中，基准点标记信息更新部304从物品位置识别部302获得坐标信息(绝对位置和绝对方位)，并从物品标记信息获得关于大小的信息。

物品位置识别部302使用添加的物品标记50作为新基准点标记60来识别物品40的位置。

如上所述，在第四示例实施例中，将其位置被识别到的物品标记50用作新基准点标记60，以用于识别物品40的位置。结果，基准点标记60的数量随着***的操作而逐渐增加，因此增加了同时捕获基准点标记60和物品标记50的机会。这使得能够无遗漏地实现物品40的位置管理。

接下来，将描述物品位置管理装置30的硬件配置。

【硬件配置】

图19是例示了物品位置管理装置30的硬件配置示例的示图。物品位置管理装置30具有图19中例示的配置。例如，物品位置管理装置30由通过内部总线互连的中央处理单元(CPU)31、存储器32、输入/输出接口33、作为通信装置的通信电路34等实现。

注意的是，图19中例示的配置不旨在限制物品位置管理装置30的硬件配置。物品位置管理装置30可包括图中未例示的硬件。物品位置管理装置30中所包括的CPU等的数量也不旨在限于图19中例示的示例；例如，在物品位置管理装置30中可包括多个CPU 31。

存储器32可包括RAM(随机存取存储器)、ROM(只读存储器)、辅助存储器(硬盘等)等。

输入/输出接口33是用于图中未例示的输入/输出装置的接口。输入/输出装置例如可包括显示装置、操作装置等。显示装置是例如液晶显示器。操作装置是例如键盘、鼠标等。

物品位置管理装置30的功能由上述处理模块实现。处理模块例如通过执行存储在存储器32中的程序的CPU 31实现。另外，可经由网络下载程序，或者使用存储程序的存储介质更新程序。此外，以上的处理模块可通过半导体芯片来实现。也就是说，由以上处理模块执行的功能可通过使用硬件执行的某个硬件或软件来实现。

【变体形式]】

在第一示例实施例到第四示例实施例中的每一个实施例中描述的物品位置管理***的配置和操作仅仅是示例，不旨在限制***的配置。

例如，在物品位置管理装置30的多个功能当中，某些可在照相机装置中实现。更具体地，物品位置管理装置30的物品位置识别部302的功能可被分离为用于从图像数据中提取AR标记的模块(标记提取部)和用于识别物品位置的模块(位置识别部)。照相机装置可设置有这些功能中的一些或全部，以实现物品位置管理装置30的负载分配。例如，当在移动照相机装置10中实现标记提取器(参见图20)时，移动照相机装置10可将从中提取了标记的图像数据和所提取的标记的类型(基准点标记60或物品标记50)通知给物品位置管理装置30。可替换地，当在移动照相机装置10中实现了标记提取部和物品位置识别部时(参见图21)，从移动照相机装置10识别出的物品40的位置可被通知给物品位置管理装置30。也就是说，照相机装置可将从图像数据识别出的物品40的位置而非图像数据发送到物品位置管理装置30。因此，在以上示例实施例中描述的各功能(图像数据的获取、标记提取和物品位置的识别)的角色分配是示例。因此，在物品位置管理***中，照相机装置和物品位置管理装置30包括用于生成图像数据的装置、用于提取标记的装置和用于识别物品40的位置的装置就足够了。用于生成图像数据的装置(照相机控制部201)捕获其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记60和附连于物品的物品标记50，并生成图像数据。用于提取标记的装置(标记提取部204)从图像数据中提取基准点标记60和物品标记50。用于识别物品40的位置的装置(物品位置识别部302)在图像数据由移动照相机装置10生成时基于基准点标记60和物品标记50来识别物品40的位置。可替换地，当图像数据由固定照相机装置20生成时，用于识别物品40的位置的装置基于物品标记50来识别物品40的位置。

在以上示例实施例中，描述了在***中包括一个物品位置管理装置30的情况，但在***中可包括多个物品位置管理装置30。在这种情况下，即使当***的规模扩大时，也可通过将物品位置管理装置30预先确定为来自各照相机装置的图像数据的目的地，来分配物品位置管理装置30上的负载。

在以上示例实施例中，图像数据直接从照相机装置发送到物品位置管理装置30，但图像数据可经由图像数据收集服务器发送到物品位置管理装置30。在这种情况下，图像数据收集服务器可对图像数据进行过滤(例如，丢弃不包括标记的图像)，以减少物品位置管理装置30上的负载。

物品位置管理装置30可将物品40的计算出的位置高速缓存达预定时间段，并省略命中高速缓存的物品40的位置的计算。例如，如果预先知道诸如在工厂不运行的日子里物品将不移动，则不必重新计算其位置已经计算出的物品40的位置。通过使用高速缓存，可省略这种不必要的重新计算。

以上的示例实施例描述了在一个图像中捕获一个基准点标记60或物品标记50的情况，但也可存在在一个图像数据中捕获多个相同类型的标记的情况。在这种情况下，物品位置管理装置30可使用最接近照相机装置的标记来计算物品的位置，或者可使用识别准确度(与图案文件有相似度)最高的标记来计算标记的位置。可替换地，当在一个图像数据中包括多个相同类型的标记时，物品位置管理装置30可用各标记来计算相对位置等，并使用这些值的平均值作为最终值。这样的措施可提高位置计算的准确度。

在以上的示例实施例中，通过用图像数据发送的照相机装置的标识符来确定照相机装置的类型，但也可通过比较图像数据来确定照相机装置的类型。例如，物品位置管理装置30可将图像数据与图像数据的发送方的IP地址关联地存储，并且当先前接收到的图像数据与最新的图像数据之间的差异小时，图像数据的发送方可被确定为“固定照相机装置”，而如果差异大，则图像数据的发送方可被确定为“移动照相机装置”。

在以上的示例实施例中，描述了静止图像被从照相机装置发送到物品位置管理装置30的情况，但移动图像可被发送到物理位置管理装置30。在这种情况下，物品位置管理装置30可从移动图像中以预定速率提取帧，并如上所述地将所提取的帧作为图像数据处理。

在以上的示例实施例中，假设一个标记(物品标记50、移动体标记70)附连于一个物品40或移动体，但多个标记也可以附连于物品40或移动体。在该情况下，待附连的标记的标识符可以是相同的，只要目的是附连于识别物品40等。当具有不同标识符的多个标记附连于同一物品40等时，可能必须管理(记录)各标识符与物品40的各对应关系。

在以上的示例实施例中，描述了安装在移动照相机装置10中的照相机的方位固定的情况，但照相机可被配置为具有可变方位。更具体地，可通过将照相机连接到包括电机等的致动器来改变照相机的方位。在这种情况下，可按与第二示例实施例中描述的“安装在同一移动体上的两台照相机”相同的方式来处理一台照相机。在这种情况下，无法预先知道等式(6)中的两台照相机之间的绝对方位的差异(方位改变之前和之后)。因此，可用致动器的控制值计算以上绝对方位差异，并将其用作等式(6)中的绝对方位差异。可替换地，陀螺仪传感器等可附连于照相机，并且可从传感器获取旋转量，以计算绝对方位差异。即，安装在移动照相机装置10中的照相机的方位被配置为是可变的。在这种情况下，移动照相机装置10将以第一方位捕获的第一图像数据、以第二方位捕获的第二图像数据以及相对于具有可变配置的方位的照相机的第一方位与第二方位之间的差异(旋转量)发送到物品位置管理装置30。接下来，物品位置管理装置30的物品位置识别部302基于第一图像数据中包括的基准点标记60，计算在捕获第一图像数据的时刻基准点标记60相对于移动照相机装置10的相对位置。另外，物品位置识别部302基于第二图像数据中包括的物品标记50，计算在捕获第二图像数据的时刻物品标记50相对于移动照相机装置10的相对位置。接下来，物品位置识别部302使用基准点标记60的相对位置、物品标记50的相对位置以及照相机的第一方位与第二方位之间的差异(旋转量)来识别物品40的位置。

可采用变焦(改变视角)来控制照相机。例如，当照相机装置的照相机控制部201确认捕获了基准点标记60时，保存其中包括基准点标记60的图像数据。此外，照相机控制单元201放大并捕获图像数据。此时，如果捕获了物品标记50，则照相机控制部201还保存图像数据。然后，将两个保存的图像数据发送到物品位置管理装置30。物品位置管理装置30可按与第二示例实施例中描述的相同的方式处理两个图像数据以识别物品40的位置。当用缩放后的图像数据计算物品标记50的相对位置时，需要缩放值。在这种情况下，变焦值可以是在照相机装置和物品位置管理装置30之间预先确定的值，或者是物品位置管理装置30所指示的值。或者，照相机装置可将与图像数据一起使用的变焦值通知给物品位置管理装置30。处理图像数据所需的变焦值是焦距、视角等的值。也就是说，安装在移动照相机装置10中的照相机被配置为具有可变焦距。移动照相机装置10捕获具有改变后的焦距的第一图像数据和第二图像数据，并将第一图像数据和第二图像数据发送到物品位置管理装置30。物品位置管理装置30的物品位置识别部302基于由具有第一焦距的照相机捕获的第一图像数据中包括的基准点标记60，计算在捕获第一图像数据的时刻基准点标记60相对于移动照相机装置10的相对位置。另外，物品位置识别部302基于具有第二焦距的照相机所捕获的第二图像数据中包括的物品标记50，计算在捕获第二图像数据的时刻物品标记50相对于移动照相机装置10的相对位置。此后，物品位置识别部302使用基准点标记60的相对位置和物品标记50的相对位置来识别物品40的位置。由于焦距和视角是通过切线计算相互可转换的信息，因此可获得焦距或视角中的任一个作为变焦值就足够了。

在以上的示例实施例中，描述是基于基准点标记60和物品标记50是相同标记(AR标记)的假设，但这些标记可以是不同的标记。在这种情况下，可对各标记应用适当的检测方法。

在以上的示例实施例中，已描述了主要基于AR标记和PnP方法的物品位置的估计。然而，可使用其它标记和其它方法来估计物品的位置。例如，可使用以下参考文献3中描述的高精度AR标记来估计物品位置。参考文献3中公开的高精度AR标记具有根据观察标记的角度而变化的二维摩尔图案。由于高精度AR标记的图案根据观察标记的角度而变化，因此适于(考虑)标记图案变化的物品位置估计方法是必需的。更具体地，可以通过对通过PnP方法获得的解决方案(姿势估计)的修正来使用高精度AR标记估计物品的位置。

【参考文献3】

https://5da3fa2e-a-62cb3a1a-s-sites.***groups.com/site/htver2/research/service_robots/newarmarker/ArrayMark_2012.pdf？attachauth＝ANoY7cqDnMqRdnkBszHS0j4FFXPVZv4nWNvQo5Wu3mW6dI5aB0gkZWzOLXCNPstRd_6Dza69LO_mmBlKYqkHtl_bL0M6j1Z48ZVfVo2IP8IWthD9MqfM9T2oZQJvAcuAE3bIqvxWks0cdSORjOzIgMmYxfUusYNwd_2o_Wp6tF8x4pHA1bEvc9B8ji09LM1XYlDRiLsiGrpMEiBBAFEuobNesI2kzNG0-1jNzzsU3g-IZFOz0sWdGGKxSMEXzK-ocjIkOQnreZfaYk8Jpti-7SmxMw2nzrH7XA％3D％3D&attredirects＝0

基准点标记等可以是仅可以获得中心坐标的标记，例如，用作标识符的条形码。在这种情况下，由于不能获得三个或更多特征点的坐标，因此不能使用PnP方法，并且不能计算相对位置等。因此，可使用诸如条形码之类的标记来计算其位置(中心的图像坐标)。更具体地，使用条形码计算从照相机装置到附连有条形码的物品的方位。然后，可测量照相机装置和标记(物品等)之间的距离。更具体地，可使用激光测距仪或RGB-D(红绿蓝-深度)照相机来测量距离。如果存在标记的大小比较小之类的特殊情况，则标记的可检测距离可被自然地确定，并且可采用可检测距离(例如，1m)作为以上距离。

在上述第二示例实施例中，描述了在单个移动体上安装两台或更多台照相机装置的情况。然而，即使当在移动体上安装的是单台照相机装置时，如果可掌握移动体的移动历史(移动距离和移动方向)，也可获得与第二示例实施例的结果相同的结果。更具体地，如果在图像数据中捕获了基准点标记60，则计算移动照相机装置10相对于基准点标记60的相对位置，并且移动照相机装置10进行移动。此时，移动照相机装置10生成移动历史(或移动距离和移动方向)。如果在移动期间获得了包括物品标记50的图像数据，则可计算移动照相机装置10与物品标记50的相对位置。然后，可使用移动历史来校正基准点标记60的相对位置，并且可识别物品40的位置。可使用陀螺仪传感器或其它装置来生成以上移动历史。

可替换地，可通过以下方法将一台照相机当作好像有两台照相机。为了方便起见，在检测基准点标记60的时刻移动照相机装置10的照相机被指定为“c1”。C1A是此时基准点标记60的相对坐标。为了方便起见，假设在检测到物品标记50的时刻移动照相机装置10的照相机是“C2”，并且c2B是该时刻物品标记50的相对坐标。然后，可从移动历史中获取上述等式(6)中的c12vec(照相机1与照相机2之间的绝对位置差异)和c12mat(照相机1与照相机2之间的绝对方位差异)。即，移动照相机装置10将捕获了基准点标记60的第一图像数据、捕获了物体标记50的第二图像数据以及从获得第一图像数据的时刻到获得第二图像数据的时刻的移动历史输出到物品位置管理装置30。物品位置管理装置30的物品位置识别部302基于第一图像数据中包括的基准点标记60，计算在获得第一图像数据的时刻基准点标记60相对于移动照相机装置10的相对位置。类似地，物品位置识别部302基于第二图像数据中包括的物品标记50，计算在获得第二图像数据的时刻物品标记50相对于移动照相机装置10的相对位置。之后，物品位置识别部302使用基准点标记60的相对位置、物品标记50的相对位置以及移动照相机装置10从捕获第一图像数据的时刻到捕获第二图像数据的时刻的移动历史来识别物品40的位置。

通过在计算机的存储器中安装上述计算机程序，可使计算机起到物品位置管理装置的作用。通过使计算机执行上述计算机程序，计算机可执行物品位置管理方法。

在以上描述中使用的多个流程图中，按顺序描述了多个处理(进程)，但在各示例实施例中执行的处理的执行顺序不限于所描述的顺序。在各实施例中，例如通过并行地或类似地执行各处理，可改变所例示的处理的顺序，只要内容方面没有问题即可。另外，只要内容不冲突，就可组合以上提到的实施例中的每个。

以上引用的专利文献中的公开内容通过引用并入本文中，并且如有必要，可被用作本发明的基础或其部分。在本发明的整个公开内容(包括权利要求书)的框架内，并基于基本技术构思，可修改和调整实施例和实例。另外，在本发明的整个公开的框架内，各种公开的元件(包括各权利要求的各元件、各实施例或实例的各元件、各附图的各元件等)的各种组合或选择(包括部分删除)是可能的。换句话说，本发明当然包括本领域的技术人员将能够按照包括权利要求书的范围和技术构思的整个公开内容进行的各种变化形式和修改形式。特别地，本申请中描述的数值范围应该被解释为具体描述了包括在该范围内的任何数值或子范围，即使没有另外说明。另外，如有必要，上述文献中的各公开内容在必要时可结合应当被视为被包括在本公开的公开内容中的本申请中所描述的内容部分或全部地按照本发明的主旨用作本发明的公开内容的部分。

参考符号列表

10、10-1、10-2 移动照相机装置

11,12 照相机

20 固定照相机装置

30、100 物品位置管理装置

31 CPU(中央处理单元)

32 存储器

33 输入/输出接口

34 通信电路

40 物品

50 物品标记

60 基准点标记

70 移动体标记

101 输入部

102 识别部

201 照相机控制部

202 数据输出部

203、303 存储部

204 标记提取部

205 位置识别部

301 数据输入部

302 物品位置识别部

304 基准点标记信息更新部

Claims (16)

1.一种物品位置管理装置，其包括：

输入部，所述输入部从照相机装置接收图像数据；以及

识别部，当所述照相机装置是移动照相机装置时，所述识别部基于附连于物品的物品标记以及其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品的位置，所述物品标记和所述基准点标记被包括在所述图像数据中，并且

当所述照相机装置是固定照相机装置时，所述识别部基于所述图像数据中包括的所述物品标记来识别所述物品的所述位置。

2.根据权利要求1所述的物品位置管理装置，其中，

当所述照相机装置是移动照相机装置时，所述识别部计算在所述图像数据被捕获的时刻所述基准点标记相对于所述移动照相机装置的相对位置、以及在所述图像数据被捕获的时刻所述物品标记相对于所述移动照相机装置的相对位置，并且

至少使用所述基准点标记的坐标信息、所述基准点标记的所述相对位置、以及所述物品标记的所述相对位置，所述识别部识别所述物品的所述位置。

3.根据权利要求1或2所述的物品位置管理装置，其中，

当所述照相机装置是固定照相机装置时，所述识别部计算在所述图像数据被捕获的时刻所述物品标记相对于所述固定照相机装置的相对位置，并且

至少使用所述固定照相机装置的坐标信息和所述物品标记的所述相对位置，所述识别部识别所述物品的所述位置。

4.根据权利要求1或2所述的物品位置管理装置，其中，

所述输入部从至少第一照相机和第二照相机中的每一个接收图像数据，并且

其中，所述识别部：

基于由所述第一照相机捕获的第一图像数据中包括的所述基准点标记，计算在所述第一图像数据被捕获的时刻所述基准点标记相对于所述第一照相机的相对位置，并且基于由所述第二照相机捕获的第二图像数据中包括的所述物品标记，计算在所述第二图像数据被捕获的时刻所述物品标记相对于所述第二照相机的相对位置，并且

使用所述基准点标记的所述相对位置、所述物品标记的所述相对位置、以及关于所述第一照相机和所述第二照相机的位置和方位差异，来识别所述物品的所述位置。

5.根据权利要求1所述的物品位置管理装置，

其中，所述输入部分别从第一移动照相机装置和第二移动照相机装置接收第一图像数据和第二图像数据，

其中，至少所述第二移动照相机装置被附连有移动体标记，并且

其中，所述识别部：

基于所述第一图像数据中包括的附连于所述第二移动照相机装置的所述移动体标记和所述基准点标记，识别所述第二移动照相机装置的位置，并且

基于所述第二图像数据中包括的所述物品标记和所述第二移动照相机装置的所述位置，来识别所述物品的所述位置。

6.根据权利要求1至5中的任一项所述的物品位置管理装置，其中，

所述识别部将被附连于其位置被识别了的所述物品的所述物品标记用作新的基准点标记。

7.根据权利要求2所述的物品位置管理装置，

其中，所述输入部从所述移动照相机装置接收所述第一图像数据和所述第二图像数据，

其中，所述识别部：

基于所述第一图像数据中包括的所述基准点标记，计算在所述第一图像数据被捕获的时刻所述基准点标记相对于所述移动照相机装置的相对位置，

基于所述第二图像数据中包括的所述物品标记，计算在所述第二图像数据被捕获的时刻所述物品标记相对于所述移动照相机装置的相对位置，并且

使用所述基准点标记的所述相对位置、所述物品标记的所述相对位置、以及所述移动照相机装置从所述第一图像数据被捕获的时刻到所述第二图像数据被捕获的时刻的移动历史，来识别所述物品的位置。

8.根据权利要求2所述的物品位置管理装置，

其中，安装在所述移动照相机装置中的照相机的方位被配置为是可变的，

其中，所述输入部从其照相机的方位被配置为是可变的所述移动照相机装置接收第一图像数据和第二图像数据，

其中，所述识别部：

基于由处于第一方位的所述照相机捕获的所述第一图像数据中包括的所述基准点标记，计算在所述第一图像数据被捕获的时刻所述基准点标记相对于所述移动照相机装置的相对位置，以及

基于由处于第二方位的所述照相机捕获的所述第二图像数据中包括的所述物品标记，计算在所述第二图像数据被捕获的时刻所述物品标记相对于所述移动照相机装置的相对位置，并且

使用所述基准点标记的所述相对位置、所述物品标记的所述相对位置、以及所述照相机的所述第一方位与所述第二方位之间的方位差异，来识别所述物品的位置。

9.根据权利要求2所述的物品位置管理装置，

其中，安装在所述移动照相机装置中的照相机的焦距被配置为是可变的，

其中，所述输入部从其照相机的焦距被配置为是可变的所述移动照相机装置接收第一图像数据和第二图像数据，

其中，所述识别部：

基于由具有第一焦距的所述照相机捕获的所述第一图像数据中包括的所述基准点标记，计算在所述第一图像数据被捕获的时刻所述基准点标记相对于所述移动照相机装置的相对位置，以及

基于由具有第二焦距的所述照相机捕获的所述第二图像数据中包括的所述物品标记，计算在所述第二图像数据被捕获的时刻所述物品标记相对于所述移动照相机装置的相对位置，并且

使用所述基准点标记的所述相对位置和所述物品标记的所述相对位置，来识别所述物品的位置。

10.根据权利要求2所述的物品位置管理装置，

其中，所述移动照相机装置被配置为至少测量所述物品标记与所述移动照相机装置本身之间的距离，以及

其中，所述识别部基于测得的所述距离来计算所述物品标记的相对位置。

11.根据权利要求1至10中的任一项所述的物品位置管理装置，其中，

所述基准点标记和所述物品标记的各相对位置被计算为PnP(n点透视)问题的解决方案，或者

通过对PnP问题的解决方案的修正来计算所述基准点标记和所述物品标记的各相对位置。

12.根据权利要求1至11中的任一项所述的物品位置管理装置，其中，

所述基准点标记和/或所述物品标记是AR(增强现实)标记。

13.根据权利要求1至12中的任一项所述的物品位置管理装置，其中，

所述识别部基于被分配给所述图像数据的所述照相机装置的标识符，确定所述图像数据的发送方是所述移动照相机装置还是所述固定照相机装置。

14.一种物品位置管理***，其包括：

用于拍摄基准点标记和物品标记以生成图像数据的装置，所述基准点标记在现场的绝对坐标系中的坐标信息是被预先设定的，所述物品标记附连于物品；

用于从所述图像数据提取所述基准点标记和所述物品标记的装置；

用于当由移动照相机装置生成所述图像数据时，基于所述基准点标记和所述物品标记来识别所述物品的位置的装置；以及

用于当由固定照相机装置生成所述图像数据时，基于所述物品标记来识别所述物品的位置的装置。

15.一种用于物品位置管理装置的物品位置管理方法，所述方法包括：

从照相机装置接收图像数据；

当所述照相机装置是移动照相机装置时，基于附连于物品的物品标记以及其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品的位置，所述物品标记和所述基准点标记被包括在所述图像数据中；并且

当所述照相机装置是固定照相机装置时，基于所述图像数据中包括的所述物品标记来识别所述物品的所述位置。

16.一种使安装在物品位置管理装置上的计算机执行处理的程序，所述处理包括：

从照相机装置接收图像数据；

当所述照相机装置是移动照相机装置时，基于附连于物品的物品标记以及其在现场的绝对坐标系中的坐标信息被预先设定的基准点标记来识别物品的位置，所述物品标记和所述基准点标记被包括在所述图像数据中；并且

当所述照相机装置是固定照相机装置时，基于所述图像数据中包括的所述物品标记来识别所述物品的所述位置。

Images