CN103189827B - 对象显示装置以及对象显示方法 - Google Patents

Abstract

在对象显示装置中，在当前无法检测到标记的情况下，显示补充部取得检测到标记的过去与当前之间的显示部显示的现实空间的图像的变化。由于假想对象是根据现实空间的图像中的标记的位置以及形状进行显示的，所以假想对象的显示位置以及显示方式也应该随着现实空间的图像的变化而变化。因此，显示决定部（6）基于该过去与当前之间的现实空间的图像的变化，根据该过去的假想对象的显示位置以及显示方式决定当前的假想对象的显示位置以及显示方式。

Description

对象显示装置以及对象显示方法

技术领域

本发明涉及对象显示装置以及对象显示方法。

背景技术

近年来，已开发并提供了使用AR（AugmentedReality：增强现实）技术的服务。例如，公知有这样的技术：从由移动终端的照相机取得的现实空间的图像中检测预定的标记，将与该标记对应的假想对象重叠在现实空间的图像上而显示在显示器上。另外，公知有这样的终端装置：根据时间上不同的多个图像来估计摄影部与摄像对象的空间位置关系的变化，基于此变化进行显示部中的滚动等的控制。（例如，参照专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2010-67090号公报

发明内容

发明要解决的问题

在根据从由照相机等捕捉到的现实空间的图像中检测出的标记来在现实空间的图像上重叠显示假想对象的技术中，当由于某些原因而不能检测到标记时，无法显示假想对象。另一方面，当拍摄存在于现实空间中的标记时，即使是在标记存在于摄像范围内的情况下，有时也会由于照相机与标记的位置关系、以及亮度等摄像条件的各种原因而无法检测到标记。

因此，本发明是鉴于上述问题点而完成的，其目的是提供即使在由于某些原因而无法检测到现实空间中的标记的情况下也能够显示假想对象的对象显示装置以及对象显示方法。

用于解决问题的手段

为了解决上述课题，本发明一实施方式的对象显示装置从由摄像单元取得的现实空间的图像中检测预定的标记，将与该标记对应的假想对象重叠在现实空间的图像上而显示在显示单元上，该对象显示装置具备：显示补充单元，其在无法检测到标记时，取得检测到标记的过去与当前之间的显示单元显示的现实空间的图像的变化；以及显示决定单元，其根据由显示补充单元取得的显示单元显示的现实空间的图像的变化来决定假想对象的显示位置以及显示方式，显示单元根据由显示决定单元决定的假想对象的显示位置以及显示方式，将假想对象重叠在现实空间的图像上进行显示。

另外，为了解决上述课题，本发明一实施方式的对象显示方法是对象显示装置中的对象显示方法，该对象显示装置从由摄像单元取得的现实空间的图像中检测预定的标记，将与该标记对应的假想对象重叠在现实空间的图像上而显示在显示单元上，该对象显示方法包括以下步骤：显示补充步骤，在无法检测到标记时，取得检测到标记的过去与当前之间的显示单元显示的现实空间的图像的变化；显示决定步骤，根据在显示补充步骤中取得的显示单元显示的现实空间的图像的变化决定假想对象的显示位置以及显示方式；以及显示步骤，根据在显示决定步骤中决定的假想对象的显示位置以及显示方式，将假想对象重叠在现实空间的图像上进行显示。

根据本发明一实施方式的对象显示装置以及对象显示方法，在当前无法检测到标记的情况下，取得检测到标记的过去与当前之间的显示单元显示的现实空间的图像的变化。因为假想对象是根据现实空间的图像中的标记的位置以及形状进行显示的，所以假想对象的显示位置以及显示方式也应该随着现实空间的图像变化而变化。因此，基于该过去与当前之间的现实空间的图像的变化，可根据该过去的假想对象的显示位置以及显示方式来决定当前的假想对象的显示位置以及显示方式。因此，即使在由于某些原因而无法检测到现实空间中的标记的情况下也能够显示假想对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，显示补充单元具备特定形状识别单元，该特定形状识别单元从现实空间的图像中提取特定形状，识别检测到标记的过去与当前之间的特定形状的形状以及位置的变化，显示补充单元根据由特定形状识别单元识别出的特定形状的形状以及位置的变化，取得显示单元显示的现实空间的图像的变化。

在此情况下，根据从现实空间的图像中提取的特定形状的形状以及位置的变化来取得显示单元显示的现实空间的图像的变化。特定形状的形状以及位置的变化与用于决定假想对象的显示位置以及显示方式的标记同样是从现实空间的图像中提取的，所以能够高精度地取得显示单元显示的现实空间的图像的变化。因此，可根据过去的假想对象的显示位置以及显示方式来高精度地决定当前的显示位置以及显示方式。

另外，用于取得显示单元显示的现实空间的图像的变化的特定形状可采用预定的物体的形状。在此情况下，能够可靠地取得显示单元显示的现实空间的图像的变化。

另外，用于取得显示单元显示的现实空间的图像的变化的特定形状可采用预定的图形和线以及具有同一颜色的一定区域中的至少任意一个。在此情况下，特定形状识别单元的特定形状的提取概率得到提高。

另外，在本发明一实施方式的对象显示装置中，也可以是，显示补充单元具备终端姿势检测单元，该终端姿势检测单元检测对象显示装置的位置以及摄像方向的变化，显示决定单元在显示补充单元无法取得显示单元显示的图像的变化时，根据由终端姿势检测单元识别出的对象显示装置的位置以及摄像方向的变化，决定假想对象的显示位置以及显示方式。

在此情况下，根据对象显示装置的位置以及摄像方向的变化来决定假想对象的显示位置以及显示方式，所以在无法从现实空间的图像中提取特定形状的情况下，也能够进行假想对象的显示。

另外，在本发明一实施方式的对象显示装置中，也可以是，显示决定单元根据显示单元显示的现实空间的图像的变化，估计显示单元显示的现实空间的图像中的标记的位置以及形状，根据所估计的标记的位置以及形状决定假想对象的显示位置以及显示方式。

在此情况下，根据显示单元显示的现实空间的图像的变化来估计作为用于决定假想对象的显示位置以及显示方式的依据的标记在现实空间中的位置以及形状，因此能够适当地决定假想对象的当前的显示位置以及显示方式。

发明效果

在AR技术中，能够高精度且可靠地确定移动终端的位置。

附图说明

图1是示出对象显示装置的功能性结构的框图。

图2是对象显示装置的硬件框图。

图3是示出显示部中的基于标记的假想对象的显示例、以及在未检测到标记时不能显示假想对象的状态的例子的图。

图4是示出标记数据库的结构以及所存储的数据的例子的图。

图5是对象数据库的结构以及所存储的数据的例子的图。

图6是示出对象显示装置与标记的位置关系的示意图、以及示出处于该位置关系时的显示图像的例子的图。

图7是示出基于显示部中的特定形状变化以及标记形状变化的假想对象的显示例的图。

图8是示出每帧的对象显示装置的姿势数据、标记位置以及估计标记形状的数据的例子的图。

图9是示出对象显示方法的处理内容的流程图。

具体实施方式

参照附图来说明本发明的对象显示装置以及对象显示方法的实施方式。另外，在可能的情况下，对相同的部分标注相同的标号，省略重复的说明。

图1是示出对象显示装置1的功能性结构的框图。本实施方式的对象显示装置1从由摄像单元取得的现实空间的图像中检测预定的标记，将与该标记对应的假想对象重叠在现实空间的图像上而显示在显示单元上。

标记是存在于现实空间的预定的标识。对象显示装置1预先存储与标记对应地显示的假想对象的数据。对象显示装置1从现实空间的图像中检测到标记后，根据该标记的形状（偏斜）以及大小来决定假想对象的显示位置以及显示方式，按照所决定的显示位置以及显示方式将假想对象重叠在现实空间的图像上而显示在显示器上。此外，对象显示装置1也可以通过通信来取得假想对象的数据。

假想对象是用于通过重叠显示在现实空间的图像上来向对象显示装置1的用户提供各种信息的假想的对象。

如图2所示，对象显示装置1在功能上具备：照相机2（摄像单元）、图像取得部3、标记识别部4、标记数据库5、显示决定部6（显示决定单元）、对象数据库7、显示部8（显示单元）以及显示补充部9（显示补充单元）。

图2是对象显示装置1的硬件结构图。如图2所示，对象显示装置1在物理上构成为计算机***，该计算机***包含CPU101、作为主存储装置的RAM102以及ROM103、作为数据收发设备的通信模块104、硬盘、闪速存储器等辅助存储装置105、作为输入设备的键盘等输入装置106、显示器等输出装置107等。通过在图2所示的CPU101、RAM102等硬件上读入预定的计算机软件，在CPU101的控制下使通信模块104、输入装置106、输出装置107进行动作，并且进行RAM102、辅助存储装置105中的数据的读出以及写入，由此实现图1所示的各功能。再次参照图1来详细说明对象显示装置1的各个功能部。

照相机2是拍摄现实空间的图像的摄像单元。照相机2向图像取得部3发送所拍摄的现实空间的图像。此外，现实空间的图像包含静态图像以及动态图像。

图像取得部3是取得由照相机2拍摄的现实空间的图像的部分。图像取得部3向标记识别部4以及显示补充部9发送所取得的现实空间的图像。

标记识别部4是根据登记在标记数据库5中的标记的图像数据来从现实空间的图像中识别标记的部分。标记的识别例如通过本领域技术人员已知的图案匹配这样的图像处理技术来进行。更具体地说，标记识别部4从现实空间的图像中提取标记，识别现实空间的图像中的标记的位置以及形状。现实空间的图像中的标记的形状具有对应于照相机2与标记的位置关系的偏斜，所以能够根据标记的形状来判断现实空间的图像中的标记的方向。标记识别部4将与现实空间的图像中的该标记的位置以及形状相关的信息和对已识别的标记进行标示的信息一起发送到显示补充部9以及显示决定部6。

另外，标记识别部4在无法从现实空间的图像中识别出标记的情况下，将表示此情况的信息发送到显示补充部9以及显示决定部6。图3是示出标记识别部4无法从现实空间的图像中识别出标记时的例子的图。

图3（a）是对象显示装置1与标记M的位置关系处于图3（b）的示意图所示的状态的情况下的显示部8显示的图像f的例子。本实施方式的标记M是在平面上表示字母“i”文字的标识。如图3（b）所示，对象显示装置1从标记M的斜上方拍摄标记M，所以标记识别部4能够从图像f中识别出标记M。在标记M被识别出后，如图3（a）所示，显示部8在现实空间的图像上重叠显示与该标记M对应的假想对象O。

另一方面，图3（c）是对象显示装置1与标记M的位置关系处于图3（d）的示意图所示的状态的情况下的显示部8显示的图像f的例子。在图3（d）中，因为对象显示装置1捕捉标记M的拍摄方向与标记M的上表面所成的角度较小，所以如图3（c）所示，照相机2以及图像取得部3捕捉到的图像f中的标记M的形状的偏斜程度与图3（a）相比变大。这样，在图像f中的标记M的形状的偏斜程度较大时，标记识别部4无法从现实空间的图像f中识别出标记M。在此情况下，如图3（c）所示，显示部8不重叠显示假想对象O。

关于标记识别部4无法从现实空间的图像中识别出标记的情况，除了图3（c）、（d）所示的标记M的形状的偏斜程度较大的情况之外，还可考虑产生了闪光灯发光引起的所谓过曝的情况以及用于拍摄的光量不足的情况等。

标记数据库5是存储标记的数据的数据库。更具体地说，标记的数据是标记的图像数据。图4是示出标记数据库5的结构以及所存储的数据的例子的图。如图4所示，标记数据库5将标记的数据与对标记进行标示的ID对应地存储。

显示决定部6是如下这样的部分：根据从标记识别部4发送的对标记进行标示的信息，从对象数据库中提取与该标记对应的假想对象的数据，并且根据从标记识别部4发送的与标记的位置以及形状相关的信息，决定显示部显示的图像中的该假想对象的显示位置以及显示方式。

假想对象的显示位置以及显示方式是由该假想对象与对应的标记的相对位置关系规定的。在本实施方式中，如后所述，将假想对象与标记的位置关系存储为对象数据库7中的偏差（offset）。偏差的数据例如包含表示以标记的位置为基准的假想对象的相对位置的信息以及与显示时的方向相关的信息。

显示决定部6将与假想对象的显示位置以及显示方式（包含与方向相关的信息）相关的信息和该假想对象的图像数据一起发送到显示部8。

另外，在无法检测到标记时，显示决定部6从显示补充部9取得检测到标记的过去与当前之间的显示部8显示的现实空间的图像的变化，根据所取得的现实空间的图像的变化，决定显示部显示的图像中的假想对象的显示位置以及显示方式。后面详细叙述决定无法检测到标记时的假想对象的显示位置以及显示方式的处理。

对象数据库7是存储与假想对象相关的数据的数据库。图5是示出对象数据库7的结构以及所存储的数据的例子的图。如图5所示，对象数据库7将对象数据、对应标记以及偏差与对假想对象进行标示的对象ID对应地存储。对象数据是假想对象的图像数据。对应标记是与该假想对象对应地显示的标记的ID。偏差是表示在现实空间的图像上重叠显示该假想对象时的与标记的位置关系的数据。

显示部8是根据由显示决定部6决定的假想对象的显示位置以及显示方式来在现实空间的图像上重叠显示该假想对象的部分，例如由显示器等装置构成。

显示补充部9是在无法检测到标记的情况下取得检测到标记的过去与当前之间的显示部8显示的现实空间的图像的变化的部分，具备特定形状识别部91（特定形状识别单元）、传感器92以及终端姿势检测部93（终端姿势检测单元）。

具体地说，特定形状识别部91从现实空间的图像中提取预定的特定形状，识别检测到标记的过去与当前之间的特定形状的形状以及位置的变化。更具体地说，特定形状识别部91预先在预定的存储器中存储检测到标记的过去的特定形状的形状以及位置，在当前无法识别出标记的情况下，将从当前的现实空间的图像中取得的特定形状的形状以及位置和检测到标记的最近的过去的特定形状的形状以及位置进行比较，识别其变化。

然后，显示补充部9根据由特定形状识别部91识别出的特定形状的形状以及位置的变化，取得显示部8显示的现实空间的图像的变化，向显示决定部6发送与所取得的现实空间的图像的变化相关的信息。

接着，参照图6来详细说明基于所提取的特定形状的假想对象重叠显示处理。

图6（a）是对象显示装置1与标记M的位置关系处于图6（b）的示意图所示的状态的情况下的显示部8显示的图像f₁的例子。如图6（b）所示，对象显示装置1从标记M的斜上方拍摄标记M，因为从对象显示装置1拍摄标记M的拍摄方向与标记M的上表面所成的角度较大，所以在图6（a）所示的例子中，标记识别部4能够从图像f₁中识别出标记M₁。在此情况下，显示决定部6从对象数据库7中提取与标记识别部4识别出的标记M对应的假想对象O，根据标记M₁的位置以及形状来决定假想对象O的显示位置以及显示方式，使假想对象O₁与标记M₁对应地重叠显示在显示部8上。

另一方面，图6（c）是对象显示装置1与标记M的位置关系处于图6（d）的示意图所示的状态的情况下的显示部8显示的图像f₁的例子。如图6（d）所示，因为从对象显示装置1拍摄标记M的拍摄方向与标记M的上表面所形成的角度较小，所以如图6（c）所示，显示部8显示的图像f₂中的标记M₂的形状的偏斜程度大于图6（a）。这样，当图像f中的标记M的形状的偏斜程度较大时，标记识别部4无法识别出标记M₂。在此情况下，标记识别部4向显示补充部9以及显示决定部6发送表示无法识别出标记的信息。

显示补充部9的特定形状识别部91在取得表示无法识别出标记的信息后，从图像f中提取特定形状S，识别检测到标记的过去的图像f₁（图6（a））中的特定形状S₁与当前的图像f₂中的特定形状S₂之间的形状以及位置的变化。显示补充部9将由特定形状识别部91识别出的特定形状S的形状以及位置的变化作为与现实空间的图像的变化相关的信息发送到显示决定部6。

显示决定部6根据从显示补充部9发送的与现实空间的图像的变化相关的信息和检测到标记M的过去的图像f₁中的标记M₁的位置以及形状，估计当前的图像f₂中的标记M₂的位置以及形状。然后，显示决定部6根据所估计的标记M₂的位置以及形状来决定假想对象O₂的显示位置以及显示方式。更具体地说，显示决定部6根据过去的图像f₁中的特定形状S₁与当前的图像f₂中的特定形状S₂之间的位置以及形状的相对变化，估计两个图像f₁、f₂之间的标记M的位置以及形状的相对变化。

此外，在图6所示的例子中，特定形状识别部91提取花瓶的形状作为特定形状S，但识别为特定形状S的对象不限于这种物体的形状。例如，特定形状S可以是规定的物体的形状。作为该物体，只要能够利用本领域技术人员公知的图像识别技术进行识别，则可以采用任何物体，可采用预定的标志、标识、面部、桌子等这样的物体。另外，特定形状S可以是预定的图形、线和具有同一颜色的一定区域中的至少任意一个。作为该特定形状S，可例示由存在于图像中的四边形、垂直线、水平线和由水平线以及垂直线形成的格子等。此外，与特定形状S相关的数据例如也可以预先存储在对象显示装置1所具备的预定的存储单元中。另外，如果特定形状S是能够利用本领域技术人员已知的图像识别技术识别为预定特征点的形状，则可以不在存储单元中预先存储与特定形状S相关的数据。

此外，特定形状识别部91在特定形状S的形状以及位置变化的识别处理之前实施判定处理，该判定处理判定是否能够从由图像取得部3取得的图像中提取用于取得现实空间的图像的变化的特定形状。

接着，作为参照图6说明的处理的变形，参照图7说明基于根据特定形状以及标记形状的变化而取得的学习信息的假想对象重叠处理。

图7（a）是对象显示装置1与标记M的位置关系处于图7（b）的示意图所示的状态的情况下的显示部8显示的图像f的例子。如图7（b）所示，对象显示装置1从标记M的斜上方拍摄标记M，因为从对象显示装置1拍摄标记M的拍摄方向与标记M的上表面所成的角度较大，所以在图7（a）所示的例子中，标记识别部4能够从图像f中识别出标记M。在识别出标记M后，显示决定部6从对象数据库7中提取与标记识别部4识别的标记M对应的假想对象O，根据标记M的位置以及形状来决定假想对象O的显示位置以及显示方式，使假想对象O与标记M对应地重叠显示在显示部8上。

接着，图7（c）是对象显示装置1与标记M的位置关系处于图7（d）的示意图所示的状态的情况下的显示部8显示的图像f的例子。

在图7（d）中，对象显示装置1捕捉标记M的拍摄方向与标记M的上表面所成的角度和图7（b）相比稍微变小，所以如图7（c）所示，由照相机2以及图像取得部3捕捉到的图像f中的标记M的形状的偏斜程度与图7（a）相比变大。但是，假设在图7（c）所示的偏斜程度的情况下标记识别部4能够识别出标记M，则显示决定部6根据识别出的标记M来决定假想对象O的显示位置以及显示方式，根据已决定的显示位置以及显示方式，在显示部8上重叠显示假想对象O。

这里，标记识别部4取得在显示从图7（a）所示的图像f向图7（c）所示的图像f转变时的标记M的位置以及形状的变化，将与所取得的标记M的位置以及形状的变化相关的信息发送到显示决定部6。另外，特定形状识别部91从图7（a）、（c）所示的图像f中提取并识别作为具有长方体形状的物体的特定形状B。然后，特定形状识别部91取得在显示从图7（a）所示的图像f向图7（c）所示的图像f转变时的特定形状B的位置以及形状的变化，将与所取得的特定形状B的位置以及形状的变化相关的信息发送到显示决定部6。

显示决定部6从标记识别部4中取得与在显示从图7（a）所示的图像f向图7（c）所示的图像f转变时的标记M的位置以及形状的变化相关的信息，并且从特定形状识别部91取得与特定形状B的位置以及形状的变化相关的信息。然后，显示决定部6取得与特定形状B的位置以及形状的变化相应的标记M的位置以及形状的变化作为学习信息，存储到预定的存储器中。在标记识别部4无法识别出标记M时，显示决定部6可根据与特定形状B以及标记M的位置以及形状相关的学习信息来估计标记M的位置以及形状。

即，在对象显示装置1与标记M的位置关系处于图7（f）的示意图所示的状态的情况下，对象显示装置1捕捉标记M的拍摄方向与标记M的上表面所成的角度非常小，所以如图7（e）所示，图像f中的标记M的形状的偏斜程度变大，标记识别部4无法识别出标记M。另一方面，即使在处于图7（f）所示的位置关系的情况下，特定形状识别部91也能够识别出特定形状B，所以特定形状识别部91向显示决定部6发送图7（e）所示的图像f中的特定形状B的位置以及形状。然后，显示决定部6根据图7（e）中的特定形状B的位置和形状、以及与特定形状B及标记M的位置及形状相关的学习信息，估计图7（e）中的标记M的位置以及形状。显示决定部6根据估计出的标记M的位置以及形状，决定假想对象O的显示位置以及显示方式，显示在显示部8上。

再次参照图2来说明终端姿势检测部93的功能。终端姿势检测部93根据从传感器92取得的各种信息检测对象显示装置1的位置以及摄像方向的变化。传感器92例如包括加速度传感器以及地磁传感器等传感器，向终端姿势检测部93发送这些传感器取得的与加速度以及地磁方向相关的信息。然后，在显示补充部9无法取得显示部8显示的图像的变化时，显示决定部6根据终端姿势检测部93识别出的对象显示装置1的位置以及摄像方向的变化，决定假想对象的显示位置以及显示方式。

参照图8具体说明终端姿势检测部93的处理内容。图8是示出将显示部8显示的图像中的每帧的姿势数据、标记位置以及估计标记形状对应起来的表的例子的图。

图8中的帧编号是对帧进行标示的数据。姿势数据（方向）是表示取得对应的帧的图像时的对象显示装置1的方向的数据，将取得帧编号“100”的图像时的姿势数据（方向）“D₀”作为初始状态，将相对于表示方向的数据“D₀”的差分值存储为“D₁”、“D₂”。例如，可利用预定的3维坐标系中的相对于各个轴的旋转角来表示姿势数据（方向）。

另外，姿势数据（位置）是表示取得对应的帧的图像时的对象显示装置1的位置的数据，将取得帧编号“100”的图像时的姿势数据（位置）“P₀”作为初始状态，将相对于表示方向的数据“P₀”的差分值存储为“P₁”、“P₂”。终端姿势检测部93向显示决定部6发送姿势数据（方向）以及姿势数据（位置）。例如，可利用预定的3维坐标系中的坐标值来表示姿势数据（位置）。

图8所示的表中的标记位置是表示取得对应的帧的图像时的标记的显示位置的数据，例如，可利用设定在显示部8的显示区域内的预定坐标系来表现。另外，估计标记形状是由显示决定部6估计的显示在显示部8时的标记形状。

显示决定部6根据姿势数据（方向）以及姿势数据（位置）来估计标记位置。具体地说，显示决定部6可根据姿势数据（方向）“D₁”、姿势数据（位置）“P₁”和标记位置“M₀”来估计标记位置“M₁”。同样，显示决定部6可根据姿势数据（方向）“D₂”、姿势数据（位置）“P₂”和标记位置“M₁”来估计标记位置“M₂”。

进而，显示决定部6可根据姿势数据（方向）以及姿势数据（位置）来计算显示部8显示标记时的标记形状的偏斜，对估计标记形状进行估计。

此外，显示决定部6通过估计图8的表中所示的标记位置，可以在标记识别部4无法检测到标记的情况下判定显示部8的视场角范围内是否存在标记。例如，可通过判定标记位置的坐标值是否存在于预定值的范围内来实现此判定处理。由此，可控制为在判定为标记不存在于显示部8的视场角范围内的情况下省略用于重叠显示假想对象的处理。

接着，参照图9来说明本实施方式的对象显示方法中的对象显示装置1的动作例。图9是示出在对象显示装置1中实施的处理内容的流程图。

首先，图像取得部3取得照相机2拍摄的现实空间的图像（S1）。接着，标记识别部4根据登记在标记数据库5中的标记的图像数据，尝试从现实空间的图像中检测标记（S2）。在检测到标记的情况下，标记识别部4将与现实空间的图像中的该标记的位置以及形状相关的信息和对已识别的标记进行标示的信息一起发送到显示决定部6。然后，处理步骤前进到步骤S3。

在步骤S3中，显示决定部6根据从标记识别部4发送的对标记进行标示的信息检索对象数据库7，判定有无应该与该标记对应地显示的假想对象（S3）。在没有判定为存在应该与该标记对应地显示的假想对象时，处理步骤结束。另一方面，在判定为存在应该与该标记对应地显示的假想对象时，处理步骤前进到步骤S4。

在步骤S4中，显示决定部6从对象数据库中提取与该标记对应的假想对象的数据，并且根据从标记识别部4发送的与标记的位置以及形状相关的信息，决定显示部显示的图像中的该假想对象的显示位置以及显示方式（S4）。

另一方面，在步骤S2中没有检测到标记的情况下，标记识别部4将表示此情况的信息发送到显示补充部9以及显示决定部6。然后，处理步骤进到步骤S5。在步骤S5中，标记识别部4判定是否在刚刚显示在显示部8上的帧中检测到标记、且显示了假想对象（S5）。当判定为已实施标记的检测以及假想对象的显示时，处理步骤前进到步骤S6。另一方面，当没有判定为已实施标记的检测以及假想对象的显示时，处理步骤结束。

在步骤S6中，显示补充部9的终端姿势检测部93根据从传感器92取得的各种信息，检测对象显示装置1的位置以及摄像方向的变化。对象显示装置1的位置以及摄像方向例如可使用图8的姿势数据（位置）以及姿势数据（方向）来例示。

接着，显示决定部6根据对象显示装置1的位置以及摄像方向的变化以及紧前面的帧中的标记的位置来估计显示部8所显示的现实空间的图像中的当前标记的位置（S6）。然后，显示决定部6判定在显示部8的视场角范围内是否存在标记（S7）。当判定为在视场角的范围内存在标记时，处理步骤前进到步骤S8。另一方面，当没有判定为在视场角的范围内存在标记时，处理步骤结束。此外，在本实施方式中，步骤S6以及S7的处理不是必须的处理。

在步骤S8中，显示补充部9的特定形状识别部91尝试从现实空间的图像中检测预定的特定形状（S8，显示补充步骤）。在检测到特定形状的情况下，处理步骤前进到步骤S9。另一方面，在没有检测到特定形状的情况下，处理步骤前进到步骤S10。

在步骤S9中，特定形状识别部91识别紧前面的帧与当前的帧之间的特定形状的变化（偏斜）以及位置的变化。接着，显示补充部9根据特定形状识别部91识别的特定形状的形状以及位置的变化，取得在显示部8上显示的现实空间的图像的变化，向显示决定部6发送与已取得的现实空间的图像变化相关的信息（显示补充步骤）。进而，显示决定部6根据从显示补充部9发送的与现实空间的图像的变化相关的信息和检测到标记的过去的帧中的标记的位置以及形状，估计当前的帧中的标记的位置以及形状。然后，显示决定部6根据估计出的标记的位置以及形状，决定假想对象的显示位置以及显示方式（S9，显示决定步骤）。

另一方面，在步骤S10中，终端姿势检测部93取得检测到标记的过去的帧的图像取得时与当前之间的对象显示装置1的位置以及姿势的变化。接着，显示决定部6根据对象显示装置1的位置以及姿势的变化和检测到标记的过去的帧中的标记的位置以及形状，估计当前的帧中的标记的位置以及形状。然后，显示决定部6根据已估计的标记的位置以及形状来决定假想对象的显示位置以及显示方式（S10）。

在步骤S11中，显示决定部6根据已决定的假想对象的显示位置以及显示方式，在显示部8上显示使假想对象重叠在已拍摄的现实空间的图像上而得的图像（S11）。这样，结束本实施方式的处理。

在以上说明的本实施方式的对象显示装置1以及对象显示方法中，在当前没有检测到标记的情况下，取得检测到标记的过去与当前之间的显示部8显示的现实空间的图像的变化。因为假想对象是根据现实空间的图像中的标记的位置以及形状进行显示的，所以假想对象的显示位置以及显示方式也应该随着现实空间的图像变化而变化。因此，显示决定部6能够基于该过去与当前之间的现实空间的图像的变化，根据该过去的假想对象的显示位置以及显示方式来决定当前的假想对象的显示位置以及显示方式。从而，即使在由于某些原因而无法检测到现实空间中的标记时也能够显示假想对象。

另外，在本实施方式的对象显示装置1中，由显示补充部9的特定形状识别部91根据从现实空间的图像中提取的特定形状的形状以及位置的变化，取得显示部8显示的现实空间的图像的变化。特定形状的形状以及位置的变化与用于决定假想对象的显示位置以及显示方式的标记同样是从现实空间的图像中提取的，所以能够高精度地取得显示部8显示的现实空间的图像的变化。因此，显示决定部6可根据过去的假想对象的显示位置以及显示方式高精度地决定当前的显示位置以及显示方式。

另外，在本实施方式的对象显示装置1中，由显示补充部9的终端姿势检测部93取得对象显示装置1的位置以及摄像方向的变化，由显示补充部9取得显示部8显示的现实空间的图像的变化。因此，即使在特定形状识别部91无法从现实空间的图像中提取特定形状时，显示补充部9也能够取得显示部8显示的现实空间的图像的变化。

另外，在本实施方式的对象显示装置1中，由显示决定部6根据显示部8显示的现实空间的图像的变化来估计作为用于决定假想对象的显示位置以及显示方式的依据的标记在现实空间中的位置以及形状，因此能够适当地决定假想对象的当前的显示位置以及显示方式。

以上，根据实施方式详细说明了本发明。但是，本发明不限于上述实施方式。本发明在不脱离其主旨的范围内可进行各种变形。

工业上的可利用性

在利用AR技术的服务中，即使在由于某些原因而无法检测到现实空间中的标记的情况下，本发明也能够显示假想对象。

标号说明

1…对象显示装置、2…照相机、3…图像取得部、4…标记识别部、5…标记数据库、6…显示决定部、7…对象数据库、8…显示部、9…显示补充部、91…特定形状识别部、92…传感器、93…终端姿势检测部、S、B…特定形状、M…标记、O…假想对象。

Claims (6)

1.一种对象显示装置，其从由摄像单元取得的现实空间的图像中检测预定的标记，将与该标记对应的假想对象重叠在所述现实空间的图像上而显示在显示单元上，该对象显示装置具备：

显示补充单元，其在无法检测到所述标记时，取得检测到所述标记的过去与当前之间的所述显示单元显示的现实空间的图像的变化；以及

显示决定单元，其根据由所述显示补充单元取得的所述显示单元显示的现实空间的图像的变化来决定假想对象的显示位置以及显示方式，

所述显示单元根据由所述显示决定单元决定的所述假想对象的显示位置以及显示方式，将所述假想对象重叠在现实空间的图像上进行显示，

所述显示决定单元根据所述显示单元显示的现实空间的图像的变化，估计所述显示单元显示的现实空间的图像中的标记的位置以及形状，根据所估计的标记的位置以及形状决定假想对象的显示位置以及显示方式。

2.根据权利要求1所述的对象显示装置，其中，

所述显示补充单元具备特定形状识别单元，该特定形状识别单元从现实空间的图像中提取特定形状，识别检测到所述标记的过去与当前之间的所述特定形状的形状以及位置的变化，

所述显示补充单元根据由所述特定形状识别单元识别出的所述特定形状的形状以及位置的变化，取得所述显示单元显示的现实空间的图像的变化。

3.根据权利要求2所述的对象显示装置，其中，

所述特定形状是预定物体的形状。

4.根据权利要求2或3所述的对象显示装置，其中，

所述特定形状是预定的图形和线以及具有同一颜色的一定区域中的至少任意一个。

5.根据权利要求1～3中的任意一项所述的对象显示装置，其中，

所述显示补充单元具备终端姿势检测单元，该终端姿势检测单元检测所述对象显示装置的位置以及摄像方向的变化，

所述显示决定单元在所述显示补充单元无法取得所述显示单元显示的图像的变化时，根据由所述终端姿势检测单元识别出的所述对象显示装置的位置以及摄像方向的变化，决定所述假想对象的显示位置以及显示方式。

6.一种对象显示装置中的对象显示方法，该对象显示装置从由摄像单元取得的现实空间的图像中检测预定的标记，将与该标记对应的假想对象重叠在所述现实空间的图像上而显示在显示单元上，该对象显示方法包括以下步骤：

显示补充步骤，在无法检测到所述标记时，取得检测到所述标记的过去与当前之间的所述显示单元显示的现实空间的图像的变化；

显示决定步骤，根据在所述显示补充步骤中取得的所述显示单元显示的现实空间的图像的变化决定假想对象的显示位置以及显示方式；以及

显示步骤，根据在所述显示决定步骤中决定的所述假想对象的显示位置以及显示方式，将所述假想对象重叠在现实空间的图像上进行显示，

在所述显示决定步骤中，根据所述显示单元显示的现实空间的图像的变化，估计所述显示单元显示的现实空间的图像中的标记的位置以及形状，根据所估计的标记的位置以及形状决定假想对象的显示位置以及显示方式。