CN103106235A - 信息呈现装置、方法和***、信息登记装置、方法和*** - Google Patents

信息呈现装置、方法和***、信息登记装置、方法和*** Download PDF

Info

Publication number
CN103106235A
CN103106235A CN201210441744.8A CN201210441744A CN103106235A CN 103106235 A CN103106235 A CN 103106235A CN 201210441744 A CN201210441744 A CN 201210441744A CN 103106235 A CN103106235 A CN 103106235A
Authority
CN
China
Prior art keywords
information
relative position
camera
user
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210441744.8A
Other languages
English (en)
Inventor
池上涉一
坂本隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103106235A publication Critical patent/CN103106235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了信息呈现装置、方法和***、以及信息登记装置、方法和***。一种信息呈现装置包括对象信息获取单元和信息呈现控制单元。该对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息。对象标识信息和相对位置信息是通过执行检测和标识图像数据的对象的处理而获得的。信息呈现控制单元基于所述对象标识信息和所述相对位置信息来控制信息的呈现。

Description

信息呈现装置、方法和***、信息登记装置、方法和***
技术领域
本技术涉及信息呈现装置、信息呈现方法、信息呈现***、信息登记装置、信息登记方法、信息登记***和程序。更具体地，本技术涉及通过使用对象来执行诸如图像、声音和文本之类的内容信息的呈现(查看)和登记的信息呈现装置、信息呈现方法、信息呈现***、信息登记装置、信息登记方法、信息登记***和程序。
背景技术
近年来，安装了相机的电子设备，诸如蜂窝电话和便携信息终端、以及诸如电视机、相机和摄像机之类的各种类型的设备，已被广泛使用。在这样的环境下，查看信息(互联网上的网站等)和通过识别(诸如QR
Figure BDA00002369581800012
)来获取信息来源(统一资源***(URL)等)已很普遍。例如，在日本专利No.3558104中描述了一种用于识别
Figure BDA00002369581800013
的技术。
在这些情况下，当多段信息与一个
Figure BDA00002369581800014
相联系时，触点操作作为用于选择所述多段信息之一的方法是非常有用的。然而，只有少数类型的装置支持触点操作。此外，在通过使用按钮等的操作来进行选择的情况下，操作有可能是复杂的。
发明内容
希望很容易地实现选择性地拿取(fetch)与对象(object，物体)相联系或相关联的多段信息。
本技术的一个实施例的概念在于一种信息呈现装置，包括：对象信息获取单元，所述对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及信息呈现控制单元，所述信息呈现控制单元基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
根据本技术的一个实施例，对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息。对象标识信息和相对位置信息是在对象信息获取单元执行检测和标识图像数据的对象的处理时获取的。例如，图像数据是通过用相机(图像拾取单元)捕捉图像来获取的或者是从记录单元读取的。信息呈现控制单元基于对象标识信息和相对位置信息来控制信息的呈现。例如，与对象标识信息和相对位置信息相关联的诸如图像、声音或文本之类的内容信息是从呈现信息数据库获取的，并且所获取的内容信息被呈现。
在本技术的一个实施例中，例如信息呈现控制单元可以获取通过执行检测和标识相对位置信息的姿势的处理而获得的姿势标识信息，并且可以基于对象标识信息和姿势标识信息来控制信息的呈现。例如，信息呈现控制单元呈现与对象标识信息和姿势标识信息相关联的信息。在这种情况下，例如，信息呈现控制单元从呈现信息数据库获取与对象标识信息和姿势标识信息相关联的信息，并呈现所获取的信息。在这种情况下，当用户执行特定操作以移动被保持在目标上方的相机时，希望的信息可被呈现给用户。
而且，例如，姿势标识信息可以包括代表确定性程度的确定性信息，并且当确定性信息所代表的确定性程度小于或等于特定值时，信息呈现控制单元可以呈现与对象标识信息相关联的信息。即，在这种情况下，例如，信息呈现控制单元从呈现信息数据库获取只与对象标识信息相关联的信息，并呈现所获取的信息。在这种情况下，由于姿势标识信息的联系条件被取消，因此可以呈现更多的信息。因此，可以选择用户所希望的信息。
而且，在本技术的一个实施例中，例如，信息呈现控制单元可以获取待呈现的特定数目的类型的信息，根据相对位置信息所代表的第一操作来选择所述特定数目的类型的信息中的一种类型的信息，并且根据相对位置信息所代表的第二操作来选择所选择的类型的信息中的至少一个信息。例如，第一操作可以是用于将对象与相机之间的相对位置设置为落入特定范围之内的操作。第二操作可以是用于改变对象与相机之间的相对位置以便形成特定图形的操作。在这种情况下，用户能够从特定数目的量类型的呈现信息中选择希望的信息以执行诸如查看、改变和删除之类的操作。
如上所述，在本技术的一个实施例中，信息的呈现是基于对象标识信息和相对位置信息而被控制的。因此，与对象相关联的信息可以被拿取和呈现。此外，用户所希望的信息可以在无触点或按钮操作的情况下被呈现。例如，在用相机(图像拾取单元)捕捉目标的图像时，通过只移动相机或只移动目标，用户就能够执行操作。因此，可以针对单个目标(对象)呈现多段信息。
而且，本技术的一个实施例的另一种概念在于一种信息登记装置，包括：对象信息获取单元，所述对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及内容信息登记单元，所述内容信息登记单元将目标内容信息与对象标识信息和相对位置信息相关联地登记在数据库中。
根据本技术的一个实施例，对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息。对象标识信息和相对位置信息是在对象信息获取单元执行检测和标识图像数据的对象的处理时获取的。例如，图像数据是通过用相机(图像拾取单元)捕捉图像来获取的或者是从记录单元读取的。
内容信息登记单元将目标内容信息与对象标识信息和相对位置信息相关联地登记在数据库中。例如，内容信息登记单元可以获取通过执行检测和标识相对位置信息的姿势的处理而获得的姿势标识信息，并且将目标内容信息与对象标识信息和姿势标识信息相关联地登记在数据库中。
因此，在本技术的一个实施例中，目标内容信息被与关于对象和相机之间的相对位置的相对位置信息以及对象标识信息相关联地登记在数据库中。因此，可以针对对象登记多段信息。
根据本技术的一个实施例，可以很容易地执行选择性拿取与对象相联系或相关联的多段信息。
附图说明
图1是示出根据本技术的第一实施例的信息呈现***的配置的示例的方框图；
图2A是用于说明只包括客户端装置的***的示图；
图2B是用于说明包括网络***的***的示图，其中在该网络***中，客户端装置和服务器装置通过网络连接；
图3是示出信息呈现***中的信息呈现处理的示例的流程图；
图4是用于说明基于位置的姿势识别的示图；
图5包括用于说明作为特定示例的信息查看***的示例的示图；
图6包括用于说明作为特定示例的信息查看***的示例的示图；
图7是用于说明作为特定示例的物品信息(item information)呈现***的示例的示图；
图8是示出信息登记***的配置的示例的方框图；
图9是示出信息登记***中的信息登记处理的示例的流程图；
图10是示出根据本技术的第二实施例的信息登记***的配置的示例的方框图；
图11是示出信息登记***中的信息登记处理的示例的流程图；
图12是示出根据本技术的第三实施例的信息呈现***的配置的示例的方框图；
图13是示出信息呈现***中的信息呈现处理的示例的流程图；
图14包括用于说明作为特定示例的访问目的地时的信息查看的示例的示图；
图15包括用于说明作为特定示例的访问目的地时的信息查看的示例的示图；
图16是示出了信息呈现***的配置的另一示例的方框图；
图17是用于说明其中使用了关于对象的位置(x，y，z)和旋转(翻转(roll)、倾斜(pitch)和偏转(yaw))的信息以及对象标识信息的示例的示图；并且
图18包括用于说明其中使用了关于对象的位置(x，y，z)和旋转(翻转、倾斜和偏转)的信息以及对象标识信息的示例的示图。
具体实施方式
以下将说明实现本技术的实施例(下称“实施例”)。将以如下顺序进行说明：
1.第一实施例
2.第二实施例
3.第三实施例
4.修改
1.第一实施例
信息呈现***
图1示出了根据本技术的第一实施例的信息呈现***300的配置的示例。信息呈现***300包括对象识别单元301、对象标识数据库302、姿势识别单元303、姿势标识数据库304、信息呈现单元305、以及呈现信息数据库306。
对象识别单元301基于在对象标识数据库302中存储的对象标识数据来执行检测和标识图像数据的对象的处理从而获得对象信息。这里使用的图像数据可以是通过用图像拾取单元(相机)捕捉图像而获得的图像数据或在用作存储单元的半导体存储器、硬盘驱动器等中存储的图像数据。在这种情况下，在***中使用了公用的对象标识数据库302，从而使得对象不被识别为不同的对象。这里，对象包括人和动物。
由对象识别单元301获取的对象状态包括例如对象标识信息(对象ID)和相机(图像拾取单元)相对于对象的位置信息。相机位置信息是基于例如对象的位置的，并且用作关于对象与相机之间的相对位置的相对位置信息。对象识别单元301基于例如图像中包含的对象的特征点的位置来识别对象。
对象识别单元301还基于对象的特征点的位置来计算例如相机(图像拾取单元)相对于对象的位置。即，对象识别单元301基于对象(目标)如何出现在图像中并且基于在对象标识数据库302中预先登记的识别字典中描述的对象的实际大小来计算相机的位置。对象识别单元301所执行的处理将不在下文详细说明，而在例如本申请人的日本未经审查的专利申请公开No.2008-304268中说明。
姿势识别单元303基于在姿势标识数据库304中存储的姿势标识数据来执行检测和标识从对象识别单元301输出的相机位置信息的姿势的处理并且获得姿势标识信息(姿势ID)。姿势标识信息包括被添加到其上的代表确定性程度的确定性信息。即，姿势识别单元303将相机位置信息的位置或轨迹与姿势标识数据相比较，并且计算和输出最接近的姿势标识信息和姿势标识的确定性信息。
信息呈现单元305基于对象标识信息、姿势标识信息和确定性信息来获取与对象标识信息和姿势标识信息相关联的诸如图像、声音或文本之类的内容信息，并呈现所获取的内容信息。在该处理中，如果姿势标识的确定性程度小于或等于特定值，则信息呈现单元305呈现与对象标识信息相关联的多段信息并等待接收姿势输入。这里执行的姿势识别可以由触点或按钮操作来代替，并且可以是部分地或统一地混合操作。
图1所示的信息呈现***300可以是例如，图2A所示的客户端装置500A或图2B所示的包括通过网络500C连接的客户端装置500A和服务器装置500B的网络***。在图2B所示的网络***的情况下，形成信息呈现***300的单元被以分布方式适当地分配到客户端装置500A和服务器装置500B。例如，对象识别单元301、对象标识数据库302、姿势识别单元303、姿势标识数据库304和呈现信息数据库306可被分配给服务器装置500B。
现在，将参照图3所示的流程图来说明由图1所示的信息呈现***300执行信息呈现的处理的示例。在步骤ST31中，信息呈现***300例如在电源被接通时开始该处理。然后，信息呈现***300进行到步骤ST32的处理。
在步骤ST32中，对象识别单元301执行检测和标识输入图像数据的对象的处理，并且获得对象标识信息。在该处理中，例如，用户使用被附着到客户端装置500A的图像拾取单元(相机)来捕捉特定对象的图像，以获得输入图像数据。可替代地，在该处理中，例如，用户选择在客户端装置500A的存储单元中存储的图像数据以获得输入图像数据。
在步骤ST33中，信息呈现***300确定对象是否已经被标识。当对象已经被标识时，姿势识别单元303在步骤ST34中确定姿势是否已经被标识。在该处理中，当姿势标识的确定性程度大于特定值时，信息呈现***300确定姿势已经被标识。
当姿势已经被标识时，信息呈现单元305在步骤ST35中从呈现信息数据库306获取与对象标识信息和姿势标识信息相关联的诸如图像、声音或文本之类的内容信息，并呈现所获取的内容信息。当姿势未被标识时，信息呈现单元305在步骤ST36中呈现与对象标识信息相关联的诸如图像、声音或文本之类的内容信息，并等待接收姿势的输入。
现在将说明用于识别姿势的方法的示例。这里，将说明基于位置的姿势识别。在该情况下，如图4所示，对由对象识别单元301获取的相机位置信息所代表的相机位置的坐标(X0，Y0，Z0)执行阈值处理。即，计算相机位置是否落入特定空间之内。在该处理中，可以使用任何类型的坐标系。在图4中，特定空间的示例用虚线表示。这些单独的特定空间可以相互接触。
在输入了运动图形数据的情况下，可以按照时间顺序获得相机位置。因此，在该情况下，重要的是确保用户通过使用中值滤波器等适当地执行滤波来执行的操作的稳定性。而且，帧(frame)中不存在识别出的对象(即，未执行对象识别)的状态被作为一种状态检测出来，并且结果被输出。
也可以采用各种其他方法，例如基于轨迹的时序处理的识别(隐藏马尔可夫模型(HMM)、动态规划(DP)匹配等)和使用粒子滤波器等来应用轨迹跟踪时间的方法。然而，只要是仅基于对象(目标)与相机之间的相对位置关系来识别姿势的方法，任何方法都可以被采用。
实施方式的具体示例
现在，将说明实施方式的具体示例。这里，将说明分别作为第一示例和第二示例的信息查看***的示例和物品信息呈现***的示例。
第一示例：信息查看***
在增强现实中，例如，当通过将相机保持在墙壁上的日历或海报、马路上的广告牌、报纸中的插页、高尔夫练习场的会员卡等的上方来获取信息时，多段信息被呈现。用户想对所呈现的信息执行诸如选择、放大、取消等的操作。通过使用图1所示的信息呈现***300，可以实现这些操作。
在该示例中，假定包含相机(图像拾取单元)的信息终端，例如蜂窝电话。例如，当捕捉目标的图像时，用户能够接收可被选择的多种类型的信息的呈现，如图5的部分(a)所示。然后，如图5的部分(b)所示，当相机被平移(translated)时，被选择和聚焦的位置可以被改变。这时，为了用户操作方便，例如，指示出了表示被选择和聚焦的位置的向导，并且该向导被移动以根据相机位置的移动来表示所选择和聚焦的位置。
然后，如图5的部分(c)所示，当在选择一种类型的信息的同时将相机移动靠近目标时，可以选择该类型的信息，并且呈现第一个选择类型的信息。在该状态下，如图5的部分(d)所示，当移动相机以便在目标上方形成环形时，呈现下一个信息。在该状态下，还可以执行登记信息、编辑登记的信息等。
当将处于选择了某种类型的信息的状态下(如图6的部分(a)所示)的相机移动远离目标(如图6的部分(b)所示)时，可以取消其中选择该某种类型的信息的状态。在该状态下，当移动相机以便在目标上方形成三角形(如图6的部分(c)所示)时，删除了这种类型的信息中登记的信息。
第二示例：物品信息呈现***
将说明作为第二示例的在相机被固定的同时移动目标的示例(与上述第一示例相反)。在增强现实中，当用户将相机保持在目标上方时可以获取信息。例如，如图7所示，用相机捕捉了透明架子的后侧的图像。根据用户将物品放置在架子的哪个部分上来改变要呈现的信息。该***可以毫不费力地实现，因为该***不使用标识芯片等，而只使用相机和监视器。
图8示出了用于将诸如图像、声音和文本之类的内容信息登记在图1所示的信息呈现***300的呈现信息数据库306中的信息登记***400的配置的示例。信息登记***400包括对象识别单元401、对象标识数据库402、姿势识别单元403、姿势标识数据库404、和信息登记单元405。信息登记***400还包括信息输入单元406、呈现单元407、操作输入单元408、和呈现信息数据库306。
对象识别单元401与图1所示的信息呈现***300的对象识别单元301相类似地进行配置。对象识别单元401基于在对象标识数据库402中存储的对象标识数据来执行检测和标识图像数据的对象的处理，并且获得对象信息。这里使用的图像数据可以是通过用图像拾取单元(相机)捕捉图像而获得的图像数据或是在用作存储单元的半导体存储器、或硬盘驱动器中存储的图像数据。在该情况下，在***中使用了公用的对象标识数据库402，从而使得对象不被识别为不同的对象。这里，对象包括人和动物。
由对象识别单元401获取的对象状态包括例如，对象标识信息(对象ID)和关于相机(图像拾取单元)相对于对象的位置信息。相机位置信息是基于例如对象的位置的，并且用作关于对象与相机之间的相对位置的相对位置信息。对象识别单元401基于例如图像中包含的对象的特征点的位置来识别对象。
对象识别单元401还基于对象的特征点的位置来计算例如相机(图像拾取单元)相对于对象的位置。即，对象识别单元401基于对象(目标)如何出现在图像中并且基于在对象标识数据库402中预先登记的识别字典中描述的对象的实际大小来计算相机的位置。对象识别单元401所执行的处理将不在下文详细说明，而在例如本申请人的日本未经审查的专利申请公开No.2008-304268中进行说明。
姿势识别单元403与图1所示的信息呈现***300的姿势识别单元303相类似地进行配置。姿势识别单元403基于在姿势标识数据库404中存储的姿势标识数据来执行检测和标识从对象识别单元401输出的相机位置信息的姿势的处理，并且获得姿势标识信息(姿势ID)。
信息登记单元405将从信息输入单元406输入的内容信息与上述对象标识信息(对象ID)和姿势标识信息(姿势ID)相关联地登记在呈现信息数据库306中。该内容信息可以是例如，诸如图像、声音和文本之类的各种类型的内容信息。信息登记单元405例如根据由用户使用在呈现单元407上显示的图形用户界面(GUI)在操作输入单元408上执行的操作来登记用户所选择的类型的内容信息。
图8所示的信息登记***400也可以是例如图2A所示的客户端装置500A或图2B所示的包括通过网络500C连接的客户端装置500A和服务器装置500B的网络***。在图2B所示的网络***的情况下，形成信息登记***400的单元被以分布方式适当地分配给客户端装置500A和服务器装置500B。例如，对象识别单元401、对象标识数据库402、姿势识别单元403、姿势标识数据库404和呈现信息数据库306可被分配给服务器装置500B。
现在，将参照图9所示的流程图来说明由图8所示的信息登记***400执行信息登记的处理的示例。在步骤ST41中，信息登记***400开始该处理。然后，信息登记***400进行到步骤ST42的处理。在步骤ST42中，对象识别单元401执行检测和标识输入图像数据的对象的处理，并且获得对象标识信息。在该处理中，例如，用户使用被附着到客户端装置500A的图像拾取单元(相机)来捕捉特定对象的图像，并且获得输入图像数据。可替代地，例如，用户选择在客户端装置500A的存储单元中存储的图像数据并且获得输入图像数据。信息登记***400在步骤ST43中确定对象是否已经被标识。当在步骤ST43中对象已经被标识时，该处理进行到步骤ST44。
在步骤ST44中，信息登记***400确定用于信息登记的输入是否已经被执行。当姿势识别单元403标识出姿势或者操作输入单元408的登记按钮被按压时，信息登记***400确定用于信息登记的输入已经被执行。当用于信息登记的输入已经被执行时，信息登记***400进行到步骤ST45。
在步骤ST45中，信息登记***400基于对象标识信息(对象ID)和姿势标识信息(姿势ID)将信息登记GUI呈现在呈现单元407上。即，对象标识信息、姿势标识信息和可被输入的一种类型的内容信息被呈现在呈现单元407上。例如，当图像、声音和文本中的任一个可被输入时，指示图像、声音和文本中的任一个可被输入的消息被显示在呈现单元407上。
在步骤ST46中，信息登记***400确定所呈现的类型的内容信息是否已经被输入。用户能够从信息输入单元406输入希望的内容信息。当内容信息被输入时，在步骤ST47中，信息登记单元405将输入细节与对象标识信息和姿势标识信息相关联地登记在呈现信息数据库306中。
如上所述，在图1所示的信息呈现***300中，信息的呈现是基于对象标识信息和相对位置信息(姿势标识信息)来控制的。因此，与对象和姿势相关联的信息可以从呈现信息数据库306拿取和呈现。而且，用户所希望的信息可以在无触点或按钮操作的情况下被呈现。例如，在用相机(图像拾取单元)捕捉目标的图像时，用户能够只通过移动相机或移动目标就来执行操作。因此，可以针对单个对象(目标)呈现多个信息。
2.第二实施例
信息登记***
图10示出了根据本技术的第二实施例的信息登记***100的配置的示例。信息登记***100包括对象识别单元101、对象标识数据库102、用户识别单元103、用户标识数据库104、和登记环境检测单元105。信息登记***100还包括信息登记单元106、信息输入单元107、呈现单元108、操作输入单元109、和登记信息数据库110。
对象识别单元101基于在对象标识数据库102中存储的对象标识数据来执行检测和标识图像数据的对象的处理，并且获得对象信息。这里使用的图像数据可以是在用作存储单元的半导体存储器、硬盘驱动器等中存储的图像数据或是通过用图像拾取单元(相机)捕捉图像而获得的图像数据。在该情况下，在***中使用了公用的对象标识数据库102，从而使得对象不被识别为不同的对象。这里，对象包括人和动物。
由对象识别单元101获得的对象状态包含例如对象标识信息(对象ID)和作为对象的元信息的关于对象的位置和姿态的信息。利用同时定位与地图创建(SLAM)技术、图像跟踪技术、由陀螺仪传感器获得的值等，可以校正上述信息，并且可以在检测到对象之后以未检测状态执行信息预测。例如，对象识别单元101基于图像中包含的对象的特征点的位置来识别对象。而且，对象识别单元101基于对象的特征点的位置来计算世界坐标系中的对象的位置和姿态。该位置信息包括关于对象与图像拾取单元(相机)之间的相对位置的相对位置信息。对象识别单元101所执行的处理将不在下文详细说明，而在例如日本未经审查的专利申请公开No.2008-304268中进行说明。
用户识别单元103基于在用户标识数据库104中存储的用户标识数据来执行检测和标识用户的处理，并且获得用户标识信息。检测和标识用户的处理可以是基于诸如人脸识别或指纹识别之类的图像识别执行的或者是基于由用户手动键入的用户ID和密码执行的。即，检测和标识用户的处理可以是用户认证的一般处理。在该情况下，在***中使用了公用的对象标识数据库104，从而使得用户(人)不被识别为不同的用户。
登记环境检测单元105从信息登记终端、互联网等(未示出)检测登记时的环境信息。环境信息包括例如，由位置信息获取单元获取的信息(纬度和经度、海拔、速度、运动方向等)、由时钟单元获取的时间信息、从互联网获取的天气信息等。在该情况下，在***中使用了公用的用于调节时间和计算纬度和经度的方法，从而使得环境不被识别为不同的环境。待登记的环境信息可以包括关于可以查看信息的用户的用户信息。
位置信息获取单元使用全球定位***(GPS)或无线保真(WiFi)测量或使用便携基站的测量来获取信息(纬度和经度、海拔、速度、运动方向等)。
环境信息还可以包括部分或全部以下信息：例如(1)温度、大气压和湿度，(2)方向和加速度，(3)接近性，(4)照度，(5)噪音，(6)照度，(7)噪音，(8)日期，(9)姿态(六个轴线)，和(10)文本。而且，环境信息可以包括例如(11)用户的生命数据(肤色、体温、身体质量指数(BMI)、血压、心率、脂肪质量、基础代谢、指纹、声纹等)，(12)用户的操作(可由传感器自动检测或根据用户手动操作获取的通勤、打高尔夫、用餐、打扫等)，(13)声音(可由传感器自动检测或通过用户的记录来获取)，和(14)信息查看历史。
信息登记单元106将从信息输入单元107输入的内容信息与对象信息、用户标识信息以及上述登记环境信息相关联地登记在登记信息数据库110中。该内容信息是例如，诸如图像、声音和文本之类的各种类型的内容信息。信息登记单元106根据由用户使用在呈现单元108上显示的GUI利用操作输入单元109执行的操作来登记用户所选择的类型的内容信息。
在该情况下，用户可以选择将与待登记的内容信息相联系的类型的环境信息。例如，在由登记环境检测单元105获取位置信息、时间信息和天气信息的情况下，只有位置信息和时间信息可以被选择作为将与待登记的内容信息相联系的环境信息。
图10所示的信息登记***100也可以是例如，图2A所示的客户端装置500A或图2B所示的包括通过网络500C连接的客户端装置500A和服务器装置500B的网络***。在图2B所示的网络***的情况下，形成信息登记***100的单元被以分布方式适当地分配给客户端装置500A和服务器装置500B。例如，对象识别单元101、对象标识数据库102、用户识别单元103、用户标识数据库104、登记环境检测单元105的一部分、以及登记信息数据库110可被分配给服务器装置500B。
现在，将参照图11所示的流程图来说明由图10所示的信息登记***100执行信息登记的处理的示例。在步骤ST1中，信息登记***100开始该处理。然后，信息登记***100进行到步骤ST2的处理。在步骤ST2中，用户识别单元103基于输入的用户信息(人脸图像、指纹图像、关于用户的账号和密码的手动输入信息等)来执行检测和标识用户的处理并获得用户标识信息。
在步骤ST3中，对象识别单元101执行检测和标识输入图像数据的对象的处理，并且获得对象信息。在该处理中，例如，用户使用被附着到客户端装置500A的图像拾取单元(相机)来捕捉特定对象的图像，并且获得输入图像数据。可替代地，例如，用户选择在客户端装置500A的存储单元中存储的图像数据并且获得输入图像数据。
在步骤ST4中，呈现单元108呈现其信息可以被登记的、在步骤ST3中标识的目标(对象)。在步骤ST5中，信息登记***100确定用户是否已执行步骤ST4中呈现的选择目标的操作。用户能够通过操作操作输入单元109来执行选择操作。
当用户已执行选择操作时，信息登记***100进行到步骤ST6。在步骤ST6中，呈现单元108呈现可被输入的类型的内容信息。例如，在图像、声音和文本中的任一个可被输入的情况下，呈现单元108呈现指示图像、声音和文本中的任一个可被输入的消息。在步骤ST7中，信息登记***100确定所呈现的类型的内容信息是否已经被输入。用户能够使用信息输入单元107来输入希望的内容信息。
当内容信息被输入时，呈现单元108在步骤ST8中呈现由登记环境检测单元105检测的登记环境。在步骤ST9中，信息登记***100确定用户是否已执行选择所呈现的环境的操作。用户能够通过操作操作输入单元109来执行选择操作。
当用户已执行选择操作时，信息登记***100进行到步骤ST10的处理。在步骤ST10中，信息登记单元106针对在步骤ST5中选择的目标(对象)登记在步骤ST7中输入的内容信息。即，信息登记单元106将内容信息与目标(对象)相关联地登记在登记信息数据库110中。在该处理中，内容信息还与用户标识信息和在步骤ST9中选择的登记环境信息相关联。在步骤ST10的处理之后，信息登记***100在步骤ST11中终止该处理。
如上所述，在图10所示的信息登记***100中，目标内容信息被与对象信息相关联地登记在登记信息数据库110中。因此，用户能够在不考虑适当的搜索关键字的情况下登记内容信息，因此改进了用户友好性。即，用户能够仅通过执行捕捉特定对象的图像的操作或执行选择在存储单元中存储的并且通过捕捉特定对象的图像而获得的图像数据的操作来登记内容信息。
而且，在图10所示的信息登记***100中，目标内容信息被与用户标识信息以及对象信息相关联地登记在登记信息数据库110中。因此，很容易从登记信息数据库110拿取与用户标识信息及对象信息相关联的希望的内容信息。即，可以拿取适合用户的内容信息。
而且，在图10所示的信息登记***100中，目标内容信息被与登记环境信息以及对象信息相关联地登记在登记信息数据库110中。因此，基于登记环境信息，可以优先呈现适于查看环境的内容信息。
3.第三实施例
信息呈现***
图12示出了根据本技术的第三实施例的信息呈现***200的配置的示例。信息呈现***200包括对象识别单元201、对象标识数据库202、用户识别单元203、用户标识数据库204、和查看环境检测单元205。信息呈现***200还包括用户状态检测单元206、信息呈现单元207、登记信息数据库208、互联网209、和操作输入单元210。
对象识别单元201基于在对象标识数据库202中存储的对象标识数据来执行检测和标识图像数据的对象的处理，并且获得对象信息。这里使用的图像数据可以是在用作存储单元的半导体存储器、硬盘驱动器等中存储的图像数据或是通过用图像拾取单元(相机)捕捉图像而获得的图像数据。在该情况下，在***中使用了公用的对象标识数据库202，从而使得对象不被识别为不同的对象。这里，对象包括人和动物。
由对象识别单元201获得的对象状态包含例如，对象标识信息(对象ID)、和作为对象的元信息的关于对象的位置和姿态的信息。利用SLAM技术、图像跟踪技术、由陀螺仪传感器获得的值等，可以校正上述信息，并且可以在检测到对象之后以未检测状态执行信息预测。例如，对象识别单元201基于图像中包含的对象的特征点的位置来识别对象。而且，对象识别单元201基于对象的特征点的位置来计算世界坐标系中的对象的位置和姿态。该位置信息包括关于对象与图像拾取单元(相机)之间的相对位置的相对位置信息。对象识别单元201所执行的处理将不在下文详细说明，而在例如日本未经审查的专利申请公开No.2008-304268中进行说明。
用户识别单元203基于在用户标识数据库204中存储的用户标识数据来执行检测和标识用户的处理，并且获得用户标识信息。检测和标识用户的处理可以是基于诸如人脸识别或指纹识别之类的图像识别执行的或者是基于由用户手动键入的用户ID和密码执行的。即，检测和标识用户的处理可以是用户认证的一般处理。在该情况下，在***中使用公用的对象标识数据库204，从而使得将用户(人)不被识别为不同的用户。
查看环境检测单元205从信息登记终端、互联网等(未示出)检测查看时的环境信息。环境信息包括例如，由位置信息获取单元获取的信息(纬度和经度、海拔、速度、运动方向等)、由时钟单元获取的时间信息、从互联网获取的天气信息等。在该情况下，在***中使用公用的用于调节时间和计算纬度和经度的方法，从而使得不会将环境识别为不同的环境。
位置信息获取单元使用GPS或WiFi测量或使用便携基站的测量来获取信息(纬度和经度、海拔、速度、运动方向等)。
环境信息还可以包括部分或全部以下信息：例如(1)温度、大气压和湿度，(2)方向和加速度，(3)接近性，(4)照度，(5)噪音，(6)照度，(7)噪音，(8)日期，(9)姿态(六个轴线)，和(10)文本。而且，环境信息可以包括例如，(11)用户的生命数据(肤色、体温、BMI、血压、心率、脂肪质量、基础代谢、指纹、声纹等)，(12)用户的操作(可由传感器自动检测或根据用户的手动操作来获取的通勤、打高尔夫、用餐、打扫等)，(13)声音(可由传感器自动检测或通过用户的记录来获取)，和(14)信息查看历史。
用户状态检测单元206基于对象标识信息、用户标识信息、查看环境信息等来生成信息搜索查询。例如，生成信息搜索查询，以便按基于查看环境信息(时间信息、位置信息等)的顺序来呈现与对象信息中包含的对象标识信息和用户标识信息相关联的内容信息。
信息呈现单元207基于由用户状态检测单元206生成的信息搜索查询从登记信息数据库208获取内容信息。信息呈现单元207还从互联网209获取相关联的信息并呈现所获取的信息。在该情况下，当获取多个信息时，待呈现的信息根据信息的优先级被自动切换或通过用户使用操作输入单元210执行的切换操作来切换。在该情况下，例如，操作输入单元210可以包括触觉传感器或加速度传感器。相关联的信息可以不是从互联网209获取的。
图12所示的信息呈现***200也可以是例如，图2A所示的客户端装置500A或图2B所示的包括通过网络500C连接的客户端装置500A和服务器装置500B的网络***。在图2B所示的网络***的情况下，形成信息呈现***200的单元被适当地以分布方式分配给客户端装置500A和服务器装置500B。例如，对象识别单元201、对象标识数据库202、用户识别单元203、用户标识数据库204、查看环境检测单元205的一部分、和登记信息数据库208可被分配给服务器装置500B。
现在，将参照图13所示的流程图来说明由图12所示的信息呈现***200执行信息呈现的处理的示例。在步骤ST21中，信息呈现***200例如在电源被接通时开始该处理。然后，信息呈现***200进行到步骤ST22的处理。在步骤ST22中，用户识别单元203基于输入的用户信息(人脸图像、指纹图像、关于用户的账号和密码的手动输入信息)来执行检测和标识用户的处理并获得用户标识信息。
在步骤ST23中，查看环境检测单元205从信息登记终端、互联网等(未示出)检测查看时的环境信息，例如位置信息(纬度和经度信息)、时间信息等。然后，信息呈现***200进行到步骤ST24。
在步骤ST24中，对象识别单元201执行检测和标识输入图像数据的对象的处理，并且获得对象信息。在该处理中，例如，用户使用被附着到客户端装置500A的图像拾取单元(相机)来捕捉特定对象的图像，并且获得输入图像数据。可替代地，例如，用户选择在客户端装置500A的存储单元中存储的图像数据并且获得输入图像数据。
在步骤ST25中，信息呈现***200确定对象是否已经被标识。当对象已经被标识时，用户状态检测单元206在步骤ST26中基于对象标识信息、用户标识信息、查看环境信息等来生成信息搜索查询。例如，生成信息搜索查询，以便根据基于查看环境信息(时间信息、位置信息等)的顺序来呈现与对象信息中包含的对象标识信息和用户标识信息相关联的内容信息。
在步骤ST27中，信息呈现单元207基于在步骤ST26中生成的信息搜索查询从登记信息数据库208和互联网209获取信息，并呈现所获取的信息。在该情况下，与对象标识信息和用户标识信息相关联地登记的内容信息是从登记信息数据库208获取的。这里，例如，即使用户标识信息与信息搜索查询不匹配，当用户标识信息在关于能够查看登记时的环境信息中所包含的信息的用户的用户信息的允许范围(例如，亲属、朋友等)之内时，相应的内容信息也被获取。而且，在该情况下，相关联的信息是从互联网209获取的。
在步骤ST28中，信息呈现***200确定切换操作是否已经被执行。切换操作是例如根据用户使用操作输入单元210执行的切换操作而执行的或者是在经过某一时间段之后自动执行的。当切换操作已经被执行时，信息呈现单元207从登记信息数据库208和互联网209获取呈现顺序中的下一个位置的信息并呈现在步骤ST27中所获取的信息。当只有一个信息将被呈现时，该信息继续被呈现。当在多个待呈现的信息的呈现顺序中的最后位置的信息正被呈现的同时执行切换操作时，到呈现该呈现顺序中的第一位置的信息的切换被执行。
当切换操作未在步骤ST28中被执行时，信息呈现***200在步骤ST29中确定对象被标识的对象标识状态(在步骤ST25中进入的状态)是否被保持。当对象标识状态被保持时，信息呈现***200返回步骤ST28的处理。当对象标识状态没有被保持时，信息呈现***200返回步骤ST24的处理并重复与上述处理类似的处理。
例如，当用户取消一个对象的图像正被捕捉的状态并且***进入一个不同的对象的图像正被捕捉的状态时，对象标识状态被中断。因此，该处理返回到步骤ST24的处理。当对象标识状态没有被保持时，在用户执行明确的操作之前，该处理可以不返回到步骤ST24的处理。信息呈现***200例如在电源被断开时终止该处理。
具体示例
现在将说明具体示例。这里，访问目的地时的信息查看的示例、信誉查看***的示例、公告牌***的示例将分别作为第一示例、第二示例和第三示例进行说明。
第一示例：访问目的地时的信息查看
当访问目的地时，用户想快速获取希望的信息。在这样的情形下，使用图10所示的信息登记***100和图12所示的信息呈现***200实现了这样的***：其中可以针对用户访问某处时所携带的对象(物品)执行“信息的附加”和“信息的拿取”。
在该示例中，假定了能够访问互联网并且包含相机(图像拾取单元)的信息终端(诸如，蜂窝电话)。在用户将信息终端保持在目标上方并捕捉对象的图像(如图14的部分(a)所示)之后，关于访问的信息被登记(如图14的部分(b)所示)。然后，当用户将信息终端保持在目标上方(如图15的部分(a)所示)时，信息被呈现(如图15的部分(b)至(d)所示)。
这时，基于由对象识别单元201和用户识别单元203获得的标识结果对登记信息数据库208执行信息搜索。而且，不仅显示了登记的信息，而且还从互联网获取并呈现了将用于访问的信息。根据通过触觉传感器或加速度传感器进行的用户操作或在经过了某一时间段之后，切换待呈现的信息。
此外，基于由用户状态检测单元206执行的信息排序来控制呈现的顺序。例如，基于使用以下的方程(1)针对每个信息计算的优先级来进行排序：
V＝a0·D0(t)+a1·D1(x，y)(1)，
其中D0(t)表示到计划时间的时间，D1(x，y)表示到目的地的距离，并且a0和a1各自表示系数。
在方程(1)中，基于呈现信息时的查看环境对“到计划时间的时间”和“到目的地的距离”进行标准化，并且计算优先级V。在图15所示的显示示例中，基于优先级V，“计划表”、“运动信息”和“天气信息”被以此顺序进行显示。这里，信息可被附加到各种对象(物品)上，诸如去高尔夫练习场时使用的高尔夫会员卡、看医生时使用的病人登记卡、去上班时使用的员工身份卡等。
第二示例：信誉查看***
当考虑是否购买糖果、玩具等时，用户希望容易地登记和查看目标的信誉。在这样的情形下，使用图10所示的信息登记***100和图12所示的信息呈现***200实现了这样的***：其中可以针对目标执行“信息的附加”和“信息的拿取”。
在该示例中，假定了能够访问互联网并且包含相机(图像拾取单元)的信息终端(诸如，蜂窝电话)。基本上，实现了与在第一示例中使用的***相同的***。在第二示例中使用的***与在第一示例中使用的***的不同之处在于用户状态检测单元206的行为。在第一示例中，用户标识结果只有在执行信息搜索时才被使用。然而，在第二示例中，用户标识结果被用于计算优先级V，如以下方程(2)所示：
V＝a0·D0(t)+a1·D1(x，y)+a2·D2(n)(2)，
其中“D0(t)”表示到信息登记时间的时间，“D1(x，y)”表示到信息登记地点的距离，“D2(n)”表示登记信息的用户之间的距离，并且“a0”、“a1”和“a2”各自表示一个系数。
例如，诸如年龄、性别、年收入、BMI等的值的差的加权和被标准化。因此，用户仅通过将信息终端保持在目标的上方就能根据重要性容易地查看各种人所登记的信息。该示例不仅可被应用于购买糖果，还可以被应用于执行选择任何物品的各种情况。而且，第二示例还被应用于物品卖方等登记活动信息等的情况。在推特(Twitter)等的情况下，基于人们之间的关系，例如跟随者(follower)的时间线显示等是可用的。然而，在该示例中，信息是基于对象来呈现的。
第三示例：公告牌***
在一大群人聚会的情形下，用户想在特定地方留言。站内留言板具有如下缺点：例如，公众看到消息，留言板只在有限的地方可用，并且用户难以将该用户相关的信息与很多人所提供的大量信息区分开。在这样的情形下，使用图10所示的信息登记***100和图12所示的信息呈现***200实现了能够克服上述缺点并且可被安装在希望的地方的公告牌***。
该公告牌***可从标准网络浏览器进行访问。在登入之后，用户在***中选择预先登记的标志(该标志与该标志所处的位置一起被呈现)，并且将目标信息与该标志的相对位置和旋转信息一起选择和登记。这时，还可以设置查看信息的限制。
对于查看的限制，可以执行设置，从而使得只有在标志的前面执行形成三角形的姿势时才能查看所登记的信息。因此，可以使用姿势对由用户或第三方登记的对于该标志的大量信息执行信息过滤。
利用该***，例如，由于信息可以是在用户待在用户家中时进行登记的，因此用户可以如下方式使用该***：用户选择涩谷站(ShibuyaStation)前面的忠犬八公(Hachi-Ko)作为酒会的聚会地点，并将举办酒会的地点和该地点的地图登记在写有文字“忠犬八公”的铜牌的略右方的空间中作为信息。
该公告栏***可以是从包含相机(图像拾取单元)的信息终端(诸如蜂窝电话)访问的。即，通过捕捉预先登记在该***中的标志的图像，用户能够查看对该标志登记的信息。这时，适合用户的当前状态的信息被优先从与用户的状态相关联的登记的各种类型的信息中呈现出来。而且，通过在所呈现的信息的标志的前面执行形成诸如三角形或五角星形的具体形状的姿势，可以执行信息的切换、过滤等。
因此，例如，在用户在家中时针对忠犬八公前面的铜牌登记信息的情况下，通过实际访问该网站、用相机捕捉铜牌的图像并执行形成三角形的姿势，用户就能够查看信息。在该情况下，当用户知道用户应在标志前面执行哪个姿势时，用户就能够查看信息。因此，应该参加聚会的人们如果预先知道该标志和姿势，就能够获取信息。如果一个人不知道该标志和姿势，这个人就难以获取信息。因此，可以容易地实现使得只有希望的人才能查看信息的功能。
此外，在该公告牌***中，可以使用便携终端来登记信息。即，在捕捉被预先登记在***中的标志的图像之后，通过调用信息登记GUI或在信息登记GUI上执行操作，用户就能够登记信息。因此，例如，在登记上述聚会地点的信息的情况下，用户能够将指示该用户已经到达聚会地点并且该用户正首先前往酒会场所的信息登记在写有文字“忠犬八公”的铜牌的右下方等作为注释。
图16所示的信息呈现***200A包括姿势识别单元211，以支持上述第三示例。在图16中，与图12的部分相对应的部分被用相同的参考符号表示，并且将省略这些部分的说明。
姿势识别单元211基于在姿势标识数据库212中存储的姿势标识数据来执行检测和标识从对象识别单元201输出的对象的位置信息的姿势的处理，并且获得姿势标识信息。这里，对象位置信息包括关于对象与相机(图像拾取单元)之间的相对位置的相对位置信息。
信息呈现单元207基于来自用户状态检测单元206的信息搜索查询和姿势标识信息从登记信息数据库208和互联网209获取信息，并呈现所获取的信息。虽然未进行详细说明，但信息呈现***200A的其他部分与图12所示的信息呈现***200的各部分类似地进行配置。
在以上提供的说明中，诸如图像、声音、和文本之类的内容信息被与对象标识信息相关联地登记在登记信息数据库208中。信息呈现单元207从登记信息数据库208获取与对象标识信息相关联的内容信息，并显示所获取的内容信息。
然而，例如，用户可能想要将内容信息与对象的位置(x，y，z)和旋转(翻转(roll)、倾斜(pitch)和偏转(yaw))以及对象标识信息相关联地登记在登记信息数据库208中。利用图10所示的信息登记***100，可以登记这样的信息。图17示出了针对远离对象所处位置的位置(x1，y1，z1)登记了消息信息。
在该情况下，在信息呈现***200(例如，便携终端)中，当图像拾取位置被从图18的部分(a)所示的位置移动到图18的部分(b)所示的位置时，对象被移出了相机的框架，如图18的部分(c)至(d)所示。通过该操作，如上所述，可以从登记信息数据库208获取与位置(x1，y1，z1)相关联的消息信息。因此，如图18的部分(d)所示，可以显示隐藏的消息信息。
如上所述，在图12所示的信息呈现***200中，从登记信息数据库208获取与对象信息(对象标识信息)相关联的内容信息，并且呈现所获取的内容信息。因此，用户能够在不执行复杂的操作的情况下查看内容信息，因此改进了用户友好性。即，能向用户呈现希望的内容信息，并且仅通过执行捕捉特定对象的图像的操作或选择通过捕捉特定对象的图像而获得并且被存储在存储单元中的图像数据，用户就能够查看所呈现的信息。
而且，在图12所示的信息呈现***200中，可以从登记信息数据库208获取与对象信息和用户标识信息相关联的内容信息。即，可以获取与用户标识信息及对象信息相关联的内容信息。即，可以拿取适于用户的内容信息。
而且，在图12所示的信息呈现***200中，可以基于查看环境信息(位置信息、时间信息等)来确定所获取的特定数目的内容信息将被呈现的顺序。即，在呈现内容信息的情况下，可以优先呈现适合查看环境的内容信息。
4.修改
在上述实施例中，单独的数据库被分开布置。然而，数据库可以包括多种类型的数据库。而且，在上述实施例中，在网络***包括单独的装置的情况下，单独的单元被以分布的方式适当地分配给客户端装置500A和服务器装置500B。
然而，客户端装置500A可以包括所有功能单元，并且服务器装置500B可以适当的方式包括识别单元和数据库。在该情况下，当通信令人满意时，服务器装置500B能够有效执行识别处理。即使当通信不令人满意时，所有处理也可以仅由客户端装置500A执行，因此不引起信息呈现的问题。
而且，在上述实施例中，对象识别是以光学方式(使用相机等)执行的。然而，对象识别不一定是以光学方式(使用相机等)执行的。例如，可以使用任何单元，诸如无线装置(
Figure BDA00002369581800241
等)、或距离测量装置(超声波、激光)和具有标识功能的传感器的组合，只要该单元能够标识对象并获取相对位置即可。
本技术可以采用以下配置：
(1)一种信息呈现装置，包括：对象信息获取单元，所述对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及信息呈现控制单元，所述信息呈现控制单元基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
(2)如(1)所述的信息呈现装置，其中所述信息呈现控制单元获取通过执行检测和标识相对位置信息的姿势的处理而获得的姿势标识信息，并且基于所述对象标识信息和所述姿势标识信息来控制信息的呈现。
(3)如(2)所述的信息呈现装置，其中所述信息呈现控制单元呈现与所述对象标识信息和所述姿势标识信息相关联的信息。
(4)如(2)或(3)所述的信息呈现装置，其中所述姿势标识信息包括代表确定性程度的确定性信息，并且其中当所述确定性信息所代表的确定性程度小于或等于特定值时，所述信息呈现控制单元呈现与所述对象标识信息相关联的信息。
(5)如(1)至(4)中任一项所述的信息呈现装置，其中所述信息呈现控制单元获取待呈现的特定数目的类型的信息，根据所述相对位置信息所代表的第一操作来选择所述特定数目的类型的信息中的一种类型的信息，并且根据所述相对位置信息所代表的第二操作来选择所选择的类型的信息中的至少一个信息。
(6)如(5)所述的信息呈现装置，其中第一操作是用于将所述对象与所述相机之间的相对位置设置为落入特定范围之内的操作。
(7)如(5)或(6)所述的信息呈现装置，其中第二操作是用于改变所述对象与所述相机之间的相对位置以形成特定图形的操作。
(8)如(1)至(7)中任一项所述的信息呈现装置，进一步包括获取所述图像数据的图像拾取单元。
(9)一种信息呈现方法，包括：获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；并且基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
(10)一种用于使计算机充当以下部件的程序：对象信息获取部件，用于获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；和信息呈现控制部件，用于基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
(11)一种信息呈现***，包括：图像数据获取单元，所述图像数据获取单元获取图像数据；对象识别单元，所述对象识别单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及信息呈现控制单元，所述信息呈现控制单元基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
(12)一种信息登记装置，包括：对象信息获取单元，所述对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及内容信息登记单元，所述内容信息登记单元将目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在数据库中。
(13)如(12)所述的信息登记装置，其中所述内容信息登记单元获取通过执行检测和标识相对位置信息的姿势的处理而获得的姿势标识信息，并且将目标内容信息与所述对象标识信息和所述姿势标识信息相关联地登记在数据库中。
(14)一种信息登记方法，包括：获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；并且将目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在数据库中。
(15)一种用于使计算机充当以下部件的程序：对象信息获取部件，用于获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；和内容信息登记部件，用于将目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在数据库中。
(16)一种信息登记***，包括：图像数据获取单元，所述图像数据获取单元获取图像数据；对象识别单元，所述对象识别单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；数据库；内容信息输入单元，所述内容信息输入单元将目标内容信息输入到所述数据库；以及内容信息登记单元，所述内容信息登记单元将所述目标内容数据与所述对象标识信息和所述相对位置信息相关联地登记在所述数据库中。
本公开包含与2011年11月14日提交日本专利局的日本优先权专利申请JP 2011-249180中的公开内容相关的主题，该申请的全部内容通过引用结合在此。
本领域的技术人员应理解的是，只要是在所附权利要求书或其等效内容的范围内，就可以根据设计要求和其他因素作出各种修改、组合、子组合和改变。

Claims (16)

1.一种信息呈现装置，包括：
对象信息获取单元，所述对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及
信息呈现控制单元，所述信息呈现控制单元基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
2.根据权利要求1所述的信息呈现装置，其中所述信息呈现控制单元获取通过执行检测和标识所述相对位置信息的姿势的处理而获得的姿势标识信息，并且基于所述对象标识信息和所述姿势标识信息来控制信息的呈现。
3.根据权利要求2所述的信息呈现装置，其中所述信息呈现控制单元呈现与所述对象标识信息和所述姿势标识信息相关联的信息。
4.根据权利要求2所述的信息呈现装置，其中
所述姿势标识信息包括代表确定性程度的确定性信息，并且
当所述确定性信息所代表的确定性程度小于或等于特定值时，所述信息呈现控制单元呈现与所述对象标识信息相关联的信息。
5.根据权利要求1所述的信息呈现装置，其中
所述信息呈现控制单元获取待呈现的特定数目的类型的信息，根据所述相对位置信息所代表的第一操作来选择所述特定数目的类型的信息中的一种类型的信息，并且根据所述相对位置信息所代表的第二操作来选择所选择的类型的信息中的至少一个信息。
6.根据权利要求5所述的信息呈现装置，其中所述第一操作是用于将所述对象与所述相机之间的相对位置设置为落入特定范围内的操作。
7.根据权利要求5所述的信息呈现装置，其中所述第二操作是用于改变所述对象与所述相机之间的相对位置以形成特定图形的操作。
8.根据权利要求1所述的信息呈现装置，进一步包括获取所述图像数据的图像拾取单元。
9.一种信息呈现方法，包括：
获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及
基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
10.一种用于使计算机充当以下部件的程序：
对象信息获取部件，用于获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；和
信息呈现控制部件，用于基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
11.一种信息呈现***，包括：
图像数据获取单元，所述图像数据获取单元获取图像数据；
对象识别单元，所述对象识别单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识所述图像数据的对象的处理来获得的；以及
信息呈现控制单元，所述信息呈现控制单元基于所述对象标识信息和所述相对位置信息来控制信息的呈现。
12.一种信息登记装置，包括：
对象信息获取单元，所述对象信息获取单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及
内容信息登记单元，所述内容信息登记单元将目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在数据库中。
13.根据权利要求12所述的信息登记装置，其中所述内容信息登记单元获取通过执行检测和标识所述相对位置信息的姿势的处理而获得的姿势标识信息，并且将目标内容信息与所述对象标识信息和所述姿势标识信息相关联地登记在所述数据库中。
14.一种信息登记方法，包括：
获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及
将目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在数据库中。
15.一种使计算机充当以下部件的程序：
对象信息获取部件，用于获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识图像数据的对象的处理来获得的；以及
内容信息登记部件，用于将目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在数据库中。
16.一种信息登记***，包括：
图像数据获取单元，所述图像数据获取单元获取图像数据；
对象识别单元，所述对象识别单元获取对象标识信息和关于对象与相机之间的相对位置的相对位置信息，所述对象标识信息和所述相对位置信息是通过执行检测和标识所述图像数据的对象的处理来获得的；
数据库；
内容信息输入单元，所述内容信息输入单元将目标内容信息输入到所述数据库；以及
内容信息登记单元，所述内容信息登记单元将所述目标内容信息与所述对象标识信息和所述相对位置信息相关联地登记在所述数据库中。
CN201210441744.8A 2011-11-14 2012-11-07 信息呈现装置、方法和***、信息登记装置、方法和*** Pending CN103106235A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011249180A JP2013105346A (ja) 2011-11-14 2011-11-14 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム
JP2011-249180 2011-11-14

Publications (1)

Publication Number Publication Date
CN103106235A true CN103106235A (zh) 2013-05-15

Family

ID=48280681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210441744.8A Pending CN103106235A (zh) 2011-11-14 2012-11-07 信息呈现装置、方法和***、信息登记装置、方法和***

Country Status (3)

Country Link
US (1) US8948451B2 (zh)
JP (1) JP2013105346A (zh)
CN (1) CN103106235A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095075A (zh) * 2016-05-31 2016-11-09 深圳市元征科技股份有限公司 一种信息处理方法及增强现实设备
CN106130981A (zh) * 2016-06-28 2016-11-16 努比亚技术有限公司 增强现实设备的数字标签自定义装置及方法
CN108234934A (zh) * 2016-12-15 2018-06-29 韩华泰科株式会社 相机登记设备和方法
US10499002B2 (en) 2014-08-01 2019-12-03 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5863423B2 (ja) * 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9430877B2 (en) * 2013-01-25 2016-08-30 Wilus Institute Of Standards And Technology Inc. Electronic device and method for selecting augmented content using the same
JP6155893B2 (ja) * 2013-06-20 2017-07-05 カシオ計算機株式会社 画像処理装置、及びプログラム
JP6029616B2 (ja) * 2014-05-26 2016-11-24 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
CN105320931B (zh) 2014-05-26 2019-09-20 京瓷办公信息***株式会社 物品信息提供装置和物品信息提供***
JP6369604B2 (ja) * 2017-06-07 2018-08-08 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN115167677A (zh) 2017-09-29 2022-10-11 苹果公司 计算机生成的现实平台

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0807352A1 (en) * 1995-01-31 1997-11-19 Transcenic, Inc Spatial referenced photography
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US20100045816A1 (en) * 1999-05-19 2010-02-25 Rhoads Geoffrey B User Feedback in Connection with Object Recognition
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US6771808B1 (en) * 2000-12-15 2004-08-03 Cognex Corporation System and method for registering patterns transformed in six degrees of freedom using machine vision
US20020126090A1 (en) * 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
JP3893983B2 (ja) * 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
US20030164819A1 (en) * 2002-03-04 2003-09-04 Alex Waibel Portable object identification and translation system
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
ES2325374T3 (es) * 2005-05-03 2009-09-02 Seac02 S.R.L. Sistema de realidad aumentada con identificacion de objeto marcador real.
US7946921B2 (en) * 2005-05-23 2011-05-24 Microsoft Corproation Camera based orientation for mobile devices
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8903430B2 (en) * 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
WO2010042953A1 (en) * 2008-10-10 2010-04-15 Gesturetek, Inc. Single camera tracker
US8379987B2 (en) * 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
WO2010081190A1 (en) * 2009-01-15 2010-07-22 Honeywell International Inc. Systems and methods for presenting video data
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5814532B2 (ja) * 2010-09-24 2015-11-17 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499002B2 (en) 2014-08-01 2019-12-03 Sony Corporation Information processing apparatus and information processing method
CN106095075A (zh) * 2016-05-31 2016-11-09 深圳市元征科技股份有限公司 一种信息处理方法及增强现实设备
WO2017206452A1 (zh) * 2016-05-31 2017-12-07 深圳市元征科技股份有限公司 一种信息处理方法及增强现实设备
CN106095075B (zh) * 2016-05-31 2019-12-10 深圳市元征科技股份有限公司 一种信息处理方法及增强现实设备
CN106130981A (zh) * 2016-06-28 2016-11-16 努比亚技术有限公司 增强现实设备的数字标签自定义装置及方法
CN108234934A (zh) * 2016-12-15 2018-06-29 韩华泰科株式会社 相机登记设备和方法

Also Published As

Publication number Publication date
US20130121528A1 (en) 2013-05-16
US8948451B2 (en) 2015-02-03
JP2013105346A (ja) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103106235A (zh) 信息呈现装置、方法和***、信息登记装置、方法和***
CN103106236A (zh) 信息登记装置、方法、***及信息呈现装置、方法和***
US10839605B2 (en) Sharing links in an augmented reality environment
US9269011B1 (en) Graphical refinement for points of interest
US8943420B2 (en) Augmenting a field of view
Tesoriero et al. Using active and passive RFID technology to support indoor location-aware systems
US20100226535A1 (en) Augmenting a field of view in connection with vision-tracking
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN109643158A (zh) 使用多模态信号分析进行命令处理
US9418482B1 (en) Discovering visited travel destinations from a set of digital images
CN109189879B (zh) 电子书籍显示方法及装置
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
KR101623041B1 (ko) 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US20140079281A1 (en) Augmented reality creation and consumption
US20140078174A1 (en) Augmented reality creation and consumption
CN109819400B (zh) 用户位置的查找方法、装置、设备及介质
CN108351884A (zh) 用于用户相关活动的语义位置层
US11289084B2 (en) Sensor based semantic object generation
CN107533465A (zh) 具有自动化提取的辅助层
CN113994351A (zh) 用于动态和增量人脸识别的方法和***
Raychoudhury et al. Crowd-pan-360: Crowdsourcing based context-aware panoramic map generation for smartphone users
JP2013054494A (ja) 情報処理装置、情報処理方法、プログラム、記録媒体、及び情報処理システム
CN107924588A (zh) 触发区域
CN110118603A (zh) 目标对象的定位方法、装置、终端及存储介质
US9911237B1 (en) Image processing techniques for self-captured images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130515