CN102193625B - 图像处理设备、图像处理方法、程序以及图像处理*** - Google Patents

图像处理设备、图像处理方法、程序以及图像处理*** Download PDF

Info

Publication number
CN102193625B
CN102193625B CN201110041277.5A CN201110041277A CN102193625B CN 102193625 B CN102193625 B CN 102193625B CN 201110041277 A CN201110041277 A CN 201110041277A CN 102193625 B CN102193625 B CN 102193625B
Authority
CN
China
Prior art keywords
image processing
virtual objects
image
processing equipment
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110041277.5A
Other languages
English (en)
Other versions
CN102193625A (zh
Inventor
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102193625A publication Critical patent/CN102193625A/zh
Application granted granted Critical
Publication of CN102193625B publication Critical patent/CN102193625B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种图像处理设备，包括：输入图像获取单元，用于获得通过拍摄真实空间的图像生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。

Description

图像处理设备、图像处理方法、程序以及图像处理***
技术领域
本发明涉及一种图像处理设备、图像处理方法、程序以及图像处理***。
背景技术
过去，已开发了称作MR(混合现实)的技术以为用户提供混合真实世界和虚拟世界的环境。AR(增强现实)，作为MR的实例，为用户提供通过对真实空间进行成像来获得以及用虚拟对象图像或附加信息来增强的图像。在MR中，常常在真实世界中布置一些接口以允许用户与虚拟世界或虚拟对象交互。例如，日本专利申请公开2002-247602号描述了用于提供这样的桌上冰球游戏的MR***：在该游戏中，多个用户通过操纵控制箱(即，真实世界中的物理对象)互相击打冰球。
发明内容
然而，在如日本专利申请公开2002-247602号中描述的***中一样由多个用户共享一个虚拟对象的情形中，会由于例如设备之间的通信延迟或者处理的延迟而在真实世界的状态与虚拟对象的状态之间出现不匹配。例如，在日本专利申请公开2002-247602号中描述的MR***中，作为主控(master)的MR游戏设备获得由用户的头戴式显示器(HMD)获得的输入图像，对输入图像执行预定处理，并向用户的HMD发布输出图像。在此情形中，花费许多时间来获取输入图像以及发布输出图像。因此，用户手部的状态与HMD上显示的输出图像的状态不匹配，该不匹配很可能使用户感觉不舒服。在用于在由用户佩戴的透视显示器上投射虚拟对象的方法的情形中，问题在于用户看到的真实世界的状态以及在有通信延迟等的情况下投射的虚拟对象会在显示器上彼此移位。
相应地，本发明提供这样的新型和改进的图像处理设备、图像处理方法、程序以及图像处理***：其可以在减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。
根据本发明的实施例，提供了一种图像处理设备，包括：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。
根据以上结构，当检测到表示操纵开始的第一用户输入时，识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，控制虚拟对象的显示。此外，从操纵侧图像处理设备向观察侧图像处理设备发送第一通知信号以通知操纵开始。
第一通知信号可以包括用于标识虚拟对象的标识数据或者表示虚拟对象位置的位置数据。
当检测到表示操纵结束的第二用户输入时，通信单元可以向另一设备发送第二通知信号以通知操纵结束。
第二通知信号可以包括表示由计算单元计算的表示虚拟对象位置的位置数据。
图像识别单元还可以在通信单元从另一设备接收到第一通知信号时识别输入图像中出现的操纵物。
在由通信单元接收的第一通知信号与由图像处理设备要显示的虚拟对象无关时，图像识别单元可以不识别操纵物。
在检测到第一用户输入并且之后作为由图像识别单元提供的操纵物的识别结果确定操纵物与虚拟对象相接触时，通信单元可以向另一设备发送第一通知信号。
通信单元可以向管理显示同样虚拟对象的一组设备的信息处理设备发送第一通知信号。
第一通知信号可以包括用于标识虚拟对象的标识数据或者表示虚拟对象位置的位置数据，可以经由信息处理设备向显示相同虚拟对象的另一设备传送第一通知信号。
图像处理设备可以进一步包括：存储单元，存储表示操纵物的操纵物图像，并且图像识别单元可以使用存储单元中存储的操纵物图像来识别输入图像中出现的操纵物。
根据本发明的另一实施例，提供了一种由图像处理设备执行的图像处理方法，包括步骤：获得通过拍摄真实空间的图像而生成的输入图像；检测表示操纵开始的第一用户输入；将第一通知信号发送到显示与要由图像处理设备操纵的虚拟对象相同的虚拟对象的另一设备，以通知操纵开始；识别出现在输入图像中的用于虚拟对象的操纵的操纵物；根据操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；以及在计算出的显示装置的屏幕的位置处显示虚拟对象。
根据本发明的另一实施例，提供了一种程序，用于使控制图像处理设备的计算机作为：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。
根据本发明的另一实施例，提供了一种包括两个或更多个图像处理设备的图像处理***，其中，图像处理设备中的每一个包括：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号，其中，图像识别单元还在通信单元从另一设备接收到第一通知信号时识别输入图像中出现的操纵物。
如上所述，根据本发明的图像处理设备、图像处理方法、程序以及图像处理***，可以在减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。
附图说明
图1是示出根据实施例的图像处理***的概况的示意图；
图2是示出根据与本发明有关的技术的图像处理的说明图；
图3A是示出真实世界的状态与虚拟对象的状态之间的不匹配的第一说明图；
图3B是示出真实世界的状态与虚拟对象的状态之间的不匹配的第二说明图；
图4是示出根据实施例的图像处理设备的结构实例的框图；
图5A是示出根据实施例的操纵物的实例的示意图；
图5B是示出根据实施例的操纵物的另一实例的示意图；
图6是示出对象数据的实例的说明图；
图7是示出根据实施例的虚拟对象的显示位置计算处理的流程实例的流程图；
图8A是示出根据实施例的操纵开始信号的说明图；
图8B是示出根据实施例的操纵结束信号的说明图；
图8C是示出根据实施例的自身位置通知信号的说明图；
图9是示出根据实施例的操纵侧图像处理的流程实例的流程图；
图10是示出根据实施例的观察侧图像处理的流程实例的流程图；
图11是示出根据实施例的管理服务器的结构实例的框图；
图12是示出根据实施例的信号传送处理的流程实例的流程图；以及
图13是示出根据修改的图像处理***的示意图。
具体实施方式
在下文中，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的附图标记表示功能和结构基本上相同的结构元件，略去了这些结构元件的重复说明。
另外，按如下顺序描述实施例的详细描述。
1.***的概况
1-1.整个***的概况
1-2.与相关领域相关联的问题
2.关于图像处理设备的说明
2-1.设备的示例性结构
2-2.处理的流程
3.关于管理服务器的说明
3-1.设备的示例性结构
3-2.处理的流程
4.变型
5.结论
<1.***的概况>
[1-1.整个***的概况]
图1是示出根据本发明实施例的图像处理***的概况的示意图。图1示出包括图像处理设备100a和100b以及管理服务器200的图像处理***。图像处理设备100a是由用户Ua使用的设备。图像处理设备100a可以经由有线通信连接或无线通信连接与管理服务器200通信。图像处理设备100b是由用户Ub使用的设备。图像处理设备100b也可以经由有线通信连接或无线通信连接与管理服务器200通信。
图像处理设备100a被连接到例如用户Ua在头上佩戴的HMD 104a和摄像装置102a。摄像装置102a跟随用户Ua的注视方向并在注视方向上拍摄真实世界R1的图像。然后，摄像装置102a将一系列输入图像输出到图像处理设备100a。HMD 104a向用户Ua显示由图像处理设备100a提供的图像。例如，由HMD 104a显示的图像是包括用户Ua视野中虚拟对象V1的图像。
同样地，图像处理设备100b被连接到例如用户Ub在头上佩戴的HMD 104b和摄像装置102b。摄像装置102b跟随用户Ub的注视方向并在注视方向上拍摄真实世界R1的图像。然后，摄像装置102b将一系列输入图像输出到图像处理设备100b。HMD 104b向用户Ub显示由图像处理设备100b提供的图像。在本实施例中，图像处理设备100a和100b共享虚拟对象V1。即，由HMD 104b显示的图像也可以包括用户Ub视野中的虚拟对象V1。
在本说明书中，当没有必要相互区分图像处理设备100a和100b时，可以略去以后缀的形式附加到附图标记的字母。在这种情形中，将图像处理设备100a和100b统称为图像处理设备100。也可以按类似方式统称摄像装置102a和102b(摄像装置102)、HMD 104a和104b(HMD 104)以及其它组件。根据本实施例的图像处理***中的图像处理设备100的数量不限于图1中示出的实例，而可以是三个或更多个。例如，图像处理***还可以包括由第三个用户使用的第三图像处理设备100。
管理服务器200是用于在***中管理关于图像处理设备100的信息的信息处理设备。例如，管理服务器200以规则间隔(或者每次出现改变时)从每个图像处理设备100接收摄像装置102的姿势和位置，并将接收的数据存储到数据库。然后，当管理服务器200从图像处理设备100中的一个接收到表示虚拟对象V1的操纵的信号时，管理服务器200向共享虚拟对象V1的另一图像处理设备100传送该信号。
[1-2.与相关领域相关联的问题]
随后，将参照图2、图3A和图3B说明如图1所示的图像处理***中与本发明相关的技术相关联的问题。图2是示出根据相关领域的典型图像处理的说明图。图3A和图3B是各自示出可能在参照图2说明的图像处理中出现的、真实世界的状态与虚拟对象的状态之间的不匹配的说明图。
在图2中，以用数字表明的框示出了根据相关领域的图像处理的典型流程。框中表明的数字表示处理的次序。即，在相关领域中，按如下顺序执行图像处理。
(1)识别操纵物
(2)确定对象位置
(3)报告对象ID和位置
(4)发布对象ID和位置
(5)移动虚拟对象
(1)识别操纵物
首先，图像处理设备100中的一个图像处理设备(在图2的实例中，图像处理设备100a)识别输入图像中出现的操纵物。操纵物是用于操纵虚拟对象的真实世界中的物理对象。操纵物可以是诸如用户手部的人体的一部分，或者可以是除了人体之外的预定物理对象。
(2)确定对象位置
随后，基于操纵物的位置(或移动)与虚拟对象的位置之间的关系确定虚拟对象的新位置。例如，在操纵物与虚拟对象相接触的同时进行移动的情形中，可以根据操纵物的移动更新虚拟对象的位置。
(3)报告对象ID和位置
随后，向管理服务器200报告虚拟对象的新位置以及对象ID(标识符)。
(4)发布对象ID和位置
随后，管理服务器200将虚拟对象的新位置以及对象ID发布给共享相同虚拟对象的另一图像处理设备100(在图2的实例中，图像处理设备100b)。
(5)移动虚拟对象
随后，在共享相同虚拟对象的另一图像处理设备100中，HMD 104的屏幕上的虚拟对象移动。
在图2的实例中，图像处理设备100a执行处理(1)和(2)。可选择地，代替图像处理设备100a，管理服务器200可以在从图像处理设备100a接收到输入图像时执行处理(1)和(2)。又可选择地，可以不布置管理服务器200。在此情形中，从图像处理设备100a向图像处理设备100b直接发送虚拟对象的新位置以及对象ID。
在如以上说明的图像处理中，在图像处理设备100b完成虚拟对象的移动时已经过去了这样的时间：该时间包括时差和由设备之间的通信引起的处理延迟。于是，例如，当在由摄像装置102b拍摄的图像内覆盖虚拟对象V1时，HMD 104b上显示的图像在操纵物的状态与虚拟对象V1的状态之间具有不匹配。
图3A和图3B以更具体的方式示出以上问题。图3A示出包括由时间间隔T隔开的两帧图像的实例。HMD 104a向用户Ua(即，操纵虚拟对象V1的人)显示该两帧。另一方面，图3B示出包括由时间间隔T隔开的两帧图像的实例。HMD 104b向用户Ub(即，观察虚拟对象V1的人)显示该两帧。在此实例中，操纵物是用户的手部。
如图3A中所示，操纵物H1在时间t＝0与虚拟对象V1a相接触。此后，在时间t＝T，虚拟对象V1a随着操纵物H1移动向左移动。即使在时间t＝T，操纵物H1也与虚拟对象V1a相接触。
图3B与图3A的相同之处在于在时间t＝0操纵物H1与虚拟对象V1b相接触。虚拟对象V1a和虚拟对象V1b是具有相同对象ID的相同对象。然而，因为在不同HMD上显示对象，所以为方便起见用不同附图标记表示对象。此后，在时间t＝T，虚拟对象V1b随着操纵物H1移动向左移动。在时间t＝T，由于时差和由设备之间的通信引起的处理延迟，图像处理设备100b接收到在当前帧之前数帧的帧中虚拟对象的位置。因此，在时间t＝T在HMD 104b上显示的虚拟对象V1b的位置从在时间t＝T在HMD 104a上显示的虚拟对象V1a的位置移位位移d。然而，在真实世界中，由摄像装置102b拍摄的操纵物H1的位置与由摄像装置102a拍摄的操纵物H1的位置相同。于是，操纵物H1的位置在HMD 104b上显示的图像中与虚拟对象V1b不匹配。在图3B的实例中，操纵物H1不是与虚拟对象V1b相接触而是***到虚拟对象V1b中。
在每个HMD 104是只把虚拟对象的图像投射到每个HMD 104的屏幕上的透视显示器时，这种不匹配以同样的方式或者更显著地出现。
可以通过尽可能地减少时差和由设备之间的通信引起的处理延迟的影响来抑制真实世界的状态与虚拟对象的状态之间的不匹配。在随后章节，将说明根据本实施例的图像处理设备100和管理服务器200的具体结构。在提供混合现实时，图像处理设备100和管理服务器200减少时差和由设备之间的通信引起的处理延迟的影响。
<2.关于图像处理设备的说明>
[2-1.设备的示例性结构]
图4是示出根据本实施例的图像处理设备100的结构实例的框图。如图4中所示，图像处理设备100包括输入图像获取单元110、自身位置检测单元120、存储单元130、图像识别单元140、计算单元150、显示控制单元160以及通信单元170。
(输入图像获取单元)
摄像装置102拍摄真实空间的图像以生成输入图像，且输入图像获取单元110获得这样生成的输入图像。然后，输入图像获取单元110将获得的输入图像输出到自身位置检测单元120、图像识别单元140以及显示控制单元160。
(自身位置检测单元)
自身位置检测单元120检测真实世界中摄像装置102的姿势和位置。例如，通过真实世界中绝对坐标系中的三维位置来表示摄像装置102的位置。例如，通过与旋转矩阵相对应的欧拉角或四元数表示摄像装置102的姿势。例如，根据Andrew J.Davison的“Real-Time SimultaneousLocalization and Mapping with a Single Camera”(Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403-1410页)中描述的SLAM技术的原理，自身位置检测单元120可以通过使用由输入图像获取单元110提供的输入图像来检测摄像装置102的姿势和位置。可选择地，在摄像装置102具有位置传感器(例如，光学位置传感器)和姿势传感器(例如，陀螺仪传感器)的情形中，自身位置检测单元120可以获得由摄像装置102的传感器检测的位置和姿势。例如，自身位置检测单元120将通过以上方法中的任一方法检测的摄像装置102的姿势和位置输出到图像识别单元140和通信单元170。
(存储单元)
存储单元130使用诸如硬盘或半导体存储器的记录介质预先存储操纵物图像和对象数据。操纵物图像是表示用于操纵显示在输出图像上的虚拟对象的操纵物的图像。另一方面，对象数据是与混合现实中由HMD 104显示的虚拟对象有关的数据。
图5A和图5B是各自示出根据本实施例的操纵物的实例的示意图。在图5A的实例中，操纵物M1a是用户的手部。在此情形中，存储单元130预先存储通过拍摄用户手部的图像获得的图像作为操纵物图像。例如，存储单元130可以存储通过从各种不同方向拍摄用户手部的图像获得的一组图像作为操纵物图像。
在图5B的实例中，操纵物M1b是用户在手指上佩戴的立方体标志。标志的每个表面的中心部分形成有用户可***手指以移动标志的孔。在此情形中，存储单元130预先存储示出标志的图像作为操纵物图像。可选择地，例如，可以共同地不仅采用标志而且采用***到标志中的手指作为操纵物，并可以存储示出包括标志和手指的操纵物的图像作为操纵物图像。
应当注意，操纵物不限于图5A和5B中示出的实例。例如，操纵物可以是活体的任何部分或者真实世界中存在的任何物理对象，诸如用户的脚以及用户持有的棍状物理对象。响应于由图像识别单元140给出的请求，存储单元130将操纵图像输出到图像识别单元140。
图6是示出存储在存储单元130中的对象数据的实例的说明图。如图6中所示，对象数据包括三个数据项，即，对象ID、形状以及位置。“对象ID”是用于唯一地标识虚拟对象的标识符。图6的实例包括对象ID为V1和V2的两个虚拟对象的对象数据。“形状”是表示虚拟对象形状的数据。例如，可以将虚拟对象的形状表示成多边形。“位置”是表示虚拟对象最新位置的三维坐标数据。随着用户对操纵物进行操纵更新虚拟对象的位置。响应于由计算单元150给出的请求，存储单元130向计算单元150输出对象数据。
(图像识别单元)
在检测到表示操纵开始的第一用户输入的情形中，图像识别单元140识别用于虚拟对象的操纵以及出现在输入图像获取单元110给出的输入图像中的操纵物。例如，图像识别单元140可以通过使用存储在存储单元130中的操纵物图像识别出现在输入图像中的操纵物。更具体地，例如，图像识别单元140通过使用已知模式匹配方法将输入图像的部分图像与操纵物图像相比较。进一步地，图像识别单元140基于在输入图像中检测到操纵物图像的位置以及基于检测的操纵物图像尺寸识别真实世界中操纵物的三维位置。此处识别的操纵物的三维位置是相对于摄像装置102此时的姿势和位置的相对位置。进一步地，图像识别单元140使用由自身位置检测单元120提供的摄像装置102的姿势和位置，将操纵物的相对三维位置转换成真实世界中绝对坐标系中的三维位置。然后，图像识别单元140将转换后的操纵物位置输出到计算单元150。在检测到表示操纵开始的第一用户输入之后，图像识别单元140对一系列输入图像的每个帧重复图像识别处理，直到检测到表示操纵结束的第二用户输入为止。然后，当检测到表示操纵结束的第二用户输入时，图像识别单元140终止图像识别处理。可选择地，例如，图像识别单元140可以通过使用表示操纵物形状的形状数据而非操纵物图像识别出现在输入图像中的操纵物。
表示操纵开始的第一用户输入以及表示操纵结束的第二用户输入可以是例如图像处理设备100上布置的预定按钮的按压、在输入图像中由用户执行的预定姿势或者由用户输入的语音。
当由通信单元170接收到后面说明的操纵开始信号时，图像识别单元140也执行如上说明的图像识别处理。在此情形中，对一系列输入图像的每个帧重复图像识别处理，直到通信单元170接收到后面说明的操纵结束信号为止。在本说明书中，将从第一用户输入的检测至第二用户输入的检测的处理称为操纵侧处理。将从第一用户输入的接收至第二用户输入的接收的处理称为观察侧处理。
(计算单元)
当检测到表示操纵开始的第一用户输入时，计算单元150根据由图像识别单元140提供的操纵物的识别结果、计算HMD 104在屏幕上显示虚拟对象的位置。然后，计算单元150不仅将计算的虚拟对象显示位置输出到显示控制单元160，而且更新由存储单元130存储的虚拟对象的位置数据。在检测到表示操纵开始的第一用户输入之后，计算单元150按照操纵物的识别结果，对一系列输入图像的每帧重复虚拟对象的显示位置计算处理，直到检测到表示操纵结束的第二用户输入为止。
图7是示出由计算单元150执行的根据本实施例的虚拟对象的显示位置计算处理的具体流程实例的流程图。如图7中所示，首先，计算单元150从存储单元130获得每个虚拟对象的对象数据(步骤S102)。此处获得的对象数据包括每个虚拟对象的形状和最新位置。随后，计算单元150获得由图像识别单元140识别的操纵物的位置(步骤S104)。随后，计算单元150基于每个虚拟对象的形状和最新位置并且基于操纵物的位置，确定操纵物是否与虚拟对象相接触(步骤S106)。这里，当操纵物未与虚拟对象相接触时，跳过剩余处理。随后，当操纵物与虚拟对象相接触时，计算单元150基于操纵物的位置计算虚拟对象的新位置(步骤S108)。例如，当操纵物在与虚拟对象相接触的同时在X方向上移动距离D时，虚拟对象的位置根据操纵物的移动在X方向上移动距离D。随后，计算单元150基于由自身位置检测单元120检测的摄像装置102的姿势和位置，将来自真实世界中三维位置的虚拟对象的新位置转换成HMD 104的屏幕上的二维位置(步骤S110)。例如，可以使用基于针孔模型的如下公式将来自三维位置的坐标转换成屏幕上的二维位置。
[公式1]
λp′＝AR(p-x)
在公式(1)中，p表示虚拟对象的三维位置向量，x表示摄像装置102的三维位置向量，R表示与摄像装置102的姿势相对应的旋转矩阵，A表示摄像装置内部参数，λ表示归一化的参数。另一方面，p′表示虚拟对象在屏幕上的二维位置。这里，预先按照摄像装置102的特性通过如下公式给出摄像装置内部参数A。
[公式2]
A = - f &CenterDot; k u f &CenterDot; k u &CenterDot; cot &theta; u o 0 - f &CenterDot; k v sin &theta; v 0 0 0 1
这里，f表示焦距，θ表示图像轴的正交性(理想值是90度)，ku表示焦平面的竖直轴的比例(scale)(从真实世界中的绝对坐标系至焦平面的坐标系的比例改变率)，kv表示焦平面的水平轴的比例，(uo，vo)表示焦平面的中心位置。
当用多边形表示虚拟对象时，计算单元150基于摄像装置102的姿势和位置计算多边形各顶点在HMD 104的屏幕上的二维位置。
此外，作为观察侧处理，计算单元150还在通信单元170接收到后面说明的操纵开始信号时，执行如以上说明的虚拟对象的显示位置计算处理。当通信单元170接收到后面说明的操纵结束信号时，对一系列输入图像的每个帧重复此情形的显示位置计算处理。此外，当通信单元170接收到操纵结束信号时，计算单元150使用包括在操纵结束信号中的虚拟对象的位置数据来校正由显示控制单元160显示的(并且存储在存储单元130中的)虚拟对象的位置。这是用于解决在并行地对操纵者和观察者执行虚拟对象的显示位置计算处理的情形中仍剩余的、虚拟对象位置的小位移的处理。
即使当未操纵虚拟对象时，计算单元150也基于存储单元130中存储的虚拟对象的位置数据并基于由自身位置检测单元120检测的摄像装置102的姿势和位置，计算虚拟对象在屏幕上的显示位置。然后，计算单元150将计算出的虚拟对象的显示位置输出到显示控制单元160。
(显示控制单元)
显示控制单元160在由计算单元150计算出的HMD 104的屏幕上的显示位置处显示虚拟对象。例如，显示控制单元160可以通过在由输入图像获取单元110提供的输入图像上覆盖表示虚拟对象的多边形来生成输出图像，并且可以将输出图像输出到HMD 104。更具体地，例如，显示控制单元160可以基于由计算单元150计算出的虚拟对象的多边形顶点坐标在输出图像中绘制多边形。于是，在由HMD 104向用户显示的输出图像中，虚拟对象随着操纵物移动而移动，从而向用户提供增强现实。例如，在HMD 104是透视显示器的情形中，显示控制单元160可以基于由计算单元150计算的虚拟对象的多边形顶点坐标，将多边形投射到HMD 104的屏幕上。
(通信单元)
当检测到表示操纵开始的第一用户输入时，通信单元170将第一通知信号发送到显示相同虚拟对象的另一图像处理设备100，以通知操纵开始。在本说明书中，将第一通知信号称为操纵开始信号。当检测到表示操纵结束的第二用户输入时，通信单元170将第二通知信号发送到显示相同虚拟对象的另一图像处理设备100，以通知操纵结束。在本说明书中，将第二通知信号称为操纵结束信号。在本实施例中，经由管理服务器200将操纵开始信号和操纵结束信号发送到另一图像处理设备100。
图8A是示出根据本实施例的操纵开始信号的说明图。如图8A中所示，操纵开始信号S1包括4个字段：即，信号类型、源、对象ID以及对象位置。“信号类型”是表明有关信号是操纵开始信号的字段。“源”是用于标识发送有关信号的图像处理设备100的字段。“对象ID”是用于标识将要操纵哪个虚拟对象的字段。“对象ID”可以列举多个虚拟对象的对象ID。“对象位置”是必要时设置的字段，包括表示在操纵开始时虚拟对象的位置的三维坐标数据。可以使用“对象ID”或“对象位置”确定管理服务器200向其传送操纵开始信号的图像处理设备100。
图8B是示出根据本实施例的操纵结束信号的说明图。如图8B中所示，操纵结束信号S2包括4个字段：即，信号类型、源、对象ID以及对象位置。“信号类型”是表明有关信号是操纵结束信号的字段。“源”是用于标识发送有关信号的图像处理设备100的字段。“对象ID”是用于标识将要完成哪个虚拟对象的操纵的字段。“对象ID”可以列举多个虚拟对象的对象ID。“对象位置”包括表示在操纵结束时虚拟对象的位置的三维坐标数据。可以使用“对象ID”或“对象位置”确定管理服务器200向其传送操纵结束信号的图像处理设备100。此外，已接收到操纵结束信号的图像处理设备100可以使用操纵结束信号S2的“对象位置”来校正在操纵结束时虚拟对象的位置。
另外，通信单元170以规则间隔(或者每次出现改变时)向管理服务器200发送第三通知信号，以通知由自身位置检测单元120检测的摄像装置102的姿势和位置。在本说明书中，将第三通知信号称为自身位置通知信号。
图8C是示出根据本实施例的自身位置通知信号的说明图。如图8C中所示，自身位置通知信号S3包括三个字段，即，信号类型、源以及位置/姿势。“信号类型”是表明有关信号是自身位置通知信号的字段。“源”是用于标识发送有关信号的图像处理设备100的字段。例如，“位置/姿势”包括绝对坐标系中摄像装置102的旋转矩阵和对应于三维位置的四元数。后面说明的管理服务器200可以基于以规则间隔从每个图像处理设备100发送的自身位置通知信号S3，识别每个图像处理设备100的视野。
[2-2.处理的流程]
(操纵侧的处理)
图9是示出根据本实施例的由图像处理设备执行的操纵侧图像处理的流程实例的流程图。
如图9中所示，图像识别单元140和计算单元150监视是否检测到第一用户输入(步骤S122)。当检测到第一用户输入时，开始步骤S124中的操纵侧图像处理以及后续步骤。在操纵侧图像处理中，首先，通信单元170向管理服务器200发送操纵开始信号S1(步骤S124)。随后，图像识别单元140使用存储在存储单元130中的操纵物图像来识别输入图像中的操纵物，并且向计算单元150输出操纵物的位置(步骤S126)。随后，计算单元150执行如参照图7说明的虚拟对象的显示位置计算处理(步骤S128)。然后，显示控制单元160根据操纵物的位置移动HMD 104的屏幕上显示的虚拟对象(步骤S130)。随后，图像识别单元140和计算单元150确定是否检测到第二用户输入(步骤S132)。当此处未检测到第二用户输入时，随后执行步骤S126，并且针对输入图像的后续帧重复步骤S126至S130。另一方面，当检测到第二用户输入时，通信单元170向管理服务器200发送操纵结束信号S2(步骤S134)。然后，终止操纵侧图像处理。
在检测到第一用户输入之后，通信单元170可以进行等待，直到作为由图像识别单元140提供的操纵物的识别结果确定为操纵物与虚拟对象相接触为止(换言之，在图7中步骤S106的确定结果变成是之后)，并可以此后向管理服务器200发送操纵开始信号。在此情形中，流程与图9的流程不同。在观察侧图像处理中，用操纵物对虚拟对象的实际操纵未开始。因此，存在会延迟屏幕上虚拟对象移动开始的可能性，但是这减少了从第一用户输入至虚拟对象实际操纵开始的观察侧处理的花费。
(观察侧的处理)
图10是示出根据本实施例的图像处理设备100执行的观察侧图像处理的流程实例的流程图。
如图10中所示，首先，通信单元170监视是否接收到操纵开始信号(步骤S152)。当接收到操纵开始信号时，开始步骤S154的观察侧图像处理以及后续步骤。在观察侧图像处理中，首先，图像识别单元140使用存储单元130中存储的操纵物图像识别输入图像中的操纵物，并向计算单元150输出操纵物的位置(步骤S154)。随后，计算单元150执行如参照图7说明的虚拟对象的显示位置计算处理(步骤S156)。然后，显示控制单元160根据操纵物的位置移动HMD 104的显示屏幕上显示的虚拟对象(步骤S158)。随后，通信单元170确定是否接收到操纵结束信号(步骤S160)。当此处未接收到操纵结束信号时，随后再次执行步骤S154，并且针对输入图像的后续帧重复步骤S154至S158。另一方面，当接收到操纵结束信号时，计算单元150校正虚拟对象的位置(步骤S162)。然后，终止观察侧图像处理。
<3.关于管理服务器的说明>
[3-1.设备的示例性结构]
图11是示出根据本实施例的管理服务器200的结构实例的框图。如图12中所示，管理服务器200包括通信单元210、存储单元220以及用户管理单元230。
(通信单元)
通信单元210经由有线通信连接或无线通信连接向/从每个图像处理设备100的通信单元170发送和接收信号。在管理服务器200的通信单元210与每个图像处理设备100的通信单元170之间发送和接收的信号包括：操纵开始信号、操纵结束信号以及自身位置通知信号。
(存储单元)
存储单元220使用诸如硬盘或半导体存储器的存储介质来存储用于管理显示相同虚拟对象的一组图像处理设备100的数据库。例如，存储单元220中存储的数据库包括关于使用自身位置通知信号以规则间隔收集的每个图像处理设备100的摄像装置102的姿势和位置的数据。另外，例如，存储单元220中存储的数据库可以包括可以由每个图像处理设备100显示的虚拟对象的对象ID。
(用户管理单元)
当通信单元210接收到自身位置通知信号时，用户管理单元230更新存储单元220中存储的、关于发送有关的自身位置通知信号的图像处理设备100的姿势和位置的数据。当通信单元210接收到操纵开始信号或操纵结束信号时，用户管理单元230向作为有关信号源的显示相同虚拟对象的另一图像处理设备100传送操纵开始信号或操纵结束信号。例如，用户管理单元230可以采用与存储单元220的数据库中操纵开始信号或操纵结束信号中包括的对象ID相关联的图像处理设备100作为每个信号所传送到的设备。可选择地，例如，用户管理单元230可以采用其摄像装置102的视野包括由操纵开始信号或操纵结束信号所表明的虚拟对象位置的图像处理设备100作为每个信号所传送到的设备。
[3-2.处理的流程]
图12是示出根据本实施例的由管理服务器200执行的信号传送处理的流程实例的流程图。
如图12中所示，首先，通信单元210监视是否接收到操纵开始信号或操纵结束信号(步骤S202)。当接收到操纵开始信号或操纵结束信号时，随后执行步骤S204。随后，用户管理单元230从存储单元220获得每个图像处理设备100的状态(步骤S204)。这里获得的每个图像处理设备100的状态可以包括由每个图像处理设备100显示的虚拟对象的对象ID或者每个图像处理设备100的摄像装置102的姿势和位置。随后，用户管理单元230确定是否存在共享虚拟对象的另一图像处理设备100(除了操纵开始信号或操纵结束信号的源之外的设备)(步骤S206)。当不存在共享虚拟对象的其它图像处理设备100时，跳过步骤S208。另一方面，当存在共享虚拟对象的另一图像处理设备100时，通信单元210向另一图像处理设备100传送操纵开始信号或操纵结束信号(步骤S208)。然后，终止管理服务器200执行的信号传送处理。
<4.变型>
图13是示出根据本实施例变型的图像处理***的示意图。图13示出包括图像处理设备300a、300b和300c的图像处理***。由用户Ua、Ub和Uc分别使用图像处理设备300a、300b和300c。这些设备可以经由有线通信连接或无线通信连接彼此通信。
通常，图像处理设备300a、300b和300c具有与如参照图4说明的图像处理设备100等同的结构。然而，在不依赖于管理服务器200的情况下，图像处理设备300a、300b和300c的通信单元170直接发送和接收操纵开始信号和操纵结束信号。例如，当通信单元170接收到操纵开始信号时，图像处理设备300a、300b和300c执行如下：只有在图像处理设备300a、300b和300c作为有关信号的源显示同样虚拟对象的情形中，图像识别单元140才识别操纵物。在此情形中，例如，基于操纵开始信号中包括的虚拟对象的位置数据或对象ID确定是否有必要识别操纵物。
例如，在图13的实例中，图像处理设备300a、300b共享虚拟对象V1。换言之，图像处理设备300a的HMD 104a和图像处理设备300b的HMD 104b均可以显示虚拟对象V1。另一方面，图像处理设备300c不共享虚拟对象V1。代替共享虚拟对象V1，图像处理设备300c的HMD 104c可以显示不同的虚拟对象V2。在这种实例中，将假定如下情形：用户Ua是操纵虚拟对象V1的人，用户Ua通过按压图像处理设备300a的按钮106a开始虚拟对象V1的操纵。在这种情形中，图像处理设备300a检测第一用户输入，并且向图像处理设备300b和图像处理设备300c发送操纵开始信号S1。例如，操纵开始信号S1包括虚拟对象V1的位置数据或对象ID。当图像处理设备300b接收到操纵开始信号S1时，图像处理设备300b基于有关信号中包括的位置数据或对象ID确定将由图像处理设备300b显示的虚拟对象V1的操纵的开始。于是，图像处理设备300b通过图像识别开始操纵物(诸如用户Ua的手或者标志)的跟踪。另一方面，图像处理设备300c基于操纵开始信号S1中包括的位置数据或对象ID确定有关信号与将由图像处理设备300c显示的虚拟对象无关。于是，图像处理设备300c忽略从图像处理设备300a接收的操纵开始信号S1。
<5.总结>
已参照图1至图13在上文中说明了本发明的实施例和变型。根据本实施例，当检测到表示操纵开始的第一用户输入时，操纵侧图像处理设备识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，操纵侧图像处理设备控制虚拟对象的显示。此外，从操纵侧图像处理设备向观察侧图像处理设备发送操纵开始信号。相应地，观察侧图像处理设备也识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，观察侧图像处理设备控制虚拟对象的显示。由此，由于操纵侧设备以及观察侧设备通过图像识别跟踪操纵物，所以不出现由于跟踪结果的传送引起的延迟。此外，操纵开始信号包括用于识别虚拟对象的对象ID或者虚拟对象的位置数据。因此，不共享虚拟对象的图像处理设备无需执行不必要的图像识别处理。在检测到表示操纵结束的第二用户输入的情形中，从操纵侧图像处理设备向观察侧图像处理设备发送操纵结束信号。相应地，在不操纵虚拟对象时，图像处理设备中所有图像处理设备无需执行图像识别处理。如上所述，根据本实施例，操纵侧设备以及观察侧设备通过图像识别跟踪操纵物，另外，根据基于设备之间交换的信号的定时启动图像识别处理。因此，可以在有效地减少处理负荷并减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。
根据本实施例，从操纵侧图像处理设备向观察侧图像处理设备发送的操纵结束信号包括表示在操纵结束时虚拟对象的位置的位置数据。由此，即使当在由操纵侧图像处理设备生成的操纵物的跟踪结果与由观察侧图像处理设备生成的操纵物的跟踪结果之间存在暂时误差时，观察侧图像处理设备也可以校正虚拟对象的位置。
可选择地，在检测到第一用户输入之后，操纵侧图像处理设备可以进行等待，直到确定操纵物与虚拟对象相接触为止，并且可以此后发送操纵开始信号。在此情形中，可以进一步减少观察侧图像识别处理的负荷。
可以通过管理图像处理设备组的管理服务器在图像处理设备之间发送和接收操纵开始信号和操纵结束信号。在此情形中，当管理服务器只向显示相同虚拟对象的图像处理设备传送信号时，可以进一步减少观察侧图像识别处理的负荷并且可以消除不必要的传输量。
通常用软件实现如在本说明书中说明的由图像处理设备100和300以及管理服务器200执行的一系列处理。例如，在每个设备中或者每个设备外部布置的存储介质中预先存储构建用于实现一系列处理的软件的程序。例如，每个程序在执行期间被加载到RAM(随机存取存储器)，并且由诸如CPU(中央处理单元)的处理器执行。
本领域技术人员应当理解：依据设计需要和其它因素，可以做出各种变形、组合、子组合和修改，只要它们在所附权利要求或其等同物的范围内。
本申请包含与2010年2月24日提交日本专利局的日本优先权专利申请JP 2010-038777中公开的主题相关的主题，其全部内容经引用包含于此。

Claims (10)

1.一种图像处理***，包括：
第一图像处理设备，包括：
第一输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的第一输入图像；
第一图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，所述操纵物出现在所述第一输入图像中；
第一计算单元，用于根据由所述第一图像识别单元提供的操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；
第一显示控制单元，用于在由所述第一计算单元计算出的所述显示装置的屏幕的所述位置处显示所述虚拟对象；以及
第一通信单元，用于在检测到所述第一用户输入时向显示相同虚拟对象的第二图像处理设备发送用于通知操纵开始的第一通知信号；以及
所述第二图像处理设备包括：
第二输入图像获取单元，用于获得通过拍摄相同真实空间的图像而生成的第二输入图像；
第二通信单元，用于从所述第一图像处理设备接收所述第一通知信号；
第二图像识别单元，用于响应于所接收的第一通知信号识别相同的操纵物，其中所述操纵物出现在所述第二输入图像中；
第二计算单元，用于根据由所述第二图像识别单元提供的操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；以及
第二显示控制单元，用于在由所述第二计算单元计算出的所述显示装置的屏幕的所述位置处显示所述虚拟对象。
2.如权利要求1所述的图像处理***，其中，
所述第一通知信号包括用于标识所述虚拟对象的标识数据或者表示所述虚拟对象位置的位置数据。
3.如权利要求1所述的图像处理***，其中，
当由所述第一图像处理设备检测到表示操纵结束的第二用户输入时，所述第一通信单元向所述第二图像处理设备发送第二通知信号以通知操纵结束。
4.如权利要求3所述的图像处理***，其中，
所述第二通知信号包括表示由所述第一计算单元计算出的表示所述虚拟对象位置的位置数据。
5.如权利要求1所述的图像处理***，其中，
所述第二图像识别单元在由所述第二通信单元接收到的所述第一通知信号与要由所述第二图像处理设备显示的虚拟对象无关时不识别所述操纵物。
6.如权利要求1所述的图像处理***，其中，
在检测到所述第一用户输入并且在之后作为由所述第一图像识别单元提供的所述操纵物的识别结果确定所述操纵物与所述虚拟对象相接触时，所述第一通信单元向所述第二图像处理设备发送所述第一通知信号。
7.如权利要求1所述的图像处理***，其中，
所述第一通信单元向管理显示相同虚拟对象的一组设备的信息处理设备发送所述第一通知信号。
8.如权利要求7所述的图像处理***，其中，
所述第一通知信号包括用于标识所述虚拟对象的标识数据或者表示所述虚拟对象位置的位置数据，且所述第一通知信号被经由所述信息处理设备传送到所述第二图像处理设备。
9.如权利要求1所述的图像处理***，其中，
所述第一图像处理设备还包括：
第一存储单元，存储表示所述操纵物的操纵物图像，
其中，所述第一图像识别单元使用所述第一存储单元中存储的所述操纵物图像识别出现在所述第一输入图像中的所述操纵物，以及
所述第二图像处理设备还包括：
第二存储单元，存储表示所述操纵物的操纵物图像，
其中，所述第二图像识别单元使用所述第二存储单元中存储的所述操纵物图像识别出现在所述第二输入图像中的所述操纵物。
10.一种由图像处理***执行的图像处理方法，所述图像处理***包括第一图像处理设备和第二图像处理设备，包括步骤：
在所述第一图像处理设备处，
获得通过拍摄真实空间的图像而生成的第一输入图像；
当检测到表示操纵开始的第一用户输入时，识别用于操纵虚拟对象的操纵物，其中，所述操纵物出现在所述第一输入图像中；
根据操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；
在计算出的所述显示装置的屏幕的位置处显示所述虚拟对象；以及
在检测到所述第一用户输入时，将用于通知操纵开始的第一通知信号发送到显示与要由所述图像处理***操纵的虚拟对象相同的虚拟对象的所述第二图像处理设备；以及
在所述第二图像处理设备处，
获得通过拍摄相同真实空间的图像而生成的第二输入图像；
从所述第一图像处理设备接收所述第一通知信号；
响应于所接收的第一通知信号识别相同的操纵物，其中所述操纵物出现在所述第二输入图像中；
根据操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；
在计算出的所述显示装置的屏幕的所述位置处显示所述虚拟对象。
CN201110041277.5A 2010-02-24 2011-02-17 图像处理设备、图像处理方法、程序以及图像处理*** Expired - Fee Related CN102193625B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010038777A JP5499762B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP2010-038777 2010-02-24

Publications (2)

Publication Number Publication Date
CN102193625A CN102193625A (zh) 2011-09-21
CN102193625B true CN102193625B (zh) 2015-08-26

Family

ID=44202161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110041277.5A Expired - Fee Related CN102193625B (zh) 2010-02-24 2011-02-17 图像处理设备、图像处理方法、程序以及图像处理***

Country Status (5)

Country Link
US (2) US8773466B2 (zh)
EP (1) EP2360567B1 (zh)
JP (1) JP5499762B2 (zh)
KR (1) KR20110097639A (zh)
CN (1) CN102193625B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5185320B2 (ja) * 2010-05-19 2013-04-17 株式会社バンダイ ゲーム装置
US9146398B2 (en) * 2011-07-12 2015-09-29 Microsoft Technology Licensing, Llc Providing electronic communications in a physical world
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
CN106603688B (zh) * 2011-08-27 2020-05-05 中兴通讯股份有限公司 访问增强现实用户上下文的方法
CN102508546B (zh) * 2011-10-31 2014-04-09 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
JP5477399B2 (ja) * 2012-01-30 2014-04-23 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
US9691241B1 (en) 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
JP6125785B2 (ja) * 2012-09-27 2017-05-10 京セラ株式会社 表示装置および制御方法
JP6112815B2 (ja) * 2012-09-27 2017-04-12 京セラ株式会社 表示装置、制御システムおよび制御プログラム
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
US9760180B2 (en) * 2012-10-05 2017-09-12 Nec Solution Innovators, Ltd. User interface device and user interface method
EP4193906A1 (en) 2013-03-11 2023-06-14 Magic Leap, Inc. Method for augmented and virtual reality
CN107632709B (zh) 2013-03-15 2021-06-08 奇跃公司 显示***和方法
EP2977924A1 (en) * 2013-03-19 2016-01-27 NEC Solution Innovators, Ltd. Three-dimensional unlocking device, three-dimensional unlocking method and program
JP5813030B2 (ja) 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
KR101670808B1 (ko) * 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
US9987554B2 (en) * 2014-03-14 2018-06-05 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP6572893B2 (ja) * 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
WO2016148142A1 (ja) * 2015-03-16 2016-09-22 シャープ株式会社 表示データ処理装置、表示装置、および、プログラム
US10423234B2 (en) * 2015-03-27 2019-09-24 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment
TWM508350U (zh) * 2015-04-24 2015-09-11 Aten Int Co Ltd 遊戲錄製裝置
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
JP6627352B2 (ja) * 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
US10133532B2 (en) * 2015-09-25 2018-11-20 Seiko Epson Corporation Display system, display device, information display method, and program
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
JP6304305B2 (ja) * 2016-05-25 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2018116377A1 (ja) * 2016-12-20 2018-06-28 株式会社キッズプレート 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
JP6229089B1 (ja) * 2017-04-26 2017-11-08 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP2017208820A (ja) * 2017-06-06 2017-11-24 京セラ株式会社 発注システム
CN108355347B (zh) * 2018-03-05 2021-04-06 网易（杭州）网络有限公司 交互控制方法、装置、电子设备及存储介质
CN108536295B (zh) * 2018-03-30 2021-08-10 腾讯科技（深圳）有限公司 虚拟场景中的对象控制方法、装置及计算机设备
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
CN108919951B (zh) * 2018-06-28 2020-11-20 联想(北京)有限公司 一种信息交互方法及装置
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2020110659A1 (ja) 2018-11-27 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN113544570A (zh) 2019-01-11 2021-10-22 奇跃公司 各种深度处的虚拟内容的时间复用显示
JP2020173656A (ja) * 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP2020204989A (ja) * 2019-06-19 2020-12-24 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7116220B2 (ja) 2019-10-02 2022-08-09 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP7401245B2 (ja) 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
US11741159B2 (en) * 2019-10-29 2023-08-29 Shmuel Ur Innovation Ltd Digital media authentication
CN111061575A (zh) * 2019-11-27 2020-04-24 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实***
JP7139471B2 (ja) * 2021-02-04 2022-09-20 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
JP7333532B2 (ja) * 2021-02-04 2023-08-25 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导***及方法
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247602A (ja) 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
JP3584230B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP5297113B2 (ja) 2008-08-06 2013-09-25 日本電子材料株式会社 コンタクトプローブの製造方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导***及方法

Also Published As

Publication number Publication date
CN102193625A (zh) 2011-09-21
US20140267028A1 (en) 2014-09-18
US9746672B2 (en) 2017-08-29
US8773466B2 (en) 2014-07-08
JP5499762B2 (ja) 2014-05-21
EP2360567A2 (en) 2011-08-24
EP2360567B1 (en) 2017-08-02
EP2360567A3 (en) 2015-02-18
US20110205243A1 (en) 2011-08-25
KR20110097639A (ko) 2011-08-31
JP2011175439A (ja) 2011-09-08

Similar Documents

Publication Publication Date Title
CN102193625B (zh) 图像处理设备、图像处理方法、程序以及图像处理***
US8514326B2 (en) Information processing apparatus, information processing method, program, and information processing system
CN101295206B (zh) 用于立体观察的***
US6662103B1 (en) Method and system for creating a user-selectable arbitrary coordinate frame
US10635380B2 (en) System, head-mounted display, and control method thereof
EP1306809A2 (en) Mixed reality imaging
CN102695032A (zh) 信息处理装置、信息共享方法、程序以及终端设备
US20030184602A1 (en) Information processing method and apparatus
CN106454311A (zh) 一种led三维成像***及方法
CN112101209A (zh) 用于路侧计算设备的确定世界坐标点云的方法和装置
CN114663515A (zh) 用于执行多相机标定的方法和设备
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
CN114332423A (zh) 虚拟现实手柄追踪方法、终端及计算可读存储介质
US9960924B2 (en) Conference system, server, and computer-readable medium storing conference information generation program
Zhu et al. Wii remote–based low-cost motion capture for automated assembly simulation
US20220156963A1 (en) Coordinate system conversion parameter estimating apparatus, method and program
US20230418369A1 (en) Device tracking with integrated angle-of-arrival data
WO2018196221A1 (zh) 一种交互方法、设备及***
US12002162B2 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
CN113596517A (zh) 一种基于混合现实的图像冻结标注方法及***
CN112750159A (zh) 获取位姿信息、确定物体对称性的方法、装置和存储介质
CN101299172B (zh) 动态鼠标指针再生***及其再生方法
CN113610987B (zh) 一种基于三维重建的混合现实空间标注方法及***
WO2023199627A1 (ja) ガイド画像管理装置
CN114003122A (zh) 一种ar界面交互方法与基于该方法的智能指环

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150826

Termination date: 20220217

CF01 Termination of patent right due to non-payment of annual fee