CN101295206A - 用于立体观察的*** - Google Patents

用于立体观察的*** Download PDF

Info

Publication number
CN101295206A
CN101295206A CNA2008100892573A CN200810089257A CN101295206A CN 101295206 A CN101295206 A CN 101295206A CN A2008100892573 A CNA2008100892573 A CN A2008100892573A CN 200810089257 A CN200810089257 A CN 200810089257A CN 101295206 A CN101295206 A CN 101295206A
Authority
CN
China
Prior art keywords
camera
unit
image
processing equipment
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100892573A
Other languages
English (en)
Other versions
CN101295206B (zh
Inventor
前田苑子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101295206A publication Critical patent/CN101295206A/zh
Application granted granted Critical
Publication of CN101295206B publication Critical patent/CN101295206B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明涉及一种用于立体观察的***。单元(317、318)从照相机(101R)(左照相机101L)获取识别信息。单元(303、312)基于该识别信息检查连接状态，并判断后续的操作。单元(305)向设备(206)发送照相机(101R)的位置和方向信息。单元(308)将基于位置和方向信息生成的虚拟空间图像和由单元(302)输入的捕捉图像的合成图像输出至HMD(100)。单元(313)使用位置和方向关系信息以及位置和方向信息来计算照相机(101L)的位置和方向。单元(316)将基于照相机(101L)的位置和方向生成的虚拟空间图像和由单元(311)输入的捕捉图像的合成图像输出至HMD(100)。

Description

用于立体观察的***
技术领域
本发明涉及一种用于立体观察的***。
背景技术
VR(Virtual Reality，虚拟现实)***向用户呈现由计算机创作的三维(3D)CG(Computer Graphic，计算机绘图)图像以使他或她感受虚拟空间，如同其为现实空间(physical space)。
近年来，已经开发了用于通过在现实空间的图像上合成3DCG来向用户呈现现实空间上实际不存在的信息的技术。此种技术被称为MR(Mixed Reality，复合现实)***。作为目标在于仅在与现实空间分离的条件下可以感受到的虚拟空间和现实空间的共存，并增强虚拟空间的一种技术，MR***引起了关注。
作为实现允许虚拟和现实空间共存的***(VR/MR***)的代表设备，已知头戴式显示器(head mounted display，HMD)。在该VR/MR***中，通过在HMD上显示虚拟或者现实空间，可以向佩戴该HMD的用户呈现虚拟空间和复合现实感空间(参见日本特开2002-159019)。
图1示出用户佩戴立体视频透视(stereoscopic videosee-through)HMD 100(下文简称为HMD 100)的状态。HMD 100具有与眼镜或护目镜类似的外观形状，并且在HMD 100中布置如LCD等右眼用的显示装置102R和左眼用的显示装置102L。下文中，将右眼用的显示装置102R称为右显示装置102R，将左眼用的显示装置102L称为左显示装置102L。在通过HMD 100中配备的摄像机获取立体视频画面时，将右眼用的立体摄像机101R和左眼用的立体摄像机101L布置在例如用户(佩戴者)的视点(viewpoint)位置的附近。下文中，将右眼用的立体摄像机101R称为右照相机101R，将左眼用的立体摄像机101L称为左照相机101L。
为了实现立体观察(向用户呈现立体图像)，需要生成一对如右眼和左眼的图像那样具有视差(disparity)的图像、并将其显示在右眼和左眼用的显示装置上。为了生成具有视差的图像，需要计算右眼和左眼之间的视差，即，从一个照相机观察到的另一照相机的位置和方向(orientation)。作为计算这个的方法，已知一种通过右眼和左眼用的照相机捕捉多个测试图像、并根据该多个测试图像来计算照相机之间的位置和方向关系的方法。
传统地，使用一个图像处理设备生成右眼和左眼用的图像。然而，为了加速图像生成，可以通过独立的图像处理设备来生成右眼和左眼用的图像。在这种配置中，为了计算右眼和左眼用的照相机的位置和方向，用户必须提前定义连接到这些照相机的图像处理设备之间的连接关系。然而，在实际连接图像处理设备时用户定义错的连接关系时，所连接的图像处理设备不能正确地计算右眼和左眼用的照相机的位置和方向。
发明内容
考虑到上述问题而作出本发明，本发明的目的在于提供这样一种技术：该技术用于简单地获得分别连接至右眼和左眼用的照相机的图像处理设备之间的连接关系，并使用所获得的连接关系来向用户呈现虚拟空间和现实空间的合成图像。
根据本发明的第一方面，一种用于立体观察的***，包括接收由头戴式显示装置的第一照相机捕捉的现实空间的图像的第一图像处理设备，以及接收由所述头戴式显示装置的第二照相机捕捉的所述现实空间的图像的第二图像处理设备，
所述第一图像处理设备包括：
判断单元，用于判断所述第一照相机是否是主装置；
用于在所述判断单元判断为所述第一照相机是主装置时、获取所述第一照相机的位置和方向信息，并用于在所述判断单元判断为所述第一照相机不是主装置时、从所述第二图像处理设备获取所属第二照相机的位置和方向信息的单元；
用于在所述判断单元判断为所述第一照相机是主装置时，将所述第一照相机的位置和方向信息输出至所述第二图像处理设备的单元；
用于在所述判断单元判断为所述第一照相机不是主装置时，获取表示所述第一照相机和所述第二照相机之间的位置和方向关系的位置和方向关系信息的单元；
用于在所述判断单元判断为所述第一照相机不是主装置时，基于所述第二照相机的位置和方向信息以及所述位置和方向关系信息来计算所述第一照相机的位置和方向信息的单元；
用于基于所述第一照相机的位置和方向信息来生成虚拟空间图像的单元；
用于获取由所述第一照相机捕捉的所述现实空间的图像的单元；
生成单元，用于生成通过合成所述现实空间的图像和所述虚拟空间图像所形成的合成图像；以及
用于向所述头戴式显示装置输出所述合成图像的单元，以及
所述第二图像处理设备包括：
第二判断单元，用于判断所述第二照相机是否是主装置；
用于在所述第二判断单元判断为所述第二照相机是主装置时、获取所述第二照相机的位置和方向信息，并用于在所述第二判断单元判断为所述第二照相机不是主装置时、从所述第一图像处理设备获取第一照相机的位置和方向信息的单元；
用于在所述第二判断单元判断为所述第二照相机是主装置时，将所述第二照相机的位置和方向信息输出至所述第一图像处理设备的单元；
用于在所述第二判断单元判断为所述第二照相机不是主装置时，获取表示所述第一照相机和所述第二照相机之间的位置和方向关系的位置和方向关系信息的单元；
用于在所述第二判断单元判断为所述第二照相机不是主装置时，基于所述第一照相机的位置和方向信息以及所述位置和方向关系信息来计算所述第二照相机的位置和方向信息的单元；
用于基于所述第二照相机的位置和方向信息来生成虚拟空间图像的单元；
用于获取由所述第二照相机捕捉的所述现实空间的图像的单元；
第二生成单元，用于生成通过合成由所述第二照相机捕捉的所述现实空间的图像和基于所述第二照相机的位置和方向信息生成的所述虚拟空间图像所形成的合成图像；以及用于向所述头戴式显示装置输出所述合成图像的单元。
根据下面参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示出用户佩戴立体视频透视HMD 100的状态的图；
图2是示出根据本发明第一实施例的***的功能配置的框图；
图3是示出图像处理设备205和206的功能配置的框图；
图4是示出由图像处理设备205和206分别执行的处理的流程图；以及
图5是示出可应用于图像处理设备205和206的计算机的硬件配置的框图。
具体实施方式
下文将参考附图详细说明本发明的优选实施例。注意，将这些实施例作为在权利要求书的范围中描述的本发明的优选配置的例子说明，并且本发明不限于下文要说明的实施例。
第一实施例
图2是示出根据本实施例的***的功能配置的框图。如图2所示，根据该实施例的***包括作为头戴式显示装置的HMD100、以及图像处理设备205和206。用户通过线缆将图像处理设备205连接至HMD 100的右眼单元。类似地，用户通过线缆将图像处理设备206连接至HMD 100的左眼单元。即，在图2的配置中，图像处理设备205是右眼用的图像处理设备，图像处理设备206是左眼用的图像处理设备。连接图像处理设备205和206以能够通过如LAN、因特网等网络202相互通信。
首先将说明HMD 100。HMD 100具有右眼单元，该右眼单元包括右照相机(右眼用的照相机)101R、右显示装置102R、捕捉图像输出单元203R、以及显示图像输入单元204R。同样，HMD 100具有左眼单元，该左眼单元包括左照相机(左眼用的照相机)101L、左显示装置102L、捕捉图像输出单元203L、以及显示图像输入单元204L。
右照相机101R是捕捉从佩戴HMD 100的用户的右眼位置附近看到的现实空间的动画(movie)的摄像机，如在图1中所示。通过捕捉图像输出单元203R和I/F(接口)201将由右照相机101R捕捉的各帧的图像(下文中称之为捕捉图像或现实空间图像)的数据输出至图像处理设备205。注意，在本实施例中，右照相机101R用作第一照相机。
左照相机101L是捕捉从佩戴HMD 100的用户的左眼位置附近看到的现实空间的动画(movie)的摄像机，如在图1中所示。通过捕捉图像输出单元203L和I/F(接口)201将由左照相机101L捕捉的各帧的图像(下文中称之为捕捉图像或现实空间图像)的数据输出至图像处理设备206。注意，在本实施例中，左照相机101L用作第二照相机。
MPU 200包括CPU、ROM、和RAM等，并对构成HMD 100的各单元的操作进行控制。ROM登记表示右照相机101R和左照相机101L之间的位置和方向关系的位置和方向关系信息。可以将该位置和方向关系信息保存在图像处理设备205和/或206中。MPU 200根据需要向图像处理设备205和206输出位置和方向关系信息。
右显示装置102R是如LCD显示器、有机EL显示器等小型、重量轻的显示装置(右眼用的显示装置)，被安装到HMD 100以使右显示装置102R位于佩戴HMD 100的用户的右眼的前面。注意，在该实施例中，右显示装置102R用作第一显示装置。
左显示装置102L是如LCD显示器、有机EL显示器等小型、重量轻的显示装置(左眼用的显示装置)，被安装到HMD 100以使左显示装置102L位于佩戴HMD 100的用户的左眼的前面。注意，在该实施例中，左显示装置102L用作第二显示装置。
捕捉图像输出单元203R通过I/F 201将从右照相机101R接收的捕捉图像的数据输出至图像处理设备205。
捕捉图像输出单元203L通过I/F 201将从左照相机101L接收的捕捉图像的数据输出至图像处理设备206。
显示图像输入单元204R将通过I/F 201从图像处理设备205接收的图像输出至右显示装置102R。
显示图像输入单元204L将通过I/F 201从图像处理设备206接收的图像输出至左显示装置102L。
I/F 201包括如DVI、S-VIDEO、和IEEE 1394等视频图像输入/输出端，用于将图像处理设备205和206连接至HMD 100。
下面将说明图像处理设备205。图像处理设备205通过I/F205a与HMD 100进行数据通信。图像处理设备205通过后面要说明的处理来生成从右照相机101R看到的现实空间的图像和虚拟空间的图像的合成图像(右眼用的合成图像)，并将所生成的合成图像输出至HMD 100。注意，在本实施例中，图像处理设备205用作第一图像处理设备。
下面将说明图像处理设备206。图像处理设备206通过I/F206a与HMD 100进行数据通信。图像处理设备206通过后面要说明的处理来生成从左照相机101L看到的现实空间的图像和虚拟空间的图像的合成图像(左眼用的合成图像)，并将所生成的合成图像输出至HMD 100。注意，在本实施例中，图像处理设备206用作第二图像处理设备。
在下面的说明中，例如，定义右照相机101R为“主(master)照相机”，定义左照相机101L为“从(slave)照相机”。并且，将为包括主照相机的右眼单元布置的图像处理设备205定义为“主图像处理设备”，将为包括从照相机的左眼单元布置的图像处理设备206定义为“从图像处理设备”。在下面的说明中，定义右眼的配置为“主(master)”，定义左眼的配置为“从(slave)”。然而，即使当颠倒这些定义时，***的操作实际上也相同。
用户通过线缆连接HMD 100和图像处理设备205和206，并且在他或她使用该***时，接通***的电源。在通电后的启动处理中，HMD 100的右眼单元和左眼单元向所连接的图像处理设备分别发送表示右眼单元和左眼单元的多条信息。在接收到这些多条信息时，图像处理设备205和206利用下面的功能配置进行操作。
图3是示出图像处理设备205和206的功能配置的框图。注意，图3示出主图像处理设备205和从图像处理设备206具有不同的配置。然而，在某些情况下，图像处理设备206可以连接至右眼单元，图像处理设备205可以连接至左眼单元。即使在这种情况下，图像处理设备具有允许它们相应的操作的配置。
首先将说明图像处理设备205。
识别信息获取单元317从所连接的右照相机101R获取识别信息。将所获取的识别信息输出至控制单元303。
位置和方向信息获取单元301通过网络202获取由连接至网络202的外部传感器***(未示出)所测量的表示右照相机101R的位置和方向的数据(位置和方向信息)。作为该传感器***，可以应用如磁传感器、光学传感器、和超声传感器等各种传感器，并且只要其可以测量右照相机101R的位置和方向，可以使用任意传感器。由于用于测量照相机的位置和方向的传感器***是当前技术(state-of-the-art technique)，因此将不给出其说明。位置和方向信息获取单元301将所获取的位置和方向信息输出至后续的位置和方向计算单元304。
现实图像输入单元302获取从右照相机101R顺序输出的各帧的捕捉图像，并将该图像输出至图像合成单元307。
位置和方向计算单元304将从位置和方向信息获取单元301接收的位置和方向信息输出至位置和方向信息发送单元305和虚拟图像生成单元306。注意，还可以使用由现实图像输入单元302输入的捕捉图像一起来计算右照相机101R的位置和方向信息。在这种情况下，现实图像输入单元302还将输入的捕捉图像输出至位置和方向计算单元304。因此，位置和方向计算单元304可以按原样使用从传感器***获取的位置和方向信息，或者可以使用捕捉图像来校正位置和方向信息。即，只要位置和方向计算单元304可以获取右照相机101R的位置和方向信息，位置和方向计算单元304可以使用任意方法。注意，基于由右照相机101R捕捉到的捕捉图像来估计右照相机101R的位置和方向的技术是当前技术，因而将不给出对该技术的说明。
与右照相机101R的位置和方向信息的获取方法无关，位置和方向计算单元304将位置和方向信息输出至位置和方向信息发送单元305和虚拟图像生成单元306。
控制单元303基于从识别信息获取单元317接收的识别信息来判断连接状态，并基于该判断结果来判定是作为主图像处理设备还是从图像处理设备。控制单元303对构成图像处理设备205的各单元的操作进行控制，并控制与图像处理设备206的数据通信。
位置和方向信息发送单元305将从位置和方向计算单元304接收的位置和方向信息发送至图像处理设备206侧。
虚拟图像生成单元306生成从如下的视点看到的虚拟空间的图像(虚拟空间图像)：该视点具有由从位置和方向计算单元304接收的位置和方向信息所表示的位置和方向。由于该生成虚拟空间图像的方法是当前技术，因此将省略对该技术的说明。将所生成的虚拟空间图像输出至后续的图像合成单元307。
图像合成单元307通过将从虚拟图像生成单元306接收的虚拟空间图像叠加(合成)在从现实图像输入单元302接收的现实空间的图像上来生成合成图像(右眼用的合成图像)。已经提出了各种技术用于通过合成现实空间的图像和虚拟空间图像来生成合成图像的方法，图像合成单元307可以使用任意技术来生成合成图像。图像合成单元307将所生成的合成图像输出至后续的图像输出单元308。
图像输出单元308将从图像合成单元307接收的合成图像输出至HMD 100的I/F 201。通过I/F 201和显示图像输入单元204R将该合成图像输出至右显示装置102R，并将该合成图像显示在右显示装置102R上。以这种方式，将合成图像显示在头部佩戴HMD 100的用户的右眼的前面。
下面将说明图像处理设备206。
识别信息获取单元318从所连接的左照相机101L获取识别信息。将所获取的识别信息输出至控制单元312。
在接收到从位置和方向信息发送单元305发送来的位置和方向信息时，位置和方向信息接收单元310将所接收的位置和方向信息输出至后续的位置和方向计算单元313。在通过I/F 201从MPU 200接收到由MPU 200保持的位置和方向关系信息时，位置和方向信息接收单元310将该信息输出至位置和方向计算单元313。
现实图像输入单元311获取从左照相机101L顺序输出的各帧的捕捉图像，并将该图像输出至图像合成单元315。
位置和方向计算单元313使用从位置和方向信息接收单元310接收的位置和方向信息以及位置和方向关系信息来计算左照相机101L的位置和方向。然后，位置和方向计算单元313将表示计算出的左照相机101L的位置和方向的数据输出至后续的虚拟图像生成单元314。当将捕捉图像用于计算位置和方向(例如，使用捕捉图像来校正由位置和方向计算单元313计算出的位置和方向)时，基于与图像处理设备205侧相同的原因，现实图像输入单元311还将输入的捕捉图像输出至位置和方向计算单元313。
与左照相机101L的位置和方向的计算方法无关，位置和方向计算单元313将表示计算出的位置和方向的数据输出至虚拟图像生成单元314。
控制单元312基于从识别信息获取单元318接收的识别信息来判断连接状态，并基于该判断结果来判定是用作主图像处理设备还是作为从图像处理设备。控制单元312对构成图像处理设备206的各单元的操作进行控制，并控制与图像处理设备205进行的数据通信。
虚拟图像生成单元314生成从如下视点看到的虚拟空间的图像(虚拟空间图像)：该视点具有由从位置和方向计算单元313接收的数据所表示的位置和方向。由于生成虚拟空间图像的方法是当前技术，因此将省略对其的说明。将所生成的虚拟空间图像输出至后续的图像合成单元315。
图像合成单元315通过将从虚拟图像生成单元314接收的虚拟空间图像叠加(合成)在从现实图像输入单元311接收的现实空间的图像上来生成合成图像(左眼用的合成图像)。已经出现了各种技术用于通过合成现实空间的图像和虚拟空间图像来生成合成图像的方法，图像合成单元315可以使用任意技术来生成合成图像。图像合成单元315将生成的合成图像输出至后续的图像输出单元316。
图像输出单元316将从图像合成单元315接收的合成图像输出至HMD 100的I/F 201。通过I/F 201和显示图像输入单元204L将该合成图像输出至左显示装置102L，并将该合成图像显示在左显示装置102L上。以这种方式，将合成图像显示在头部佩戴HMD 100的用户的左眼前面。
图4是示出由图像处理设备205和206分别执行的处理的流程图。由于上面说明了在各步骤中要执行的处理的细节，因此下面将给出简单的说明。
在步骤S401，识别信息获取单元317从所连接的右照相机101R获取识别信息。然后，识别信息获取单元317将所获取的识别信息输出至控制单元303。控制单元303检查连接状态，并判断后续的操作。在该例子中，控制单元303判断为本图像处理设备用作主图像处理设备。
在步骤S402，位置和方向信息获取单元301获取表示照相机101R的位置和方向的位置和方向信息。位置和方向信息获取单元301将所获取的位置和方向信息输出至后续的位置和方向计算单元304。
在步骤S403，位置和方向计算单元304将从位置和方向信息获取单元301接收的位置和方向信息或者通过任意方法计算出的位置和方向信息输出至位置和方向信息发送单元305和虚拟图像生成单元306。位置和方向信息发送单元305将从位置和方向计算单元304接收的位置和方向信息发送至图像处理设备206侧。
在步骤S404，现实图像输入单元302获取从右照相机101R顺序输出的各帧的捕捉图像，并将该图像输出至图像合成单元307。由于可以在步骤S403之前执行步骤S404中的处理，因此当在步骤S403中执行例如使用捕捉图像来校正位置和方向信息的处理时，还将捕捉图像输出至位置和方向计算单元304。以这种方式，可以在步骤S403中使用捕捉图像来计算位置和方向信息。
在步骤S405中，虚拟图像生成单元306生成从如下视点看到的虚拟空间的图像(虚拟空间图像)：该视点具有由从位置和方向计算单元304接收的位置和方向信息所表示的位置和方向。然后，虚拟图像生成单元306将所生成的虚拟空间图像输出至后续的图像合成单元307。
在步骤S406，图像合成单元307通过将从虚拟图像生成单元306接收的虚拟空间图像叠加(合成)在从现实图像输入单元302接收的现实空间的图像上来生成合成图像(右眼的合成图像)。然后，图像合成单元307将生成的合成图像输出至后续的图像输出单元308。
在步骤S407，图像输出单元308将从图像合成单元307接收的合成图像输出至HMD 100的I/F 201。
最终，控制单元303在步骤S408中检查是否满足该处理的结束条件，或者是否从外部输入了该处理的结束指令。作为该检查的结果，如果满足了该处理的结束条件，或者如果从外部输入了该处理的结束指令，则该处理结束。另一方面，如果不满足该处理的结束条件，并且没有从外部输入该处理的结束指令，则该处理返回至步骤S402以执行下一帧的后续处理。
在步骤S451，识别信息获取单元318从所连接的左照相机101L获取识别信息。然后，识别信息获取单元318将所获取的识别信息输出至控制单元312。控制单元312检查连接状态，并判断后续的操作。在该例子中，控制单元312判断为自身的图像处理设备用作从图像处理设备。
在S452中，在通过I/F 201从MPU 200接收(获取)由MPU 200保持的位置和方向关系信息时，位置和方向信息接收单元310将该信息输出至位置和方向计算单元313。
在步骤S453，在接收到从位置和方向信息发送单元305发送来的位置和方向信息时，位置和方向信息接收单元310将该信息输出至后续的位置和方向计算单元313。
在步骤S454，位置和方向计算单元313使用从位置和方向信息接收单元310接收的位置和方向信息以及位置和方向关系信息来计算左照相机101L的位置和方向。然后，位置和方向计算单元313将表示计算出的左照相机101L的位置和方向的数据输出至后续的虚拟图像生成单元314。
在步骤S455，现实图像输入单元311获取从左照相机101L顺序输出的各帧的捕捉图像，并将该图像输出至图像合成单元315。由于可以在步骤S454之前执行步骤S455中的处理，因此当在步骤S454中执行例如使用捕捉图像来校正位置和方向的处理时，还将捕捉图像输出至位置和方向计算单元313。以这种方式，可以在步骤S454中使用捕捉图像来计算位置和方向。
在步骤S456，虚拟图像生成单元314生成从如下视点看到的虚拟空间的图像(虚拟空间图像)：该视点具有由从位置和方向计算单元313接收的数据所表示的位置和方向。然后，虚拟图像生成单元314将生成的虚拟空间图像输出至后续的图像合成单元315。
在步骤S457，图像合成单元315通过将从虚拟图像生成单元314接收的虚拟空间图像叠加(合成)在从现实图像输入单元311接收的现实空间的图像上来生成合成图像(左眼的合成图像)。然后，图像合成单元315将所生成的合成图像输出至后续的图像输出单元316。
在步骤S458，图像输出单元316将从图像合成单元315接收的合成图像输出至HMD 100的I/F 201。
最终，控制单元312在步骤S459检查是否满足该处理的结束条件，或者是否从外部输入了该处理的结束指令。作为该检查的结果，如果满足了该处理的结束条件，或者如果从外部输入了该处理的结束指令，则该处理结束。另一方面，如果不满足该处理的结束条件，并且没有从外部输入该处理的结束指令，则该处理返回至步骤S453，以执行下一帧的后续处理。
如上所述，根据该实施例，当计算了右照相机101R的位置和方向时，使用这些位置和方向以及位置和方向关系信息可以计算左照相机101R的位置和方向。因此，由于由各图像处理设备来计算各照相机的位置和方向，因此可以提高各照相机的位置和方向的精确度，并且可以降低测量的工作量。根据该实施例，可以计算右照相机和左照相机的位置和方向以比传统***具有更高的精确度，并且可以向用户呈现具有更高精确度的立体观察。用户可以连接图像处理设备而不考虑它们之间的关系。
变形例1
在该实施例的说明中，发送表示右眼单元和左眼单元的多条信息。作为这种信息的详细内容，右眼单元和左眼单元的每个向相应的图像处理设备发送该单元独有的识别信息(装置名称等)。图像处理设备侧保持表示具有该识别信息的装置是主装置还是从装置的多个组的识别信息和标志信息。
因此，在接收到所发送的识别信息时，图像处理设备205参考与该识别信息相对应的标志信息，识别所连接的照相机是主照相机还是从照相机。如果图像处理设备205识别为所连接的照相机是主照相机，则该图像处理设备205用作主图像处理设备。另一方面，如果图像处理设备205识别为所连接的照相机是从照相机，则该图像处理设备205用作从图像处理设备。
变形例2
在第一实施例中，将表示右照相机101R和左照相机101L之间的位置和方向关系的位置和方向关系信息保持在HMD 100侧。然而，可以将位置和方向关系信息保持在图像处理设备205和206侧。在这种情况下，如果用作从图像处理设备的图像处理设备需要位置和方向关系信息，则其可以从自身或者其它图像处理设备获取位置和方向关系信息
第二实施例
在第一实施例的说明中，由硬件组件来配置构成图3中示出的图像处理设备205和206的所有各单元。然而，可以由计算机程序来实现一些单元，并且可以由普通PC(个人计算机)来执行这种计算机程序，从而获得相同的结果。
图5是示出可应用于图像处理设备205和206的计算机的硬件配置的框图。
CPU 501使用存储在RAM 502和ROM 503中的计算机程序和数据来控制整个计算机，并执行要由应用了计算机的图像处理设备205和206实现的前述处理。例如，在将该计算机应用于图像处理设备205时，CPU 501用作控制单元303。例如，在将该计算机应用于图像处理设备206时，CPU 501用作控制单元312。
RAM 502具有用于临时存储从外部存储装置506加载的计算机程序和数据、通过I/F 507从外部接收的数据等的区域。此外，RAM 502还具有在CPU 501执行各种处理时使用的工作区域。即，RAM 502根据需要可以提供各种区域。
ROM 503存储计算机的引导(boot)程序、设置数据等。
操作单元504包括键盘、鼠标等。该计算机的操作者通过操作该操作单元504可以向CPU 501输入各种指令。
显示单元505包括CRT、液晶显示器等。显示单元505可以以图像、字符等形式显示CPU 501的处理结果。
外部存储装置506是由硬盘驱动器表示的大容量信息存储装置。外部存储装置506保存OS(操作***)、使CPU 501执行要由图像处理设备205和206实现的各处理的计算机程序和数据。
例如，在将该计算机应用于图像处理设备205时，计算机程序包括下面的计算机程序：用于使CPU 501执行位置和方向计算单元304、虚拟图像生成单元306、以及图像合成单元307的功能的计算机程序。
例如，在将该计算机应用于图像处理设备206时，计算机程序包括下面的计算机程序：用于使CPU 501执行位置和方向计算单元313、虚拟图像生成单元314、以及图像合成单元315的功能的计算机程序。
外部存储装置506中保存的数据包括生成虚拟空间图像所需要的数据以及描述为给定数据的数据。
根据需要，在CPU 501的控制下，将保存在外部存储装置506中的计算机程序和数据加载至RAM 502，并将由CPU 501来执行。
I/F 507用于将该计算机连接至外部设备。例如，将网络202和I/F 201连接至I/F 507。在将该计算机应用于图像处理设备205时，I/F 507对应于位置和方向信息获取单元301、现实图像输入单元302、位置和方向信息发送单元305、以及图像输出单元308。在将该计算机应用于图像处理设备206时，I/F 507对应于位置和方向信息接收单元310、现实图像输入单元311、以及图像输出单元316。
附图标记508表示使前述单元互相连接的总线。
注意，将具有相同的硬件配置的计算机应用于图像处理设备205和206，但可以将具有不同的硬件配置的计算机应用于它们。
其它实施例
本发明的目的可以如下实现。即，向***或设备提供记录有可以实现上述实施例的功能的软件的程序代码的记录介质(或者存储介质)。当然，这种存储介质是计算机可读存储介质。该***或设备的计算机(或CPU或MPU)读取并执行存储在记录介质中的程序代码。在这种情况下，从存储介质读取的程序代码自身实现了上述实施例的功能，并且记录有程序代码的记录介质构成本发明。
当计算机执行所读出的程序代码时，基于该程序代码的指令，运行在计算机上的操作***(OS)等执行实际处理操作的一些或者全部。本发明还包括这种情况，在该情况中，由该处理来实现上述实施例的功能。
此外，假定将从存储介质读取的程序代码写入***至或者连接至计算机的功能扩展卡或者功能扩展单元的存储器中。之后，基于该程序代码的指令，通过由布置在功能扩展卡或功能扩展单元中的CPU等执行实际处理操作的一些或全部来实现上述实施例的功能。这种情况也包括在本发明中。
当将本发明应用于记录介质时，该记录介质存储对应于前述流程图的程序代码。
尽管已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (3)

1.一种用于立体观察的***，包括接收由头戴式显示装置的第一照相机捕捉的现实空间的图像的第一图像处理设备，以及接收由所述头戴式显示装置的第二照相机捕捉的现实空间的图像的第二图像处理设备，
所述第一图像处理设备包括：
判断单元，用于判断所述第一照相机是否是主照相机；
用于在所述判断单元判断为所述第一照相机是主照相机时，获取所述第一照相机的位置和方向信息，并用于在所述判断单元判断为所述第一照相机不是主照相机时，从所述第二图像处理设备获取所述第二照相机的位置和方向信息的单元；
用于在所述判断单元判断为所述第一照相机是主照相机时，将所述第一照相机的位置和方向信息输出至所述第二图像处理设备的单元；
用于在所述判断单元判断为所述第一照相机不是主照相机时，获取表示所述第一照相机和所述第二照相机之间的位置和方向关系的位置和方向关系信息的单元；
用于在所述判断单元判断为所述第一照相机不是主照相机时，基于所述第二照相机的位置和方向信息以及所述位置和方向关系信息来计算所述第一照相机的位置和方向信息的单元；
用于基于所述第一照相机的位置和方向信息来生成虚拟空间图像的单元；
用于获取由所述第一照相机捕捉的所述现实空间的图像的单元；
生成单元，用于生成通过合成所述现实空间的图像和所述虚拟空间图像所形成的合成图像；以及
用于向所述头戴式显示装置输出所述合成图像的单元，以及
所述第二图像处理设备包括：
第二判断单元，用于判断所述第二照相机是否是主照相机；
用于在所述第二判断单元判断为所述第二照相机是主照相机时，获取所述第二照相机的位置和方向信息，并用于在所述第二判断单元判断为所述第二照相机不是主照相机时，从所述第一图像处理设备获取所述第一照相机的位置和方向信息的单元；
用于在所述第二判断单元判断为所述第二照相机是主照相机时，将所述第二照相机的位置和方向信息输出至所述第一图像处理设备的单元；
用于在所述第二判断单元判断为所述第二照相机不是主照相机时，获取表示所述第一照相机和所述第二照相机之间的位置和方向关系的位置和方向关系信息的单元；
用于在所述第二判断单元判断为所述第二照相机不是主照相机时，基于所述第一照相机的位置和方向信息以及所述位置和方向关系信息来计算所述第二照相机的位置和方向信息的单元；
用于基于所述第二照相机的位置和方向信息来生成虚拟空间图像的单元；
用于获取由所述第二照相机捕捉的所述现实空间的图像的单元；
第二生成单元，用于生成通过合成由所述第二照相机捕捉的所述现实空间的图像和基于所述第二照相机的位置和方向信息生成的所述虚拟空间图像所形成的合成图像；以及
用于向所述头戴式显示装置输出所述合成图像的单元。
2.根据权利要求1所述的用于立体观察的***，其特征在于，所述头戴式显示装置包括：
第一显示装置，用于显示由所述第一图像处理设备的所述生成单元所生成的所述合成图像；以及
第二显示装置，用于显示由所述第二图像处理设备的所述第二生成单元所生成的所述合成图像。
3.根据权利要求1所述的用于立体观察的***，其特征在于，基于从所述第一照相机和所述第二照相机发送来的识别信息，所述第一图像处理设备的所述判断单元和所述第二图像处理设备的所述第二判断单元分别判断所述第一照相机和所述第二照相机中的一个是主照相机。
CN2008100892573A 2007-04-25 2008-04-25 用于立体观察的*** Expired - Fee Related CN101295206B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-116113 2007-04-25
JP2007116113A JP4689639B2 (ja) 2007-04-25 2007-04-25 画像処理システム

Publications (2)

Publication Number Publication Date
CN101295206A true CN101295206A (zh) 2008-10-29
CN101295206B CN101295206B (zh) 2010-07-28

Family

ID=39886448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100892573A Expired - Fee Related CN101295206B (zh) 2007-04-25 2008-04-25 用于立体观察的***

Country Status (3)

Country Link
US (1) US8049775B2 (zh)
JP (1) JP4689639B2 (zh)
CN (1) CN101295206B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289564A (zh) * 2010-06-03 2011-12-21 微软公司 来自多个视听源的信息的合成
CN101995941B (zh) * 2009-08-13 2012-05-23 昆山扬明光学有限公司 头戴式显示***
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
CN102893620A (zh) * 2010-03-19 2013-01-23 博特兰·内普弗 用于数字地处理视频信号的方法、数字图像处理器和视频显示***
CN103080983A (zh) * 2010-09-06 2013-05-01 国立大学法人东京大学 车辆***
CN103188512A (zh) * 2011-12-28 2013-07-03 华晶科技股份有限公司 三维影像产生装置
CN103202010A (zh) * 2010-11-09 2013-07-10 富士胶片株式会社 增强现实感提供设备
CN103576315A (zh) * 2012-07-30 2014-02-12 联想(北京)有限公司 显示装置
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN104134414A (zh) * 2013-05-01 2014-11-05 柯尼卡美能达株式会社 显示***、显示方法以及显示终端
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置，信息处理***及信息处理方法
CN104584115A (zh) * 2012-08-27 2015-04-29 索尼公司 图像显示设备和图像显示方法、信息通信终端和信息通信方法以及图像显示***
CN104883556A (zh) * 2015-05-25 2015-09-02 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜
CN105093533A (zh) * 2015-08-20 2015-11-25 余剑锋 一种虚拟现实头盔装置
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
CN105721856A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种用于近眼显示器的远程图像显示方法
CN106210699A (zh) * 2015-06-01 2016-12-07 佳能株式会社 信息处理装置、信息处理装置的控制方法及图像处理***
CN107615338A (zh) * 2015-02-17 2018-01-19 奈克斯特Vr股份有限公司 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
WO2018040328A1 (zh) * 2016-08-31 2018-03-08 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
WO2018205152A1 (zh) * 2017-05-09 2018-11-15 华为技术有限公司 一种vr绘图方法、设备及***
CN111050145A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及***
US11336881B2 (en) 2015-02-17 2022-05-17 Nevermind Capital Llc Methods and apparatus for processing content based on viewing information and/or communicating content

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886231B2 (en) * 2008-03-28 2018-02-06 Kopin Corporation Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
JP5293025B2 (ja) * 2008-09-11 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20110080462A1 (en) * 2009-10-02 2011-04-07 Panasonic Corporation Playback device, integrated circuit, playback method, and program for stereoscopic video playback
JP5097297B2 (ja) 2009-10-02 2012-12-12 パナソニック株式会社 再生装置、再生方法、再生プログラム
JP2011135202A (ja) * 2009-12-22 2011-07-07 Sony Corp 映像信号処理装置及び映像信号処理方法
US8384774B2 (en) * 2010-02-15 2013-02-26 Eastman Kodak Company Glasses for viewing stereo images
JP2011250177A (ja) * 2010-05-27 2011-12-08 Toshiba Corp カメラモジュール及び画像記録方法
US8842170B2 (en) 2010-06-01 2014-09-23 Intel Corporation Method and apparaus for making intelligent use of active space in frame packing format
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
JP4696184B1 (ja) * 2010-06-02 2011-06-08 任天堂株式会社 画像表示システム、画像表示装置および画像表示方法
JP5739670B2 (ja) * 2010-06-11 2015-06-24 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
EP2395769B1 (en) * 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
EP2395763A3 (en) 2010-06-14 2012-02-29 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5505637B2 (ja) * 2010-06-24 2014-05-28 ソニー株式会社 立体表示装置および立体表示装置の表示方法
US8767053B2 (en) * 2010-08-26 2014-07-01 Stmicroelectronics, Inc. Method and apparatus for viewing stereoscopic video material simultaneously with multiple participants
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5846738B2 (ja) * 2011-01-06 2016-01-20 任天堂株式会社 表示制御プログラム、表示装置、表示システム、および、表示制御方法
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
FR2984057B1 (fr) 2011-12-13 2014-01-03 Solidanim Systeme de tournage de film video
JP5901376B2 (ja) * 2012-03-23 2016-04-06 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
TWI524735B (zh) * 2012-03-30 2016-03-01 華晶科技股份有限公司 三維影像產生方法及裝置
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
CN104520905A (zh) * 2012-07-27 2015-04-15 日本电气方案创新株式会社 三维环境共有***及三维环境共有方法
US9961213B2 (en) * 2014-01-28 2018-05-01 Beijing Lenovo Software Ltd. Electronic device and image capturing apparatus
KR102262086B1 (ko) * 2014-05-28 2021-06-09 삼성전자 주식회사 이미지 처리 방법 및 장치
ES1136432Y (es) * 2015-01-28 2015-05-11 Rubio Pablo Abad Sistema de adaptacion de gafas de realidad virtual para visualizacion de realidad aumentada estereoscopica envolvente
JP6614835B2 (ja) * 2015-07-15 2019-12-04 キヤノン株式会社 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム
JP6590609B2 (ja) * 2015-09-15 2019-10-16 キヤノン株式会社 画像解析装置及び画像解析方法
JP6702779B2 (ja) * 2016-04-14 2020-06-03 キヤノン株式会社 データ分配装置、画像表示システム及びデータ分配方法
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
CN107919089B (zh) * 2016-10-09 2019-11-22 上海和辉光电有限公司 一种像素阵列及其虚拟现实中的显示电路
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US10475196B2 (en) * 2018-03-22 2019-11-12 Microsoft Technology Licensing, Llc Hybrid depth detection and movement detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6177952B1 (en) * 1993-09-17 2001-01-23 Olympic Optical Co., Ltd. Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
US5777715A (en) * 1997-01-21 1998-07-07 Allen Vision Systems, Inc. Low vision rehabilitation system
JP2002159019A (ja) 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
JP4878083B2 (ja) * 2001-03-13 2012-02-15 キヤノン株式会社 画像合成装置及び方法、プログラム
US20060081793A1 (en) * 2004-01-26 2006-04-20 Microvision, Inc. Head-worn video display with viewing screen
WO2005072667A1 (ja) * 2004-01-29 2005-08-11 Konica Minolta Photo Imaging, Inc. 視覚補助表示装置
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP4717728B2 (ja) * 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995941B (zh) * 2009-08-13 2012-05-23 昆山扬明光学有限公司 头戴式显示***
CN102893620A (zh) * 2010-03-19 2013-01-23 博特兰·内普弗 用于数字地处理视频信号的方法、数字图像处理器和视频显示***
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
CN102289564A (zh) * 2010-06-03 2011-12-21 微软公司 来自多个视听源的信息的合成
CN103080983A (zh) * 2010-09-06 2013-05-01 国立大学法人东京大学 车辆***
CN103202010A (zh) * 2010-11-09 2013-07-10 富士胶片株式会社 增强现实感提供设备
US9001155B2 (en) 2010-11-09 2015-04-07 Fujifilm Corporation Augmented reality providing apparatus
CN103202010B (zh) * 2010-11-09 2014-12-03 富士胶片株式会社 增强现实感提供设备
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
US9678654B2 (en) 2011-09-21 2017-06-13 Google Inc. Wearable computer with superimposed controls and instructions for external device
CN103188512A (zh) * 2011-12-28 2013-07-03 华晶科技股份有限公司 三维影像产生装置
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
CN103188512B (zh) * 2011-12-28 2015-05-27 华晶科技股份有限公司 三维影像产生装置
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置，信息处理***及信息处理方法
CN104205175B (zh) * 2012-03-29 2017-11-14 索尼公司 信息处理装置，信息处理***及信息处理方法
US9316835B2 (en) 2012-07-30 2016-04-19 Lenovo (Beijing) Co., Ltd. Head worn display device
CN103576315A (zh) * 2012-07-30 2014-02-12 联想(北京)有限公司 显示装置
CN103576315B (zh) * 2012-07-30 2017-03-01 联想(北京)有限公司 显示装置
CN104584115A (zh) * 2012-08-27 2015-04-29 索尼公司 图像显示设备和图像显示方法、信息通信终端和信息通信方法以及图像显示***
CN104584115B (zh) * 2012-08-27 2019-04-05 索尼公司 图像显示设备和图像显示方法、信息通信终端和信息通信方法以及图像显示***
CN104134414A (zh) * 2013-05-01 2014-11-05 柯尼卡美能达株式会社 显示***、显示方法以及显示终端
CN104134414B (zh) * 2013-05-01 2017-04-12 柯尼卡美能达株式会社 显示***、显示方法以及显示终端
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
CN105721856A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种用于近眼显示器的远程图像显示方法
US11336881B2 (en) 2015-02-17 2022-05-17 Nevermind Capital Llc Methods and apparatus for processing content based on viewing information and/or communicating content
CN107615338A (zh) * 2015-02-17 2018-01-19 奈克斯特Vr股份有限公司 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
US11924394B2 (en) 2015-02-17 2024-03-05 Nevermind Capital Llc Methods and apparatus for receiving and/or using reduced resolution images
US11902493B2 (en) 2015-02-17 2024-02-13 Nevermind Capital Llc Methods and apparatus for processing content based on viewing information and/or communicating content
CN107615338B (zh) * 2015-02-17 2023-08-04 纳维曼德资本有限责任公司 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置
US11388384B2 (en) 2015-02-17 2022-07-12 Nevermind Capital Llc Methods and apparatus for receiving and/or using reduced resolution images
US11381801B2 (en) 2015-02-17 2022-07-05 Nevermind Capital Llc Methods and apparatus for receiving and/or using reduced resolution images
CN104883556A (zh) * 2015-05-25 2015-09-02 深圳市虚拟现实科技有限公司 基于增强现实的三维显示方法和增强现实眼镜
CN106210699A (zh) * 2015-06-01 2016-12-07 佳能株式会社 信息处理装置、信息处理装置的控制方法及图像处理***
US10198868B2 (en) 2015-06-01 2019-02-05 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, image processing system and non-transitory computer-readable storage medium
CN106210699B (zh) * 2015-06-01 2019-01-22 佳能株式会社 信息处理装置、信息处理装置的控制方法及图像处理***
CN105093533A (zh) * 2015-08-20 2015-11-25 余剑锋 一种虚拟现实头盔装置
US10178379B2 (en) 2016-08-31 2019-01-08 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for testing virtual reality head display device
WO2018040328A1 (zh) * 2016-08-31 2018-03-08 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
WO2018205152A1 (zh) * 2017-05-09 2018-11-15 华为技术有限公司 一种vr绘图方法、设备及***
CN111050145A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及***
CN111050145B (zh) * 2018-10-11 2022-07-01 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及***

Also Published As

Publication number Publication date
US20080266386A1 (en) 2008-10-30
CN101295206B (zh) 2010-07-28
US8049775B2 (en) 2011-11-01
JP2008277920A (ja) 2008-11-13
JP4689639B2 (ja) 2011-05-25

Similar Documents

Publication Publication Date Title
CN101295206B (zh) 用于立体观察的***
EP2597597B1 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
US11315328B2 (en) Systems and methods of rendering real world objects using depth information
US8817073B2 (en) System and method of processing 3D stereoscopic image
US10762688B2 (en) Information processing apparatus, information processing system, and information processing method
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN104238665A (zh) 图像处理装置及图像处理方法
EP3693925A1 (en) Information processing device, information processing method, and recording medium
US9639944B2 (en) Method and apparatus for determining a depth of a target object
CN110717994A (zh) 远程视频交互的实现方法及相关设备
TW202123694A (zh) 3d顯示設備、3d圖像顯示方法
JP2022046260A5 (ja) 画像処理装置、画像処理方法、記録媒体およびプログラム
US11248911B2 (en) Method and device for aligning coordinate of position device with coordinate of IMU
KR102459850B1 (ko) 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치
CN112070820A (zh) 一种分布式增强现实的定位终端、定位服务器及定位***
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP5712737B2 (ja) 表示制御装置、表示制御方法、及びプログラム
CN109819231A (zh) 一种视觉自适应裸眼3d图像处理方法及装置
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US10642349B2 (en) Information processing apparatus
CN111405262B (zh) 一种视点信息生成方法、装置、***、设备和介质
KR20090034694A (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
CN105138215B (zh) 一种信息处理方法及电子设备
US20160156897A1 (en) Three-dimensional image generating device, three-dimensional image generating method, program, and information storage medium
CN116402944A (zh) Ar眼镜三维重建方法、***、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100728

Termination date: 20180425