CN105210116A - 用于对于多个3d显示器呈现对象的方法和装置 - Google Patents

用于对于多个3d显示器呈现对象的方法和装置 Download PDF

Info

Publication number
CN105210116A
CN105210116A CN201380076522.3A CN201380076522A CN105210116A CN 105210116 A CN105210116 A CN 105210116A CN 201380076522 A CN201380076522 A CN 201380076522A CN 105210116 A CN105210116 A CN 105210116A
Authority
CN
China
Prior art keywords
display apparatus
world coordinates
determined
coordinates system
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380076522.3A
Other languages
English (en)
Inventor
杜琳
宋文娟
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN105210116A publication Critical patent/CN105210116A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Hardware Design (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种用于对于多个3D显示器呈现对象的方法和装置。所述方法包括：根据全局坐标***中所述对象位置与从用户的眼睛到所述3D显示器所定义的区域的关系来确定所述多个3D显示器之一以呈现所述对象；以及在所确定的3D显示器上呈现所述对象。

Description

用于对于多个3D显示器呈现对象的方法和装置
技术领域
本发明一般地涉及图像处理技术。具体地说，本发明涉及一种用于对于多个3D(三维)显示器呈现对象的方法和装置。
背景技术
呈现是3D计算机图形的重要主题之一，其指的是借助于计算机程序根据模型来生成图像的处理。
在计算机图形中，多屏幕交互性(例如第二屏幕、三重播放等)是一种涉及多个显示器和输入设备(例如TV、移动或平板电脑)的新的人类计算机交互技术，其给予了用户发出命令以及消费媒体内容的另一方式。在多屏幕应用中，很多交互涉及将虚拟对象从一个屏幕传送到另一屏幕。这种多屏幕应用可以被应用于2D显示器和3D显示器这两者的上下文中。
在2D情况下，为了将虚拟对象从一个屏幕传送到另一屏幕，仅需要将虚拟对象呈现为使得其在一个屏幕处消失而同时在另一屏幕处显现。因此，内容的时间同步是2D多屏幕应用中的关键问题之一，使得在不同设备处的内容和用户输入可以沿着时间线对准。然而，在2D环境中不可能创建使得用户感觉到对象真正地从一个屏幕“移动”到另一屏幕的沉浸式用户体验。
在3D多屏幕情况下，现在能够以虚拟对象在空间上同步的方式(即，对象的大小、姿势和位置在移动期间在根据特定用户所定义的3D空间中保持连续)来呈现虚拟对象，使得只要不同屏幕彼此靠近就可以在该不同屏幕之间传送虚拟对象。在3D多屏幕应用中，仅时间同步是不够的，并且空间同步对于给予用户一致的3D体验也是很重要的。3D多屏幕应用中的空间同步问题尚未得以良好地研究。
发明内容
鉴于传统技术中的上述问题，本发明提出一种用于对于多个3D显示器呈现对象的方法和装置，其有助于解决3D多屏幕应用中的空间同步问题，使得用户可以在不同3D显示器之间无缝地传送虚拟对象。
根据本发明一方面，提供一种用于对于多个3D显示器呈现对象的方法。所述方法包括：根据全局坐标***中所述对象位置与从用户的眼睛到3D显示器所定义的区域的关系来确定所述多个3D显示器之一以呈现所述对象；以及在所确定的3D显示器上呈现所述对象。
根据本发明一方面，提供一种用于对于多个3D显示器呈现对象的装置。所述装置包括：用于根据全局坐标***中所述对象的位置与从用户的眼睛到3D显示器所定义的区域的关系来确定所述多个3D显示器之一以呈现所述对象的部件；以及用于在所确定的3D显示器上呈现所述对象的部件。
应当理解，在本发明的以下详细描述中将发现本发明的更多方面和优点。
附图说明
包含了附图以连同用于解释实施例的原理的描述一起提供本发明的实施例的进一步理解。本发明不限于实施例。
在附图中：
图1是示出根据本发明实施例的用于对于多个3D显示器设备呈现对象的方法的流程图；
图2是示出用户将虚拟对象从第一3D显示器设备传送到第二3D显示器设备的典型应用情形的示例性示图；
图3是示出根据本发明实施例的校准处理的流程图；
图4是示出根据本发明实施例的交互处理的流程图；
图5是示出利用视景体(viewingfrustum)来确定3D屏幕以呈现虚拟对象的示例性示图；以及
图6是示出根据本发明实施例的用于根据用户的眼睛的位置来呈现虚拟对象的处理的示例性示图。
具体实施方式
现将结合附图详细描述本发明实施例。在以下描述中，为了简明，可以省略公知功能和配置的一些详细描述。
图1是示出根据本发明实施例的用于对于多个3D显示器设备呈现对象的方法的流程图。
如图1所示，在步骤S101，定义了用于多个3D显示器设备和用户的眼睛的全局坐标***。在计算机图形中，坐标***是使用一个或多个数或坐标以唯一地确定显示空间中的点或其它几何元素的位置的***。而地理坐标***是使得显示空间中的每一点能够由一组数或坐标指定的坐标***。本领域技术人员应当理解，3D呈现将使用3D坐标***，其中，3D模型的点由三个实数或坐标指代，指示从该点到三条固定、垂直和带刻度的线(称为在原点处相交的轴)的垂直投影的位置。
在步骤S102，检测多个3D显示器设备的姿势和位置，并且跟踪用户的眼睛在全局坐标***中的位置。应当理解，多个3D显示器设备中的一个或多个以及用户可以是可移动的。在此情况下，所跟踪的用户的眼睛的位置以及检测到的3D显示器设备的姿势和位置应当根据它们的对应移动而在全局坐标***中得以更新。
在步骤S103，定义了用于每个3D显示器设备的局部坐标***。显示器设备的局部坐标***使用一个或多个数或坐标来唯一地确定显示器设备的显示空间中的点或其它几何元素的位置。
在步骤S104，计算从3D显示器设备的局部坐标***到全局坐标***的各个变换矩阵。
在步骤S105，在多个3D显示器设备当中，根据对象是否处于从用户的眼睛到3D显示器设备的边界的视景体内来确定应呈现对象的3D显示器设备。在3D计算机图形中，视景体是可以显现在屏幕上的模型化世界中的空间的区域。该区域的确切形状取决于正在模拟何种相机镜头而变化，但典型地，其为四棱锥的视锥(frustum)。应当理解，步骤S105可以包括：确定对象在全局坐标***中的位置和姿势。此外，在用户与3D显示器设备的交互期间，可以根据例如由输入设备进行的用户输入来改变对象的位置和姿势。如稍后将描述的那样，用户可以使用输入设备，以操控各3D显示器设备之一上所显示的对象。在此情况下，本领域技术人员应当理解，对于输入设备也应当执行上述步骤S102至S104。
在步骤S106，将对象从全局坐标***转换到所确定的3D显示器设备的局部坐标***，并且在所确定的3D显示器设备上呈现对象。
接下来，将详细描述提供一种用于使用眼睛跟踪技术以使得能够进行多个3D显示器设备之间的虚拟对象的无缝过渡的3D多屏幕交互的方法和装置。
具体地说，将参照所谓的双屏幕应用(即用户将虚拟对象从3D显示器设备传送到另一3D显示器设备)的实施例来详细描述所述方法。
图2是示出用户将虚拟对象从第一3D显示器设备传送到第二3D显示器设备的典型应用情形的示例性示图。
在图2中，仅为了说明的目的，第一3D显示器设备示出为具有3D屏幕201的3D平板电脑，第二3D显示器设备示出为具有3D屏幕202的3DTV。应当理解，其它类型的3D显示器设备也可以应用于本发明中。3D屏幕201在该示例中是触摸屏，用户可以借此通过以输入设备203(记录笔或用户的手指)触摸屏幕而通过简单或多种触摸姿势来操控屏幕201上所显示的对象。至于操控，其表示改变对象的各显示参数中的一个或多个，包括但不限于位置和姿势。作为所提及的操控的示例，用户可以改变虚拟对象的位置和姿势，以将其从3D屏幕201上的对象开始点无缝地传送到3D屏幕202的对象结束点。接下来，将参照图2中的应用情形来描述根据本发明实施例的用于3D屏幕201与202之间的对象过渡的方法。为了简化说明，描述仅具有两个3D显示器设备的情况。本领域技术人员应当理解，本发明也可以应用于多个3D显示器设备之间的对象过渡的上下文中。
根据参照图1所描述的本发明实施例，为了在传送对象期间完成用于3D多屏幕应用的空间同步的目的，执行两个主要处理，即，用于校准所涉及的3D屏幕的相对位置和姿势并且跟踪用户的眼睛位置的校准处理以及用于在两个3D屏幕之间传送对象的交互处理。
使用校准处理来设置用于局部呈现的所有3D屏幕的局部坐标以及用于坐标变换的变换矩阵。如果一些3D屏幕是移动的，则需要使用一些在线定位技术(例如无线电定位、相机定位、回转仪等)来实时更新它们的位置和姿势。
图3是示出根据本发明实施例的校准处理的流程图。
如图3所示，在用户输入任何评论之前，执行校准处理。
在步骤S301，维持3D屏幕201、202与输入设备203之间的数据链路。传统无线通信技术(例如WiFi、蓝牙和ZigBee)可以用于3D屏幕201、202与输入设备203之间的数据交换。应当理解，所述方法的实现方式可能需要其它设备(例如控制服务器、工作站和数据服务器)。在此情况下，还应当维持与所需的这些设备的上述数据链路。
在步骤S302，选取用于3D屏幕201、202和输入设备203的全局坐标***。全局坐标***在以下步骤中将用于坐标变换。为此目的，可以选取任何统一的坐标***。在一个示例中，可以相对于包含3D屏幕201、202的房间的大地选取全局坐标***。在另一示例中，可以相对于具有固定位置和姿势的3D屏幕选取全局坐标***。在该实施例中，可以相对于作为3DTV的3D屏幕202选取全局坐标***。
在步骤S303，定义用于每个3D屏幕和输入设备的局部坐标***。在该实施例中，3D屏幕201配备有触摸屏幕，以用于通过作为输入设备203的手指或记录笔的对象操控。在此情况下，3D屏幕201和输入设备203可以共享同一局部坐标***。应当理解，如果3D屏幕201应用与其它输入设备(例如用于用户的手指或输入设备的姿势识别的视频摄像机)协作的其它交互机构，则将通过不同的局部坐标***来定义3D屏幕201和输入设备。
在步骤S304，跟踪用户的眼睛并且确定用户的眼睛在全局坐标***中的位置。眼睛跟踪是测量凝视(“我们看着的地方”)的点或眼睛相对于头的运动的处理。其已经用在多种应用(例如视觉***、心理学、认知语言学和产品设计)中。过去，基于角膜上所反射的光、头盔或测量眼球外部肌肉的活动的电极上所安装的设备开发了用于追随眼睛移动的若干方法。这些方法需要将设备放置在用户上，并且因此用户的自主性受限。近来，已经基于被称为非入侵方法并且得以广泛使用的数字图像处理算法开发了允许识别脸部、虹膜等的很多生物测定技术。例如，交通产业中的用于检测睡意的非入侵方法将允许避免归因于警觉性丧失而导致的事故。在非入侵睡意检测器的可能应用当中，检测器是用于大型车辆操作者、飞机飞行员、采矿产业中的高技术机器的操作者等的警报器。可以使用利用屏幕上的内建相机的基于计算机视觉的方法或其它方法和设备(例如Duchowski，AndrewT.Eyetrackingmethodology:Theoryandpractice.第373卷.Springer，2007中的方法和设备)来完成眼睛跟踪。应当理解，一个或多个3D屏幕上所提供的至少一个眼睛***可以用于眼睛跟踪的目的。如图2所示，在该实施例中，第一屏幕201和第二屏幕202上分别提供的两个眼睛***204和205用于用户的眼睛跟踪的目的。应当理解，根据不同应用要求，可以使用更多的眼睛***。
在步骤S305，定位3D屏幕201、202和输入设备203在全局坐标***中的位置。WiFi定位或红外定位技术可以用于对位置进行定位。例如，可以使用EvennouF，MarxF.AdvancedintegrationofWiFiandinertialnavigationsystemsforindoormobilepositioning[J]，Eurasipjournalonappliedsignalprocessing，2006，2006:164-164中所公开的用于室内移动定位的方法。可以使用全局坐标***的三个轴中的位置值来表达所定位的位置。
在与步骤S305并行的步骤S306中，测量3D屏幕201、202和输入设备203在全局坐标***中的姿势。为此，可以使用3D屏幕201中的内建回转仪、g-传感器或其它设备(未示出)。可以使用沿着全局坐标的三个轴的旋转角度来表达所测量的姿势。
在步骤S307，计算局部坐标***与全局坐标***之间的坐标变换矩阵。传统几何技术可以基于输入设备或3D屏幕的位置和姿势而用于此目的，使得对于坐标1中的任何点p(x,y,z)，其可以变换为坐标2中的点p’(x’,y’,z’)＝p(x,y,z)*M，同时点p和p'共享真实世界中的同一物理位置。
在步骤S308，等待交互输入。应当理解，交互输入可以包括用户、3D屏幕和输入设备的位置以及3D屏幕和输入设备的姿势的改变。因此，在以下步骤中，将检测上述改变，并且将相应地更新有关位置、姿势、局部坐标和变换矩阵。
如图3所示，在步骤S309，跟踪用户的眼睛，并且确定用户的眼睛在全局坐标***中的位置。
在步骤S310，定位3D屏幕201、202和输入设备203在全局坐标***中的位置。
在与步骤S310并行的步骤S311中，测量3D屏幕201、202和输入设备203在全局坐标***中的姿势。
在步骤S312，分别根据步骤S309、S310、S311的结果与步骤S340、S305、S306的结果之间的比较来确定是否存在用户、3D屏幕和输入设备的位置和姿势的任何改变。如果步骤S312的结果为“是”，则控制返回到步骤S307，以基于更新后的结果来计算局部坐标与全局坐标之间的坐标变换矩阵。否则，控制返回到步骤S308，以等待交互输入。
图4是示出根据本发明实施例的交互处理的流程图。通过所述交互处理，虚拟对象可以从3D屏幕201无缝地传送到另一3D屏幕202。
在步骤S401，在全局坐标***中设置用于虚拟对象的初始位置。虚拟对象的该初始位置通常由应用来判断。在该实施例中，初始位置是平板电脑的第一屏幕201上的对象开始点，如图2所示。
在步骤S402，使用S307中所计算出的每个局部坐标***与全局坐标***之间的变换矩阵将虚拟对象的初始位置变换为所有局部坐标。
在步骤S403，标识应当在其上呈现虚拟对象的3D屏幕。通过检查虚拟对象的位置是否处于用其局部坐标***从用户的眼睛的位置到每个3D屏幕的边界所定义的视景体内来进行所述确定。图5是示出通过视景体来确定3D屏幕以呈现虚拟对象的示例性示图。如图5所示，虚线示出3D屏幕201、202的视景体。3D屏幕201的视景体501是从用户的眼睛的位置和3D屏幕201的边界(其在此情况下是矩形形状)所定义的类似棱锥的框。相似地，3D屏幕202的视景体502也是从用户的眼睛的位置到3D屏幕202的边界(其在此情况下也是矩形形状)所定义的类似棱锥的框。在此情况下，如图5所示，作为3D屏幕201上的开始点的对象的初始位置处于3D屏幕201的视景体内。
在步骤S404，根据3D屏幕201和用户的眼睛位置的局部坐标在所标识的3D屏幕201处呈现虚拟对象。应当注意，当在3D屏幕上呈现虚拟对象时，通常将使用该3D屏幕的局部坐标。然而，根据不同应用上下文，全局坐标***也可以用于呈现。本领域技术人员应当理解，对于立体3D显示器，可以根据用户的眼睛位置来呈现虚拟对象，以使得其看似处于固定位置处。通过在考虑用户的眼睛位置、屏幕位置和姿势的情况下动态地计算左右视图的偏移和差异来完成该操作。图6是示出根据本发明实施例的用于根据用户的眼睛的位置来呈现虚拟对象的处理的示例性示图。如图6所示，当用户正观看位置1和位置2处的3D屏幕时，如果3D屏幕自适应地呈现对象，则虚拟对象可以总是处于同一位置处。
在步骤S405，以输入设备203来捕获用户的输入，并且将移动从其局部坐标***变换为全局坐标***。在该实施例中，输入设备203是与触摸屏幕协作的记录笔或用户的手指。但应当理解，鉴于应用上下文，其它设备(例如鼠标或相机)也可以用作输入设备。
在步骤S406，根据用户输入的移动来更新虚拟对象的位置，并且在当前3D屏幕(在此情况下，3D屏幕201)上呈现虚拟对象。
在步骤S407，确定虚拟对象是否处于视景体501和视景体501对3D屏幕201的边界的投影所定义的3D屏幕1的范围内。图5以虚线示出该范围。如图5所示，上述范围不仅包括视景体501的范围，而且还包括视景体501对3D屏幕1的边界的投影所定义的3D屏幕201后面的范围。
如果步骤S407的结果为“是”，则控制返回到步骤S405。否则，控制传递到步骤S408，其中，将虚拟对象的位置从全局坐标***变换为附近3D屏幕的局部坐标***。在该实施例中，仅讨论两个3D屏幕。因此，虚拟对象的位置得以从全局坐标***变换为3D屏幕202的局部坐标***。应当理解，如果在***中存在多于两个的3D屏幕，则虚拟对象的位置将从全局坐标***变换为附近3D屏幕的所有局部坐标***。
在步骤S409，标识在所有附近3D屏幕当中其视景体也覆盖或者最靠近虚拟对象的当前位置的下一个3D屏幕。在该实施例中，如果虚拟对象的当前位置处于第二3D屏幕202的视景体内，则第二3D屏幕202得以标识为下一3D屏幕。
在步骤S410，确定虚拟对象是否进入第二3D屏幕202的范围。在此，第二3D屏幕202的范围的定义与上述3D屏幕201的定义相似。因此省略详细描述。
如果步骤S410的结果为“是”，则控制传递到步骤S411，其中，将第二3D屏幕设置当前呈现屏幕。然后，控制返回到步骤S402，由此，虚拟对象根据用户的位置而呈现在3D屏幕2上，以便从用户视点无缝地保持过渡。否则，控制传递到步骤S412，其中，根据用户的输入继续更新虚拟对象的位置。
应当理解，可以例如在***中的多个3D显示器设备中的任何一个或多个或其各个驱动设备内和/或通过单独服务器或工作站以各种形式的硬件、软件、固件、专用处理器或其组合来实现本发明。此外，软件优选地实现为在程序存储设备上有形地实施的应用程序。应用程序可以更新于或执行于包括任何合适的架构的机器。优选地，在具有硬件(例如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口)的计算机平台上实现所述机器。计算机平台还包括操作***和微指令代码。在此所描述的各种处理和功能可以是经由操作***执行的微指令代码的一部分或应用程序的一部分(或其组合)。此外，各种其它***设备可以连接到计算机平台(例如附加数据存储设备和打印设备)。
还应当理解，因为附图中所描述的构成***组件和方法步骤中的一些优选地实现于软件中，所以各***组件(或处理步骤)之间的实际连接可以取决于对本发明进行编程的方式而不同。给定在此的教导，本领域技术人员将能够预期本发明的这些和相似实现方式或配置。

Claims (15)

1.一种用于对于多个3D显示器呈现对象的方法，包括：
根据全局坐标***中所述对象的位置与从用户的眼睛到3D显示器所定义的区域的关系来确定所述多个3D显示器之一以呈现所述对象；以及
在所确定的3D显示器上呈现所述对象。
2.如权利要求1所述的方法，其中，所述确定包括：
定义用于多个3D显示器设备和所述用户的眼睛的全局坐标***(S101)；
检测所述多个3D显示器设备的姿势和位置，并且在所述全局坐标***中跟踪所述用户的眼睛的位置(S102)；以及
根据所述对象是否处于从所述用户的眼睛到3D显示器设备的边界的视景体之内来确定所述多个3D显示器设备之中应当在其上呈现对象的3D显示器设备(S105)。
3.如权利要求2所述的方法，其中，所述呈现包括：
定义用于每个3D显示器设备的局部坐标***(S103)；
根据来自所述全局坐标***的3D显示器设备的局部坐标***计算各个变换矩阵(S104)；以及
将所述对象从所述全局坐标***转换到所确定的3D显示器设备的局部坐标***，并且在所确定的3D显示器设备上呈现所述对象(S106)。
4.如权利要求2所述的方法，还包括：
根据所确定的3D显示器设备的姿势和位置以及所述用户的眼睛的位置，在所确定的3D显示器设备上在所述全局坐标***中的一位置处呈现所述对象。
5.如权利要求4所述的方法，还包括：
从所述用户接收输入，以改变所述对象在所述全局坐标***中的位置，以及
根据所确定的3D显示器设备的姿势和位置以及所述用户的眼睛的位置，在所确定的3D显示器设备上在所述全局坐标***中的改变后的位置处呈现所述对象。
6.如权利要求5所述的方法，其中，从所述用户的输入设备接收输入，以操控所述对象。
7.如权利要求5所述的方法，还包括：
在检测到改变后的位置处于由所确定的3D显示器设备的视景体所定义的所确定的3D显示器设备的范围以及从所述视景体到所确定的3D显示器设备的边界的投影范围之外时，切换为在所述多个3D显示器设备之中的另一个3D显示器设备上在所述全局坐标***中的改变后的位置处呈现所述对象。
8.如权利要求7所述的方法，其中，所述切换包括：
将所述对象的改变后的位置从所述全局坐标***变换为所述多个3D显示器设备中的其它3D显示器设备的局部坐标***；
标识在所有其它3D显示器设备之中其视景体也覆盖或者最靠近所述对象的改变后的位置的3D显示器设备；以及
在检测到改变后的位置处于由所标识的3D显示器设备的视景体所定义的所标识的3D显示器设备的范围和从所述视景体到所标识的3D显示器设备的边界的投影范围之内时，在所标识的3D显示器设备上在所述全局坐标***中的改变后的位置处呈现所述对象。
9.如权利要求3所述的方法，其中，所述多个3D显示器设备之一具有固定姿势和位置，并且所述3D显示器设备的局部坐标***被定义为所述全局坐标***。
10.一种用于对于多个3D显示器呈现对象的装置，包括：
用于根据全局坐标***中所述对象的位置与从用户的眼睛到3D显示器所定义的区域的关系来确定所述多个3D显示器之一以呈现所述对象的部件；以及
用于在所确定的3D显示器上呈现所述对象的部件。
11.如权利要求10所述的装置，其中，所述用于确定的部件包括：
用于定义用于多个3D显示器设备和所述用户的眼睛的全局坐标***的部件；
用于检测所述多个3D显示器设备的姿势和位置并且在所述全局坐标***中跟踪所述用户的眼睛的位置的部件；以及
用于根据所述对象是否处于从所述用户的眼睛到3D显示器设备的边界的视景体内来确定在所述多个3D显示器设备之中应当在其上呈现对象的3D显示器设备的部件。
12.如权利要求11所述的装置，其中，所述用于呈现的部件包括：
用于定义用于每个3D显示器设备的局部坐标***的部件；
用于根据来自所述全局坐标***的3D显示器设备的局部坐标***计算各个变换矩阵的部件；以及
用于将所述对象从所述全局坐标***转换到所确定的3D显示器设备的局部坐标***并且在所确定的3D显示器设备上呈现所述对象的部件。
13.如权利要求11所述的装置，还包括：
用于根据所确定的3D显示器设备的姿势和位置以及所述用户的眼睛的位置在所确定的3D显示器设备上在所述全局坐标***中的一位置处呈现所述对象的部件。
14.如权利要求13所述的装置，还包括：
用于从所述用户接收输入以改变所述对象在所述全局坐标***中的位置的部件，以及
用于根据所确定的3D显示器设备的姿势和位置以及所述用户的眼睛的位置在所确定的3D显示器设备上在所述全局坐标***中的改变后的位置处呈现所述对象。
15.如权利要求13所述的方法，还包括：
用于在检测到改变后的位置处于由所确定的3D显示器设备的视景体所定义的所确定的3D显示器设备的范围以及从所述视景体到所确定的3D显示器设备的边界的投影范围之外时切换为在所述多个3D显示器设备之中的另一个3D显示器设备上在所述全局坐标***中的改变后的位置处呈现所述对象的部件。
CN201380076522.3A 2013-05-24 2013-05-24 用于对于多个3d显示器呈现对象的方法和装置 Pending CN105210116A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/076188 WO2014186972A1 (en) 2013-05-24 2013-05-24 Method and apparatus for rendering object for multiple 3d displays

Publications (1)

Publication Number Publication Date
CN105210116A true CN105210116A (zh) 2015-12-30

Family

ID=51932728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076522.3A Pending CN105210116A (zh) 2013-05-24 2013-05-24 用于对于多个3d显示器呈现对象的方法和装置

Country Status (6)

Country Link
US (1) US10275933B2 (zh)
EP (1) EP3005303B1 (zh)
JP (1) JP2016528579A (zh)
KR (1) KR20160014601A (zh)
CN (1) CN105210116A (zh)
WO (1) WO2014186972A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110199245A (zh) * 2017-01-23 2019-09-03 斯纳普公司 三维交互***

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078651B2 (en) 2015-04-27 2018-09-18 Rovi Guides, Inc. Systems and methods for updating a knowledge graph through user input
US20170185364A1 (en) * 2015-12-28 2017-06-29 Lunatech, Llc Methods and Systems For a Dual Function Multimedia Device
US10567649B2 (en) 2017-07-31 2020-02-18 Facebook, Inc. Parallax viewer system for 3D content
CN107566881B (zh) * 2017-08-31 2021-03-09 深圳创维－Rgb电子有限公司 一种vr设备控制方法、装置和***
US10951877B2 (en) 2019-07-15 2021-03-16 Msg Entertainment Group, Llc Providing a contiguous virtual space for a plurality of display devices
US11093201B2 (en) * 2019-09-26 2021-08-17 Google Llc Device manager that utilizes physical position of display devices
JP7378902B2 (ja) * 2020-03-31 2023-11-14 アルパイン株式会社 操作制御装置
US20230141680A1 (en) * 2021-11-10 2023-05-11 Pencil Learning Technologies, Inc. Multi-user collaborative interfaces for streaming video
CN118092750A (zh) * 2024-04-29 2024-05-28 杭州度康科技有限公司 适用于低视力人群的双屏助视显示方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996022660A1 (en) * 1995-01-20 1996-07-25 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images in virtual reality environments
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
US20110285704A1 (en) * 2010-02-03 2011-11-24 Genyo Takeda Spatially-correlated multi-display human-machine interface
CN102959616A (zh) * 2010-07-20 2013-03-06 普莱姆森斯有限公司 自然交互的交互真实性增强

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982345A (en) * 1989-01-23 1991-01-01 International Business Machines Corporation Interactive computer graphics display system processing method for identifying an operator selected displayed object
JP3318680B2 (ja) 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
JP3339284B2 (ja) * 1996-01-29 2002-10-28 三菱電機株式会社 大画面表示方式
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
EP1531322A3 (en) * 2003-11-13 2007-09-05 Matsushita Electric Industrial Co., Ltd. Map display apparatus
EP1950708A4 (en) * 2005-09-15 2010-11-24 Oleg Stanilasvovich Rurin METHOD AND SYSTEM FOR VISUALIZING THREE DIMENSIONAL VIRTUAL OBJECTS
US8134552B2 (en) * 2005-09-23 2012-03-13 Samsung Electronics Co., Ltd. Method, apparatus, and medium for efficiently rendering 3D object
US8128496B2 (en) * 2006-07-31 2012-03-06 Camelot Co., Ltd. Game device, object display method in game device, and display program
TWI489870B (zh) * 2007-12-31 2015-06-21 Htc Corp 動態調整螢幕視角的方法及裝置
CN101344816B (zh) 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
WO2010044383A1 (ja) * 2008-10-17 2010-04-22 Hoya株式会社 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
JP5430962B2 (ja) * 2009-02-12 2014-03-05 株式会社コナミデジタルエンタテインメント 決定装置、決定方法、ならびに、プログラム
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US20110209089A1 (en) * 2010-02-25 2011-08-25 Hinckley Kenneth P Multi-screen object-hold and page-change gesture
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
JP5211120B2 (ja) * 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
JP5685079B2 (ja) * 2010-12-28 2015-03-18 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
US20120326946A1 (en) * 2011-06-23 2012-12-27 Sharp Laboratories Of America, Inc. Three dimensional imaging system
EP2783269B1 (en) * 2011-11-23 2018-10-31 Intel Corporation GESTURE INPUT WITH MULTIPLE VIEWS and DISPLAYS
EP2791790B1 (en) * 2011-12-14 2019-08-14 Intel Corporation Gaze activated content transfer system
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
US9153062B2 (en) * 2012-02-29 2015-10-06 Yale University Systems and methods for sketching and imaging
US9052802B2 (en) * 2012-03-02 2015-06-09 Realtek Semiconductor Corp. Multimedia interaction system and related computer program product capable of filtering multimedia interaction commands

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996022660A1 (en) * 1995-01-20 1996-07-25 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images in virtual reality environments
US20110285704A1 (en) * 2010-02-03 2011-11-24 Genyo Takeda Spatially-correlated multi-display human-machine interface
CN102959616A (zh) * 2010-07-20 2013-03-06 普莱姆森斯有限公司 自然交互的交互真实性增强
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOOIMA ROBERT: "Gereralized perspective projection", 《SCHOOL OF ELEC. ENG. AND COMPUTER SCIENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110199245A (zh) * 2017-01-23 2019-09-03 斯纳普公司 三维交互***
CN110199245B (zh) * 2017-01-23 2023-09-15 斯纳普公司 三维交互***

Also Published As

Publication number Publication date
WO2014186972A1 (en) 2014-11-27
US20160104313A1 (en) 2016-04-14
US10275933B2 (en) 2019-04-30
EP3005303B1 (en) 2018-10-03
JP2016528579A (ja) 2016-09-15
EP3005303A1 (en) 2016-04-13
EP3005303A4 (en) 2016-10-26
KR20160014601A (ko) 2016-02-11

Similar Documents

Publication Publication Date Title
CN105210116A (zh) 用于对于多个3d显示器呈现对象的方法和装置
US10665206B2 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
CN106527722B (zh) 虚拟现实中的交互方法、***及终端设备
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
CN105074617A (zh) 三维用户界面装置和三维操作处理方法
US20170153712A1 (en) Input system and input method
EP2717140B1 (en) Equipment control device, operation reception method, and program
CA2981206A1 (en) Method and system for receiving gesture input via virtual control objects
CN105159522B (zh) 一种虚拟现实显示设备响应外设设备操作的方法
US20170177077A1 (en) Three-dimension interactive system and method for virtual reality
CN105094675B (zh) 一种人机交互方法及触屏可穿戴设备
CN103744518A (zh) 立体交互方法及其显示装置和***
CN103838365A (zh) 穿透型头部穿戴式显示***与互动操作方法
WO2020264149A1 (en) Fast hand meshing for dynamic occlusion
CN111161396A (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN104598035A (zh) 基于3d立体图像显示的光标显示方法、智能设备及***
CN106200900A (zh) 基于识别区域在视频中触发虚拟现实交互的方法及***
CN118098033A (zh) 基于混合现实技术的教学***及方法
US20220075477A1 (en) Systems and/or methods for parallax correction in large area transparent touch interfaces
JPWO2016185634A1 (ja) 情報処理装置
CN111782063B (zh) 实时显示方法、***及计算机可读存储介质和终端设备
EP3574387A1 (en) Projecting inputs to three-dimensional object representations
Tara et al. Improving the visual momentum of tethered viewpoint displays using spatial cue augmentation
KR20240099029A (ko) 기동차 계기의 육안 3d 디스플레이 방법 및 장치
CN117971040A (zh) 眼动追踪方法、装置、设备、介质和程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151230