CN102640502B - 自动立体渲染和显示装置 - Google Patents

自动立体渲染和显示装置 Download PDF

Info

Publication number
CN102640502B
CN102640502B CN200980162526.7A CN200980162526A CN102640502B CN 102640502 B CN102640502 B CN 102640502B CN 200980162526 A CN200980162526 A CN 200980162526A CN 102640502 B CN102640502 B CN 102640502B
Authority
CN
China
Prior art keywords
user
viewpoint
dimensional object
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980162526.7A
Other languages
English (en)
Other versions
CN102640502A (zh
Inventor
P·M·J·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102640502A publication Critical patent/CN102640502A/zh
Application granted granted Critical
Publication of CN102640502B publication Critical patent/CN102640502B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种装置包括：传感器，被构造成检测用户视点相对于自动立体显示器的位置和取向；处理器，被构造成确定可从用户视点观看到的至少一个三维对象的表面；以及图像生成器，被构造成根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。

Description

自动立体渲染和显示装置
技术领域
本申请涉及用于自动立体显示器的方法和装置。在一些实施例中，该方法和装置涉及自动立体图像显示器，并且具体地但并不排他地限于，一些其他实施例涉及用于移动装置的自动立体显示器。
背景技术
立体图像显示器具有显著地改善操作现代电子设备并且与之进行交互的用户体验的能力。所谓的3D显示技术或立体显示技术分立地对左眼和右眼生成图像，以便使用户相信他们正在观看三维图像。传统的立体显示器呈现用于左眼和右眼的图像，然后使用位于每只眼睛上的过滤器，使得左眼仅看到左眼的图像，并且右眼仅看到右眼的图像。这样的技术的示例是偏振过滤，其中通过不同的偏振来调制用于左眼和右眼的图像。该技术当前在3D电影院中受到欢迎。虽然这样的技术能够表示对象的3D图像，但是需要每个用户配备所需要的过滤器来观看图像，该过滤器通常具有框式眼镜的形式。
不需要用户佩戴任何设备来过滤左图像和右图像而替代地直接将图像过滤到或指向正确的眼睛的自动立体显示器正在迅速商用。这些自动立体设备消除了使用3D显示器用于日常使用的显著障碍。这样的显示器将大量光学元件与显示器结合使用以分别将左视野和右视野聚焦到或指向左眼和右眼。
然而，这样的自动立体***可能呈现显得分散而不是沉浸的图像，并且可能通常缺乏人类视觉***预期的视觉信息，诸如反射和阴影。而且，与所显示的图像的交互通常受到限制。自动立体显示器在自动立体视野变差之前通常具有有限范围的视角。例如，用户相对于显示器的位置以及用户相对于显示器的移动通常仅使得用户体验到非最佳图像，因为超过了用于显示三维图像的视角范围。
因此，与在3D显示器上显示的图像的交互以及与交互相关的3D图像呈现的幻像被不佳地实现。
发明内容
本申请出于下述考虑而进行：在自动立体显示面板可以辅助显示重现的同时，通过使用其他显示器和控制接口来对这样的显示器进行改善可能是有益的。
本发明的实施例旨在解决上述问题。
根据本发明的第一方面，提供了一种方法，包括：检测用户视点相对于自动立体显示器的位置和取向；确定可从用户视点观看到的至少一个三维对象的表面；以及根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
检测用户的位置和取向可以包括：捕捉至少一个用户图像；确定用户眼睛相对于自动立体显示器的位置和取向。
捕捉至少一个用户图像可以包括从至少两个相机中的每一个捕捉至少一个用户图像，并且检测位置和取向可以包括对来自至少两个相机的每一个的至少一个用户图像之间的差异进行比较。
确定可从用户视点观看到的表面可以包括：确定至少一个三维对象的模型；确定从至少一个三维对象模型到用户视点的距离和取向；以及根据至少一个三维对象的模型以及从至少一个三维对象模型到用户视点的距离和取向来生成至少一个三维对象的表面。
该方法还可以包括：检测用户的瞳孔间距；以及根据下述中的至少一个来控制视差屏障：用户视点的位置；用户视点的取向；以及用户的瞳孔间距。
该方法还可以包括：确定可从用户视点观看到的至少一个三维对象在第二显示器上的投影表面；以及根据可从用户视点观看到的投影表面来生成用于在第二显示器上显示的投影图像。
该方法还可以包括：根据下述中的至少一个来确定可从用户视点观看到的投影表面：至少一个三维对象发光角度和位置；第二显示表面模型；以及至少一个三维对象表面模型。
投影表面可以包括下述中的至少一个：至少一个三维对象的部分阴影；至少一个三维对象的全部阴影；以及至少一个三维对象的反射。
该方法还可以包括：检测相对于自动立体显示器和/或第二显示器的对象位置；以及确定通过检测到的对象进行的交互。
检测对象位置可以包括下述中的至少一个：检测对象在电容传感器中的电容值；以及检测对象的视觉图像。
确定通过检测到的对象进行的交互可以包括：确定在检测到的图像和所显示的图像之间的交叉。
所显示的图像可以包括下述中的至少一个：至少一个三维对象的虚像；以及在第二显示器上显示的二维图像。
根据本发明的第二方面，提供了一种装置，包括：至少一个处理器，以及包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被构造为，通过至少一个处理器来使装置至少执行：检测用户视点相对于自动立体显示器的位置和取向；确定可从用户视点观看到的至少一个三维对象的表面；以及根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
检测用户的位置和取向可以使装置至少执行：捕捉至少一个用户图像；确定用户眼睛相对于自动立体显示器的位置和取向。
捕捉至少一个用户图像可以使装置至少执行从至少两个相机中的每一个捕捉至少一个用户图像，并且检测位置和取向可以使装置至少执行对来自至少两个相机的每一个的至少一个用户图像之间的差异进行比较。
确定可从用户视点观看的表面可以使装置至少执行：确定至少一个三维对象的模型；确定从至少一个三维对象模型到用户视点的距离和取向；以及根据至少一个三维对象的模型以及从至少一个三维对象模型到用户视点的距离和取向来生成至少一个三维对象的表面。
计算机程序代码被构造成通过至少一个处理器还可以使装置至少执行：检测用户的瞳孔间距；以及根据下述中的至少一个来控制视差屏障：用户视点的位置、用户视点的取向以及用户的瞳孔间距。
计算机程序代码被构造成通过至少一个处理器还可以使装置至少执行：确定可从用户视点观看到的至少一个三维对象在第二显示器上的投影表面；以及根据可从用户视点观看到的投影表面来生成用于在第二显示器上显示的投影图像。
计算机程序代码被构造成通过至少一个处理器还可以使装置至少执行根据下述中的至少一个来确定可从用户视点观看到的投影表面：至少一个三维对象发光角度和位置；第二显示表面模型；以及至少一个三维对象表面模型。
投影表面可以包括下述中的至少一个：至少一个三维对象的部分阴影；至少一个三维对象的全部阴影；以及至少一个三维对象的反射。
计算机程序代码被构造成通过至少一个处理器还可以使装置至少执行：检测相对于自动立体显示器和/或第二显示器的对象位置；以及确定通过检测到的对象进行的交互。
检测对象位置可以使装置至少执行：检测对象在电容传感器中的电容值；以及检测对象的视觉图像。
确定通过检测到的对象进行的交互可以使装置至少执行确定在检测到的图像和所显示的图像之间的交叉。
所显示的图像可以包括下述中的至少一个：至少一个三维对象的虚像；以及在第二显示器上显示的二维图像。
根据本发明的第三方面，提供了一种装置，包括：传感器，被构造成检测用户视点相对于自动立体显示器的位置和取向；处理器，被构造成确定可从用户视点观看到的至少一个三维对象的表面；以及图像生成器，被构造成根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
传感器可以包括：相机，被构造成捕捉至少一个用户图像；以及面部识别器，被构造成确定用户眼睛相对于自动立体显示器的位置和取向。
可以存在至少两个相机，从至少两个相机中的每一个捕捉至少一个用户图像，并且面部识别器可以对来自至少两个相机的每一个的至少一个用户图像之间的差异进行比较。
处理器可以确定至少一个三维对象的模型；确定从至少一个三维对象模型到用户视点的距离和取向；并且根据至少一个三维对象的模型以及从至少一个三维对象模型到用户视点的距离和取向来生成至少一个三维对象的表面。
处理器还可以检测用户的瞳孔间距；并且根据下述中的至少一个来提供对视差屏障的控制信息：用户视点的位置；用户视点的取向；以及用户的瞳孔间距。
处理器还可以确定可从用户视点观看到的至少一个三维对象在第二显示器上的投影表面；并且根据可从用户视点观看到的投影表面来生成用于在第二显示器上显示的投影图像。
处理器可以根据下述中的至少一个来确定可从用户视点观看到的投影表面：至少一个三维对象发光角度和位置；第二显示表面模型；以及至少一个三维对象表面模型。
投影表面可以包括下述中的至少一个：至少一个三维对象的部分阴影；至少一个三维对象的全部阴影；以及至少一个三维对象的反射。
传感器还可以被构造为检测相对于自动立体显示器和/或第二显示器的对象位置；并且确定通过检测到的对象进行的交互。
传感器可以通过检测下述中的至少一个来检测对象位置：对象在电容传感器中的电容值；以及对象的视觉图像。
处理器还可以确定在检测到的图像和所显示的图像之间的交叉。
所显示的图像可以包括至少一个三维对象的虚像。
所显示的图像可以包括在第二显示器上显示的二维图像。
根据本发明的第四方面，提供了一种用指令编码的计算机可读介质，该指令在由计算机实现时，执行：检测用户视点相对于自动立体显示器的位置和取向；确定可从用户视点观看到的至少一个三维对象的表面；以及根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
根据本发明的第五方面，提供了一种设备，包括：检测装置，用于检测用户视点相对于自动立体显示器的位置和取向；建模装置，用于确定可从用户视点观看到的至少一个三维对象的表面；以及图像生成装置，用于根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
一种电子设备可以包括如上所述的设备。
一种芯片组可以包括如上所述的设备。
附图说明
为了更好地理解本申请以及可以如何使得本申请发生作用，现在将例如对附图进行参考，在附图中：
图1示出了适用于实现本申请的一些实施例的装置的示意性表示；
图2更详细地示出了图1中示出的装置的适用于更详细地实现一些实施例的物理示意性表示；
图3示出了根据本申请的一些实施例的装置中的处理组件的示意性表示；
图4a示出了本申请的一些实施例中的头部位置跟踪的示意性表示；
图4b示出了根据一些实施例的头部位置跟踪中执行的过程的流程图；
图5a示出了根据本申请的一些实施例的用于图像的反射/阴影生成的示意性表示；
图5b示出了根据一些实施例的在反射/阴影生成中执行的过程的流程图；
图6a示出了根据本申请的一些实施例的用户接***互的物理示意性表示；
图6b示出了根据本申请的一些实施例的用户接***互的另一物理示意性表示；
图6c示出了根据本申请的一些实施例的通过用户接***互执行的过程的流程图；以及
图7示出了根据本申请的一些实施例的用户接***互的另一物理示意性表示。
具体实施方式
本申请描述了用于生成更加令人信服的和交互的3D图像显示，并且由此产生比仅利用一个立体显示单元可以产生的用户体验更加有沉浸感和交互性的用户体验的装置和方法。因此，如下文中所述，在本申请的实施例中，具有用于监视用户的适当传感器的折叠电子设备或装置中的两个显示器的组合使该装置能够被构造为使得大大增强了所显示的3D图像的用户体验。此外，在一些实施例中，可以通过双显示器来实现头部跟踪的使用，以使得能够进一步增强所显示的图像。在一些其他实施例中，具有双显示器构造的用户接口装置的构造进一步增强了对所显示的图像的感知以及与所显示的图像的交互。
下文描述了用于提供改善的自动立体图像显示和交互的装置及方法。在这方面，首先参考图1，图1公开了可以在其上实现本申请的实施例的示例性电子设备10或装置的示意性框图。电子设备10被构造成提供改善的自动立体图像显示和交互。
在一些实施例中，电子设备10是用于在无线通信***中操作的移动终端、移动电话或用户设备。在其他实施例中，电子设备是被构造成提供图像显示的任何适当的电子设备，诸如数字相机、便携式音频播放器(mp3播放器)、便携式视频播放器(mp4播放器)。
电子设备10包括链接到处理器15的集成相机模块11。处理器15进一步链接到第一显示器(显示器A)12a以及第二显示器(显示器B)12b。处理器15进一步链接到收发器(TX/RX)13、用户接口(UI)14以及存储器16。在一些实施例中，相机模块11和/或显示器12a和12b与电子设备分离或可与电子设备分离，并且处理器接收来自相机模块11的信号和/或经由收发器13或其他适当接口将信号传送到显示器12a和12b。
处理器15可以被构造成执行各种程序代码17。在一些实施例中，所实现的程序代码17包括图像捕捉数字处理或配置代码、图像显示和图像交互代码。在一些实施例中，所实现的程序代码17还包括用于进一步处理图像的其他代码。在一些实施例中，所实现的程序代码17可以被存储在例如存储器16中，以供在任何需要的时候由处理器15调取。在一些实施例中，存储器15还可以提供用于存储数据的部分18，该数据例如是已经根据本申请处理的数据。
相机模块11包括相机19，该相机19具有用于将图像聚焦到诸如电荷耦合器件(CCD)这样的数字图像捕捉部件的透镜。在其他实施例中，数字图像捕捉部件可以是任何适当的图像捕捉设备，诸如互补金属氧化物半导体(CMOS)图像传感器。相机模块11进一步包括用于在捕捉对象的图像之前照亮对象的闪光灯20。该闪光灯20链接到相机处理器21。相机19也链接到用于处理从相机接收到的信号的相机处理器21。相机处理器21链接到相机存储器22，该相机存储器22可以存储用于在捕捉图像时由相机处理器21执行的程序代码。在一些实施例中，所实现的程序代码(未示出)可以被存储在例如相机存储器22中，以供在任何需要的时候由相机处理器21调取。在一些实施例中，分别在装置10的处理器15和存储器16内实现相机处理器21和相机存储器22。
在一些实施例中，电子设备10的用户可以使用相机模块11来捕捉要在控制显示器12a和12b中使用的图像，如以下参考图4a、图4b、图5a和图5b详细描述并且稍后所描述的。在一些实施例中，相机模块可以捕捉可以被传送到一些其他电子设备以进行处理的图像，并且提供与显示器进行交互所需要的信息。例如，当装置的处理电力不足时，可以在其他装置中实现一些处理操作。为此，在一些实施例中，用户可以经由用户接口14来激活相应的应用。
在一些实施例中，相机模块包括至少两个相机，其中每个相机都位于设备的相同侧。
在本申请的一些实施例中，相机处理器21或处理器15可以被构造成接收来自相机或多个相机的图像数据，并且对该图像数据进一步处理以识别位于相机前的对象。能够由相机处理器21或处理器15识别的这样的对象可以是，例如用户的面部或头部、用户的眼睛、用户使用的手指或指触设备。此外，在一些实施例中，相机处理器21或处理器可以确定或估计所识别的设备前的对象的位置。以下将详细描述该识别过程和位置估计过程的使用。
在实施例中，装置10能够至少部分地以硬件来实现处理技术，换言之，可以在不需要用于操作硬件的软件或固件的情况下，至少部分地以硬件实现处理器15和相机处理器21所执行的处理。
在一些实施例中，用户接口14使得用户能够将命令输入到电子设备10。在一些实施例中，用户接口14可以被实现为，例如小键盘、用户操作的按钮、开关，或者在显示器12a和12b中的一个或两个上实现的‘触摸屏’界面。此外，在本申请的一些实施例中，可以根据相机19捕捉到的图像信息实现一些用户接口功能，由此可以使用对象识别和位置信息来向设备提供输入。
例如，在一些实施例中，收发器13支持经由无线通信网络与其他电子设备进行的通信。
关于图2，进一步详细示出了如在图1中示出的装置的一些实施例中实现的物理表示。可以以折叠构造实现图2中示出的装置10。在如图2中示出的这种折叠构造实施例中，装置包括第一壳体部203和第二壳体部201，此二者通过铰链连接在一起。在一些实施例中，铰链205不仅作为在第一壳体部203和第二壳体部201之间的机械连接进行操作，还实现在第一壳体部203和第二壳体部201内的组件之间的电连接。在其他实施例中，铰链仅仅是机械连接，而单独实现电连接。在一些实施例中，电连接可以是有线的，并且由例如柔性带状线缆来提供，或者在一些其他的实施例中，可以由在第一壳体部和第二壳体部之间的无线连接来提供。
虽然下面的实施例是关于将第一壳体部203和第二壳体部201接合的折叠铰链构造来描述的，但是本申请的一些其他实施例可以实现滑动连接，由此第一壳体部203在第二壳体部201上滑动，在一些这样的实施例中，第一壳体部203进一步被构造成，在这两个部分这样滑动时，第一壳体部203相对于第二壳体部201旋转并且与之形成一定角度，以产生类似的显示器取向构造。这样的滑动/旋转铰链可以类似于当前在诸如诺基亚N97的用户设备上所看到的那样。
此外，在一些实施例中，第一壳体部203和第二壳体部201可以被构造成利用类似于‘平板电脑’便携式计算机所采用的扭转和可旋转铰链来进行操作，其中，连接第一壳体部203和第二壳体部201的铰链可以被折叠和展开以打开装置，但是也可以在铰链再次被折叠时被扭转以保护或显示内表面。
如图2中所示，第一壳体部203被构造成在第一显示器12a的一个表面和相机19上实现，该第一显示器12a可以是自动立体显示器(也称为3D显示器)。3D显示器12a可以是任何适当的自动立体显示器。例如，在一些实施例中，3D显示器12a可以被实现为具有视差屏障的液晶显示器。视差屏障的原理是公知的，由此使光圈与液晶显示器(LCD)像素的列对准，使得左眼和右眼可以分别看到交替的LCD像素的列。换言之，视差屏障进行操作，使得在一些实施例中，左眼可以看到LCD像素的偶数列，而右眼可以看到LCD像素的奇数列。在一些实施例中，视差屏障可以在一些实施例中是可控制的，并且能够控制图像呈现的角度。
在本申请的一些其他实施例中，自动立体(3D)显示器12a可以被实现为光学透镜构造的液晶显示器，其中，圆柱形透镜与LCD像素的列对准以产生与视差屏障类似的效果。换言之，将用于构成用于左眼和右眼的交替图像的交替的LCD像素的列仅指向左眼和右眼。在本申请的其他实施例中，可以使用微偏振器来实现3D显示器。在其他实施例中，3D显示器可以包括全息显示器，以使用漫射光源来产生真实图像。
在一些实施例中，第一显示器(3D显示器)12a可以进一步包括触摸输入接口。在一些实施例中，触摸输入接口可以是电容式触摸接口，适用于检测对显示器表面的直接触摸或者检测在显示器表面和诸如手指的其他对象之间的电容效应，以便于确定相对于显示器表面的各维度的位置以及在一些实施例中距离显示器表面的相对位置。
虽然上述第一显示器12a可以被实现为LCD显示器，但是应当认识到，任何适当的显示技术都可以用于实现该显示器。例如，在一些实施例中，第一显示器12a可以使用发光二极管(LED)或有机发光二极管(OLED)构造来实现，其特征在于，光圈或透镜被构造成生成指向用户的左眼和右眼的两个分立的图像。
在一些实施例中，第一显示器12a可以被构造成以2D操作模式来进行操作。例如，在采用视差屏障来将交替的像素层指向左眼和右眼的实施例中，通过切断视差屏障层，像素的所有行都对双眼可见。
图2中所示的第二壳体部201被构造成在可以是2D显示器12b的第二显示器12b的一个表面上实现。2D显示器可以使用任何适当的显示技术来实现，例如，液晶显示器(LCD)、发光二极管(LED)或有机LED显示技术。
在其他实施例中，第二显示器12b可以包括第二自动立体(3D)显示器，其能够例如通过以与上述类似的方式切断视差屏障层，以2D模式来进行操作。
在一些实施例中，第二或2D显示器12b包括触摸接口，该触摸接口与以上参考第一显示器所述的触摸接口类似，适用于确定对象相对于显示器表面各边的位置以及距显示表面的相对位置。因此，在一些实施例中，触摸接口包括电容式触摸接口，电容式触摸接口适用于通过确定显示器表面的电容量来确定对象相对于显示器表面各边的位置以及距显示表面的相对位置。
将参考图6a、图6b和图6c来进一步描述触摸接口的操作。
还应当理解，可以以很多方式来补充和改变电子设备10的结构。
应当认识到，图4a、图5a、图6a、图6b和图7中描述的示意性结构以及图4b、图5b和图6c中的方法步骤仅表示包括图1中示出的电子设备中实现的、所示出应用的一些实施例的完整***的操作的一部分。
关于图3，进一步详细示出了用于一些实施例的处理器15构造的示意性表示。处理器15被示出为包括相机/头部定位处理器101，相机/头部定位处理器101被构造成接收相机图像信息，并且根据相机19的图像信息识别对象及其位置/取向。在一些实施例中，相机处理器101被构造成根据相机图像信息确定用户的头部的位置和取向。在一些实施例中，相机处理器101可以接收相机19拍摄的头部图像，并且将2D图像数据投影到诸如圆柱体的表面，以提供独立于表面模型的当前取向、位置和规模的面部的稳定视图。可以从该投影来估计取向和位置。然而，应当理解，可以使用任何适当的头部跟踪算法，例如，1999年5月由Kaskia等人在ComputerScience Technical Repot中的“fast，reliable head tracking undervarying illumination：an approach based on registration of texturemapped 3D models”中描述的眼睛跟踪和记录算法。在一些其他实施例中，当两个图像是由不同定位和取向的两个相机捕捉到的情况下，可以基于相机之间的差异的知识使用该图像之间的差异来估计面部的位置和取向。
在本申请的一些其他实施例中，相机处理器101可以被构造成进一步确定在用户的头部上的眼睛的分开距离。
在一些其他实施例中，相机处理器101可以被构造成识别手指或其他指示对象并且进一步识别手指(或指示对象)对自动立体显示器的相对位置。
相机/头部定位处理器101向图像处理器105输出对所识别的对象的指示以及进一步，所识别的对象相对于显示器的位置和/或取向。
处理器15还可以包括触摸处理器/用户接口处理器103，触摸处理器/用户接口处理器103被构造成从用户接口14接收输入，根据一些实施例，用户接口14诸如是在第一显示器12a或第二显示器12b内实现的触摸接口。在其他实施例中，用户接口14可以包括其他输入部件，诸如鼠标、键盘、小键盘或任何其他适当的用户输入装置。用户接口处理器103处理来自用户的输入，以确定对于图像显示器是否已经接收到相关输入。例如，用户接口处理器可以从显示器表面触摸接口接收电容值并且从电容值确定沿着显示器表面已经被触摸的位置。在其他实施例中，用户接口处理器103可以从电容值确定‘触摸’对象与显示器表面的距离。因此，触摸接口可能不需要直接接触来检测在触摸表面的感测范围内的对象。此外，虽然以上并且此后关于检测到的物理对象(诸如用户手指)描述了触摸，但是应当理解，在一些实施例中，用户接口处理器检测和处理与虚拟对象相关的数据，诸如显示器所显示的指示器的图像，并且其可以通过使用鼠标、跟踪球、键或任何适当的控制部件来控制。
用户接口处理器103可以向图像处理器105输出关于对象是什么以及用户使用的对象(如上所述，其可以是物理对象或者显示的‘虚拟’对象)正在触摸或指触何处的指示。
处理器15可以进一步包括图像模型处理器107。在一些实施例中，图像模型处理器被构造成存储可以由图像处理器105使用的一系列图像模型。例如，图像模型处理器可以存储三维图像数据模型，以便于创建由图像处理器105生成的三维显示图像。因此，在一些实施例中，图像模型处理器存储描述构成图像处理器所显示的环境的元件的几何形状和网络的一系列模型。
处理器15还可以包括图像处理器105，图像处理器105被构造成接收相机、用户接口和图像模型信息，并且生成要由两个显示器显示的图像。此后描述其他示例。图像处理器105向3D显示器驱动器109和2D显示器驱动器111输出要在显示器上显示的图像。
3D显示器驱动器108从图像处理器105接收用于第一显示器的显示图像数据，并且以左眼图像数据和右眼图像数据的形式生成要提供到第一(3D)显示器12a的数据。此外，在一些实施例中，3D显示器驱动器可以根据眼睛的分开距离和/或用户头部的位置来控制视差屏障(或类似的左右眼分离显示控制)，以便于产生更优的3D显示图像。
类似地，2D显示器驱动器从图像处理器105接收用于第二显示器12b的显示图像数据，并且生成用于第二(2D)显示器12b的数据。
关于图4a和图4b，在一些实施例中进一步详细描述在相机处理器101、图像处理器105、图像模型处理器107和3D显示器驱动器109之间的交互。在图4a中示出了这样操作以使用3D显示器12b生成3D图像的装置10。在该示例中生成的3D图像是要对用户呈现为在3D显示器前浮动的立方体。
在一些实施例中，相机19被构造成捕捉图像帧数据，并且将图像帧数据传递到相机处理器101。在图4b中由步骤351示出了相机捕捉图像帧数据的操作。
在一些实施例中，如上所述的相机处理器101可以处理图像帧数据，并且从该数据确定用户的头部位置和取向以及眼睛位置。头部位置/取向和眼睛位置的确定通过任何适当的头部建模(诸如上述)过程来进行。然后，可以将该头部和眼睛信息传递到图像处理器105。在图4b中通过步骤353示出了该头部定位和眼睛位置的确定。
在确定要显示的对象时，图像模型处理器107可以调取或生成对象模型信息，并且进而将该对象模型信息传递到图像处理器105。例如，如图4a中所示，要显示的图像可以是具有无纹路的平坦侧面的立方体。因此，图像模型处理器107可以向图像处理器105提供该立方体的尺寸和取向。在图4b中通过步骤354示出了该对象模型信息的生成。
然后，在一些实施例中，已接收到头部/眼睛信息和对象模型信息的图像处理器105(例如，要显示的对象或多个对象的尺寸和取向)可以确定用户能够观看的3D对象的区域或表面。图像处理器105可以使用在用户头部的位置和取向与要显示的对象的位置和取向之间的几何关系，以由此确定可以从检测到的视点看到的区域。在图4b的步骤355中示出了确定要显示的图像模型表面的操作。
然后，图像处理器105可以向3D显示器驱动器109输出用于生成要输出到3D显示器12a的左眼和右眼图像的数据，并且因此，对左眼和右眼生成图像，以提供呈现为在3D显示器前浮动的图像。在图4b中由步骤357示出了显示来自3D显示器驱动器109的图像的操作。
因此，在一些实施例中并且如图4a中所示，当用户被检测为正面(face-on)直接看立方体时，向用户提供仅呈现立方体正面图像的左眼和右眼图像。换言之，图像处理器105向3D显示器驱动器109输出信息，该信息允许3D显示器驱动器109生成左眼和右眼图像，以向3D显示器提供用于仅呈现立方体的正面301a的数据。然而，如图4a的右手部分可以看到的，当用户移动到立方体的一侧时，相机处理器101确定头部/眼睛的运动以及位置的位移，该相机处理器101将该信息传递到图像处理器105。然后，在一些实施例中，图像处理器可以确定用户可以从检测到的视点看到立方体的至少两个面，并且因此图像处理器将信息发送到3D显示器驱动器109，该信息允许生成左眼和右眼图像，以使得3D显示器12a能够呈现用户301b可以看到其两个面的立方体表面。
虽然以上描述仅详述了相机和单个3D对象图像的交互，但是应当理解，相同的操作和装置可以显示多于单个对象，并且此外，头部的位置的检测将允许以不同的角度观看不同的对象。因此，例如，当从第一视点对两个对象建模时，图像处理器可以确定一个对象完全遮掩了第二对象，换言之，从检测到的视点来看，第二对象在第一对象的阴影中，而当图像处理器105接收到头部位置已经充分移动的信息时，那么在一些实施例中，图像处理器105可以将该信息传递到3D显示器驱动器109，该信息使得能够对两个对象进行渲染。
因此，与不对用户的运动做出反应的传统自动立体显示器中可以发现的相比，在这些实施例中，存在与显示器更高级别的交互性。
因此，在一些实施例中，可以存在一种方法，该方法包括：检测用户视点相对于自动立体显示器的位置和取向；确定可从用户视点观看的至少一个三维对象的表面；以及根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
此外，这样的实施例的方法可以通过捕捉至少一个用户图像来检测用户的位置和取向，并且确定用户眼睛相对于自动立体显示器的位置和取向。
而且，在一些实施例中，捕捉至少一个用户图像可以包括从至少两个相机中的每一个捕捉至少一个用户图像，并且检测位置和取向包括对来自至少两个相机中的每一个的至少一个用户图像之间的差异进行比较。
在一些实施例中，确定可从用户视点观看的表面可以包括：确定至少一个三维对象的模型；确定从至少一个三维对象模型到用户视点的距离和取向；以及根据至少一个三维对象的模型以及从至少一个三维对象模型到用户视点的距离和取向来生成至少一个三维对象的表面。
在本发明的一些实施例中，图像处理器105进一步确定用户的定位和位置已经移动，因此自动立体图像过滤器(诸如视差屏障)不是最优。在这样的实施例中，图像处理器105可以生成要显示的消息，该消息指示用户移出了最优观看范围。在其他实施例中，图像处理器可以生成要传递到3D显示器驱动器109以改变过滤器的信息。例如，当3D显示器12b具有可控制的视差屏障来过滤左眼和右眼图像时，图像处理器可以向3D显示器驱动器传递允许移动视差屏障以保持三维图像的信息。在一些其他实施例中，例如，当显示器本身可操纵时，图像处理器105可以进一步生成使得显示器能够***纵以保持3D对象呈现的信息。例如，当在扭转铰链上实现显示器时，该铰链可以扭转以使得用户能够围绕装置移动，而保持3D图像的显示。
此外，在一些实施例中，相机处理器101可以确定瞳孔间距，并且将该信息传递到图像处理器。在一些实施例中，该信息进而可以允许图像处理器105向3D显示器驱动器发送信息，以允许视差屏障的最优化，使得左眼和右眼图像以及图像过滤操作对于特定用户来说更加优化。例如，因为儿童具有较小的瞳孔间距，而用于成人的设置可能对于儿童产生较差的3D成像结果并且反之亦然，所以图像处理器可以优化儿童或成人的体验。
关于图5a和图5b，示出了本申请的其他实施例，由此更详细地示出了在相机19、3D显示器12a和2D显示器12b之间的进一步交互。在一些实施例中，3D显示器元件的操作与上述相同，由此相机监视用户头部/眼睛位置，并且与要显示的对象的知识一起生成左眼和右眼图像，以生成从用户的视点看到的对象的3D图像。可以通过如下所述的添加和实现至少一个2D显示器12b来进一步改善这样的图像。
如在描述相机和3D显示器12a的交互的实施例中描述的，在一些实施例中，相机19被构造成捕捉图像帧数据，并且将该图像帧数据传递到相机处理器101。在图5b中由步骤351示出了相机捕捉图像帧数据的操作。应当理解，如上所述的在3D交互实施例中被捕捉和处理的相同的图像数据还可以在下文所述的2D交互实施例中使用。当描述类似或相同的过程时，再次使用相同的附图标记。
如上所述的相机处理器101还可以处理图像帧数据，并且从该数据中确定头部位置和取向以及一些实施例中的用户的眼睛位置。通过诸如上述的任何适当的头部建模过程来确定头部位置/取向和眼睛位置。在一些实施例中，该眼睛信息可以包括确定相对于显示器的用户的眼睛水平。然后，该头部和眼睛信息可以被传递到图像处理器105。在图5b中还由步骤353示出了头部定位和眼睛位置的确定。
在确定要显示的对象时，图像模型处理器107可以调取或生成对象建模信息，并且进而将该对象模型信息传递到图像处理器105。例如，如图5a中所示，要显示的图像可以是具有无纹路的平坦侧面的立方体。此外，在一些实施例中，对象模型还可以包括发光信息、表面反射率信息、对象定位、还有底层(ground)信息，诸如以上在对象是‘浮动’的情况下的表面的纹理和反射率。因此，图像模型处理器107可以将该信息提供给图像处理器105。在图5b中由步骤354示出了对象模型信息的生成。
然后，在一些实施例中，已接收到头部/眼睛信息和对象模型信息(例如，要显示的对象或多个对象的尺寸和取向)的图像处理器105可以确定用户能够在3D对象下方的2D表面内观看到的3D对象的区域或表面。换言之，图像处理器可以确定3D对象到2D显示器上的投影表面。在一些实施例中，可以确定的对象或表面可以是3D对象投影到底层上的阴影，其中，底层不能反射，并且对象光源在对象上方。在一些其他实施例中，可以确定的投影区域或表面可以是如在2D显示器12b表示的底层中看到的3D对象的反射。
在图5b中的步骤655中示出了确定要由2D显示器显示的图像模型表面的操作。
然后，图像处理器105可以向2D显示器驱动器111输出用于生成要输出到2D显示器12b的图像的数据，并且由此从呈现为在3D显示器前浮动的对象生成表面的图像(诸如底层上的阴影或反射)。在图5b中由步骤657示出了显示来自2D显示器驱动器111的图像的操作。
例如，如图5a的左手侧所示，要显示的对象是类似于以上说明的示例中所示出的立方体608。在一些实施例中，已从相机19接收到图像帧数据的相机处理器101可以确定第一眼睛水平601，并且将该信息传递到图像处理器。已接收到对象模型信息和底层信息的图像处理器可以确定从第一眼睛水平601观看的第一表面603，诸如阴影和/或反射。图像处理器105可以使用虚像建模过程来确定该表面。然后，可以将该表面信息传递到2D显示器驱动器111，以渲染用于2D显示器12b的图像。
此外，如图5a的右手侧所示，相机可以拍摄要由相机处理器101处理的其他图像。因此，相机处理器可以将更新的信息提供到图像处理器105，诸如眼睛水平向第二眼睛水平602的改变。然后，该眼睛水平向第二眼睛水平的改变可以根据图像处理器所处理的对象和底层模型信息来生成将从第二眼睛水平602观看到的更新的表面604。因此，可以将该表面信息传递到2D显示器驱动器111，以渲染用于2D显示器12b的图像。然后，可以将虚像603、604输出到显示器驱动器111，以在2D显示器12b上输出。
在实施例中，因为可以更容易地呈现诸如深度这样的信息，所以相机跟踪眼睛水平以及3D显示图像及在2D显示器上的反射和/或阴影图像的显示的实现方式将呈现更有沉浸感的体验。
因此，在本申请的实施例中，可以存在一种方法，包括：检测用户视点相对于自动立体显示器的位置和取向；确定可从用户视点观看到的至少一个三维对象在第二显示器上的投影表面；以及根据可从用户视点观看到的投影表面来生成用于在第二显示器上显示的投影图像。
在这样的实施例中，该方法还可以包括：根据下述中的至少一个来确定可从用户视点观看到的投影表面：至少一个三维对象的发光角度和位置；第二显示表面模型；以及至少一个三维对象表面模型。
在这样的实施例中，投影表面可以包括下述中的至少一个：至少一个三维对象的部分阴影；至少一个三维对象的全部阴影；以及至少一个三维对象的反射。
本申请的实施例可以通过进一步提供图像交互性来进一步改善传统3D显示技术。关于图5a、图5b和图5c，在一些实施例中，描述了用户图像交互性的操作，其中用户接口14、用户接口处理器103、图像模型处理器107以及图像处理器105可以产生改善的3D对象成像体验。
例如，在2D显示器12b上实现‘触摸’接口的一些实施例中，可以在图6a中示出用户接口14的操作。在图6a中，所示出的装置10类似于在先前的附图中示出的装置，其中装置10包括3D显示器12a、2D显示器12b和相机19。这些实施例中的2D显示器12b还包括电容式用户接口14。电容式用户接口14可以被构造成检测对象相对于显示器的存在或‘触摸’。因此，如图6a中所示，用户接口可以检测手指的存在，并且进而生成可以指示手指尖在2D显示器12b处于具有相对的X轴位移401和相对的Y轴位移403的位置的信息，相对的X轴位移401和相对的Y轴位移403都在2D显示器12b的平面内。此外，在一些实施例中，用户接口可以检测在距离2D显示器12b的表面一定距离处的手指尖的存在，或者换言之，可以确定手指尖在2D显示器12b上方具有相对的Z轴位移405。用户接口14可以进一步向用户接口处理器103输出感测到的值，诸如电容阵列值。
在图6c中由步骤451示出了用户接口输入数据的捕捉。
在一些实施例中，用户接口处理器103可以接收用户接口数据，并且确定检测到的对象或检测到的对象(例如用户的手指)的尖端的位置。应当理解，在一些实施例中，可以用诸如指示笔的任何适当的指触设备来替换手指。
虽然关于从用户接口14和用户接口处理器103接收到的数据或信息描述以上和下面的操作，但是应当认识到，类似的信息可以从相机19和相机处理器101生成，其中，在一些实施例中，相机被构造成检测尝试与装置进行接口连接的用户的存在。因此，例如，在使用多个相机的一些实施例中，相机图像中的差异可以用于确定检测到的对象的x轴、y轴和z轴位移，如从2D显示器表面测量的。
用户接口处理器103可以向图像处理器105输出检测到的对象的位置。
在图6c中由步骤453示出了对象的存在的确定。
在本申请的实施例中，在与装置有关的三维空间中对对象存在的检测以及对对象的确定可以被用来与建模的对象图像进行交互。例如，手指‘触摸’所显示的对象的检测可以用于修改所显示的对象。
如上所述，在一些实施例中，图像处理器105还从图像模型处理器107接收图像模型数据。如上所述，图像模型处理器107可以包含诸如所显示的对象的定位和取向以及形状的数据。在图6c中由步骤454示出了对象模型信息的生成和提供。
可以将该信息传递到图像处理器105，其中，在一些实施例中，图像处理器105可以被构造成使检测到的对象位置与所显示的建模的对象相关。例如，图像处理器105可以检测到建模的对象定位和检测到的对象是相同的，或者换言之，检测到的对象‘触摸’所显示的对象。在一些实施例中，触摸的类型可以进一步确定要如何修改所显示的对象。例如，‘触摸’可以指示与单击鼠标或触摸板按钮类似的单次按压，并且由此激活与所触摸的表面相关联的功能。在其他实施例中，‘触摸’可以指示拖动或推动操作，并且使得对象根据该‘触摸’来旋转或移动。
可以在图6c中由步骤455示出被‘触摸’的图像部分的确定以及由‘触摸’的确定所执行的动作。
在一些实施例中，图像处理器105可以处理在检测到的对象和三维对象之间的交互。例如，在一些实施例中，图像处理器105可以向3D显示器驱动器109输出通过传递在触摸点处以不同颜色显示对象的信息来指示触摸的位置。在其他实施例中，图像处理器可以输出触摸的交互，以通过位移或旋转来移动，并且如此给出用户已移动对象的效果。在其他实施例中，图像处理器可以以在接触点处实现对象的形变这样的方式来处理交互。在这样的实施例中，图像处理器105可以由此将适当的物理模型应用于检测到的对象和显示的对象的交互，并且向3D显示器驱动器109输出这种交互的结果，由此实现对修改的显示对象的渲染。
应当理解，在一些实施例中，可以与对头部或眼睛的检测以及基于所检测到的头部或眼睛位置的对3D对象的操纵相独立地执行与3D自动立体图像的交互，换言之与3D对象和检测到的对象(诸如手指尖或虚拟手指尖)的交互。使得在这样的实施例中，例如在没有相机模块或充分的处理用于头部检测处理的情况下在设备上实现的实施例中，仍然可以被实现以对用户给予改善的图像交互体验。
可以在图6c中由步骤457示出触摸部分的显示或触摸的交互操作的显示。
因此，在本申请的一些实施例中，由用户接口14或相机19感测到的、由用户接口处理器103或相机接口101以及由图像处理器105应用的图像交互的实现可以改善3D显示的对象的交互性。
例如，关于图6b，用户的手指被示出为在3D图像上被跟踪并且在3D图像400上示出。
关于图7，还示出了在一些其他实施例中的2D显示器上的用户接口元件的进一步实现。在本申请的这些实施例中，2D显示器12b可以显示能够由用户“触摸”的诸如用户接口按钮的图像。在一些实施例中，用户接口元件501也可以被实现为其他三维对象，并且这样使用三维显示器12a来显示。图7示出了这样的实施例，其中，2D用户接口按钮501被示出为在二维显示器12b上显示，并且能够由用户触摸，并且其他3D用户接口对象被示出为503，其上的用户接口可以检测交互并且执行适当的动作和显示改变。
因此，在一些实施例中，可以存在一种方法，包括：检测相对于自动立体显示器和/或第二显示器的对象位置；以及确定通过检测到的对象进行的交互。
在这样的实施例中，检测对象位置由此可以包括下述中的至少一个：检测对象在电容传感器中的电容值；以及检测对象的视觉图像。
此外，在一些实施例中，确定通过检测到的对象进行的交互可以包括：确定在检测到的图像和所显示的图像之间的交叉。
在这样的实施例中，所显示的图像可以包括至少一个三维对象的虚像或者在第二显示器上显示的二维图像。
因此，本申请的实施例允许两个显示器产生更真实或可信的三维图像投影。此外，在对眼睛和/或头部位置/取向的检测与要投影的对象之间的交互允许与所显示的一个或多个对象的更有效的交互。此外，在如上所述的其他实施例中，显示器上的用户接口元件的实现允许更强交互性的三维显示器构造和体验。
应当认识到，术语用户设备意在涵盖任何适当类型的无线用户设备，诸如移动电话、便携式数据处理设备或便携式web浏览器。此外，用户设备、通用串行总线(USB)棒以及调制解调器数据卡可以包括诸如在以上实施例中描述的装置这样的装置。
通常，本发明的各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。例如，一些方面可以以硬件来实现，而其他方面可以以固件或软件来实现，该固件或软件可以由控制器、微处理器或其他计算设备来实现，但是本发明不限于此。尽管本发明的各种方面可以被图示和描述为框图、流程图或者使用一些其他图示表示，但是应当理解，这里描述的这些框、装置、***、技术或方法可以作为非限制性示例以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其一些组合来实现。
因此，一些实施例可以被实现为一种装置，包括：传感器，构造成检测用户视点相对于自动立体显示器的位置和取向；处理器，构造成确定可从用户视点观看到的至少一个三维对象的表面；以及图像生成器，构造成根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
在一些实施例中，传感器可以包括：相机，构造成捕捉至少一个用户图像；以及面部识别器，构造成确定用户眼睛相对于自动立体显示器的位置和取向。
在一些实施例中，可以存在至少两个相机，从至少两个相机中的每一个捕捉至少一个用户图像，并且面部识别器可以对来自至少两个相机中的每一个的至少一个用户图像之间的差异进行比较。
在一些实施例中，处理器可以确定至少一个三维对象的模型；确定从至少一个三维对象模型到用户视点的距离和取向；并且根据至少一个三维对象的模型以及从至少一个三维对象模型到用户视点的距离和取向来生成至少一个三维对象的表面。
在一些实施例中，处理器还可以检测用户的瞳孔间距；并且根据下述中的至少一个来提供对视差屏障的控制信息：用户视点的位置；用户视点的取向；以及用户瞳孔间距。
在一些实施例中，处理器还可以确定可从用户视点观看到的至少一个三维对象在第二显示器上的投影表面；并且图像生成器根据可从用户视点观看到的投影表面可以生成用于在第二显示器上显示的投影图像。
在一些实施例中，处理器可以根据下述中的至少一个来确定可从用户视点观看到的投影表面：至少一个三维对象发光角度和位置；第二显示表面模型；以及至少一个三维对象表面模型。
投影表面可以包括下述中的至少一个：至少一个三维对象的部分阴影；至少一个三维对象的全部阴影；以及至少一个三维对象的反射。
传感器还可以被构造为检测相对于自动立体显示器和/或第二显示器的对象位置；并且确定通过检测到的对象进行的交互。
在一些实施例中，传感器可以通过检测下述中的至少一个来检测对象位置：对象在电容传感器中的电容值；以及对象的视觉图像。
处理器还可以确定在检测到的图像和所显示的图像之间的交叉。
所显示的图像可以包括至少一个三维对象的虚像。
所显示的图像可以包括在第二显示器上显示的二维图像。
本发明的实施例可以通过移动设备的数据处理器可执行的计算机软件来实现，诸如以处理器实体、或者通过硬件或通过软件和硬件的组合来实现。此外，在这方面，应当注意，如附图中的逻辑流的任何框可以表示程序步骤、或者互连的逻辑电路、块和功能、或者程序步骤和逻辑电路的组合、块和功能。软件可以被存储在诸如存储器芯片、或者在处理器内实现的存储器块这样的物理介质上、诸如硬盘或软盘这样的磁介质上、以及诸如DVD及其数据变体和CD及其数据变体这样的光介质上。
因此，一些实施例可以由用指令编码的计算机可读介质来实现，该指令在由计算机实现时，执行：检测用户视点相对于自动立体显示器的位置和取向；确定可从用户视点观看到的至少一个三维对象的表面；以及根据可从用户视点观看到的表面来生成用于在自动立体显示器上显示的左眼和右眼图像。
存储器可以具有适用于本地技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和***、光存储器设备和***、固定存储器和可移除存储器。数据处理器可以具有适用于本地技术环境的任何类型，并且可以包括作为非限制示例的通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、门级电路以及基于多核心处理器架构的处理器中的一个或多个。
本发明的实施例可以在诸如集成电路模块的各种组件中被实践。集成电路的设计借助于大规模高度自动化工艺。复杂和强大的软件工具可用于将逻辑级设计转换成便于在半导体衬底上被蚀刻和形成的半导体电路设计。
诸如加利福尼亚Mountain View的Synopsys公司和加利福尼亚圣荷西的Cadence Design提供的那些程序使用完善建立的设计规则以及预存储的设计模块库来自动地在半导体芯片上对导体进行布线并对组件进行定位。一旦完成了对半导体电路的设计，所得到的具有标准化电子格式(例如，Opus、GDSII等)的设计可以被传送到半导体制造设备或“生产线”以进行制造。
前述描述通过示例性和非限制性示例提供了本发明的示例性实施例的全面和信息性描述。然而，当接合附图和所附权利要求进行阅读时，本领域的技术人员根据前述描述应当清楚各种修改和改变。然而，对本发明的教导的所有这样和类似的修改都将落在如所附权利要求限定的本发明的范围内。
如在本申请中使用的，术语电路可以指下述的所有：(a)仅硬件电路实现(诸如以仅模拟和/或数字电路的实现)以及(b)电路和软件(和/或固件)的组合，诸如并且在可用于：(i)处理器的组合或(ii)部分的处理器/软件(包括数字信号处理器)、软件和存储器，其一起工作以使得诸如移动电话或服务器这样的装置执行各种功能)以及(c)电路，诸如微处理器或微处理器的一部分，其在即使软件或固件物理上并不存在时也需要软件或固件来进行操作。
对于电路的该定义适用于本申请中所有对该术语的使用，包括在任何权利要求中对该术语的使用。又如，如在本申请中使用，术语电路还可以涵盖仅处理器(或多个处理器)或处理器的一部分及其附属的软件和/或固件的实现。术语电路还可以涵盖，例如并且在适用于具体要求保护的元素时，用于移动电话或服务器中的类似集成电路、蜂窝网络设备或其他网络设备的基带集成电路或专用处理器集成电路。
在本申请中，术语处理器和存储器可以包括但不限于：(1)一个或多个微处理器、(2)具有附属数字信号处理器的一个或多个处理器、(3)不具有附属数字信号处理器的一个或多个处理器、(3)一个或多个专用计算机芯片、(4)一个或多个现场可编程门阵列(FPGA)、(5)一个或多个控制器、(6)一个或多个专用集成电路(ASIC)或者检测器、处理器(包括双核和多核处理器)、数字信号处理器、控制器、接收器、发射器、编码器、解码器、存储器(和多个存储器)、软件、固件、RAM、ROM、显示器、用户接口、显示电路、用户接口电路、用户接口软件、显示软件、电路、天线、天线电路和电路。

Claims (21)

1.一种用于自动立体显示器的方法，包括：
基于有关用户视点的信息的处理来检测所述用户视点相对于自动立体显示器的位置和取向；
确定可从所述用户视点观看到的至少一个三维对象的表面；
根据可从所述用户视点观看到的表面来生成用于在所述自动立体显示器上显示的左眼和右眼图像；
确定可从所述用户视点观看到的至少一个三维对象在第二显示器上的投影表面；
经由触摸输入接口检测对象相对于所述投影表面的维度的位置；
根据可从所述用户视点观看到的投影表面来生成用于在所述第二显示器上显示的投影图像；
其中确定可从所述用户视点观看到的至少一个三维对象的表面包括确定所述至少一个三维对象的模型，确定从至少一个三维对象模型到所述用户视点的距离和取向，以及根据所述至少一个三维对象的模型以及从所述至少一个三维对象模型到所述用户视点的距离和取向来生成所述至少一个三维对象的表面；
其中所述投影表面包括下述中的至少一个：所述至少一个三维对象的部分阴影，所述至少一个三维对象的全部阴影，以及所述至少一个三维对象的反射；以及
其中所述投影表面上渲染的所述阴影或反射随着指示所述用户视点的眼睛水平变化而变化。
2.根据权利要求1所述的方法，其中，检测用户视点的位置和取向包括：
捕捉至少一个用户图像；
确定用户眼睛相对于所述自动立体显示器的位置和取向。
3.根据权利要求2所述的方法，其中，捕捉至少一个用户图像包括从至少两个相机中的每一个捕捉至少一个用户图像，并且检测位置和取向包括对来自所述至少两个相机中的每一个的所述至少一个用户图像之间的差异进行比较。
4.根据权利要求1所述的方法，进一步包括：
检测用户的瞳孔间距；以及
根据下述中的至少一个来控制视差屏障：
所述用户视点的位置；
所述用户视点的取向；以及
所述用户的瞳孔间距。
5.根据权利要求1所述的方法，进一步包括：根据下述中的至少一个来确定可从所述用户视点观看到的投影表面：
至少一个三维对象发光角度和位置；
第二显示表面模型；以及
至少一个三维对象表面模型。
6.根据权利要求1至5中任意一项所述的方法，进一步包括：
检测相对于所述自动立体显示器和/或第二显示器的对象位置；以及
确定通过检测到的对象进行的交互。
7.根据权利要求6所述的方法，其中，检测对象位置包括下述中的至少一个：
检测所述对象在电容传感器中的电容值；以及
检测所述对象的视觉图像。
8.根据权利要求6所述的方法，其中，确定通过检测到的对象进行的交互包括确定在所检测到的图像和所显示的图像之间的交叉。
9.根据权利要求8所述的方法，其中，所显示的图像包括所述至少一个三维对象的虚像。
10.根据权利要求8所述的方法，其中，所显示的图像包括在所述第二显示器上显示的二维图像。
11.一种用于自动立体显示器的设备，包括：
用于基于有关用户视点的信息的处理来检测所述用户视点相对于自动立体显示器的位置和取向的装置；
用于确定可从所述用户视点观看到的至少一个三维对象的表面的装置；
用于根据可从所述用户视点观看到的表面来生成用于在所述自动立体显示器上显示的左眼和右眼图像的装置；
用于确定可从所述用户视点观看到的至少一个三维对象在第二显示器上的投影表面的装置；
用于经由触摸输入接口检测对象相对于所述投影表面的维度的位置的装置；
用于根据可从所述用户视点观看到的投影表面来生成用于在所述第二显示器上显示的投影图像的装置；
其中用于确定可从所述用户视点观看到的至少一个三维对象的表面的装置包括用于确定所述至少一个三维对象的模型的装置，用于确定从至少一个三维对象模型到所述用户视点的距离和取向的装置，以及用于根据所述至少一个三维对象的模型以及从所述至少一个三维对象模型到所述用户视点的距离和取向来生成所述至少一个三维对象的表面的装置；
其中所述投影表面包括下述中的至少一个：所述至少一个三维对象的部分阴影，所述至少一个三维对象的全部阴影，以及所述至少一个三维对象的反射；以及
其中所述投影表面上渲染的所述阴影或反射随着指示所述用户视点的眼睛水平变化而变化。
12.根据权利要求11所述的设备，其中用于检测用户视点的位置和取向的装置包括：
用于捕捉至少一个用户图像的装置；
用于确定用户眼睛相对于所述自动立体显示器的位置和取向的装置。
13.根据权利要求12所述的设备，其中用于捕捉至少一个用户图像的装置包括用于从至少两个相机中的每一个捕捉至少一个用户图像的装置，并且用于检测位置和取向的装置包括用于对来自所述至少两个相机的每一个的至少一个用户图像之间的差异进行比较的装置。
14.根据权利要求11所述的设备，进一步包括：
用于检测用户的瞳孔间距的装置；以及
用于根据下述中的至少一个来控制视差屏障的装置：
所述用户视点的位置；
所述用户视点的取向；以及
所述用户的瞳孔间距。
15.根据权利要求11所述的设备，进一步包括用于根据下述中的至少一个来确定可从所述用户视点观看到的投影表面的装置：
至少一个三维对象发光角度和位置；
第二显示表面模型；以及
至少一个三维对象表面模型。
16.根据权利要求11至15中任意一项所述的设备，进一步包括：
用于检测相对于所述自动立体显示器和/或第二显示器的对象位置的装置；以及
用于确定通过所检测到的对象进行的交互的装置。
17.根据权利要求16所述的设备，其中用于检测对象位置的装置包括下述中的至少一个：
用于检测所述对象在电容传感器中的电容值的装置；以及
用于检测所述对象的视觉图像的装置。
18.根据权利要求16所述的设备，其中用于确定通过所检测到的对象进行的交互的装置包括用于确定在所检测到的图像和所显示的图像之间的交叉的装置。
19.根据权利要求18所述的设备，其中，所显示的图像包括所述至少一个三维对象的虚像。
20.根据权利要求18所述的设备，其中，所显示的图像包括在所述第二显示器上显示的二维图像。
21.一种用于自动立体显示器的装置，包括：
传感器，所述传感器被构造成，基于有关用户视点的信息的处理来检测所述用户视点相对于自动立体显示器的位置和取向；
处理器，所述处理器被构造成，确定可从所述用户视点观看到的至少一个三维对象的表面，确定可从所述用户视点观看到的至少一个三维对象在第二显示器上的投影表面，以及根据可从所述用户视点观看到的投影表面来生成用于在所述第二显示器上显示的投影图像；其中确定可从所述用户视点观看到的至少一个三维对象的表面包括确定所述至少一个三维对象的模型，确定从至少一个三维对象模型到所述用户视点的距离和取向，以及根据所述至少一个三维对象的模型以及从所述至少一个三维对象模型到所述用户视点的距离和取向来生成所述至少一个三维对象的表面；
其中所述投影表面包括下述中的至少一个：所述至少一个三维对象的部分阴影，所述至少一个三维对象的全部阴影，以及所述至少一个三维对象的反射；以及
其中所述投影表面上渲染的所述阴影或反射随着指示所述用户视点的眼睛水平变化而变化；
触摸输入接口，所述触摸输入接口被构造成，检测对象相对于所述投影表面的维度的位置；以及
图像生成器，所述图像生成器被构造成，根据可从所述用户视点观看到的表面来生成用于在所述自动立体显示器上显示的左眼和右眼图像。
CN200980162526.7A 2009-10-14 2009-10-14 自动立体渲染和显示装置 Expired - Fee Related CN102640502B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/063420 WO2011044936A1 (en) 2009-10-14 2009-10-14 Autostereoscopic rendering and display apparatus

Publications (2)

Publication Number Publication Date
CN102640502A CN102640502A (zh) 2012-08-15
CN102640502B true CN102640502B (zh) 2015-09-23

Family

ID=42173831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980162526.7A Expired - Fee Related CN102640502B (zh) 2009-10-14 2009-10-14 自动立体渲染和显示装置

Country Status (5)

Country Link
US (1) US8970478B2 (zh)
EP (1) EP2489195A1 (zh)
CN (1) CN102640502B (zh)
RU (1) RU2524834C2 (zh)
WO (1) WO2011044936A1 (zh)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010011039A1 (de) * 2010-03-11 2011-09-15 Volkswagen Ag Verfahren und Vorrichtung zum Betreiben einer Benutzerschnittstelle
CN107256094A (zh) * 2010-04-13 2017-10-17 诺基亚技术有限公司 装置、方法、计算机程序和用户接口
KR20120010404A (ko) * 2010-07-26 2012-02-03 삼성전자주식회사 색유지형 선택적 부화소 렌더링을 이용한 다시점 디스플레이 시스템 및 방법
US20120050154A1 (en) * 2010-08-31 2012-03-01 Adil Jagmag Method and system for providing 3d user interface in 3d televisions
US20120066726A1 (en) * 2010-09-10 2012-03-15 Mondragon Christopher K Video Display Units for Aircraft In-Flight Entertainment Systems and Methods of Adapting the Same
US8943541B2 (en) * 2010-10-11 2015-01-27 Eldon Technology Limited Holographic 3D display
KR101732131B1 (ko) 2010-11-12 2017-05-04 삼성전자주식회사 사용자 위치 기반의 영상 제공 장치 및 방법
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
US9285586B2 (en) 2011-05-13 2016-03-15 Sony Corporation Adjusting parallax barriers
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5926500B2 (ja) * 2011-06-07 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012256214A (ja) * 2011-06-09 2012-12-27 Sony Corp 情報処理装置、情報処理方法、およびプログラム
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
DE102011112620B3 (de) * 2011-09-08 2013-02-21 Eads Deutschland Gmbh Abgewinkeltes Display zur dreidimensionalen Darstellung eines Szenarios
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US10477191B2 (en) * 2011-11-21 2019-11-12 Nikon Corporation Display device, and display control program
CN102595172A (zh) * 2011-12-06 2012-07-18 四川长虹电器股份有限公司 3d影像的显示方法
JP2013121031A (ja) * 2011-12-07 2013-06-17 Sony Corp 表示装置および方法、並びにプログラム
CN104054334B (zh) * 2011-12-21 2017-05-24 松下电器（美国）知识产权公司 显示装置
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
WO2013107467A1 (en) * 2012-01-17 2013-07-25 Sony Ericsson Mobile Communications Ab Portable electronic equipment and method of controlling an autostereoscopic display
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
CN202472131U (zh) * 2012-03-14 2012-10-03 京东方科技集团股份有限公司 一种显示装置和终端
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US11068049B2 (en) 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
EP2658250A1 (en) * 2012-04-26 2013-10-30 Sony Mobile Communications AB Screen camera
KR101958447B1 (ko) * 2012-05-16 2019-03-15 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
CN102915115A (zh) * 2012-09-25 2013-02-06 上海华勤通讯技术有限公司 根据眼部调整显示画面的方法
US20150237334A1 (en) * 2012-09-27 2015-08-20 Sharp Kabushiki Kaisha Stereoscopic display device
US9148651B2 (en) * 2012-10-05 2015-09-29 Blackberry Limited Methods and devices for generating a stereoscopic image
JP6425884B2 (ja) * 2012-12-12 2018-11-21 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置
US10192358B2 (en) * 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
CN103248905A (zh) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
US8988343B2 (en) 2013-03-29 2015-03-24 Panasonic Intellectual Property Management Co., Ltd. Method of automatically forming one three-dimensional space with multiple screens
US9930313B2 (en) * 2013-04-01 2018-03-27 Lg Electronics Inc. Image display device for providing function of changing screen display direction and method thereof
US9348411B2 (en) * 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
CN103440036B (zh) * 2013-08-23 2018-04-17 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置
CN106170731A (zh) * 2014-03-31 2016-11-30 索尼公司 电子设备
US10216357B2 (en) 2014-07-16 2019-02-26 Sony Corporation Apparatus and method for controlling the apparatus
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
KR102329814B1 (ko) * 2014-12-01 2021-11-22 삼성전자주식회사 3d 디스플레이를 위한 양안 거리 인식 장치
CN104392684B (zh) 2014-12-15 2018-01-23 联想(北京)有限公司 电子设备、显示装置和显示控制方法
RU2582852C1 (ru) * 2015-01-21 2016-04-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" (ООО "Вокорд СофтЛаб") Автоматическое построение 3d модели лица по серии 2d изображений или по видеофильму
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
US9773022B2 (en) 2015-10-07 2017-09-26 Google Inc. Displaying objects based on a plurality of models
US20170171535A1 (en) * 2015-12-09 2017-06-15 Hyundai Motor Company Three-dimensional display apparatus and method for controlling the same
JP6126195B2 (ja) * 2015-12-24 2017-05-10 京セラ株式会社 表示機器
KR20170076471A (ko) 2015-12-24 2017-07-04 삼성전자주식회사 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
US10021373B2 (en) 2016-01-11 2018-07-10 Microsoft Technology Licensing, Llc Distributing video among multiple display zones
US20190035364A1 (en) * 2016-02-26 2019-01-31 Sony Corporation Display apparatus, method of driving display apparatus, and electronic apparatus
TWI576723B (zh) * 2016-04-29 2017-04-01 致伸科技股份有限公司 具有投影功能之輸入裝置
WO2018003860A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 表示装置、プログラム、表示方法および制御装置
KR20180060559A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
US11707671B2 (en) * 2017-03-07 2023-07-25 Ahmed ABDELKARIM Anamorphic display device
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
BR112020021608A2 (pt) * 2018-04-24 2021-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho e método para renderização de um sinal de áudio para uma reprodução para um usuário
CN109144393B (zh) 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
WO2020112900A2 (en) * 2018-11-30 2020-06-04 Pcms Holdings, Inc. Method for mirroring 3d objects to light field displays
CN109683718A (zh) * 2019-01-16 2019-04-26 深圳市中视典数字科技有限公司 一种交互显示装置及方法
DE102019202462A1 (de) * 2019-02-22 2020-08-27 Volkswagen Aktiengesellschaft Tragbares Endgerät
CN110035270A (zh) * 2019-02-28 2019-07-19 努比亚技术有限公司 一种3d图像显示方法、终端及计算机可读存储介质
CN110049308A (zh) * 2019-02-28 2019-07-23 努比亚技术有限公司 一种双屏显示的方法、终端及计算机可读存储介质
CN110488970A (zh) * 2019-07-03 2019-11-22 努比亚技术有限公司 弧形显示屏的图形显示方法、终端及计算机可读存储介质
KR102574288B1 (ko) * 2019-08-07 2023-09-07 삼성전자주식회사 3d 데이터 아이템을 구성하기 위한 방법 및 벤더블 디바이스
KR20210117418A (ko) * 2020-03-19 2021-09-29 삼성전자주식회사 전자 장치의 화면을 홀로그램으로 표시하는 거치 장치
KR20230117639A (ko) 2020-09-25 2023-08-08 애플 인크. 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US11210844B1 (en) 2021-04-13 2021-12-28 Dapper Labs Inc. System and method for creating, managing, and displaying 3D digital collectibles
US11099709B1 (en) 2021-04-13 2021-08-24 Dapper Labs Inc. System and method for creating, managing, and displaying an interactive display for 3D digital collectibles
USD991271S1 (en) 2021-04-30 2023-07-04 Dapper Labs, Inc. Display screen with an animated graphical user interface
US11227010B1 (en) 2021-05-03 2022-01-18 Dapper Labs Inc. System and method for creating, managing, and displaying user owned collections of 3D digital collectibles
US11533467B2 (en) * 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements
US11170582B1 (en) 2021-05-04 2021-11-09 Dapper Labs Inc. System and method for creating, managing, and displaying limited edition, serialized 3D digital collectibles with visual indicators of rarity classifications
CN115840546A (zh) * 2021-09-18 2023-03-24 华为技术有限公司 一种在显示屏上显示图像的方法、电子设备与装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69432283T2 (de) 1993-12-01 2004-01-22 Sharp K.K. Display für dreidimensionale Bilder
GB2296617A (en) * 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
JP3397602B2 (ja) * 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
US6157382A (en) * 1996-11-29 2000-12-05 Canon Kabushiki Kaisha Image display method and apparatus therefor
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US6618054B2 (en) * 2000-05-16 2003-09-09 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
US6876362B1 (en) * 2002-07-10 2005-04-05 Nvidia Corporation Omnidirectional shadow texture mapping
JP4576131B2 (ja) * 2004-02-19 2010-11-04 パイオニア株式会社 立体的二次元画像表示装置及び立体的二次元画像表示方法
US20050207486A1 (en) 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US7787009B2 (en) 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
EP1759379A2 (en) 2004-06-01 2007-03-07 Michael A. Vesely Horizontal perspective display
CN101002253A (zh) * 2004-06-01 2007-07-18 迈克尔·A.·韦塞利 水平透视模拟器
US20060001596A1 (en) 2004-06-30 2006-01-05 Interdigital Technology Corporation Method and system for displaying holographic images in mobile devices
US20060139447A1 (en) * 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
US20060152580A1 (en) 2005-01-07 2006-07-13 Synthosys, Llc Auto-stereoscopic volumetric imaging system and method
US20070064199A1 (en) 2005-09-19 2007-03-22 Schindler Jon L Projection display device
RU2306678C1 (ru) * 2006-02-07 2007-09-20 Василий Александрович ЕЖОВ Автостереоскопический дисплей с квазинепрерывным спектром ракурсов
WO2008041313A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
CN201060370Y (zh) 2007-05-29 2008-05-14 南昌大学 一种具有环视功能的裸眼立体显示器
US8416268B2 (en) * 2007-10-01 2013-04-09 Pioneer Corporation Image display device
US20090128900A1 (en) * 2007-11-15 2009-05-21 Idyllic Spectrum Sdn Bhd Autostereoscopic display
US20100328306A1 (en) * 2008-02-19 2010-12-30 The Board Of Trustees Of The Univer Of Illinois Large format high resolution interactive display
US8745536B1 (en) * 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
JP4926199B2 (ja) * 2009-04-16 2012-05-09 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
GB2470752B (en) * 2009-06-03 2015-01-07 Au Optronics Corp Autostereoscopic Display Apparatus

Also Published As

Publication number Publication date
US20120200495A1 (en) 2012-08-09
EP2489195A1 (en) 2012-08-22
US8970478B2 (en) 2015-03-03
RU2524834C2 (ru) 2014-08-10
CN102640502A (zh) 2012-08-15
RU2012118591A (ru) 2013-11-20
WO2011044936A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
CN102640502B (zh) 自动立体渲染和显示装置
US11676349B2 (en) Wearable augmented reality devices with object detection and tracking
US10437347B2 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9423827B2 (en) Head mounted display for viewing three dimensional images
US9049423B2 (en) Zero disparity plane for feedback-based three-dimensional video
JP6158223B2 (ja) モバイル表示装置
CN104321730B (zh) 3d图形用户接口
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
CN103069821B (zh) 图像显示装置、图像显示方法及图像修正方法
CN109743892A (zh) 虚拟现实内容的显示方法和装置
WO2011066848A1 (en) A processor, apparatus and associated methods
CN103503448A (zh) 双镜头摄像装置、其控制方法、以及控制程序及计算机可读取的记录介质
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
US10334233B2 (en) Portable device that controls photography mode, and control method therefor
US10796485B2 (en) Rendering objects in virtual views
EP3088991A1 (en) Wearable device and method for enabling user interaction
CN104850383A (zh) 一种信息处理方法和电子设备
KR101954263B1 (ko) 디스플레이 장치 및 그의 다시점 영상 제공 방법
Yamaguchi et al. Holographic 3D touch sensing display
KR102179432B1 (ko) 3차원 정보를 검출하는 방법 및 장치
JP2022191143A (ja) 画像処理装置および画像処理方法
KR20240084992A (ko) 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법
US9274547B2 (en) Display with an optical sensor
CN117597663A (zh) 用于扩展现实界面的远程界标渲染

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160119

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150923

Termination date: 20171014