CN103096104A - 信息处理装置、显示控制方法和程序 - Google Patents

信息处理装置、显示控制方法和程序 Download PDF

Info

Publication number
CN103096104A
CN103096104A CN2012104146925A CN201210414692A CN103096104A CN 103096104 A CN103096104 A CN 103096104A CN 2012104146925 A CN2012104146925 A CN 2012104146925A CN 201210414692 A CN201210414692 A CN 201210414692A CN 103096104 A CN103096104 A CN 103096104A
Authority
CN
China
Prior art keywords
gradient
user
eye image
parallax
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104146925A
Other languages
English (en)
Inventor
野田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103096104A publication Critical patent/CN103096104A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

本发明涉及信息处理装置、显示控制方法和程序。提供了一种信息处理装置,包括:倾斜度检测单元,检测用户的脸相对于显示屏幕的水平方向的倾斜度;和控制单元,根据倾斜度检测单元的检测结果,控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。

Description

信息处理装置、显示控制方法和程序
技术领域
本公开涉及信息处理装置、显示控制方法和程序。
背景技术
近年来,已经流行观看者可以立体地观看的三维立体视频。作为观看三维立体视频的***,通过显示在水平方向上具有视差的右眼视频和左眼视频而使观看者能够立体地观看视频的双眼视差方式已经普及。
为了使观看者更自然地观看这种三维立体视频,在第2011-77984号日本未审查专利申请公布中公开了这样一种技术:当拍摄三维立体视频时,依据两个相机(右眼相机和左眼相机)的位置精度等校正三维立体视频信号的误差。
发明内容
然而,在第2011-77984号日本未审查专利申请公布中公开的三维立体视频信号的校正并不是根据观看三维立体视频的观看者的位置进行控制的。
在近来的立体视频技术中,已知的有使观看者能够用裸眼观看三维立体视频的***和使观看者能够使用专用眼镜的***。然而,存在的问题在于不能正确地观看立体视频,并因此当观看者倾斜他或他的脸时,对观看者(用户)的眼睛施加了负担。
期望提供一种能够通过根据用户的脸的倾斜度控制右眼图像和左眼图像之间的视差来减轻用户眼睛的负担的新颖且改进的信息处理装置、显示控制方法和程序。
根据本公开的实施例,提供了一种信息处理装置,包括:倾斜度检测单元,检测用户的脸相对于显示屏幕的水平方向的倾斜度;和控制单元,根据倾斜度检测单元的检测结果,控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
根据本公开的另一实施例,提供了一种显示控制方法,包括:检测用户的脸相对于显示屏幕的水平方向的倾斜度,并根据通过检测倾斜度的步骤获得的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
根据本公开的又一实施例,提供了一种程序,使计算机执行下面的处理:检测用户的脸相对于显示屏幕的水平方向的倾斜度的处理;和根据通过检测倾斜度的处理获得的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差的处理。
根据上述的本公开的实施例,能够通过根据用户的脸的倾斜度控制右眼图像和左眼图像之间的视差来减轻用户眼睛的负担。
附图说明
图1是示出根据本公开的实施例的三维立体视频控制的概要的示图;
图2是示出根据本公开的第一实施例的信息处理装置的硬件构成的示例的框图;
图3是示出根据本公开的第一实施例的CPU(控制单元)的功能结构的框图;
图4是示出根据第一实施例的从图像传感器获得的拍摄图像的示图;
图5是示出根据第一实施例的虚拟相机的位置控制的示图;
图6是示出沿xy方向控制视差的右眼图像和左眼图像的示例的示图;
图7是示出根据第一实施例的操作处理的流程图;
图8是示出当沿水平方向和垂直方向分配视频时的图像的示图;
图9是示出使用圆偏振眼镜的方式的示图;
图10是示出当多个用户观看三维立体视频时检测的每个用户的脸的倾斜度θ的示图;
图11是示出根据本公开的第二实施例的CPU的功能结构的框图;
图12是示出根据本公开的第三实施例的概要的示图;
图13是示出根据本公开的第三实施例的信息处理装置的构成的示例的框图;
图14是示出根据本公开的第三实施例的信息处理装置相对于重力方向G的倾斜度θ的示图;
图15是示出根据本公开的第三实施例的CPU的功能结构的框图;以及
图16是示出根据第三实施例的虚拟相机的位置控制的示图。
具体实施方式
在下文中,将参照附图详细描述本公开的优选实施例。要注意的是,在本说明书和附图中,具有基本相同的功能和结构的构成要素用相同的标号表示,并且省略对这些构成要素的重复解释。
将按照下面的顺序进行描述:
1.三维立体视频之间的视差的控制的概要
2.实施例
2-1.第一实施例
2-2.第二实施例
2-3.第三实施例
3.总结
1.三维立体图视频之间的视差的控制的概要
首先,将参照图1描述根据本公开的实施例的三维立体视频之间的视差的控制的概要。如图1所示,根据本公开的实施例的信息处理装置10是包括显示装置107的平板型装置。信息处理装置10还包括对作为观看者的用户进行成像的图像传感器110。
这里,使用通过显示具有视差的右眼视频和左眼视频使观看者能够立体地观看视频的双眼视差方式作为根据本实施例的观看三维立体视频的方式的示例。如上所述,双眼视差方式分为使用专用眼镜的眼镜型方式和不使用眼镜的裸眼型方式。
眼镜型方式分为偏振光方式和快门方式,偏振光方式利用偏振光中的差将图像分成右眼图像和左眼图像,快门方式提供具有左右交替地执行开闭的快门的眼镜并使眼镜的快门的开闭与以时分方式显示的右眼图像和左眼图像同步。
裸眼型方式分为双凸透镜方式和视差屏障方式。在双凸透镜方式中,布置凸型精细透镜(双凸透镜)以把光路分为右眼图像的光路和左眼图像的光路。在视差屏障方式中,交替地布置阻挡光的视差屏障和作为透射光的区域的垂直狭缝以将光路分成右眼图像的光路和左眼图像的光路。
在上述的双眼视差方式中,通过分别真对右眼和左眼适当地显示右眼图像和左眼图像来形成正常的三维立体视频。然而,存在观看位置或观看范围受到限制的问题。
例如,假定用户观看预定观看范围内的图像,右眼图像和左眼图像通常在水平方向上具有视差。然而,当用户倾斜他或她的脸时,用户观看预定观看范围之外的图像,因此没有形成正常的三维立体视频。具体地讲,由于左眼观看到右眼图像且右眼观看到左眼图像,所以出现逆视(reverse viewing)状态。在这种情况下,对用户的眼睛上施加了负担。
在使用垂直狭缝和视差屏障的视差屏障***中,如图1所示,当在观看的同时用户将他或她的脸倾斜接近90度时,用户的两只眼睛相对于显示屏幕垂直地定位,并且用户的双眼会看到同样的视频。因此,可能不会形成正常的三维立体视频。
因此,当用户倾斜他或她的脸时,看不到正常的三维立体视频,因此在用户的眼睛上产生负担。
因此,在根据本公开的实施例的三维立体视频之间的视差的控制中,可通过根据观看三维立体视频的用户的脸的倾斜度控制右眼图像和左眼图像之间的视差来减轻用户眼睛的负担。
已经描述了根据本公开的实施例的三维立体视频的视差控制的概要。接下来,将根据本公开的多个实施例来描述三维立体视频之间的视差的控制。
2.实施例
在下文中,将根据本公开的第一实施例至第三实施例来描述执行三维立体视频之间的视差的控制的信息处理装置。
2-1.第一实施例
根据第一实施例的信息处理装置10利用信息处理装置10的图像传感器110检测用户的脸的倾斜度,并根据检测到的用户的脸的倾斜度执行三维立体视频之间的视差的控制。在下文中,将参照图2和图3来描述根据第一实施例的信息处理装置10的构成。信息处理装置10的硬件构成
图2是示出根据本实施例的信息处理装置10的硬件构成的示例的框图。如图2所示,根据本实施例的信息处理装置10包括中央处理单元(CPU)100、只读存储器(ROM)102、随机存取存储器(RAM)103、主机总线104a、桥104、外部总线104b、接口105、输入装置106、显示装置107、存储装置108、图像传感器110和通信装置113。
CPU 100用作计算处理单元和控制单元,并且根据各种程序控制信息处理装置10的全部处理。此外,CPU 100可为微处理器。稍后将详细描述根据本实施例的CPU 100(控制单元)的具体功能。
ROM 102存储由CPU 100使用的程序、计算参数等。RAM 103临时存储由CPU 100执行的程序以及在程序执行过程中适当改变的参数等。CPU 100、ROM 102和RAM 103通过由CPU总线等构成的主机总线104a相互连接。
主机总线104a经由桥104连接到诸如***组件互连/接口(PCI)总线的外部总线104b。主机总线104a、桥104和外部总线104b不一定以分开的方式构成,也可通过单个总线来实现主机总线104a、桥104和外部总线104b的功能。
输入装置106包括:输入单元,例如触摸面板、按钮、麦克风或开关,用于使用户输入信息;和输入控制电路,其响应于用户的输入产生输入信号并将产生的输入信号输出至CPU 100。信息处理装置10的用户可操作输入装置106对信息处理装置10输入各种数据或指示进行处理操作。
显示装置107是诸如阴极射线管(CRT)显示装置、液晶显示(LCD)装置或有机发光二极管(OLED)装置的显示单元。
存储装置108是被构造为信息处理装置10的存储单元的示例并存储数据的装置。存储装置108可包括存储介质、将数据记录在存储介质上的记录装置、从存储介质读取数据的读取装置和删除记录在存储介质上的数据的删除装置。此外,存储装置108存储由CPU 100执行的程序或各种数据。
图像传感器110是对被摄体进行成像的成像单元。图像传感器110将拍摄的图像输出至RAM 103。根据本实施例的图像传感器110用于检测用户的脸的倾斜度。稍后将参照图4来详细描述图像传感器110执行的用户的脸的倾斜度的检测。
例如,通信装置113是由连接到通信网络20的通信装置构成的通信接口。此外,通信装置113可为与无线局域网络(LAN)对应的通信装置。
已经详细描述了根据本实施例的信息处理装置10的硬件构成的示例。接下来,将参照图3详细描述根据本实施例的CPU 100(控制单元)的功能结构。
CPU 100的功能结构
图3是示出根据本实施例的CPU 100(控制单元)的功能结构的框图。如图3所示,CPU 100具有倾斜度检测单元121、图像产生单元123和显示控制单元125的功能。因此,根据本实施例的CPU 100可根据从图像传感器110输出的图像(拍摄图像)来检测用户的脸的倾斜度,并可以在显示单元107上显示根据检测结果来控制视差的右眼图像和左眼图像。在下文中,将描述图3中示出的每个功能结构。倾斜度检测单元121
倾斜度检测单元121可以在从图像传感器110输出的拍摄图像上识别用户的脸的位置或关于用户的脸的位置的部分信息,并且可以检测用户的脸的倾斜度。倾斜度检测单元121将检测结果输出至图像产生单元123。
这里,可基于例如眼睛的位置或鼻子的位置来执行倾斜度检测单元121执行的用户的脸的倾斜度的检测。将参照图4详细描述倾斜度检测单元121执行的倾斜度检测的示例。
图4是示出从图像传感器110输出的拍摄图像31的示图。如图4所示,倾斜度检测单元121分析拍摄图像31并识别用户的脸的位置和脸的一部分。这里,例如,倾斜度检测单元121识别用户的眼睛(右眼35R和左眼35L),如图4所示。然后,倾斜度检测单元121检测连接识别的右眼35R和识别的左眼35L的线33与在显示装置107的水平方向上形成的线M之间形成的角度θ,作为用户的脸的倾斜度。当用户逐渐倾斜他或她的脸时,用户的右眼35R和左眼35L的位置之间的差在x方向(水平方向)上减小并在y轴方向(垂直方向)上增大,如图4所示。
图像产生单元123
图像产生单元123根据从倾斜度检测单元121输出的检测结果,产生根据用户的脸的倾斜度控制视差的右眼图像和左眼图像。图像产生单元123将产生的右眼图像和左眼图像输出至显示控制单元125。
例如,图像产生单元123可通过根据用户的脸的倾斜度调整观察预先建模的三维虚拟空间的虚拟相机的位置,来产生在xy方向具有视差的右眼图像和左眼图像。在下文中,将参照图5描述用于产生图像的虚拟空间。
图5是示出虚拟空间40的示图。在虚拟空间40中,如图5所示,可以对3D立体模型(对象)41和42进行建模,并由观察虚拟空间40的虚拟相机43a和43b从任何位置进行渲染。
根据从倾斜度检测单元121输出的用户的脸的角度θ来调整虚拟相机43a和43b的位置。在图5示出的示例中,虚拟相机43a对应于用户的左眼35L,虚拟相机43b对应于右眼35R。因此,调整虚拟相机43a和43b的位置,从而使得相对于连接虚拟相机43a和虚拟相机43b的线44形成角度θ。
在按照这种方式调整虚拟相机43的位置之后,图像产生单元123可以执行渲染,以产生根据用户的脸的倾斜度在xy方向上控制视差的右眼图像和左眼图像。
在图6中示出了产生的右眼图像和左眼图像的示例。图6中示出的左眼图像50L是从虚拟相机43a获取的图像,右眼图像50R是从虚拟相机43b获取的图像。如图6的下侧所示,左眼图像50L和右眼图像50R具有对应于用户的脸的倾斜度的xy方向上的视差。
显示控制单元125
显示控制单元125控制从图像产生单元123输出的右眼图像和左眼图像,从而在显示装置107上显示右眼图像和左眼图像。显示控制单元125执行显示控制,从而根据三维立体视频的具体实现方式(上述的裸眼型方式或眼镜型方式)将正确的图像分配给用户的两只眼睛。稍后将参照图8描述双眼视差图像的分配。
已经详细描述了根据本实施例的CPU 100的功能结构。接下来,将参照图7描述根据本实施例的CPU 100的操作处理。
CPU 100的操作处理
图7是示出了根据本实施例的CPU 100的操作处理的流程图。如图7所示,在步骤S201,CPU 100首先确定观看显示装置107(显示屏幕)的用户是否存在。作为具体的确定方法,例如,当CPU 100分析图像传感器110拍摄的图像并识别到用户的脸时,CPU 100可确定观看显示屏幕的用户存在。
在步骤S203,倾斜度检测单元121通过分析图像传感器110拍摄的图像来检测用户的脸的倾斜度θ。然后,倾斜度检测单元121将指示倾斜度θ的检测结果输出到图像产生单元123。
在步骤S205,图像产生单元123将观察虚拟空间40的两个虚拟相机43a和43b的位置旋转由倾斜度检测单元121检测的用户的脸的倾斜度θ。
在步骤S207,图像产生单元123可通过从旋转后的虚拟相机43a和43b获取图像来产生具有对应于用户的脸的倾斜度的xy方向上的视差的右眼图像和左眼图像。
已经描述了CPU 100的操作处理。接下来,将描述一个具体示例:通过使CPU 100控制xy方向(水平和/或垂直方向)上的视差而产生的右眼图像和左眼图像被正确地分配给观看者的两只眼睛。
双眼视差图像的分配
例如,在裸眼型方式的情况下,视频可不仅沿水平方向分配而且还沿垂直方向分配,从而甚至当用户倾斜他或她的脸时,合适的图像也正确地到达右眼和左眼。图8是示出了当不仅沿水平方向分配视频而且还沿垂直方向分配视频时第一观看眼睛(左眼)和第二观看眼睛(右眼)观看的图像的示图。
如图8所示,图像的像素(或子像素)被分配到水平方向和垂直方向。因此,第一观看眼睛(左眼)观看图8的左侧示出的图像的白色部分55L的像素,第二观看眼睛(右眼)观看图8的右侧示出的白色部分55R的像素。
通过沿水平方向和垂直方向分配在xy方向上具有视差的三维立体视频,正确的信息被输入到双眼,因此即使当用户将他或她的脸倾斜90度时,用户也可以正确地观看三维立体视频。在这种情况下,CPU 100在显示装置107上显示组合了图8的右侧和左侧示出的图像的白色部分的图像。
如图8所示,例如,用于分配图像的光学元件可为阻挡光的视差屏障和作为透射光的区域的狭缝以格子形状进行排列的视差屏障(即,倾斜地排列视差屏障)。此外,可使用其中以栅格状图案排列双凸透镜的光学元件。
已经描述了当实现裸眼型方式时分配图像的具体方法。另一方面,当实现眼镜型方式时,例如如图9所示,可使用圆偏振眼镜60来分配右眼和左眼观看的视频。
在圆偏振眼镜方式中,CPU 100在显示装置107上交替地显示右眼图像和左眼图像,并通过滤光器(未示出)提供沿不同旋转方向的圆偏振光。由于使用了沿与右眼图像和左眼图像中的每个的偏振光的方向相同的方向执行偏振的圆偏振眼镜60,所以正确的信息被输入到双眼。在这种情况下,即使当用户将他或她的脸倾斜90度时,正确的信息也被输入双眼。因此,用户可以正确地观看立体视频。
当实现眼镜型方式时,可利用交替执行开闭的快门眼镜来分配右眼和左眼观看的视频。
在快门眼镜方式中,通过使右眼图像和左眼图像在显示装置107上交替显示的定时与快门眼镜执行开闭的定时同步,正确的信息被输入到用户的双眼。在这种情况下,即使当用户将他或她的脸倾斜90度时,正确的信息也被输入到用户的双眼。因此,用户可以正确地观看立体视频。
根据本公开的第一实施例,如上所述,能够产生根据用户的脸的倾斜度(用户的眼睛的位置在xy方向上的变化)在二维xy方向上动态地形成视差的右眼图像和左眼图像。因此,通过将产生的视频正确地分配给倾斜的用户的脸的眼睛,即使当用户倾斜他或她的脸时,用户也可以正确地观看三维立体视频。因此,减轻了用户眼睛的负担。
在上述的第一实施例中,已经描述了产生具有两种类型的视差的三维立体视频的情况,但是本公开的实施例不限于此。例如,即使当产生具有四种或更多种类型的视差的三维立体视频时,也可以同样地根据用户的脸的倾斜度沿xy方向控制视差。
在上述的第一实施例中,已经产生了在预先建模的虚拟空间40中沿水平方向和垂直方向控制视差的三维立体视频,但是本公开的实施例不限于此。
例如,在在水平方向上具有视差的视频内容的情况下,具有多种类型视差的视频被叠加在虚拟平面中。因此,通过将视差的变化添加到该平面,同样地可根据用户的脸的倾斜度控制视差。然而,在这种情况下,由于最初并未包括垂直方向上的视差,所以仅控制水平方向上的视差。然而,可以减轻用户的眼睛的负担。例如,当用户倾斜他或她的脸时,消除了水平方向上的视差。当用户将他或她的脸倾斜90度时,用户可以观看二维视频,因此可以减轻用户眼睛的负担。
通过由在水平方向上具有视差的视频内容再次构建虚拟空间,可以创建垂直方向上的伪视差。因此,可以根据用户的脸的倾斜度控制水平方向和垂直方向上的视差。例如,即使当用户将他或她的脸倾斜90度时,用户也可以正确地观看三维立体视频。
2-2.第二实施例
在上述的第一实施例中,根据观看三维立体视频的一个用户的脸的倾斜度控制视差。另一方面,当多个用户同时观看三维立体视频时,针对多个用户检测到不同倾斜度θ的可能性高,如图10所示。
图10是示出当多个用户观看三维立体视频时检测的倾斜度θ的示图。在图10中,在图像传感器110拍摄的图像33中,对于每个用户,由连接每个用户的眼睛的线与对应于显示装置107的水平方向的水平线M形成的角度θ是不同的。
当多个用户同时观看三维立体视频时,检测到不同的倾斜度θ,例如用户1的脸的倾斜度θ1和用户2的脸的倾斜度θ2,如图10所示。因此,难以像第一实施例一样控制水平方向和垂直方向上的视差。
在本公开的第二实施例中,当检测到观看三维立体视频的多个用户时,仅沿水平方向创建视差,从而多个用户可以观看三维立体视频。因此,可以减轻用户眼睛的负担。下面将参照图11来描述根据第二实施例的CPU的功能结构。
根据第二实施例的CPU 120的功能结构
图11是示出根据第二实施例的CPU 120的功能结构的示图。如图11所示,CPU 120包括倾斜度检测单元121、图像产生单元123、显示控制单元125和用户检测单元127。
根据本实施例的用户检测单元127根据图像传感器110拍摄的图像检测是否存在多个观看三维立体视频的用户,然后将检测结果输出至图像产生单元123。随后,图像产生单元123根据用户检测单元127获得的检测结果,产生具有沿水平方向控制的视差和/或沿垂直方向控制的视差的三维立体视频,然后将产生的三维立体视频输出至显示控制单元125。
更具体地讲,当检测到一个观看三维立体视频的用户时,像第一实施例中一样,图像产生单元123产生根据倾斜度检测单元121检测的用户的脸的倾斜度沿水平方向控制视差和/或沿垂直方向控制视差的三维立体视频。另一方面,当存在多个观看三维立体视频的用户时,图像产生单元123产生仅沿水平方向控制视差的三维立体视频,然后将产生的三维立体视频输出至显示控制单元125。
因此,当存在多个观看三维立体视频的用户时,CPU 120仅沿水平方向控制视差。然而,可以减轻用户眼睛的负担。例如,当用户逐渐倾斜他们的脸时,每个用户的眼睛之间的在x方向上的差减小。因此,三维立体视频之间在水平方向上的视差丢失。此外,当每个用户的脸倾斜将近90度时,水平方向上的视差几乎变成零,因此二维视频被获取。然而,可以减轻每个用户眼睛的负担。
在本公开的第二实施例中,如上所述,当存在多个观看三维立体视频的用户时,仅沿水平方向控制视差。因此,可以减轻每个用户眼睛的负担。
当根据双眼视差***显示三维立体视频时,可能会存在根据观看角度右信息和左信息颠倒的区域(逆视区域)。因此,对用户的眼睛施加了负担。因此,根据上述第二实施例的用户检测单元127可分析图像传感器110拍摄的图像,并检测在逆视区域中是否存在用户。
当在逆视区域中存在用户时,图像产生单元123通过执行根据从用户检测单元127输出的检测结果使右眼图像和左眼图像之间的视差消失的控制来产生二维图像。因此,当在逆视区域中存在用户时,通过执行使视差消失的控制来产生并显示二维图像。因此,可以减轻用户眼睛的负担。
2-3.第三实施例
在上述的第一和第二实施例中,根据图像传感器110拍摄的图像检测用户的脸的倾斜度,但是本公开的实施例不限于此。例如,可利用包括在信息处理装置中并检测信息处理装置自身的倾斜度的传感器来检测用户的脸的相对倾斜度。检测信息处理装置自身的倾斜度的传感器可为例如检测相对于重力方向的角度的加速度传感器或地磁传感器。在下面将描述的第三实施例中,将描述利用加速度传感器检测用户的脸的倾斜度的情况。
图12是示出根据第三实施例的信息处理装置的示图。当用户倾斜信息处理装置12时,如图12所示,可以说相对的用户的脸(双眼的位置)相对于信息处理装置12的显示装置107倾斜。当用户倾斜信息处理装置本身时,根据本实施例的信息处理装置12可通过根据相对于信息处理装置12相对倾斜的用户的脸的倾斜度控制水平方向上的视差和/或垂直方向上的视差,来减轻用户眼睛的负担。
根据第三实施例的信息处理装置12的构成
图13是示出根据本公开的第三实施例的信息处理装置12的构成的框图。如图13所示,根据第三实施例的信息处理装置12与上述每个实施例的不同之处在于信息处理装置12包括加速度传感器114。
加速度传感器114可通过测量加速度来检测信息处理装置自身相对于重力方向的倾斜度(角度)。具体地讲,如图14所示,加速度传感器114检测信息处理装置自身(信息处理装置12)相对于重力方向G的倾斜度θ,然后将检测结果输出至RAM 103。
根据第三实施例的CPU 130的功能结构
图15是示出了根据第三实施例的CPU 130的功能结构的示图。如图15所示,CPU 130的倾斜度检测单元131根据来自加速度传感器114的检测结果检测用户的脸的倾斜度。
在这个实施例中,加速度传感器114输出信息处理装置自身(信息处理装置12)相对于重力方向G的倾斜度θ(如图14所示)。倾斜度检测单元131根据信息处理装置12的倾斜度θ来检测相对于信息处理装置12相对倾斜的用户的脸的倾斜度θ,然后,倾斜度检测单元131将指示检测到的用户的脸的倾斜度θ的检测结果输出至图像产生单元123。
如图16所示,图像产生单元123通过根据从倾斜度检测单元131输出的用户的脸的倾斜度θ控制观察虚拟空间40的虚拟相机43a和43b的位置来执行渲染。因此,如上述每个实施例中一样,图像产生单元123可产生在xy方向上具有视差的右眼图像和左眼图像。
图像产生单元123将产生的右眼图像和左眼图像输出至显示控制单元125。显示控制单元125执行控制使得右眼图像和左眼图像显示在显示装置107上。
如上所述,根据本公开的第三实施例,信息处理装置12包括检测信息处理装置自身的倾斜度并可检测用户的脸的相对倾斜度的传感器。此外,如上述每个实施例中一样,信息处理装置12可通过根据用户的脸的倾斜度控制三维立体视频之间在水平方向上的视差或者三维立体视频之间在垂直方向上的视差来减轻用户眼睛的负担。
3.总结
根据本公开的实施例,如上所述,可以根据用户的脸的倾斜度控制三维立体视频之间在水平方向上的视差和/或三维立体视频之间在垂直方向上的视差。因此,可以减轻用户眼睛的负担。
根据本公开的实施例,在裸眼型方式中,视频可不仅沿水平方向分配还可以沿垂直方向分配。因此,即使当用户倾斜他或她的脸时,用户也可以观看三维立体视频。
根据本公开的实施例,当多个用户同时观看三维立体视频时,可通过仅控制水平方向上的视差来减轻用户眼睛的负担。
根据本公开的实施例,当在逆视区域中存在观看三维立体视频的用户时,可通过执行使视差消除并且显示二维视频的控制来减轻用户眼睛的负担。
根据本公开的实施例,可以通过根据用户的脸的倾斜度旋转观察虚拟空间的虚拟相机的位置来产生在水平和垂直方向(xy方向)上具有视差的三维立体视频。
本领域的技术人员应该理解,根据设计要求和其它因素可以想到各种变型、组合、子组合和替换,只要它们落入权利要求或其等同物的范围内即可。
另外,本技术还可以如下构成。
(1)一种信息处理装置包括:
倾斜度检测单元,检测用户的脸相对于显示屏幕的水平方向的倾斜度;和
控制单元,根据倾斜度检测单元的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
(2)根据(1)所述的信息处理装置,其中,控制单元根据倾斜度检测单元的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在垂直方向上的视差。
(3)根据(1)或(2)所述的信息处理装置,其中,控制单元当多个观看显示屏幕的用户被检测到时执行控制使得在右眼图像和左眼图像之间仅在水平方向上提供视差。
(4)根据(1)至(3)中任一项所述的信息处理装置,其中,控制单元当在逆视区域中存在用户时执行控制使得消除右眼图像和左眼图像之间的视差并显示二维图像。
(5)根据(1)至(4)中任一项所述的信息处理装置,其中,控制单元根据倾斜度检测单元的检测结果调整观察通过对立体物体建模而创建的虚拟空间的多个虚拟相机的位置并执行渲染,来获取沿水平方向和垂直方向中的至少一个方向控制视差的右眼图像和左眼图像。
(6)根据(1)至(5)中任一项所述的信息处理装置,还包括:
成像单元,对用户的脸进行成像,
其中,倾斜度检测单元根据成像单元拍摄的用户的脸图像来检测用户的脸的倾斜度。
(7)根据(1)至(6)中任一项所述的信息处理装置,还包括:
传感器,检测信息处理装置自身的倾斜度,
其中,倾斜度检测单元根据传感器的检测结果检测用户的脸的倾斜度。
(8)根据(1)至(7)中任一项所述的信息处理装置,其中,将显示在显示屏幕上的图像沿水平方向和垂直方向分配的光学元件被安装在显示屏幕的前表面上。
(9)根据(8)所述的信息处理装置,其中,所述光学元件是阻挡光的视差屏障和作为视差屏障之间的透射光的区域的缝隙以格子形状进行排列的视差屏障。
(10)根据(8)所述的信息处理装置,其中,所述光学元件是多个双凸透镜以栅格状形状进行排列的透镜。
(11)一种显示控制方法,包括:
检测用户的脸相对于显示屏幕的水平方向的倾斜度;和
根据检测倾斜度的步骤获得的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
(12)一种程序,使计算机执行:
检测用户的脸相对于显示屏幕的水平方向的倾斜度的处理;和
根据检测倾斜度的处理获得的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差的处理。
(13)根据(12)所述的程序,其中,在控制处理中,根据检测倾斜度的处理获得的检测结果来控制在显示屏幕上显示的右眼图像和左眼图像之间的在垂直方向上的视差。
(14)根据(12)或(13)所述的程序,其中,在控制处理中,当检测到多个观看显示屏幕的用户时,执行控制使得在右眼图像和左眼图像之间仅在水平方向上提供视差。
(15)根据(12)至(14)中任一项所述的程序,其中,在控制处理中,当在逆视区域中存在用户时,执行控制使得消除右眼图像和左眼图像之间的视差并显示二维图像。
(16)根据(12)至(15)中任一项所述的程序,其中,在控制处理中,根据检测倾斜度的处理获得的检测结果调整观察通过对立体物体建模而创建的虚拟空间的多个虚拟相机的位置并执行渲染,来获取具有沿水平方向和垂直方向中的至少一个方向控制的视差的右眼图像和左眼图像。
(17)根据(12)至(16)中任一项所述的程序,其中,在检测倾斜度的处理中,根据成像单元拍摄的用户的脸图像来检测用户的脸的倾斜度。
(18)根据(12)至(17)中任一项所述的程序,其中,在检测倾斜度的处理中,根据检测信息处理装置的倾斜度的传感器的检测结果来检测用户的脸的倾斜度。
本公开包含与在2011年11月2日在日本专利局提交的第JP2011-241234号日本优先权专利申请中公开的主题相关的主题,该申请的全部内容通过引用包含于此。

Claims (18)

1.一种信息处理装置,包括:
倾斜度检测单元,检测用户的脸相对于显示屏幕的水平方向的倾斜度;和
控制单元,根据倾斜度检测单元的检测结果,控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
2.根据权利要求1所述的信息处理装置,其中,控制单元根据倾斜度检测单元的检测结果控制在显示屏幕上显示的右眼图像和左眼图像之间的在垂直方向上的视差。
3.根据权利要求2所述的信息处理装置,其中,控制单元在多个观看显示屏幕的用户被检测到时执行控制使得在右眼图像和左眼图像之间仅在水平方向上提供视差。
4.根据权利要求2所述的信息处理装置,其中,控制单元当在逆视区域中存在用户时执行控制使得消除右眼图像和左眼图像之间的视差并显示二维图像。
5.根据权利要求2所述的信息处理装置,其中,控制单元根据倾斜度检测单元的检测结果调整观察通过对立体对象建模而创建的虚拟空间的多个虚拟相机的位置并执行渲染,来获取沿水平方向和垂直方向中的至少一个方向控制视差的右眼图像和左眼图像。
6.根据权利要求2所述的信息处理装置,还包括:
成像单元,对用户的脸进行成像,
其中,倾斜度检测单元根据成像单元拍摄的用户的脸图像来检测用户的脸的倾斜度。
7.根据权利要求2所述的信息处理装置,还包括:
传感器,检测信息处理装置自身的倾斜度,
其中,倾斜度检测单元根据传感器的检测结果来检测用户的脸的倾斜度。
8.根据权利要求2所述的信息处理装置,其中,把显示在显示屏幕上的图像沿水平方向和垂直方向分配的光学元件被安装在显示屏幕的前表面上。
9.根据权利要求8所述的信息处理装置,其中,所述光学元件是阻挡光的视差屏障和作为视差屏障之间的透射光的区域的缝隙被以格子形状进行排列的视差屏障。
10.根据权利要求8所述的信息处理装置,其中,所述光学元件是多个双凸透镜以栅格状形状进行排列的镜头。
11.一种显示控制方法,包括:
检测用户的脸相对于显示屏幕的水平方向的倾斜度;和
根据检测倾斜度的步骤获得的检测结果,控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
12.根据权利要求11所述的方法,其中,在控制处理中,根据检测倾斜度的处理获得的检测结果来控制在显示屏幕上显示的右眼图像和左眼图像之间的在垂直方向上的视差。
13.根据权利要求12所述的方法,其中,在控制处理中,当检测到多个观看显示屏幕的用户时,执行控制使得在右眼图像和左眼图像之间仅在水平方向上提供视差。
14.根据权利要求12所述的方法,其中,在控制处理中,当在逆视区域中存在用户时,执行控制使得消除右眼图像和左眼图像之间的视差并显示二维图像。
15.根据权利要求12所述的方法,其中,在控制处理中,根据通过检测倾斜度的处理获得的检测结果调整观察通过对立体对象建模而创建的虚拟空间的多个虚拟相机的位置并执行渲染,来获取沿水平方向和垂直方向中的至少一个方向控制视差的右眼图像和左眼图像。
16.根据权利要求12所述的方法,其中,在检测倾斜度的处理中,根据成像单元拍摄的用户的脸的图像来检测用户的脸的倾斜度。
17.根据权利要求12所述的方法,其中,在检测倾斜度的处理中,根据检测信息处理装置的倾斜度的传感器的检测结果来检测用户的脸的倾斜度。
18.一种程序,使计算机执行下述处理:
检测用户的脸相对于显示屏幕的水平方向的倾斜度;和
根据检测倾斜度的处理获得的检测结果,控制在显示屏幕上显示的右眼图像和左眼图像之间的在水平方向上的视差。
CN2012104146925A 2011-11-02 2012-10-26 信息处理装置、显示控制方法和程序 Pending CN103096104A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011241234A JP2013098840A (ja) 2011-11-02 2011-11-02 情報処理装置、表示制御方法およびプログラム
JP2011-241234 2011-11-02

Publications (1)

Publication Number Publication Date
CN103096104A true CN103096104A (zh) 2013-05-08

Family

ID=48171931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104146925A Pending CN103096104A (zh) 2011-11-02 2012-10-26 信息处理装置、显示控制方法和程序

Country Status (3)

Country Link
US (1) US20130106843A1 (zh)
JP (1) JP2013098840A (zh)
CN (1) CN103096104A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109874004A (zh) * 2018-12-28 2019-06-11 努比亚技术有限公司 裸眼3d显示控制方法、终端及计算机可读存储介质
CN110073660A (zh) * 2016-12-19 2019-07-30 索尼公司 信息处理设备、信息处理方法和程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5805503B2 (ja) * 2011-11-25 2015-11-04 京セラ株式会社 携帯端末、表示方向制御プログラムおよび表示方向制御方法
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
EP2990085B1 (en) * 2014-08-29 2022-08-10 Nintendo Co., Ltd. Method and apparatus for estimating the value of an input in presence of a perturbing factor
KR102083619B1 (ko) 2015-08-31 2020-03-03 오스템임플란트 주식회사 치아 교정 계획을 위한 이미지 처리 방법, 이를 위한 장치 및 기록 매체
EP3185550A1 (en) * 2015-12-23 2017-06-28 Thomson Licensing Tridimensional rendering with adjustable disparity direction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1749808A (zh) * 2004-09-17 2006-03-22 精工爱普生株式会社 立体图像显示装置
US20060232584A1 (en) * 2005-04-13 2006-10-19 Kei Utsugi Stereoscopic picture generating apparatus
WO2011036827A1 (ja) * 2009-09-28 2011-03-31 パナソニック株式会社 立体映像表示装置および立体映像表示方法
JP2011077984A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 映像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05122733A (ja) * 1991-10-28 1993-05-18 Nippon Hoso Kyokai <Nhk> 3次元画像表示装置
US6108029A (en) * 1997-08-22 2000-08-22 Lo; Allen Kwok Wah Dual-mode 2D/3D display system
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US8159526B2 (en) * 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
US7995166B2 (en) * 2007-05-07 2011-08-09 Nec Lcd Technologies, Ltd. Display panel, display device, and terminal device
US8331023B2 (en) * 2008-09-07 2012-12-11 Mediatek Inc. Adjustable parallax barrier 3D display
JP4862934B2 (ja) * 2008-11-28 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP5656059B2 (ja) * 2010-08-25 2015-01-21 Nltテクノロジー株式会社 実装精度検査方法及びその検査方法を用いる検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1749808A (zh) * 2004-09-17 2006-03-22 精工爱普生株式会社 立体图像显示装置
US20060232584A1 (en) * 2005-04-13 2006-10-19 Kei Utsugi Stereoscopic picture generating apparatus
WO2011036827A1 (ja) * 2009-09-28 2011-03-31 パナソニック株式会社 立体映像表示装置および立体映像表示方法
JP2011077984A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 映像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073660A (zh) * 2016-12-19 2019-07-30 索尼公司 信息处理设备、信息处理方法和程序
CN109874004A (zh) * 2018-12-28 2019-06-11 努比亚技术有限公司 裸眼3d显示控制方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
US20130106843A1 (en) 2013-05-02
JP2013098840A (ja) 2013-05-20

Similar Documents

Publication Publication Date Title
CN103096104A (zh) 信息处理装置、显示控制方法和程序
KR101719981B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR101763592B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
CN108292489A (zh) 信息处理装置和图像生成方法
JP2002049004A (ja) 表示制御装置及び方法
US11523039B2 (en) Virtual reality head-mounted apparatus
TW201234838A (en) Stereoscopic display device and control method of stereoscopic display device
EA032105B1 (ru) Способ и система для отображения трехмерных объектов
US20160021363A1 (en) Enhancing the Coupled Zone of a Stereoscopic Display
US20120098931A1 (en) 3d motion picture adaption system
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
JP2010055266A (ja) 3次元表示時における指示位置設定装置および方法並びにプログラム
KR20120051287A (ko) 사용자 위치 기반의 영상 제공 장치 및 방법
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
CN108076208B (zh) 一种显示处理方法及装置、终端
WO2022267694A1 (zh) 一种显示调节方法、装置、设备及介质
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
JP2018094086A (ja) 情報処理装置および画像生成方法
CN111193919B (zh) 一种3d显示方法、装置、设备及计算机可读介质
KR20110136326A (ko) 삼차원 입체안경의 수평각 정보를 반영한 삼차원 스테레오스코픽 렌더링 시스템
CN102547340A (zh) 立体显示***、眼镜装置、显示装置和图像显示***
US20140152783A1 (en) Display device
WO2012169221A1 (ja) 立体画像表示装置および立体画像表示方法
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130508

RJ01 Rejection of invention patent application after publication