CN108027700B - 信息处理装置 - Google Patents

信息处理装置 Download PDF

Info

Publication number
CN108027700B
CN108027700B CN201680053928.3A CN201680053928A CN108027700B CN 108027700 B CN108027700 B CN 108027700B CN 201680053928 A CN201680053928 A CN 201680053928A CN 108027700 B CN108027700 B CN 108027700B
Authority
CN
China
Prior art keywords
video
display
display mode
flat
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053928.3A
Other languages
English (en)
Other versions
CN108027700A (zh
Inventor
中村祐志
大江邦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN108027700A publication Critical patent/CN108027700A/zh
Application granted granted Critical
Publication of CN108027700B publication Critical patent/CN108027700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种信息处理装置,其能够当平面视频被显示在通过由用户戴在头上而被使用的视频显示装置上时以适于使用环境的方式显示平面视频。信息处理装置连接到通过由用户戴在头上而被使用的视频显示装置,并且在第一显示模式和第二显示模式之间进行切换,在所述第一显示模式下,平面视频在用户的正面方向上显示,而不管视频显示装置的位置和/或取向的改变,而在第二显示模式下,平面视频基于给定的条件以随着视频显示装置的位置和/或取向的改变而改变的方式显示。

Description

信息处理装置
技术领域
本发明涉及一种信息处理装置、一种视频显示装置的控制方法以及一种在通过由用户戴在头上而被使用的视频显示装置上显示视频的程序。
背景技术
一些视频显示装置(诸如头戴式显示器)通过由用户戴在头上而被使用。这种视频显示装置允许用户通过在用户的眼前形成图像来观看该图像。
上述视频显示装置中的一些视频显示装置检测用户的头部运动并显示随着用户头部的位置或取向(orientation)的改变而被更新的图像。这种视频显示装置使视频观看给用户留下“你在那里”的感觉,由此在虚拟现实技术等中找到应用。作为示例,已知一种程序,该程序在改变放置在虚拟空间中的虚拟相机的取向以与用户的头部运动匹配的同时,在视频显示装置上显示指示(indicate)从虚拟相机看到的虚拟空间看起来怎样的视频。这允许用户观看给用户留下好像他或她在虚拟空间中的感觉的视频。
发明内容
技术问题
在上述视频显示装置中,对于应当如何显示平面视频(与由常规显示装置显示的相同的二维视频)没有给予足够的考虑。
考虑到上述情况而产生了本发明,并且本发明的目标是提供信息处理装置、视频显示装置的控制方法、以及可以以适于当平面视频被显示在通过由用户戴在头上而被使用的视频显示装置上时的使用情况(circumstances of use)的方式来显示平面视频的程序。
解决问题的技术方案
根据本发明的信息处理装置是连接到通过由用户戴在头上而被使用的视频显示装置的信息处理装置。信息处理装置包括第一显示控制部分、第二显示控制部分、和切换控制部分。第一显示控制部分以第一显示模式在视频显示装置上显示平面视频,在所述第一显示模式下,平面视频在用户的正面方向(front direction)上显示,而不管视频显示装置的位置和/或取向的改变。第二显示控制部分以第二显示模式在视频显示装置上显示平面视频,在所述第二显示模式下,平面视频以随着视频显示装置的位置和/或取向的改变而改变的方式显示。切换控制部分基于给定条件在第一显示模式和第二显示模式之间进行切换。
而且,根据本发明的视频显示装置的控制方法是通过由用户戴在头上而被使用的视频显示装置的控制方法。该视频显示装置控制方法包括:以第一显示模式在视频显示装置上显示平面视频的步骤,在所述第一显示模式下,平面视频在用户的正面方向上显示,而不管视频显示装置的位置和/或取向的改变;以第二显示模式在视频显示装置上显示平面视频的步骤,在所述第二显示模式下,平面视频以随着视频显示装置的位置和/或取向的改变而改变的方式显示;以及基于给定条件在第一显示模式和第二显示模式之间进行切换的步骤。
而且,根据本发明的程序是使连接到通过由用户戴在头上而被使用的视频显示装置的计算机用作第一显示控制单元、第二显示控制单元和切换控制单元的程序。第一显示控制单元以第一显示模式在视频显示装置上显示平面视频,在所述第一显示模式下,平面视频在用户的正面方向上显示,而不管视频显示装置的位置和/或取向的改变。第二显示控制单元以第二显示模式在视频显示装置上显示平面视频,在所述第二显示模式下,平面视频以随着视频显示装置的位置和/或取向的改变而改变的方式显示。切换控制单元基于给定条件在第一显示模式和第二显示模式之间进行切换。该程序可以被提供为存储在计算机可读和非临时的信息存储介质中。
附图说明
图1是示出根据本发明实施例的、包括信息处理装置的视频显示***的配置的配置框图。
图2是示出视频显示装置的外观的示例的正面透视图。
图3是示出视频显示装置的外观的示例的背面透视图。
图4是示出根据本实施例的信息处理装置的功能的功能框图。
图5是描述第二显示模式下的绘制处理的具体示例的图。
图6A是示出第一显示模式和第二显示模式的初始状态下的显示示例的图。
图6B是示出第一显示模式的显示示例的图。
图6C是示出第二显示模式的显示示例的图。
图7是示出由根据本实施例的信息处理装置执行的处理流程的示例的流程图。
具体实施方式
下面将参考附图来给出本发明实施例的详细描述。
图1是示出根据本发明实施例的、包括信息处理装置10的视频显示***1的配置的配置框图。如图1中所示,视频显示***1被配置为包括信息处理装置10、操作设备20、相机25、中继装置30和视频显示装置40。
信息处理装置10是供给要由视频显示装置40显示的视频的装置,并且可以是例如家庭游戏机、便携式游戏机、个人计算机、智能电话或平板电脑。如图1中所示,信息处理装置10被配置为包括控制部分11、存储部分12和接口部分13。
控制部分11包括至少诸如CPU(中央处理单元)的处理器,并通过执行存储在存储部分12中的程序来执行各种信息处理任务。应当注意的是,稍后将描述由本实施例中的控制部分11执行的处理的具体示例。存储部分12包括至少诸如RAM(随机存取存储器)的存储器设备,并存储由控制部分11执行的程序和由该程序处理的数据。
接口部分13是用于在操作设备20、相机25和中继装置30之间进行数据通信的接口。信息处理装置10经由接口部分13以有线或无线方式连接到包括操作设备20、相机25和中继装置30之内的每个设备。具体而言,接口部分13可以包括诸如HDMI(高分辨率多媒体接口:注册商标)的多媒体接口,以将由信息处理装置10供给的视频和音频发送到中继装置30。接口部分13还包括诸如蓝牙(注册商标)或USB(通用串行总线)的数据通信接口。信息处理装置10通过中继装置30从视频显示装置40接收各种信息,并经由该数据通信接口发送控制信号等。信息处理装置10经由该数据通信接口接收指示输入到操作设备20的用户操作的细节的信号、和由相机25捕获的图像数据。
操作设备20是用于用户执行各种操作并向信息处理装置10发出指令的家用游戏机等的控制器。输入到操作设备20的用户操作的细节以有线或无线方式被发送到信息处理装置10。应当注意的是,操作设备20可以包括放置在信息处理装置10的壳体的正面上的操作按钮、触摸面板等。相机25安装在使用本视频显示***1的用户的正面并且捕获的视频,包括由用户穿戴的视频显示装置40。
中继装置30以有线或无线方式连接到视频显示装置40,接受从信息处理装置10供给的视频数据,并且向视频显示装置40输出与所接受的数据匹配的视频信号。在这个时候,中继装置30可以在需要时执行校正处理,该校正处理消除视频显示装置40的光学器件中对于所供给的视频数据发生的失真,并输出校正后的视频信号。应当注意的是,从中继装置30供给视频显示装置40的视频信号包括两个视频,一个用于左眼,另一个用于右眼。除了视频数据之外,中继装置30还中继在信息处理装置10和视频显示装置40之间交换的各种信息,诸如音频数据和控制信号。
视频显示装置40显示与从中继装置30输入的视频信号匹配的视频,并允许用户观看该视频。视频显示装置40是通过由用户戴在头上而被使用的视频显示装置并且支持双眼视频观看。即,视频显示装置40在用户的右眼和左眼的每一个的前面形成视频。视频显示装置40还被配置为能够使用双眼视差来显示立体视频。如图1中所示,视频显示装置40被配置为包括视频显示设备41、光学设备42、光发射设备43、运动传感器44、接近传感器(proximity sensor)45和通信接口46。另外,图2和3示出了视频显示装置40的外观,图2是从正面看的透视图,并且图3是从背面看的透视图。
视频显示设备41是例如有机EL(电致发光)显示面板或液晶显示面板,并显示与从中继装置30供给的视频信号匹配的视频。视频显示设备41显示两个视频,一个用于左眼,另一个用于右眼。应当注意的是,视频显示设备41可以是并排显示用于左眼和右眼的视频的单个显示设备,或者可以包括两个显示设备,每个显示设备独立地显示视频。可替代地,可以使用已知的智能电话或其它设备作为视频显示设备41。
光学设备42是例如全息图、棱镜或半反射镜,并且被放置在用户眼睛的前方,以透射(transmit)或折射由视频显示设备41显示的视频的光,使得光进入用户的左眼和右眼中的每一个。具体而言,由视频显示设备41显示的用于左眼的视频通过光学设备42进入用户的左眼,并且用于右眼的视频通过光学设备42进入用户的右眼。这允许用户在头上戴着视频显示装置40时用他或她的左眼观看用于左眼的视频并用他或她的右眼观看用于右眼的视频。应当注意的是,在本实施例中,我们假设视频显示装置40是不允许用户视觉上识别外部场景的非透视(non-see-through)视频显示装置。
光发射设备43是例如LED(Light Emitting Diode,发光二极管),被放置在视频显示装置40的前方,并且响应于来自信息处理装置10的指令而发射光。信息处理装置10可以通过利用相机25对光发射设备43的光进行成像来识别视频显示装置40在相机25的视场中的位置。即,信息处理装置10可以使用光发射设备43的光来跟踪视频显示装置40的位置改变和倾斜。应当注意的是,如图2中所示,在本实施例中提供了多个光发射设备43。
运动传感器44测量关于视频显示装置40的位置、取向和运动的各种信息。例如,运动传感器44可以包括加速度传感器、陀螺仪(gyroscope)或地磁传感器。运动传感器44的测量结果通过中继装置30被发送到信息处理装置10。信息处理装置10可以使用运动传感器44的测量结果来识别视频显示装置的运动和取向的改变。具体而言,信息处理装置10可以通过使用加速度传感器的测量结果来检测视频显示装置40相对于垂直方向的倾斜和平移(translation)。信息处理装置10还可以通过使用陀螺仪或地磁传感器的测量结果来检测视频显示装置40的旋转运动。
接近传感器45是当物体接近传感器附近的目标检测范围时以非接触方式来检测物体的存在的传感器。例如,接近传感器45可以是任何类型,诸如红外传感器。如图3中所示,接近传感器45被放置在视频显示装置40的主体部分的背面的近似中心。这允许接近传感器45在用户试图将视频显示装置40放在头上时检测用户的接近的前额。信息处理装置10可以通过使用接近传感器45的测量结果来检测用户将视频显示装置40戴在头上或者从头上取下。
通信接口46是用于执行与中继装置30的数据通信的接口。例如,当视频显示装置40通过诸如无线LAN(局域网)或蓝牙的无线通信向中继装置30发送数据或从中继装置30接收数据时,通信接口46包括通信天线和通信模块。通信接口46还可以包括诸如HDMI或USB的通信接口,以便以有线方式执行与中继装置30的数据通信。
下面将使用图4给出由信息处理装置10实现的功能的描述。如图4中所示,信息处理装置10在功能上包括视频供给部分51、第一显示控制部分52、第二显示控制部分53和切换控制部分54。这些功能是作为由控制部分11执行存储在存储部分12中的程序的结果而实现的。这个程序可以经由诸如互联网的通信网络提供给信息处理装置10,或者可以提供存储在计算机可读信息存储介质(诸如光盘)中。
视频供给部分51供给要由视频显示装置40显示的视频。在本实施例中,我们假设视频供给部分51供给平面视频(2D视频)M作为要显示的视频。应当注意的是,视频供给部分51不仅可以向视频显示装置40供给平面视频M,而且可以向视频显示装置40供给使用视差的立体可视立体视频。
具体而言,例如,视频供给部分51可以作为由控制部分11执行游戏的应用程序的结果而实现。在这种情况下,视频供给部分51供给指示游戏的进展状态的游戏图像,作为平面视频M。视频供给部分51也可以是读取存储在信息存储介质(诸如光盘或硬盘)上的视频数据(诸如电影)并呈现视频数据的呈现引擎(rendering engine)。
第一显示控制部分52和第二显示控制部分53都通过将平面视频M输出到中继装置30来实现用于使视频显示装置40显示由视频供给部分51供给的平面视频M的显示控制。但是,应当注意的是,第一显示控制部分52和第二显示控制部分53使得视频显示装置40以不同的方式显示平面视频M。在以下给出的描述中,由第一显示控制部分52实现的显示模式将被称为第一显示模式,并且由第二显示控制部分53实现的显示模式将被称为第二显示模式。而且,包括平面视频M、并且要由第一显示控制部分52和第二显示控制部分53中的每一个输出到中继装置30的视频将被称为显示视频。
第一显示模式是用于在用户的正面方向上显示平面视频M而不管视频显示装置40的位置和/或取向的改变的显示模式。在第一显示模式下,平面视频M总是显示在视频显示装置40的显示区域中,而不管视频显示装置40的位置和取向的改变。具体而言,第一显示控制部分52生成用于右眼和左眼的视频,其中由视频供给部分51供给的视频被放置在近似中心的给定位置处。然后,这两个生成的视频作为显示视频被输出到中继装置30。因此,在以第一显示模式显示视频时,视频显示装置40的显示区域中平面视频M的显示位置保持不变,使得平面视频M总是在从用户看到的正面方向显示。即,在以第一显示模式显示视频时,平面视频M将永远不会移动到视频显示装置40的显示区域之外。因为视频显示装置40被固定到用户的头部,所以当用户移动他或她自己的头部以改变脸部位置和取向时,用户感觉好像显示平面视频M的屏幕与他或她自己的运动(motion)一致地移动(move)。
第二显示模式是用于以随着视频显示装置40的位置和/或取向的改变而改变的方式显示平面视频M的显示模式。在第二显示模式下,平面视频M在视频显示装置40的显示区域中的显示位置随着视频显示装置40的移动而改变。具体而言,第二显示控制部分53控制平面视频M的显示位置,使得平面视频M的显示位置固定在虚拟空间中的适当位置(inplace)。因此,在第二显示模式下,当用户显著地移动他或她的头部时,平面视频M可以移动到视频显示装置40的显示区域之外,从而有可能导致平面视频M不被显示。在这种情况下,第二显示控制部分53可以包括例如指示显示视频中的方向的标记图像,以通知用户他或她应当将他或她的脸部指向哪个方向,以便再次显示平面视频M。
图5是描述第二显示模式下显示视频的绘制处理的具体示例的图。这个图示出了从上方看时具有虚拟屏幕VS以及两个视点相机C1和C2的虚拟空间。如图5中所示,第二显示控制部分53具有放置在虚拟空间中的虚拟屏幕VS、以及放置在与该虚拟屏幕VS相对的位置处的两个视点相机C1和C2。这两个视点相机C1和C2水平地并排布置并且彼此间隔给定距离。然后,由视频供给部分51供给的平面视频M作为纹理被附接(attach)到虚拟屏幕VS的正面。在这种状态下,第二显示控制部分53通过绘制指示如从视点相机C1看到的虚拟空间内部看起来怎样的图像来生成用于左眼的视频。第二显示控制部分53还通过绘制指示如从视点相机C2看到的虚拟空间内部看起来怎样的图像来生成用于右眼的视频。当视频显示装置40显示如上所述生成的显示视频时,用户可以观看出现在位于该用户前方且距该用户一定距离的位置处的虚拟屏幕VS上的平面视频M。
另外,第二显示控制部分53随着视频显示装置40的取向的改变而改变两个视点相机C1和C2的取向(视线方向)。在这里,视频显示装置40的取向可以例如通过关于分别围绕沿着视频显示装置40的垂直、水平和纵向方向延伸的旋转轴的旋转角度(例如,偏航角(yaw)、俯仰角和滚转角)来定义。第二显示控制部分53响应于视频显示装置40的平移而改变两个视点相机C1和C2的位置。如前所述,第二显示控制部分53可以通过使用运动传感器44的测量结果以及从相机25捕获的图像中检测光发射设备43的光的位置来识别视频显示装置40的位置和取向的改变。第二显示控制部分53随着以这种方式识别出的视频显示装置40的位置和取向的改变而改变视点相机C1和C2的位置和取向。
具体而言,当视频显示装置40的取向改变时,第二显示控制部分53在与那个旋转相同的旋转方向上、以相同的旋转量来旋转视点相机C1和C2。在这个时候,视点相机C1和C2在虚拟空间中关于两者之间的中心位置作为旋转轴旋转,同时维持彼此的距离。而且,当视频显示装置40从相对位置平移时,第二显示控制部分53响应于其运动方向和行进(travel)而在虚拟空间中移动视点相机C1和C2二者。然后,第二显示控制部分53还通过绘制如从其位置和取向已改变的视点相机C1和C2看到的虚拟屏幕VS看起来怎样来生成用于左眼和右眼的视频。在这个时候,视点相机的位置和取向改变,但是虚拟屏幕VS在虚拟空间中的位置保持不变。这允许用户体验在观看平面视频M时经历仿佛指示平面视频M的屏幕实际上被固定在空中的感觉。另外,用户可以观看平面视频M,同时关注周边附近的区域中出现了什么(这在初始条件下是难以视觉上识别的),例如,通过改变他或她的脸部的取向和位置,使得平面视频M的周边附近的区域位于视场的中心。
应当注意的是,虽然在这里显示视频随着视频显示装置40的取向和位置二者的改变而被更新,但是第二显示控制部分53可以仅随视频显示装置40的取向或位置的改变而改变显示视频。而且,在以上描述中,通过绘制如从两个视点相机看到的放置在虚拟3D空间中的虚拟屏幕VS看起来怎样来生成平面显示视频。但是,显示视频绘制处理不限于这种方法,并且第二显示控制部分53可以通过2D图像处理来生成显示视频。例如,第二显示控制部分53响应于视频显示装置40的位置改变而确定平面视频M被放置在显示视频中的位置,并且绘制用于左眼和右眼的视频,每个视频具有被放置在所确定的位置的平面视频M。在这个时候,第二显示控制部分53改变显示视频中平面视频M的位置,使得在与视频显示装置40的移动方向相反的方向移动。这允许用户感觉到好像即使用户移动他或她的头部,平面视频M也保持在原始位置。另外,第二显示控制部分53可以响应于视频显示装置40的取向改变而改变平面视频M的显示位置,并且例如通过投影变换来改变平面视频M的形状。根据这种控制,有可能在不执行基于3D的图像处理的情况下以第二显示模式显示平面视频M。
图6A至6C是描述第一和第二显示模式之间的显示上的差异的图。图6A示出了初始状态(平面视频M的显示开始的状态)下的显示的示例。在初始状态下,显示在第一和第二显示模式下是相似的。相反,图6B和6C示出了当用户从图6A中绘出的状态倾斜他或她的头部时的显示的示例。图6B和6C分别示出了第一显示模式下的显示的示例和第二显示模式下的显示的示例。在第一显示模式下,即使当用户倾斜他或她的头部时,平面视频M在视频显示装置40的显示区域中的显示位置也保持不变。为此,当用户倾斜他或她的头部时,看起来好像平面视频M也响应于此而被倾斜。相反,在第二显示模式下,平面视频M在虚拟空间中的显示位置被控制,使得位置如前所述那样保持不变,而与用户脸部的移动无关。因此,当用户倾斜他或她的头部时,如图6C中所示,视频显示装置40的显示区域中平面视频M的显示位置旋转。因此,看起来好像平面视频M维持与如从用户看到的图6A中相同的取向。
切换控制部分54基于给定条件执行显示切换控制,用于在到目前为止已经描述的第一显示模式和第二显示模式之间进行切换。特别地,在本实施例中,切换控制部分54可以响应于从用户输入到操作设备20的直接指令而切换显示模式,但是也可以基于各种其它条件来切换显示模式。以下将给出切换控制部分54切换显示模式的条件的几个具体示例的描述。
首先,作为切换条件的第一示例,将描述根据平面视频M的显示尺寸来切换显示模式的示例。在这个示例中,平面视频M的显示尺寸可以根据从用户输入到操作设备20的指令来切换,或者可以通过从供给平面视频M的视频供给部分51输入的控制来切换。而且,缺省显示尺寸可以由用户预先指定。
在这个示例中,当平面视频M的显示开始时或者当平面视频M的显示尺寸改变时,切换控制部分54响应于从现在开始要显示的平面视频M的显示尺寸而确定要显示平面视频M的显示模式(第一显示模式还是第二显示模式)。然后,切换控制部分54指示第一显示控制部分52或第二显示控制部分53以所确定的显示模式显示平面视频M。
更具体而言,切换控制部分54在平面视频M应当以等于给定阈值或更大的显示尺寸显示时选择第二显示模式。相反,切换控制部分54在平面视频M应当以小于给定阈值的显示尺寸显示时选择第一显示模式。大显示尺寸可以导致平面视频M不能装进(fit into)视频显示装置40的显示区域。另外,等于或小于显示区域的平面视频M可以导致显示图像在靠近显示区域的周边的位置处的失真,从而导致用户难以视觉上识别周边附近的图像。为此,当显示尺寸等于给定阈值或更大时,平面视频M以第二显示模式显示。在第二显示模式下,视点相机的位置和取向根据用户头部的移动而改变。为此,用户可以通过以下方式观看平面视频M:通过将平面视频M的周边附近的区域移动到视频显示装置40的显示区域的中心附近的某处而允许容易观看周边附近的区域。相反,当平面视频M的显示尺寸小时,用户可以在不移动视点的情况下观看整个平面视频M。因此,用户可以通过在用于在用户的正面方向上显示平面视频M的第一显示模式下显示平面视频M来始终观看整个平面视频M。
接下来将给出当用户开始使用视频显示装置40时执行的显示切换控制的描述作为切换条件的第二示例。在这个第二示例中,信息处理装置10基于接近传感器45的检测结果来检测用户试图开始使用视频显示装置40。然后,当用户开始使用视频显示装置40时,信息处理装置10例如在视频显示装置40上显示包括启动消息或***菜单的平面视频M。
在这个示例中,切换控制部分54指示第一显示控制部分52在接近传感器45第一次检测到物体的存在时以第一显示模式显示平面视频M。然后,当从接近传感器45第一次检测到物体的存在起经过给定的时间段时,切换控制部分54指示第二显示控制部分53切换到第二显示模式。这种切换控制是出于以下原因而被执行的。即,当接近传感器45第一次检测到物体的存在时,很有可能用户还没有将视频显示装置40戴在其正确的位置处,而是仍然处于戴上视频视频显示装置40的过程中。因此,当接近传感器45检测到物体的存在时就立即把平面视频M的显示位置最后定下来(finalize)不是优选的。另一方面,如果在用户试图戴上视频显示装置40上时没有显示任何内容,那么当用户戴上视频显示装置40时将变得难以调节视频显示装置40的位置。为此,在第二示例中,当用户开始戴上视频显示装置40时,首先以第一显示模式显示平面视频M。在第一显示模式下,平面视频M总是显示在大致视频显示装置40的显示区域的中心处。因此,即使用户在戴上视频显示装置40时移动他或她的头部,平面视频M在显示区域中的显示位置也保持不变。这允许用户调节视频显示装置40的位置,使得平面视频M位于易于看见的位置。此后,当用户可能完成戴上视频显示装置40时,显示模式被切换到第二显示模式,从而使得有可能控制在那个时候平面视频M相对于视频显示装置40的位置的显示位置。
这里将参考图7中绘出的流程图给出关于在这个第二示例中由信息处理装置10执行的处理流程的示例的描述。在不使用视频显示装置40的状态下,切换控制部分54定期获取接近传感器45的检测结果(S1),并且验证是否未检测到物体的存在(S2)。当在S2中检测到物体的存在时,有可能是用户正在开始使用信息处理装置10。因此,切换控制部分54指示第一显示控制部分52以第一显示模式发起显示。因此,第一显示控制部分52以第一显示模式发起显示平面视频M(诸如***菜单)的处理(S3)。
此后,切换控制部分54对从S3中的平面视频M显示处理的开始起经过的时间进行计数,并且确定是否经过了给定的时间段(period)(S4)。当给定的时间段已过时,切换控制部分54指示第二显示控制部分53以第二显示模式发起显示。因此,第二显示控制部分53以第二显示模式发起显示直至此时已经以第一显示模式显示的平面视频M的处理(S5)。
在这个时候,第二显示控制部分53通过使用在发起S5中的显示处理时视频显示装置40的位置和取向作为视频显示装置40的参考姿势(posture)来生成显示视频。即,在从第一显示模式切换到第二显示模式时视频显示装置40的位置和取向与虚拟空间中视点相机的初始位置和视线方向相关联,并且虚拟屏幕VS被放置在视点相机的视线方向的前方。因此,当第二显示模式被发起时,与第一显示模式下一样,平面视频M被显示在用户的正面方向上。此后,随着视频显示装置40的位置和取向改变,视点相机的位置和视线将响应于该改变而改变。因此,假设从用户开始穿戴视频显示装置40时开始起经过给定时间段之后的状态(即,用户可能完成戴上视频显示装置40的状态)是参考状态,有可能在这个参考状态下将虚拟屏幕VS固定在用户的正面方向上。
而且,在第二示例中,第一显示控制部分52可以在显示视频中包括通知视频,用于向用户通知第一显示模式切换到第二显示模式之前所剩余的时间。这种情况下的通知视频可以是例如时间计数器,其以数字形式直接地指示从第一显示模式下的显示开始起经过的时间、以及显示模式将被切换之前所剩余的时间,以及可视地指示经过的时间的计量器(gauge)图像。
上述第一示例和第二示例可以组合使用。具体而言,如果平面视频M的显示尺寸等于给定阈值或更大,那么切换控制部分54在接近传感器45第一次检测到物体的存在的时间以第一显示模式显示平面视频M,并且当经过给定的时间段时将显示模式切换到第二显示模式,如第二示例中所述。另一方面,如果平面视频M的显示尺寸小于给定阈值,那么不执行这种切换,并且切换控制部分54继续以第一显示模式显示平面视频M。
应当注意的是,由切换控制部分54来触发显示模式之间的切换的条件不限于上述那些条件。例如,切换控制部分54可以响应于来自视频供给部分51所表达(express)的指令而切换显示模式。视频供给部分51指示切换控制部分54在第一显示模式和第二显示模式之间进行切换,例如,根据包括在平面视频中的内容的性质。这使得有可能以适于要显示的内容的细节的显示模式来显示平面视频M。
根据上述本实施例的信息处理装置10使得有可能通过根据各种条件而在第一显示模式和第二显示模式之间进行切换以适于用户的使用环境和内容细节的显示模式来显示平面视频M。
应当注意的是,本发明的实施例不限于上面的描述。例如,虽然在上面的描述中第一显示控制部分52本身生成用于左眼和右眼的视频,但是本发明不限于此,并且第一显示控制部分52可以以“原样(as-is)”方式向中继装置30输出由视频供给部分51供给的平面视频M作为显示视频。在这种情况下,中继装置30或视频显示装置40生成用于左眼和右眼的视频,其中所供给的平面视频M大致放置在中心。根据这种方法,中继装置30或视频显示装置40可以接受包括由常规信息处理装置所供给的普通平面视频M的视频信号并将该信号显示在视频显示设备41上。
而且,第一显示控制部分52可以通过使用类似于由第二显示控制部分53生成用于第二显示模式的显示视频的处理来生成用于第一显示模式的显示视频。具体而言,第一显示控制部分52可以将虚拟屏幕VS及视点相机C1和C2放置在虚拟空间中,并且生成指示如从每个视点相机C1看到的虚拟屏幕VS看起来怎样的视频,作为显示视频。在这种情况下,第一显示控制部分52可以通过始终保持视点相机C1和C2的位置固定来维持平面视频M在显示视频中的位置不变,而不管视频显示装置40的位置和取向的改变。这种控制使得有可能以由类似过程生成的类似格式向中继装置30供给显示视频作为视频信号,而无需在第一显示模式和第二显示模式之间进行切换绘制处理。
而且,在上面的描述中由信息处理装置10执行的处理的一部分或全部可以由中继装置30实现。在这种情况下,作为整体包括信息处理装置10和中继装置30的***或者中继装置30单独用作根据本发明的信息处理装置。
附图标记列表
1:视频显示***,10:信息处理装置,11:控制部分,12:存储部分,13:接口部分,20:操作设备,25:相机,30:中继装置,40:视频显示装置,41:视频显示设备,42:光学设备,43:光发射设备,44:运动传感器,45:接近传感器,46:通信接口,51:视频供给部分,52:第一显示控制部分,53:第二显示控制部分,54:切换控制部分。

Claims (7)

1.一种信息处理装置,其连接到通过由用户戴在头上而被使用的视频显示装置,所述信息处理装置包括:
第一显示控制部分,被配置为以第一显示模式在所述视频显示装置上显示平面视频,在所述第一显示模式下,所述平面视频在用户的正面方向上显示,并且不随着所述视频显示装置的位置和/或取向的改变而改变;
第二显示控制部分,被配置为以第二显示模式在所述视频显示装置上显示所述平面视频,在所述第二显示模式下,所述平面视频以随着所述视频显示装置的位置和/或取向的改变而改变的方式显示;以及
切换控制部分,被配置为基于给定条件在所述第一显示模式和所述第二显示模式之间进行切换。
2.如权利要求1所述的信息处理装置,其中,
所述切换控制部分根据所述平面视频的显示尺寸在所述第一显示模式和所述第二显示模式之间进行切换。
3.如权利要求2所述的信息处理装置,其中,
当所述平面视频的所述显示尺寸等于给定阈值或更大时,所述切换控制部分切换到所述第二显示模式,并且当所述平面视频的所述显示尺寸小于该给定阈值时,切换到所述第一显示模式。
4.如权利要求1所述的信息处理装置,其中,
当检测到用户已经开始戴上所述视频显示装置时,所述切换控制部分以所述第一显示模式发起所述显示。
5.如权利要求4所述的信息处理装置,其中,
在检测到开始戴上所述视频显示装置之后经过给定时间段的时间,所述切换控制部分从所述第一显示模式切换到所述第二显示模式。
6.一种通过由用户戴在头上而被使用的视频显示装置的控制方法,所述控制方法包括:
以第一显示模式在所述视频显示装置上显示平面视频的步骤,在所述第一显示模式下,所述平面视频在用户的正面方向上显示,并且不随着所述视频显示装置的位置和/或取向的改变而改变;
以第二显示模式在所述视频显示装置上显示所述平面视频的步骤,在所述第二显示模式下,所述平面视频以随着所述视频显示装置的位置和/或取向的改变而改变的方式显示;以及
基于给定条件在所述第一显示模式和所述第二显示模式之间进行切换的步骤。
7.一种记录程序的计算机可读介质,所述程序使连接到通过由用户戴在头上而被使用的视频显示装置的计算机用作:
第一显示控制单元,用于以第一显示模式在所述视频显示装置上显示平面视频,在所述第一显示模式下,所述平面视频在用户的正面方向上显示,并且不随着所述视频显示装置的位置和/或取向的改变而改变;
第二显示控制单元,用于以第二显示模式在所述视频显示装置上显示所述平面视频,在所述第二显示模式下,所述平面视频以随着所述视频显示装置的位置和/或取向的改变而改变的方式显示;以及
切换控制单元,用于基于给定条件在所述第一显示模式和所述第二显示模式之间进行切换。
CN201680053928.3A 2015-09-25 2016-05-10 信息处理装置 Active CN108027700B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015188025 2015-09-25
JP2015-188025 2015-09-25
PCT/JP2016/063862 WO2017051564A1 (ja) 2015-09-25 2016-05-10 情報処理装置

Publications (2)

Publication Number Publication Date
CN108027700A CN108027700A (zh) 2018-05-11
CN108027700B true CN108027700B (zh) 2021-10-08

Family

ID=58385943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053928.3A Active CN108027700B (zh) 2015-09-25 2016-05-10 信息处理装置

Country Status (6)

Country Link
US (4) US10594936B2 (zh)
EP (2) EP4339689A3 (zh)
JP (2) JP6479199B2 (zh)
KR (1) KR102117376B1 (zh)
CN (1) CN108027700B (zh)
WO (1) WO2017051564A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4339689A3 (en) * 2015-09-25 2024-06-12 Sony Interactive Entertainment Inc. Information processing device
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7382954B2 (ja) * 2018-11-01 2023-11-17 株式会社ソニー・インタラクティブエンタテインメント Vr酔い低減システム、ヘッドマウントディスプレイ、vr酔い低減方法及びプログラム
EP4012485A4 (en) * 2019-08-06 2022-11-02 Panasonic Intellectual Property Management Co., Ltd. INDICATOR
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
DE112021002093T5 (de) * 2020-03-30 2023-02-09 Sony Group Corporation Verfahren zum ändern des blickpunkts im virtuellen raum
CN113777788A (zh) * 2021-09-09 2021-12-10 京东方科技集团股份有限公司 显示控制方法及装置、显示设备
WO2023238197A1 (ja) * 2022-06-06 2023-12-14 株式会社ソニー・インタラクティブエンタテインメント 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221961A (zh) * 2010-04-16 2011-10-19 索尼公司 信息处理装置、信息处理方法及其程序
CN103092695A (zh) * 2011-10-31 2013-05-08 索尼公司 信息处理装置及信息处理装置的启动模式间的切换方法
CN103188506A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 显示装置、图像处理***及其显示方法和图像处理
CN104205857A (zh) * 2012-03-26 2014-12-10 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676391B2 (ja) 1994-04-27 2005-07-27 オリンパス株式会社 頭部装着式映像表示装置
JP2003279882A (ja) * 2002-03-22 2003-10-02 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP2005339266A (ja) * 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2009192905A (ja) 2008-02-15 2009-08-27 Nikon Corp 頭部装着型撮影装置
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP2011059435A (ja) * 2009-09-10 2011-03-24 Sumitomo Electric Ind Ltd ヘッドマウントディスプレイ
JP5714855B2 (ja) 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
KR102127928B1 (ko) 2013-10-15 2020-06-29 엘지전자 주식회사 입체적 입력장치를 갖는 글래스형 단말기 및 그의 화면 제어방법
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
JP6459380B2 (ja) * 2014-10-20 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
EP4339689A3 (en) * 2015-09-25 2024-06-12 Sony Interactive Entertainment Inc. Information processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221961A (zh) * 2010-04-16 2011-10-19 索尼公司 信息处理装置、信息处理方法及其程序
CN103092695A (zh) * 2011-10-31 2013-05-08 索尼公司 信息处理装置及信息处理装置的启动模式间的切换方法
CN103188506A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 显示装置、图像处理***及其显示方法和图像处理
CN104205857A (zh) * 2012-03-26 2014-12-10 索尼公司 信息处理设备、信息处理方法和程序

Also Published As

Publication number Publication date
US20220060625A1 (en) 2022-02-24
US20200177810A1 (en) 2020-06-04
KR102117376B1 (ko) 2020-06-01
KR20180040634A (ko) 2018-04-20
EP3340024A4 (en) 2019-03-27
EP4339689A2 (en) 2024-03-20
EP3340024A1 (en) 2018-06-27
US11601592B2 (en) 2023-03-07
CN108027700A (zh) 2018-05-11
JP6479199B2 (ja) 2019-03-06
EP3340024B1 (en) 2024-02-21
JP2019113849A (ja) 2019-07-11
EP4339689A3 (en) 2024-06-12
US20230188843A1 (en) 2023-06-15
US10594936B2 (en) 2020-03-17
WO2017051564A1 (ja) 2017-03-30
US11202008B2 (en) 2021-12-14
US20180255243A1 (en) 2018-09-06
JPWO2017051564A1 (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
CN108027700B (zh) 信息处理装置
US11030771B2 (en) Information processing apparatus and image generating method
EP3379525B1 (en) Image processing device and image generation method
EP3349107B1 (en) Information processing device and image generation method
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP6649010B2 (ja) 情報処理装置
US11125997B2 (en) Information processing apparatus, information processing method, and program
US20210314557A1 (en) Information processing apparatus, information processing method, and program
WO2021220407A1 (ja) ヘッドマウントディスプレイ装置および表示制御方法
WO2017056597A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant