虚拟现实设备的图像显示方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机应用技术领域,尤其涉及一种虚拟现实设备的图像显示方法、装置、设备及存储介质。
背景技术
VR(Virtual Reality,虚拟现实)设备是一种采用VR技术输出内容为用户构建虚拟现实场景,以产生虚拟的视觉和听觉效果的电子设备,VR设备通常可以指可佩带在用户头部的头戴式设备。目前,在VR设备中可以观看3D电影或360度全景电影。
由于VR设备都是基于3D场景的,那些2D电影是无法在VR设备中正常播放的,这就导致用户无法使用VR设备来观看市面上的很多2D电影,使得VR设备的应用受限。
发明内容
本发明实施例提供一种虚拟现实设备的图像显示方法、装置、设备及存储介质,用以解决现有技术中VR设备无法播放二维图像的问题。
本发明提供了一种虚拟现实设备的图像显示方法,包括:
接收终端发送的二维图像;
分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像;
根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示。
可选的,所述分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像,包括:
创建虚拟现实场景,所述虚拟现实场景中具有第一画布;
将所述二维图像显示在所述第一画布上,得到虚拟场景图像;
以所述左眼视角对所述虚拟场景图像进行采集,得到所述左眼视角图像;
以所述右眼视角对所述虚拟场景图像进行采集,得到所述右眼视角图像。
可选地,所述的方法还包括:
创建两个虚拟视角相机,以通过一个虚拟视角相机以所述左眼视角对所述虚拟场景图像进行采集,通过另一虚拟视角相机以所述右眼视角对所述虚拟场景图像进行采集。
可选地,将所述二维图像显示在所述第一画布上,得到虚拟场景图像,包括:
将所述二维图像写入所述第一画布对应的缓存区,以更新所述缓存区内的数据;
从所述缓存区读取所述二维图像并将所述二维图像显示于所述第一画布上,得到所述虚拟场景图像。
可选地,所述的方法还包括:
通过Miracast技术,与所述终端建立无线连接;
将所述第一画布替代所述Miracast技术默认设定的第二画布,以使后续通过Miracast连接接收到的二维图像均被写入所述第一画布对应的缓存区。
可选地,根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示,包括:
根据所述虚拟现实设备的光学参数,对所述左眼视角图像及所述右眼视角图像进行反畸变处理;
将反畸变处理后的所述左眼视角图像及所述右眼视角图像进行显示。
本发明还提供了一种虚拟现实设备的图像显示装置,包括:
接收模块,用于接收终端发送的二维图像;
采集模块,用于分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像;
显示模块,用于根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示。
可选地,所述采集模块,还用于:
创建虚拟现实场景,所述虚拟现实场景中具有第一画布;
将所述二维图像显示在所述第一画布上,得到虚拟场景图像;
以所述左眼视角对所述虚拟场景图像进行采集,得到所述左眼视角图像;
以所述右眼视角对所述虚拟场景图像进行采集,得到所述右眼视角图像。
本发明还提供一种虚拟现实设备,包括:处理器以及与所述处理器连接的存储器;
所述存储器用于存储一条或多条计算机指令;其中,所述一条或多条计算机指令被处理器调用并执行以实现上述任一项所述的方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序;所述计算机可执行程序执行时实现上述任一项所述的方法。
本发明实施例提供的技术方案,在接收到终端发送的二维图像后,分别以不同视角对其进行采集以得到左眼视角图像和右眼视角图像;然后根据左眼视角图像及右眼视角图像进行VR显示;因左眼视角图像和右眼视角图像满足VR设备的显示要求,因此二维图像可被正常的显示在VR设备中。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的虚拟现实设备的显示方法的流程示意图;
图2示出了根据本发明一个实施例的虚拟现实设备的显示装置的结构框图;
图3示出了根据本发明一个实施例的虚拟现实设备的结构框图;
图4示出了VR设备显示屏的显示画面;
图5示出了VR设备的内部配置结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明一实施例提供的画面处理方法的流程示意图。如图1所示:该方法包括:
1101、接收终端发送的二维图像。
1102、分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像。
1103、根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示。
上述1101中,终端可以是手机、平板电脑、台式电脑、MP4等电子设备。二维图像可以是2D电影视频中的一帧视频图像、2D操作界面图像或2D幻灯片中的一页图片等等,本发明实施例对此不作具体限定。
上述1102中,左眼视角和右眼视角是用来模拟人类双眼视角的,以左眼视角和右眼视角采集到的左眼视角图像和右眼视角图像也即是用户所能看到的内容。其中,左眼视觉图像和右眼视觉图像中均显示有上述二维图像,由于左眼视角和右眼视角之间的视角差,二维图像在左眼视觉图像和右眼视觉图像中位置存在一定的偏移,例如:左眼视觉图像中的二维图像较右眼视角图像中的二维图像偏向右侧,右眼视觉图像中的二维图像较左眼视觉图像中的二维图像偏向左侧。
上述1103中,可将左眼视角图像及所述右眼视角图像分屏显示在VR设备的显示屏上。例如,将左眼视角图像及所述右眼视角图像并排贴到一个平面上,将平面内容输出显示至VR设备的显示屏上。VR设备显示屏上显示的左眼视角图像的光线传入用户的左眼中,VR设备显示屏上显示的右眼视角图像的光线传入用户右眼中,使得用户可清楚看到二维图像。
本发明实施例提供的技术方案,在接收到终端发送的二维图像后,分别以不同视角对其进行采集以得到左眼视角图像和右眼视角图像;然后根据左眼视角图像及右眼视角图像进行VR显示;因左眼视角图像和右眼视角图像满足VR设备的显示要求,因此二维图像可被正常的显示在VR设备中。
进一步的,为了达到身临其境的效果,可事先创建一虚拟现实场景,然后将二维图像显示在虚拟现实场景中,使得用户可以在虚拟现实场景中沉浸式地欣赏视频或图片。即上述1102“所述分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像”,还可具体采用如下方法实现:
1021、创建虚拟现实场景,所述虚拟现实场景中具有第一画布。
1022、将所述二维图像显示在所述第一画布上,得到虚拟场景图像。
1023、以所述左眼视角对所述虚拟场景图像进行采集,得到所述左眼视角图像。
1024、以所述右眼视角对所述虚拟场景图像进行采集,得到所述右眼视角图像。
上述1021中,虚拟现实场景可以是虚拟影院、虚拟家庭影院、虚拟教室或虚拟会议室,本发明对此不作具体限定。创建虚拟现实场景时,在虚拟现实场景中创建一个用于显示二维图像的第一画布。第一画布在虚拟现实场景中的位置可根据实际需要进行设定,本发明对此不作具体限定。例如:虚拟现实场景为虚拟影院时,可在虚拟影院的电影放映区域设置第一画布;虚拟现实场景为虚拟教室时,可在虚拟教室的黑板区域设置第一画布。
其中,第一画布并不是一个实际意义上的画布对象,而是虚拟现实场景中的一个虚拟对象。
上述1022中的虚拟场景图像对应于第一画布显示有所述二维图像的虚拟现实场景。上述1023和1024中,以左眼视角、右眼视角对所述虚拟场景图像进行采集,也即是以左眼视角、右眼视角对第一画布显示有所述二维图像的虚拟现实场景进行采集,以得到左眼视角图像和右眼视角图像。
通过上述步骤1022~1024步骤,即可得到左眼视角图像和右眼视角图像。使用虚拟现实设备,用户的左眼看到左眼视角图像,右眼看到右眼视角图像;左、右眼视角图像之间的差别被用户大脑识别后,能够产生立体感。若虚拟现实场景为虚拟影院,使用虚拟现实设备的用户会有种坐在电影院看2D电影的感受。
上述技术方案中,事先创建虚拟现实场景,在虚拟现实场景中创建第一画布,将终端发送来的二维图像显示在第一画布上;通过左、右眼视角采集得到左眼视角图像和右眼视角图像,左眼视角图像和右眼视角图像满足VR设备的显示要求,因此可正常显示在VR设备中,这不仅实现了二维图像在VR设备中的投影,还能使用户在虚拟现实场景中沉浸式地欣赏二维图像。
在一种可实现的技术方案中,可通过创建两个模拟人类双眼的虚拟视角相机来实现图像的采集。即本发明实施例提供的所述方法还可包括如下步骤:
创建两个虚拟视角相机。
其中,两个虚拟视角相机分别模拟人类的左眼和右眼,左右排列;分别以左眼视角图像及右眼视角图像对二维图像进行采集,以得到左眼视角图像及右眼视角图像。即,通过两个虚拟视角相机中的一个虚拟视角相机以所述左眼视角对所述虚拟场景图像进行采集,通过两个虚拟视角相机中的另一虚拟视角相机以所述右眼视角对所述虚拟场景图像进行采集。即通过两个虚拟视角相机来实现上述步骤1023和1024。具体地,两个虚拟视角相机均朝向虚拟现实场景中的第一画布设置,以确保左眼视角图像及右眼视角图像中都显示有上述二维图像。
这里需要说明的是:本文中提及的虚拟视角相机并不是一个实际意义上的相机对象,可简单将其理解为一种辅助工具,该辅助工具由软件实现。虚拟视角相机提供了一些辅助方法,通过被采集对象的变化来模拟相机视角。
进一步的,本申请实施例提供上述步骤1022“将所述二维图像显示在所述第一画布上,得到虚拟场景图像”可具体包括:
S1、将所述二维图像写入所述第一画布对应的缓存区,以更新所述缓存区内的数据;
S2、从所述缓存区读取所述二维图像并将所述二维图像显示于所述第一画布上,得到所述虚拟场景图像。
通常,上述缓存区用来存储一张二维图像的数据。因此,可每次接收到新的二维图像时,由新的二维图像来替代以前存储的二维图像。
实际应用中,VR设备与终端可基于Miracast无线显示技术实现数据的传输。Miracast技术是利用WiFiDisplay功能实现设备间的同步投射,例如:手机可使用Miracast技术将其屏幕投影到电视、投影仪或同样支持Miracast的流媒体播放器上。利用Miracast技术,使用者不再需要寻找各种规格的线材与转换器,亦毋须确认用于连接设备的正确接头。除此之外,智能手机、平板电脑、笔记本电脑、台式机等设备不再须要设计各种连接接口,就能与其他的输出设备,如电视机、机顶盒(STB)、投影仪、音响、耳机等连接,将多媒体与应用服务的内容在远程影音设备上播放。
具体地,本发明实施例提供的所述方法还可包括:
1104、通过Miracast技术,与所述终端建立无线连接。
1105、将所述第一画布替代所述Miracast技术默认设定的第二画布,以使后续通过Miracast连接接收到的二维图像均被写入所述第一画布对应的缓存区。
上述1104中,VR设备可与终端建立wifi点对点(wifi p2p)连接,wifi p2p连接无需通过任何网络或热点,可实现近距离通信。
由于现有技术中的Miracast无线显示技术是基于2D模式的,即由2D平面投影到2D平面中。而VR设备中的场景为3D场景,为了能通过Miracast无线显示技术将2D平面投影到3D场景中,需要将虚拟现实场景中的第一画布替代Miracast技术默认设定的第二画布。其中,第二画布指代的是显示屏或显示窗口等。也即是,将虚拟现实场景中第一画布替代Miracast工作线程中的原有2D画布(即第二画布)。这样,后续Miracast工作线程即可从第一画布对应的缓存区内读取二维图像并在第一画布上进行二维图像的渲染。
考虑到目前的VR设备中,显示的模式为:人眼-透镜-显示屏。人眼通过透镜看到显示屏上所显示的虚拟场景。为了消除透镜产生的畸变,需要在显示屏上显示之前对左眼视角图像及所述右眼视角图像进行反畸变处理。即本发明实施例提供的技术方案中步骤1103“根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示”包括:
1031、根据所述VR设备的光学参数,对所述左眼视角图像及所述右眼视角图像进行反畸变处理。
1032、将反畸变处理后的所述左眼视角图像及所述右眼视角图像进行显示。
其中,光学参数包括VR设备上的左、右透镜的焦距、光心和畸变系数。反畸变处理的具体实现可参见现有技术中的相应内容,在此不再详述。
这样,人眼通过透镜看到的图像就会是正常的。如图4所示,VR设备的显示屏1的左右两侧分别显示有左眼视角图像2和右眼视角图像3,左眼视角图像2中第一画布中显示的二维图像4与右眼视角图像3中第一画布中显示的二维图像5内容一致,只是在左眼视角图像2和右眼视角图像3之间存在沿左右方向上的差异,左眼视角图像2中的二维图像4的位置偏右,右眼视角图像3中的二维图像5的位置偏左。
具体地,上述1032中可将左眼视角图像和右眼视角图像进行并排显示在VR设备的显示屏上,以使VR设备的显示屏上显示的左眼视角图像正对用户的左眼显示,VR设备的显示屏上显示的右眼视角图像正对用户的右眼显示。
通常来说,视频是由大量帧组成,每一帧都是一个二维图像。因此,终端会按照自己的播放顺序依次将每一帧传输过来。当有新的二维图像到达时,需要根据新的二维图像重新生成新的左眼视角图像和右眼视角图像,以进行VR显示。具体地,本发明实施例提供的所述方法,还包括:
1106、判断是否有新的二维图像到达;若有,则继续采用上述各步骤基于新的二维图像得到新的左眼视角图像和右眼视角图像以进行VR显示;若没有,则说明终端上的2D视频播放完毕了,即可自动结束。
考虑到很多视频都携带有同步的音频。因此,上述方法还包括:接收所述终端发送的与所述二维图像同步的音频数据;将所述音频数据与所述左眼视角图像和右眼视角图像进行同步播放。终端可将与二维图像同步的音频数据与所述二维图像一同发送过来。解码音频数据后输出至VR设备的喇叭或耳机,视频数据解码后写入第一画布对应的缓存区中。
由于目前的VR设备中已具备3D视频播放模式和360度视频全景播放模式,因此,为了不影响其他播放模式的使用,需配置VR设备的模式切换功能。具体地,本发明实施例提供的技术方案还可包括如下步骤:
1107、接收用户触发的模式切换指令;
1108、根据所述模式切换指令,切换至3D视频播放模式或360度视频全景播放模式。
用户可通过操作VR设备上的模式切换按钮或通过注视局部显示区上的模式切换控件超过预设时长(可根据实际需要来设置,例如:2s)来触发模式切换指令。例如:在局部显示区的边缘区域(比如:左上角、右上角)设置对应于3D视频播放模式的第一控件以及对应于360度视频全景播放模式的第二控件。当用户想通过VR设备来观看3D视频时,用户可注视虚拟现实场景中的局部待放映区的第一控件2s,这样就会自动触发模式切换指令,该模式切换指令中携带有对应的播放模式。需要说明的是,在切换至3D视频播放模式或360度视频全景播放模式后,接收终端发送来的3D视频图像或360度视频全景图像,根据3D视频图像或360度视频全景图像来营造虚拟现实场景。
此外,本发明实施例提供的技术方案还可包括如下步骤:
1109、接收用户触发的缩放指令;
1120、根据所述缩放指令调整所述二维图像在所述第一画布内的显示大小。
具体实施时,可在第一画布的右上角设置放大控件和缩小控件,用户可通过注视放大控件或缩小控件超过预设时长来触发缩放指令。若检测到用户注视放大控件超过预设时长,则生成放大指令;若检测到用户注视缩小控件超过预设时长,则生成缩小指令。例如:若缩放指令指示放大处理,则在所述第一画布内全屏显示所述二维图像;若缩放指令指示缩小处理,则在所述第一画布内半屏显示所述二维图像。
下面将以在VR设备中播放2D视频为例对本方案进行进一步介绍:
401、终端与VR设备通过Miracast技术建立wifi p2p连接。
402、终端的显示屏上开始播放2D电影,将显示屏上当前显示的帧图像(即二维图像)传输给VR设备。
403、VR设备根据接收到的帧图像更新第一画布对应的缓存区的数据。
404、VR设备从缓存区读取帧图像,并将帧图像显示在虚拟现实场景中的第一画布上,得到虚拟场景图像。
405、通过模拟左眼的虚拟视角相机对虚拟场景图像进行采集得到左眼视角图像,通过模拟右眼的虚拟视角相机对虚拟场景图像进行采集得到右眼视角图像。
406、根据VR设备的光学参数,对左眼视角图像和右眼视角图像进行反畸变处理,得到反畸变处理后的所述左眼视角图像及所述右眼视角图像。
407、将反畸变处理后的所述左眼视角图像及所述右眼视角图像左右并排显示到VR设备的显示屏上。
这样用户带着VR设备,就可以左眼观看左眼视角图像,右眼观看右眼视角图像,进而体验3D效果。
408、VR设备判断终端是否传来新的帧图像。
若有,则重复执行上述403-407以基于新的帧图像得到新的左眼视角图像和右眼视角图像以进行VR显示;若没有,则说明终端上的2D视频播放完毕了,即可自动结束。
图2为本发明又一实施例提供的画面处理装置的结构框图。如图2所示,所述装置包括:接收模块201、采集模块202及显示模块203。其中,接收模块201用于接收终端发送的二维图像;采集模块202用于分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像;显示模块203用于根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示。
本发明实施例提供的技术方案,在接收到终端发送的二维图像后,分别以不同视角对其进行采集以得到左眼视角图像和右眼视角图像;然后根据左眼视角图像及右眼视角图像进行VR显示;因左眼视角图像和右眼视角图像满足VR设备的显示要求,因此二维图像可被正常的显示在VR设备中。
进一步的,所述采集模块202还用于:
创建虚拟现实场景,所述虚拟现实场景中具有第一画布;
将所述二维图像显示在所述第一画布上,得到虚拟场景图像;
以所述左眼视角对所述虚拟场景图像进行采集,得到所述左眼视角图像;
以所述右眼视角对所述虚拟场景图像进行采集,得到所述右眼视角图像。
上述技术方案中,事先创建虚拟现实场景,在虚拟现实场景中创建局部待放映区即第一画布,将终端发送来的二维图像显示在第一画布上;通过左右眼视角采集得到左眼视角图像和右眼视角图像,左眼视角图像和右眼视角图像满足VR设备的显示要求,因此可正常显示在VR设备中,这不仅实现了二维视频在VR设备中的投影,还能使用户能够在虚拟现实场景中沉浸式地欣赏二维视频。
可选地,上述装置,还包括创建模块。所述创建模块用于创建两个虚拟视角相机,以通过一个虚拟视角相机以所述左眼视角对所述虚拟场景图像进行采集,通过另一虚拟视角相机以所述右眼视角对所述虚拟场景图像进行采集。
进一步的,所述采集模块202还用于:
将所述二维图像写入所述第一画布对应的缓存区,以更新所述缓存区内的数据;
从所述缓存区读取所述二维图像并将所述二维图像显示于所述第一画布上,得到所述虚拟场景图像。
进一步的,本发明实施例提供的装置还可包括:连接模块及替代模块。其中,连接模块,用于通过Miracast技术,与所述终端建立无线连接;替代模块用于将所述第一画布替代所述Miracast技术默认设定的第二画布,以使后续通过Miracast连接接收到的二维图像均被写入所述第一画布对应的缓存区。
进一步的,上述显示模块203还用于:
根据所述虚拟现实设备的光学参数,对所述左眼视角图像及所述右眼视角图像进行反畸变处理;
将反畸变处理后的所述左眼视角图像及所述右眼视角图像进行显示。
进一步的,上述装置还可包括:切换模块。其中,所述接收模块201还用于接收用户触发的模式切换指令;所述切换模块用于根据所述模式切换指令,切换至3D视频播放模式或360度视频全景播放模式。
进一步的,上述装置还可包括:判断模块。所述判断模块用于判断是否有新的二维图像到达;若有,则继续采用上述各步骤基于新的二维图像得到新的左眼视角图像和右眼视角图像以进行虚拟现实显示
进一步的,上述装置还可包括:播放模块。其中,所述接收模块201还用于接收所述终端发送的与所述二维图像同步的音频数据;所述播放模块还用于将所述音频数据与所述左眼视角图像和右眼视角图像进行同步播放。
进一步的,上述装置还可包括调整模块。其中,所述接收模块201还用于接收用户触发的缩放指令;所述调整模块用于根据所述缩放指令调整所述二维图像在所述第一画布内的显示大小。
例如:若缩放指令指示放大处理,则在所述第一画布内全屏显示所述二维图像;若缩放指令指示缩小处理,则在所述第一画布内半屏显示所述二维图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的相应内容,在此不再赘述。
图3为本发明又一实施例提供的一种虚拟现实设备,该设备包括:处理器301以及与所述处理器301连接的存储器302;其中,所述存储器302用于存储一条或多条计算机指令;其中,所述一条或多条计算机指令被处理器301调用并执行以实现:
接收终端发送的二维图像;
分别以左眼视角和右眼视角对所述二维图像进行采集,以得到左眼视角图像及右眼视角图像;
根据所述左眼视角图像及所述右眼视角图像,进行虚拟现实显示。
这里需要说明的是:所述处理器301在执行存储器302中的指令时,除上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
此外,本发明实施例还提供了一种存储有计算机程序的计算机可读存储介质,所述计算机程序使计算机执行时可以实现上述任一实施例的虚拟现实设备的图像显示方法的步骤或功能。
本发明一些实施例提供的VR设备可以为外接式头戴显示设备或者一体式头戴显示设备,其中外接式头戴显示设备需要与外部处理***(例如计算机处理***)配合使用。
图5示出了一些实施例中VR设备100的内部配置结构示意图。
显示单元101可以包括显示面板,显示面板设置在VR设备100上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元102允许用户按放大的虚拟图像观察显示单元101所显示的图像。作为输出到显示单元101上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机110拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元102可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元103包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元107输出指令。
状态信息获取单元104用于获取穿戴头戴显示设备100的用户的状态信息。状态信息获取单元104可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元105从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元104可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元104可以包括陀螺仪传感器、加速度传感器、全球定位***(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元104获取VR设备100的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备100)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元105执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元107可以从通信单元105向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元105可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,VR设备100还可以包括存储单元,存储单元106是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元106可以存储应用程序或各种类型的数据。例如,用户使用VR设备100观看的内容可以存储在存储单元106中。
一些实施例中,VR设备100还可以包括控制单元,控制单元107可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元107可以用于执行存储单元106存储的应用程序,或者控制单元107还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元108用于执行信号处理,比如与从控制单元107输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元101的屏幕的分辨率。然后,显示驱动单元109依次选择显示单元101的每行像素,并逐行依次扫描显示单元101的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,VR设备100还可以包括外部相机。外部相机110可以设置在VR设备100主体前表面,外部相机110可以为一个或者多个。外部相机110可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机110一起使用。外部相机110和距离传感器可以用于检测VR设备100的用户的身***置、姿态和形状。另外,一定条件下用户可以通过外部相机110直接观看或者预览现实场景。
一些实施例中,VR设备100还可以包括声音处理单元,声音处理单元111可以执行从控制单元107输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元112在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图1中虚线框示出的结构或部件可以独立于头戴显示设备100之外,例如可以设置在外部处理***(例如计算机***)中与VR设备100配合使用;或者,虚线框示出的结构或部件可以设置在VR设备100内部或者表面上。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。