CN112732088A - 一种虚拟现实设备及单目截屏方法 - Google Patents

Abstract

本申请提供一种虚拟现实设备及单目截屏方法，所述方法可以在用户输入用于截屏的控制指令后，针对一侧显示器显示的图像内容，提取未渲染的图像信息并保存为截屏图片文件，完成单目截屏操作。由于提取的图像信息尚未进行畸变处理，因此截屏获得的图片文件内容与实际展示的虚拟场景内容差异较小，能够解决传统虚拟现实设备截屏获得的图像与实际内容差异过大的问题。

Description

一种虚拟现实设备及单目截屏方法

技术领域

本申请涉及虚拟现实设备技术领域，尤其涉及一种虚拟现实设备及单目截屏方法。

背景技术

虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面的设备。通常，虚拟现实设备包括两个用于呈现虚拟画面内容的显示屏幕，分别对应于用户的左右眼。当两个显示屏幕所显示的内容分别来自于同一个物体不同视角的图像时，可以为用户带来立体的观影感受。

虚拟现实设备在实际使用中可以通过截屏操作将所显示的内容以图片形式输出，从而进行网络共享或者在其他显示设备上展示。例如，可以通过虚拟现实设备与智能手机建立通信连接，并向智能手机发送截屏获得的图片文件，从而在智能手机端保存和展示虚拟现实设备上显示的内容。

但是，为了适应光学组件，VR设备在显示的图像边缘区域会经过畸变处理，因此在VR设备显示内容下直接执行截屏操作会截取畸变处理后的图像，即截屏获得的图像存在变形，与实际内容差异过大。此外，在VR设备显示三维图像时，由于存在两个显示屏幕，并且两个显示屏幕上显示的内容存在不同，导致直接进行截屏所获得图像内容与实际展示的虚拟场景内容存在较大差异。

发明内容

本申请提供了一种虚拟现实设备及单目截屏方法，以解决传统截屏方法获得的图像与实际展示的虚拟场景内容差异大的问题。

一方面，本申请提供一种虚拟现实设备，包括显示器和控制器，其中所述显示器包括左显示器和右显示器，分别用来呈现适合左眼观看的用户界面以及适合右眼观看的用户界面。控制器被配置为执行以下程序步骤：

接收用户输入的用于截屏的控制指令；

响应于所述控制指令，获取预设方向显示器的待渲染图像信息；所述预设方向显示器为左显示器或右显示器中的一个；

将所述图像信息保存为截屏图片文件。

另一方面，本申请还提供一种弹幕截屏方法，该方法可以应用于上述虚拟现实设备，具体包括以下步骤：

接收用户输入的用于截屏的控制指令；

响应于所述控制指令，获取预设方向显示器的待渲染图像信息；所述预设方向显示器为左显示器或右显示器中的一个；

将所述图像信息保存为截屏图片文件。

由以上技术方案可知，本申请提供的虚拟现实设备及单目截屏方法可以在用户输入用于截屏的控制指令后，针对一侧显示器显示的图像内容，提取未渲染的图像信息并保存为截屏图片文件，完成单目截屏操作。由于提取的图像信息尚未进行畸变处理，因此截屏获得的图片文件内容与实际展示的虚拟场景内容差异较小，能够解决传统虚拟现实设备截屏获得的图像与实际内容差异过大的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中包括虚拟现实设备的显示***结构示意图；

图2为本申请实施例中VR场景全局界面示意图；

图3为本申请实施例中全局界面的推荐内容区域示意图；

图4为本申请实施例中全局界面的应用快捷操作入口区域示意图；

图5为本申请实施例中全局界面的悬浮物示意图；

图6为本申请实施例中VR画面示意图；

图7为本申请实施例中单目截屏流程示意图；

图8为本申请实施例中提取texture图像信息流程示意图；

图9为本申请实施例中存储图片文件的流程示意图；

图10为本申请实施例中根据用户界面类型执行截屏操作的流程示意图；

图11为本申请实施例中检测用户界面类型的流程示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

本申请实施例中，所述虚拟现实设备500泛指能够佩戴于用户面部，为用户提供沉浸感体验的显示设备，包括但不限于VR眼镜、增强现实设备(Augmented Reality，AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。

虚拟现实设备500可以在佩戴于用户面部后，显示媒资画面，为用户双眼提供近距离影像，以带来沉浸感体验。为了呈现媒资画面，虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例，虚拟现实设备500可以包括外壳、镜腿、光学***、显示组件、姿态检测电路、接口电路等部件。实际应用中，光学***、显示组件、姿态检测电路以及接口电路可以设置于外壳内，以用于呈现具体的显示画面；外壳两侧连接镜腿，以佩戴于用户面部。

在使用时，姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件，当用户头部移动或转动时，可以检测到用户的姿态，并将检测到的姿态数据传递给控制器等处理元件，使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。

需要说明的是，根据虚拟现实设备500的类型不同，其所呈现具体画面内容的方式也不同。例如，如图1所示，对于部分轻薄VR眼镜，其内置的控制器一般不直接参与显示内容的控制过程，而是将姿态数据发送给外接设备，如计算机中，由外接设备进行处理，并在外接设备中确定要显示的具体画面内容，再回传给VR眼镜中，以在VR眼镜中显示最终的画面。

在一些实施例中，所示虚拟现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示***，在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给虚拟现实设备500中进行显示。

其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

在进行数据交互的过程中，用户可通过移动终端100A和遥控器100B操作显示设备200。移动终端100A和遥控器100B可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端100A和遥控器100B可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端100A和遥控器100B可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。

在另一些实施例中，移动终端100A和遥控器100B还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端100A和遥控器100B可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。

在一些实施例中，用户还可以使用移动终端100A和遥控器100B还可以直接与虚拟现实设备500进行交互，例如，可以将移动终端100A和遥控器100B作为虚拟现实场景中的手柄进行使用，以实现体感交互等功能。

在一些实施例中，虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面，以及带来立体效果，显示组件中可以包括两个显示屏幕，分别对应于用户的左眼和右眼。在呈现3D效果时，左右两个屏幕中显示的画面内容会稍有不同，可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容，因此在佩戴时，可以观察到立体感较强的显示画面。

虚拟现实设备500中的光学***，是由多个透镜组成的光学模组。光学***设置在用户的双眼与显示屏幕之间，可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应，增加光程，使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时，为了适应不同用户的视力情况，光学***还支持调焦，即通过调焦组件调整多个透镜中的一个或多个的位置，改变多个透镜之间的相互距离，从而改变光程，调整画面清晰度。

虚拟现实设备500的接口电路可以用于传递交互数据，除上述传递姿态数据和显示内容数据外，在实际应用中，虚拟现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，虚拟现实设备500可以通过接口电路连接显示设备，从而将所显示的画面实时输出至显示设备进行显示。又例如，虚拟现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在VR用户界面中执行相关操作。

其中，所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图2所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。

推荐内容区域1用于配置不同分类TAB栏目；在所述栏目中可以选择配置媒资、专题等；所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务，并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。

业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时，支持配置独立TAB，展示对应的页面内容。业务分类扩展区域2中的扩展分类，也可以对其进行排序调整及下线业务操作。在一些实施例中，业务分类扩展区域2可包括的内容：影视、教育、旅游、应用、我的。在一些实施例中，业务分类扩展区域2被配置为可展示大业务类别TAB，且支持配置更多的分类，其图标支持配置，如图3所示。

应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐，支持配置特殊图标样式替换默认图标，所述预装应用可指定为多个。在一些实施例中，应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件，用于选择不同的图标，如图4所示。

悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方，可配置为可替换形象、或配置为跳转链接。例如，悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页，如图5所示。在一些实施例中，悬浮物也可不配置跳转链接，单纯的用于形象展示。

在一些实施例中，全局UI还包括位于顶端的状态栏，用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄，即手持控制器选中图标后，图标将显示包括左右展开的文字提示，选中的图标按照位置自身进行左右拉伸展开显示。

例如，选中搜索图标后，搜索图标将显示包含文字“搜索”及原图标，进一步点击图标或文字后，搜索图标将跳转至搜索页面；又例如，点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。

在一些实施例中，可以通过外设执行交互，例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作，包括返回按钮；主页键，且其长按可实现重置功能；音量加减按钮；触摸区域，所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。

用户可以通过全局界面进入不同的场景界面，例如，如图6所示，用户可以在全局界面中的“浏览界面”入口进入浏览界面，或者通过在全局界面中选择任一媒资启动浏览界面。在浏览界面中，虚拟现实设备500可以通过Unity 3D引擎创建3D场景，并在3D场景中渲染具体的画面内容。

在浏览界面中，用户可以观看具体媒资内容，为了获得更好的观影体验，浏览界面中还可以设置不同的虚拟场景控件，以配合媒资内容呈现具体场景或实时交互。例如，在浏览界面中，可以在Unity 3D场景中设置面板，用来呈现图片内容，在配合其他家居虚拟控件，以实现影院银幕的效果。

虚拟现实设备500可以在浏览界面中展示操作UI内容。例如，在Unity 3D场景中的显示面板前方还可以显示有列表UI，在列表UI中可以显示当前虚拟现实设备500本地存储的媒资图标，或者显示可在虚拟现实设备500中进行播放的网络媒资图标。用户可以在列表UI中选择任一图标，则在显示面板中可以实时显示被选中的媒资。

在一些实施例中，用户可以对虚拟现实设备500中显示的画面内容进行截屏操作。截屏操作是根据显示内容生成截屏图片文件，从而保存某一时刻的具体显示画面的过程。在截屏操作过程中，用户可以先输入用于截屏的控制指令。例如，用户可以同时按下电源键和音量“+”键输入控制指令，控制虚拟现实设备500执行截屏动作。显示设备500在接收到控制指令以后，可以将显示画面进行截取，并保存为图片文件。

根据画面显示方法的不同，截屏操作生成图片的方式也不同。例如，如果显示二维图像，在接收到用户输入的控制指令以后，可以直接截取屏幕上当前显示的内容作为目标截图文件的内容。但是，对于虚拟现实设备500，其在使用中不仅可以用来显示二维图像，还可以用来显示三维图像。而二维图像和三维图像由于显示方式不同，导致其在截屏过程中直接屏幕截取获得的目标截图与实际图像之间存在的差异过大。

具体表现在：为了呈现立体效果，虚拟现实设备500的左显示器和右显示器所展示的内容略有不同，即分别对应于所展示片源左相机和右相机拍摄的内容。这导致在截屏过程中直接截取屏幕上显示的内容会包括左侧显示器显示的内容和右侧显示器显示的内容，两个显示内容不同，无法直接输出截屏图片文件。

并且由于虚拟现实设备500内置有光学组件，光学组件是由多个透镜构成的光路调节***。光学组件的透镜多呈现为圆形，但虚拟现实设备500的左显示器和右显示器为矩形，因此用户在使用虚拟现实设备500时观看到的显示画面边缘部分产生变形，影响用户的观影效果。为了获得更好的观影体验，虚拟现实设备500在显示画面内容时，可以先对所显示的内容进行畸变处理，将边缘位置显示的图案内容按照光学组件的镜头变形规律，预先进行畸变处理，以抵消光学组件造成的变形。

为此，如果通过直接屏幕截取的方式生成截屏图像文件，截取到的图片内容是屏幕显示的内容，而屏幕显示的内容是经过畸变处理后的图形，这与图片原本内容存在较大的偏差。

为了能够对虚拟现实设备500显示的内容进行截屏，并且获得与原本内容相同或差别较小的截屏图片文件。如图7所示，在本申请的部分实施例中提供一种单目截屏方法，该单目截屏方法可应用于虚拟现实设备500，具体包括以下内容：

S1：接收用户输入的用于截屏的控制指令。

用户在使用虚拟现实设备500的过程中，可以输入多种控制指令，其中部分控制指令可用于启动截屏功能。使用中，虚拟现实设备500可以为用户提供多种控制指令的输入方式。在一些实施例中，可以在虚拟现实设备500上设置电源键、音量键、菜单键等按键，用户可以通过单个按键或者多个按键的组合输入截屏控制指令。例如，用户可以同时按下电源键和音量“+”的按键组合输入用于截屏的控制指令。

在一些实施例中，对于部分按键较少的虚拟现实设备500，还可以通过虚拟现实设备500外接设备实现控制指令的输入。例如，用户可以在使用虚拟现实设备500的过程中，搭配的手柄设备执行交互动作。并通过手柄设备上的功能按键或者按键的组合输入用于截屏的控制指令。

在一些实施例中，用户还可以通过其他交互方式完成对截屏控制指令的输入。例如，可以在虚拟现实设备500的操作***中内置智能语音***，用户可以通过内置或外接的麦克风装置输入语音“截屏”，输入用于截屏的控制指令。

需要说明的是，上述控制指令的输入方式示例仅作为本申请用户输入截屏控制指令的部分示例，根据虚拟现实设备500所支持的交互方式的不同，还可以采用不同的控制指令输入方式。因此，本领域技术人员在本申请输入方式的基础上所能够联想到的其他输入方式都属于本申请的保护范围。

S2：响应于所述控制指令，获取预设方向显示器的待渲染texture图像信息。

在获取用户输入的控制指令后，虚拟现实设备500可以响应于输入的控制指令开始执行截屏操作。与传统的直接对显示内容进行屏幕截取的方式不同，在本申请中虚拟现实设备500所执行的截屏操作中，可以只针对两个显示器中的一个画面内容进行提取，即所述预设方向显示器为左显示器或右显示器中的一个，例如，可以指定对左显示器显示的内容进行截屏，从而获得单个截屏图片文件。

为了消除畸变对截屏图片内容的影响，在获取控制指令后，虚拟现实设备500可以直接提取待渲染的texture图像信息。其中，texture图像信息包括未进行渲染过(即未经过畸变处理)的画面内容，可以为由虚拟相机对生成unity 3D场景进行直接拍摄而生成的图像内容。

其中，虚拟相机是一种基于unity 3D场景而设置的相机，可以用于对unity 3D场景中的虚拟物体进行拍摄，从而生成texture图像。虚拟相机可以模仿用户的眼睛，从unity3D场景获取影像，并将获取的影像显示在左显示器和右显示器中。因此，虚拟现实设备500可以在unity 3D场景中设置两个虚拟相机，以分别模仿用户的左眼睛和右眼睛。两个虚拟相机可以在unity 3D场景中满足特定的位置关系，从而在不同的角度对unity 3D场景进行拍摄，输出不同的texture图像信息，以使左显示器和右显示器形成3D沉浸感的效果。

在实际观影过程中，两个虚拟相机输出的texture图像信息可以经过渲染处理后，分别送入左显示器和右显示器进行显示。而畸变处理过程则发生在渲染处理过程中，因此为了获得未变形的图片文件进行输出，在本实施例中可以在获取截屏控制指令后，直接对texture图像信息进行提取。

S3：将所述texture图像信息保存为截屏图片文件。

在获取texture图像信息后，虚拟现实设备500可以将texture图像信息保存为图片格式的文件，并存储在截屏专用的文件夹中。例如，虚拟现实设备500可以将texture图像信息保存为png格式的图片文件，并将图片文件保存在“DCIM/Camera”路径下的文件夹中。

由以上技术方案可知，上述实施例中提供的单目截屏方法可以提取单侧显示器对应的texture图像信息，获得与当前虚拟场景中显示内容相同，且未经过畸变处理的显示内容，并保存成图片文件完成截屏操作。可见，上述实施例提供的单目截屏方法不仅能够适应虚拟现实设备500两个显示器的显示方式，而且能够消除畸变处理对截屏图案的影响，减小截屏图片内容与实际虚拟场景画面之间的差异。

在一些实施例中，为了确定用户是否输入了用于截屏的控制指令，在接收用户输入的用于截屏的控制指令步骤中，虚拟现实设备500还可以通过设置检测程序，以实时检测用户输入的交互动作，即检测用户输入的按键组合动作。如果按键组合动作与预设截屏按键组合动作相同，则自动生成用于截屏的控制指令。

虚拟现实设备500的存储器中可以保存用于检测用户输入的按键组合动作的检测程序，该检测程序可以在用户按下任一按键时触发运行。用户输入的每一个按键动作都可以通过该检测程序进行检测，从而确定该按键动作是否与预设的截屏按键组合动作相同。例如，预设的截屏按键组合动作为同时按下电源键和音量“+”键，当用户同时按下电源键和音量“+”键时，则检测到按键组合动作与预设截屏按键组合动作相同，相当于用户输入了用于截屏的控制指令，因此可以生成用于截屏的控制指令。

同理，如果按键组合动作与预设截屏按键组合动作不同，则不生成用于截屏的控制指令，而是根据操作***的交互规则执行其他功能。例如，在当用户仅按下电源键时，则检测到按键组合动作与预设截屏按键组合动作不同，因此不会生成用于截屏的控制指令，而是根据操作***中设置的交互方式执行其他功能，即关闭或点亮虚拟现实设备500的显示器等。

在一些实施例中，为了能够获取texture图像信息，虚拟现实设备500还可以内置一个texture图像信息获取程序，该获取程序可以实时监测用户输入的控制指令，并在检测到用户输入了控制指令以后，抓取图像信息。即如图8所示，获取预设方向显示器的待渲染texture图像信息的步骤还包括：

S211：获取显示数据流；

S212：记录所述控制指令的输入时刻；

S213：在所述显示数据流中提取texture图像信息。

在使用虚拟现实设备500的过程中，虚拟现实设备500可以利用unity 3D引擎，实时渲染虚拟场景，即unity 3D场景。在unity 3D场景中，还设置有两个虚拟相机，虚拟相机可以模仿用户眼睛，在unity 3D场景中执行拍摄，从而根据unity 3D场景中的虚拟物体影像，生成图像信息。虚拟相机可以与虚拟现实设备500中的位姿传感器连接，以通过位姿传感器调整拍摄角度，并随着虚拟相机对unity 3D场景的持续拍摄，可以输出多帧图像构成的显示数据流。即，所述显示数据流由预设方向显示器对应的虚拟相机针对unity 3D场景拍摄获得。

虚拟现实设备500可以获取虚拟相机拍摄并输出的显示数据流，以发送到显示器进行显示。当用户输入截屏控制指令以后，虚拟现实设备500还可以记录控制指令的输入时刻，并按照输入时刻在显示数据流中提取texture图像信息，因此，所述texture图像信息为显示数据流中输入时刻的对应帧图像。

例如，当虚拟现实设备500在2020年10月22日11:20:12:51时刻获取到用户输入的截屏控制指令后，记录该输入时刻，并在显示数据流中提取2020年10月22日11:20:12:000时刻时需要显示的那一帧图像，作为texture图像信息。由于虚拟相机所拍摄的显示数据流对应的视频帧率为固定值，因此在部分时刻可能不存在对应帧图像。例如，对于帧率为24的显示数据流，如果第一帧图像对应时刻为11:20:12:000，则第二帧图像时刻为11:20:12:042，因此当控制指令的输入时刻为11:20:12:020时，则没有该时刻的对应帧图像。此时，可以设置与当前时刻时间差最小的那一帧图像为对应帧图像，即输入时刻为11:20:12:020时，提取11:20:12:000时刻的第一帧图像作为texture图像信息。

由于在常规的截屏方式中，所截取的图片文件会统一保存在一个文件夹中，如Android***的截图文件放在存储路径为“DCIM/Camera”的文件夹中。因此，为了保证截图保存位置的一致性，如图9所示，在一些实施例中，获取预设方向显示器的待渲染texture图像信息的步骤还包括：

S221：将所述texture图像信息存储为Byte数组；

S222：遍历当前***的文件保存路径；

S223：如果所述当前***中包括预设位置的文件保存路径，将所述Byte数组保存为图片文件；

S224：如果所述当前***中不包括预设位置的文件保存路径，在所述预设位置新建文件夹。

在虚拟现实设备500提取出texture图像信息后，可以先将texture图像信息存储为Byte数组的形式，以便虚拟现实设备500可以在此期间执行截屏操作相关的其他控制动作，使截屏获得的图片文件可以按照预定方式被保存。

在将texture图像信息存储为Byte数组后，虚拟现实设备500可以遍历当前***的文件保存路径，以确定当前***中是否存在用于保存截屏图片文件的文件夹。例如，虚拟现实设备500可以对当前***注册表项中的文件夹名称进行逐一读取，以确定当前***中是否包含文件路径为“DCIM/Camera”的文件夹。如果当前***中存在该文件夹，则可以将Byte数组保存为图片文件，完成截屏图片的保存。如果当前***中不存在该文件夹，则可以新建一个路径为“DCIM/Camera”的文件夹以便用来保存截屏图片文件。

需要说明的是，根据操作***的不同，用户保存截屏图片文件的路径也不同。因此，在不同的虚拟现实设备500中，也可以预设不同位置的文件保存路径。并且，用户可以根据截屏图片文件的用途不同，自定义文件保存路径，以供用户查看。例如，对于输出至显示设备200中进行显示的截屏图片，可以直接设置文件保存路径为显示设备200的地址，从而在完成截屏操作后，直接按照设置的地址将截屏所获得的图片文件发送给显示设备200。

为了使用户能够查看截屏图片文件，在一些实施例中，将所述texture图像信息保存为图片文件的步骤还包括：检测截屏图片文件的保存进程，如果截屏图片文件完成保存，生成数据库更新指令，运行数据库更新指令，以使截屏图片文件能够显示在图片浏览界面中。

由于texture图像信息的数据量较大，虚拟现实设备500需要消耗一定的时间才可将数据写入存储空间内，以将texture图像信息保存为图片文件。因此，在虚拟现实设备500开始执行将所述texture图像信息保存为截屏图片文件的过程中，可以实时对截屏文件的保存进度进行检测。并且在完成截屏图片文件的保存后，通知数据库对图片信息进行更新，以便用户可以在图片浏览界面中看到最新的截屏图片。

其中，图片浏览界面也称图片浏览器，是专门为用户进行图片查看的界面。在图片浏览界面中，可以包括多个图片的缩略图图标，当用户选择该图标时，可以打开该图标对应的图片，并在图片展示区域进行放大显示。

为了通知数据库对图片信息的更新，在检测到截屏图片文件完成保存后，可以生成更新指令，并将更新指令应用到数据库管理程序中。数据库管理程序可以在接收到更新指令后，扫描当前存储的图片信息，并将扫描到的图片信息与上一次扫描结果进行对比，从而确定是否有新增的图片文件信息。当存在新增的文件信息时，数据库管理程序可以将新增文件对应的信息按照新增文件的时间顺序，展示在图片浏览器中，以供用户选择查看。

由以上技术方案可知，上述实施例可以通过控制texture图像信息的存储方式，将texture图像信息保存为图片文件。保存图片的路径可与常规截图方式保存的位置相同，并且可以在保存完成后通知数据库更新图片信息，以方便用户查看截屏获取的图片文件。

在保存截屏图片文件时，由于texture图像信息数据量较大，整个保存过程不仅占用***运算资源，而且保存时间消耗较长，因此如果通过操作***层面的主线程完成保存过程会引起应用卡顿，影响用户体验。为了改善用户体验，在本申请的部分实施例中，如图10所示，当接收到用户输入的用于截屏的控制指令后，虚拟现实设备500还可以运行以下方法：

S231：检测当前用户界面类型；

S232：如果当前用户界面类型为第一类界面，通过操作***层的主线程对显示内容执行截屏；

S233：如果当前用户界面类型为第二类界面，通过Unity层的协程执行响应于所述控制指令的步骤。

虚拟现实设备500可以在使用中呈现不同类型的界面，例如配置界面、控制界面等二维场景界面，以及浏览界面、播放界面等三维场景界面。其中，部分界面在显示过程中左右显示器显示的内容相同，并且显示的内容不经过畸变处理而直接显示在显示器中。本实施例中，将这种左右显示器显示的内容相同，且不进行畸变处理的界面称为第一类界面。对于第一类界面，在截屏的过程中可以采用直接截屏的方式获得截屏图像。除第一类界面以外的其他类型用户界面称为第二类界面。对于第二类界面，在截屏的过程中可以按照上述实施例中的方式获取一侧显示器的texture图像信息，并保存成截屏图片文件。例如，第一类界面为2D界面，第二类界面为3D界面或360全景界面。

显然，对于直接截屏方式获得截屏图像的方式的数据处理量一般小于将texture图像信息保存为图片文件方式的数据处理量。因此，在本实施例中，可以在获取用户输入的截屏控制指令后，对当前的用户界面类型进行检测，从而根据不同的用户界面类型选择不同的截屏方式。

例如，在检测到当前用户界面类型为第一类界面时，可以通过操作***层的主线程对显示内容直接执行截屏，以获得截屏图片文件；而在检测到当前用户界面类型为第二类界面时，可以通过Unity层的协程执行上述实施例中的截屏方法，即通过Unity层的协程执行响应于所述控制指令，获取预设方向显示器的待渲染texture图像信息，以及将texture图像信息保存为截屏图片文件的步骤，以获得截屏图片文件。

可见，在本实施例中，通过对当前用户界面类型的检测，可以根据不同的用户界面类型选择通过操作***层的主线程或者Unity层的协程执行截屏操作，从而在数据处理量较大的情况下，通过协程分担主线程的数据处理量，减少应用卡顿。而在数据处理量较小的直接截屏情况下，仍由主线程直接完成截屏操作，以快速完成截屏操作。

需要说明的是，在检测到当前用户界面类型为第二类用户界面时，可以通过操作***层向Unity层发送截屏事件，以通知Unity层执行截屏操作。例如，对于安卓***的虚拟现实设备500，当操作***收到该事件后，如果检测到当前用户界面类型是第二类界面，则不再执行截图操作，而是由安卓层通知Unity层执行截图操作，当unity层收到截屏事件后，按照提取指定侧显示器的texture图像信息并将texture图像信息保存为截屏图片文件的流程进行截图，从而减小应用卡顿。

在上述实施例中，为了检测当前用户界面类型，虚拟现实设备500可以通过当前界面的运行信息读取当前用户界面的类型，或者通过当前播放的媒资文件片源类型读取用户界面类型。例如，通过读取任务管理器中的运行信息，确定当前***中维持运行的进程为设置界面，则确定当前用户界面类型为第一类界面。又例如，通过读取当前播放的媒资文件片源类型，读取当前播放的媒资文件的片源类型为2D片源时，则确定当前用户界面类型为第一类界面。

然而，在部分播放模式下，单纯通过运行信息和片源类型可能无法准确检测出当前用户界面的类型，例如，在模拟影院应用中播放二维图片文件时，虽然播放的媒资文件类型为2D片源，但由于模拟影院会在播放过程中添加3D的虚拟画面内容，使得其最终呈现的画面内容是左右显示器内容不同，且经过畸变处理的3D图像内容。因此，为了准确检测当前用户界面类型，如图11所示，在一些实施例中，检测当前用户界面类型的步骤还包括：

S2311：对比左显示器和右显示器显示的用户界面图像；

S2312：如果所述左显示器和右显示器显示的用户界面图像相同，标记所述当前用户界面类型为第一类界面；

S2313：如果所述左显示器和右显示器显示的用户界面图像不同，标记所述当前用户界面类型为第二类界面。

在获取用户输入的截屏控制指令以后，虚拟现实设备500可以对左显示器和右显示器在同一时刻所显示用户界面的内容进行提取，并对比两侧显示的用户界面图像内容。具体的对比方式可以通过逐一对比用户界面图像中全部或部分像素点的颜色值来完成。

例如，通过遍历左显示的用户界面图像和右显示器的用户界面图像的每个像素点，并逐一对比每个像素点中的像素值，当全部像素点对应位置的颜色值均相同时，表示左显示器和右显示器显示的图像内容相同，即确定当点用户界面类型为第一类界面；同理，当通过对比确定有部分位置上的像素点颜色值不同，表示左显示器和右显示器显示的图像内容不同，即确定当前用户界面类型为第二类界面。

可见，在本实施例中，通过对比左显示器和右显示中显示内容是否相同，可以准确的检测当前显示的用户界面类型，从而缓解通过运行信息或片源类型信息判断用户界面类型时造成的误判，有利于实现截屏操作。

基于上述单目截屏方法，本申请的部分实施例中还提供一种虚拟现实设备500，如图7所示，所示虚拟现实设备500包括显示器和控制器，其中，所述显示器包括左显示器和右显示器，被配置为显示用户界面；所述控制器被配置为执行以下程序步骤：

接收用户输入的用于截屏的控制指令；

响应于所述控制指令，获取预设方向显示器的待渲染texture图像信息；所述预设方向显示器为左显示器或右显示器中的一个；

将所述texture图像信息保存为截屏图片文件。

由以上技术方案可知，上述实施例中提供的虚拟现实设备500可以在用户输入截屏的控制指令后，提取指定一侧显示器显示的，未渲染的texture图像信息，并保存为截屏图片文件，完成单目截屏操作。由于提取的texture图像信息尚未进行畸变处理，因此截屏获得的图像内容与实际展示的虚拟场景内容差异较小，解决传统截屏方法获得的图像差异大的问题。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种虚拟现实设备，其特征在于，包括：

显示器，包括左显示器和右显示器，被配置为显示用户界面；

控制器，被配置为：

接收用户输入的用于截屏的控制指令；

响应于所述控制指令，获取预设方向显示器的待渲染图像信息；所述预设方向显示器为左显示器或右显示器中的一个；

将所述图像信息保存为截屏图片文件。

2.根据权利要求1所述的虚拟现实设备，其特征在于，接收用户输入的用于截屏的控制指令步骤中，所述控制器被进一步配置为：

检测用户输入的按键组合动作；

如果所述按键组合动作与预设截屏按键组合动作相同，生成用于截屏的控制指令。

3.根据权利要求1所述的虚拟现实设备，其特征在于，获取预设方向显示器的待渲染图像信息的步骤中，所述控制器被进一步配置为：

将所述图像信息存储为Byte数组；

遍历当前***的文件保存路径；

如果所述当前***中包括预设位置的文件保存路径，将所述Byte数组保存为图片文件；

如果所述当前***中不包括预设位置的文件保存路径，在所述预设位置新建文件夹。

4.根据权利要求1所述的虚拟现实设备，其特征在于，将所述图像信息保存为图片文件的步骤中，所述控制器被进一步配置为：

检测所述截屏图片文件的保存进程；

如果所述截屏图片文件完成保存，生成数据库更新指令；

运行所述数据库更新指令，以使所述截屏图片文件能够显示在图片浏览界面中。

5.根据权利要求1所述的虚拟现实设备，其特征在于，接收用户输入的用于截屏的控制指令的步骤后，所述控制器被进一步配置为：

检测当前用户界面类型；

如果当前用户界面类型为第一类界面，通过操作***层的主线程对显示内容执行截屏；

如果当前用户界面类型为第二类界面，通过Unity层的协程执行响应于所述控制指令的步骤。

6.根据权利要求5所述的虚拟现实设备，其特征在于，所述第一类界面为2D界面；所述第二类界面为3D界面或360全景界面，检测当前用户界面类型的步骤中，所述控制器被进一步配置为：

对比左显示器和右显示器显示的用户界面图像；

如果所述左显示器和右显示器显示的用户界面图像相同，标记所述当前用户界面类型为第一类界面；

如果所述左显示器和右显示器显示的用户界面图像不同，标记所述当前用户界面类型为第二类界面。

7.根据权利要求5所述的虚拟现实设备，其特征在于，如果所述当前用户界面类型为第二类界面，所述控制器被进一步配置为：

通过所述操作***层向所述Unity层发送截屏事件，以通知所述Unity层执行响应于所述控制指令的步骤。

8.根据权利要求1所述的虚拟现实设备，其特征在于，获取预设方向显示器的待渲染图像信息的步骤中，所述控制器被进一步配置为：

获取显示数据流，所述显示数据流由预设方向显示器对应的虚拟相机针对unity 3D场景拍摄获得；

记录所述控制指令的输入时刻；

在所述显示数据流中提取texture图像信息，所述texture图像信息为所述显示数据流中所述输入时刻的对应帧图像。

9.一种单目截屏方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括左显示器和右显示器，所述单目截屏方法包括：

接收用户输入的用于截屏的控制指令；

响应于所述控制指令，获取预设方向显示器的待渲染图像信息；所述预设方向显示器为左显示器或右显示器中的一个；

将所述图像信息保存为截屏图片文件。

10.根据权利要求9所述的单目截屏方法，其特征在于，接收用户输入的用于截屏的控制指令的步骤包括：

检测当前用户界面类型；

如果当前用户界面类型为第一类界面，通过操作***层的主线程对显示内容执行截屏；

如果当前用户界面类型为第二类界面，通过Unity层的协程执行响应于所述控制指令的步骤。

Images