CN107358659B - 基于3d技术的多画面融合显示方法及存储设备 - Google Patents

Abstract

本发明涉及多媒体技术领域，公开了基于3D技术的多画面融合显示方法及存储设备，多画面融合显示方法包括步骤：预设3D显示场景，3D显示场景中包含有两个以上显示窗口；从同一终端的应用程序获取两个以上待显示的数据源，将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于3D显示场景中不同的显示窗口中；或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中。通过设定不同3D显示场景，实现各显示窗口不同显示效果，使得数据源的显示方式和效果都不再单一，让待显示的数据源融合到3D场景中，让数据源显示更逼真，有更强的沉浸感，浏览更方便，显示更多样化生动。

Description

基于3D技术的多画面融合显示方法及存储设备

技术领域

本发明涉及多媒体技术领域，特别是涉及一种基于3D技术的多画面融合显示方法及存储设备。

背景技术

随着屏幕技术的发展，人们对屏幕内容的展示效果要求越来越高，在多媒体技术领域中，主是要通过显示器、投影仪等显示设备完成信息的显示。而为了显示多个信息，通常可将显示屏幕划分成多个子窗口，并在每个子窗口中显示不同的信息。虽然在现有技术中可同时显示多个信息，但各信息的显示方式和效果非常单一，让使用者很容易产生视觉疲劳，且不便于浏览。

如视频播放，现有技术中最常用的方式就是直接将显示屏幕划分成多个方形子窗口，并在每个子窗口中显示视频信息，无法再实现其它更丰富更生动的显示应用效果，用户体验差。

发明内容

为此，需要提供一种基于3D技术的多画面融合显示方法，用于解决现有技术中显示多个信息时，各信息的显示方式和效果单一，不便于浏览的技术问题。

为实现上述目的，发明人提供了一种基于3D技术的多画面融合显示方法，具体的技术方案如下：

一种基于3D技术的多画面融合显示方法，包括以下步骤：预设3D显示场景，所述3D显示场景中包含有两个以上显示窗口，每个显示窗口位于3D 显示场景中不同或不完全相同的空间位置；从同一终端的应用程序获取两个以上待显示的数据源；将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中；或通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中。

进一步的，所述数据源包括应用程序实时输出的图片和/或声音。

进一步的，所述两个以上待显示的数据源由同一应用程序提供或由同一终端的不同应用程序分别提供。

进一步的，所述两个以上待显示的数据源由不同应用程序提供，所述“将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中”包括以下步骤：在显存中预设两个以上空间，不同空间对应不同的数据源和虚拟屏幕；将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景不同的显示窗口中。

进一步的，所述两个以上待显示的数据源由同一应用程序提供，所述“通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中”包括以下步骤：在3D显示场景中预设两个以上的坐标系，不同坐标系对应不同的数据源和显示窗口；通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中。

进一步的，还包括接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。

为实现上述目的，发明人还提供了一种存储设备，具体的技术方案如下：

一种存储设备，其中存储有指令集，所述指令集用于执行：预设3D显示场景，所述3D显示场景中包含有两个以上显示窗口，每个显示窗口位于3D 显示场景中不同或不完全相同的空间位置；从同一终端的应用程序获取两个以上待显示的数据源，将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中；或通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中。

进一步的，所述数据源包括应用程序实时输出的图片和/或声音。

进一步的，所述两个以上待显示的数据源由同一应用程序提供或由同一终端的不同应用程序分别提供。

进一步的，所述两个以上待显示的数据源由不同应用程序提供，所述“将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中”包括以下步骤：在显存中预设两个以上空间，不同空间对应不同的数据源和虚拟屏幕；将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景不同的显示窗口中。

进一步的，所述两个以上待显示的数据源由同一应用程序提供，所述“通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中”包括以下步骤：在3D显示场景中预设两个以上的坐标系，不同坐标系对应不同的数据源和显示窗口；通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中。

进一步的，所述指令集还用于执行：接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。

本发明的有益效果是：通过预设包含有两个以上显示窗口的3D显示场景，获取两个以上待显示的数据源，将不同的数据源先分别渲染到不同的虚拟屏幕中，再将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中，或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中；可通过设定不同的3D显示场景，实现各个显示窗口不同的个性化显示效果，使得数据源的显示方式和效果都不再单一，而是让待显示的数据源融合到3D场景中，让数据源显示更逼真，有更强的沉浸感，浏览更方便，显示更多样化生动；且数据源先渲染到不同的坐标系中，再显示于不同的显示窗口，通过渲染到不同坐标系中，将进一步确保数据源显示的真实感。

附图说明

图1为具体实施方式所述一种基于3D技术的多画面融合显示方法的流程图；

图2为具体实施方式所述3D显示场景为书本的示意图；

图3为具体实施方式所述3D显示场景为两台电视机的示意图；

图4为具体实施方式所述3D显示场景为KTV的示意图；

图4a为具体实施方式所述3D显示场景为舞台的显示效果的示意图；

图4b为具体实施方式所述3D显示场景为舞台的示意图；

图5为具体实施方式所述一种存储设备的模块图。

附图标记说明：

500、存储设备。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，在本实施方式中，一种基于3D技术的多画面融合显示方法，该多画面融合显示方法可实现在一个3D场景(或3D空间)中，同时显示两个以上的画面。该多画面融合显示方法可应用在支持同一屏幕多窗口显示数据源的设备上，如具有此功能的普通PC、移动端设备、可穿戴设备和车载智能终端等等。

基于3D技术的所述多画面融合显示方法具体的实现技术方案如下：

步骤S101：预设3D显示场景，所述3D显示场景中包含有两个以上显示窗口，其中，每个显示窗口位于3D显示场景中不同或不完全相同的空间位置，即各显示窗口在3D场景中可以是完全分隔开的，或者也可以是有部分重叠的。如：预设一个3D显示场景为KTV，该虚拟KTV中包含有点歌屏和多台电视，其中点歌屏即一个显示窗口，一台电视即一个显示窗口。

请参阅图2，所述显示窗口在3D显示场景中的空间位置，可如一本打开的书的前后页一样，空间位置不完全相同，存在部分重叠，同样所述显示窗口也可如打开的书的左右两页，空间位置完全不同，不存在任何重叠部分。当然也可以如图2所示，直接建立一个立体书本的3D显示场景，每一页书对应一个显示窗口，用户如同阅读书本一样查看不同显示窗口上的内容，内容显示生动丰富。

另外请参阅图3，所述3D显示场景为两台电视机，而显示窗口可呈现不同形状，如方形、爱心等等，可个性化调整显示窗口，使得显示更生动。预设好3D显示场景后，执行步骤S102：从同一终端的应用程序获取两个以上待显示的数据源。可采用如下方式：所述数据源包括应用程序实时输出的图片和/或声音。所述图片可以静态的图片，也可为包含有多个连续帧可进行播放的动态图片。其中所述两个以上待显示的数据源可由统同一应用程序提供或由同一终端的不同应用程序分别提供。在以下步骤S103和步骤S104中会对以上两种不同方式均进行说明。

获取好待显示的数据源后，执行步骤S103：将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中；或通过不同的坐标系将不同的数据源显示于3D 显示场景不同的显示窗口中。可采用如下方式：

若所述两个以上待显示的数据源由同一应用程序提供，可采用如下方式：在3D显示场景中预设两个以上的坐标系，不同坐标系对应不同的数据源和显示窗口，通过不同的坐标系将不同的数据源显示于3D显示场景中对应的显示窗口。所述坐标系系指一组3D对象的位置和渲染参考基准。在本实施方式中，所述坐标系优选为观察坐标系，观察坐标系亦称为摄影坐标系，观察坐标系的原点是在摄像机。一个摄像机对应一个观察坐标系，其中摄像机在原点，X 轴位于右方，Z轴向前(朝向屏幕内或摄像机方向)，Y轴向上(不是世界的上方而是摄像机本身的上方)。如：由同一浏览器提供不同的数据源，可为声音，可为画片，将这些不同的数据源渲染至对应的坐标系，即放置到对应的显存中，显存会将数据源直接显示到对应的显示窗口，每个显示窗口的坐标系均不一样。如图3所示的两台电视机则为两个显示窗口，而在两台电视机中各有独立的3D场景，每个3D场景都有独立摄像机(一个摄像机对应一个 3D坐标系)，其中，通过所述摄像机能够将其对应的同一3D坐标系的3D对象，独立渲染并将渲染最终结果显示到指定设备上(显示器或虚拟屏幕)，通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中，从而更新窗口画面。现有技术中，虽也有将同一应用程序的数据显示在不同窗口上，然而其不同窗口的坐标系是一样的，因此无法对数据的显示做调整，显示非常单一。而在本实施方式中，各显示窗口对应的坐标系是不一样，每个坐标系都是一个独立模块，显示区域内容可以方便更换不同坐标系显示结果，比如针对该显示区域当做全新屏幕使用，且单独应用多坐标系，程序架构灵活。因显示区域内容由单独坐标系实时更新、实时渲染，各显示区域可以互动，却又互不影响各自的显示，因此可通过调整坐标系使得同一应用程序的数据在不同窗口上做个性化显示，实现3D动画，使得数据源显示更形象、逼真生动，大大丰富显示画面。

若所述两个以上待显示的数据源由同一终端的不同应用程序分别提供，可采用如下方式：在显存中预设两个以上空间(在***中对不同空间进行不同的定义，使其可以被不同的应用程序所调用)，不同空间对应不同的数据源和虚拟屏幕；将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景中不同的显示窗口中，从而更新3D 场景中的窗口画面。该虚拟屏幕对应的是显存中的一个空间，其上的数据源无法直接在3D显示场景的显示窗口上显示，须将其复制再贴至所述3D显示场景中不同的显示窗口中，这与同一应用程序的数据源可直接通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中是不一样的。

如：由同一移动终端的浏览器、听歌软件和视频软件分别提供不同的数据源，将这些不同的数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景中不同的显示窗口中。通过以上方式，实现一屏多用，在同一屏幕上可以实现不同应用显示。实现屏幕扩展，如上述的一边刷网页、一边听歌、一边看视频、玩游戏等。不仅实现了更丰富的显示效果，而且节约显示成本。且不同应用完全由第三方提供，本实施方式实现了一个开放的平台，方便集成各种第三方应用。同样各显示窗口可以实现3D动画，丰富显示画面。

其中，将不同数据源渲染至对应的虚拟屏幕的实现方式之一可以为：将不同数据源渲染至不同的纹理。通过渲染到纹理，可进一步确保数据源显示的真实感。关于纹理的说明如下：

在计算机图形学中，所述纹理既包括通常意义上物体表面的纹理即使物体表面呈计算机图形学动物纹理现凹凸不平的沟纹，同时也可包括在物体的光滑表面上的彩色图案，通常我们更多地称之为花纹。对于花纹而言，就是在物体表面绘出彩色花纹或图案，产生了纹理后的物体表面依然光滑如故。对于沟纹而言，实际上也是要在表面绘出彩色花纹或图案，同时要求视觉上给人以凹凸不平感即可。在现实生活中实纹理的例子比比皆是，比如地板，墙面都是纹理。在图形学中，纹理主要是为了增强场景的真实感，如果绘制一个地面，简单的方法可以直接绘制一个矩形；稍微复杂一点可以使用多个三角形网格组合进行绘制；再复杂一些可以使用地面纹理进行绘制。通过纹理绘制，地面的真实感明显增强了。在计算机图形学中常用的软件如DX (DirectX)中，纹理映射其实就是对现实生活中纹理的模拟，D3D(Direct3D) 中有专门的数据结构来管理纹理。

常规的渲染操作是直接将场景呈现至backbuffer(backbuffer是Direct3D 设备实际进行描画的区域。backbuffer最终要显示在窗口中)中的，backbuffer 是一块内存，场景通过绘制函数载入显存后，再通过Present函数送至显示器。而在本实施方式中，是渲染到纹理，而不是直接渲染至backbuffer，具体包括如下步骤：a、创建纹理并获得纹理的表面(Surface)；b、将不同的数据源分别渲染到不同的纹理中。通过渲染到纹理，可实现一些特殊的效果，如常见的环境映射，即：如一个光滑的球体，它应该是可以反射周围环境的，这就是环境映射。

在其它实施方式中，还包括接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。可采用如下方式：不同终端通各自对录屏数据进行处理并编码，然后通过图像传输接口或网络发送录屏数据至其中一终端，该终端接收所述录屏数据，并对录屏数据进行解码，将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。如：在主机A中预设3D显示场景，将主机B中的录屏数据处理编码后发送至主机A中的3D显示场景中显示，有以下两种情况：

1、主机B的录屏数据可以通过图像传输接口直接输出给主机A，主机A 对录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中；

2、主机B将录屏数据实时编码，并将编码后的录屏数据通过网络发送至主机A，主机A对录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。

其他终端多个应用的录屏数据可通过发送到另一终端同时在另一终端的屏幕上进行显示，不仅方便集成第三方应用；而且实现屏幕扩展，让多个app 同时显示成为可能，实现更丰富显示效果、节约显示成本。且可实现不同用户将各自终端的录屏数据投屏到同一屏幕上显示，实现用户间同屏互动，如：比赛玩游戏或玩合作类游戏。同样各显示窗口可以实现3D动画，丰富显示画面。

在本实施方式中，也可以是多个主机的录屏数据发送至主机A的3D显示场景中进行显示。实现不同用户将各自终端的录屏数据投屏到同一屏幕上显示的效果，实现屏幕扩展，让多个app同时显示成为可能，且实现用户间同屏互动，如：比赛玩游戏或玩合作类游戏。实现不同终端app显示，根据终端性能，用一块大屏幕扩展显示更多app，实现更丰富显示效果、节约显示成本。同样各显示窗口可以实现3D动画，丰富显示画面。以上所有情况可使用其中一种也可多种同时使用。

通过以上方式，可实现在同一个屏幕上显示多个输入源信息。且采用多应用程序或多主机形式则将不同的输入源开放给不同的开发商制作，有利于资源整合。

请参阅图4，如最后可实现如下的一种情况：用户可以在虚拟KTV场景中的点歌屏上点歌，看着一台虚拟电视A唱歌；虚拟电视B运行游戏，用户可以通过主机的交互手段玩游戏；用户可以通过虚拟电视C播放由其他手机上电影程序观看电影等等。其中各个显示窗口中数据源的显示是相互独立、互不影响的，且通过3D场景，使得各个显示窗口可针对各自要显示的数据源进行个性化的显示，不仅会使其显示更加生动立体，而且会大大丰富其内容的显示，增加观看的趣味性。如图4a和图4b所示，以舞台的3D场景为背景，其上有三个显示窗口，一个显示足球比赛，一个显示歌曲视频，一个呈现点歌屏效果，各个窗口针对自己显示的数据均进行了个性化的显示，整个显示效果立体生动，趣味性足。

通过预设包含有两个以上显示窗口的3D显示场景，获取两个以上待显示的数据源，将不同的数据源先分别渲染到不同的虚拟屏幕中，再将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中，或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中；可通过设定不同的3D显示场景，实现各个显示窗口不同的个性化显示效果，使得数据源的显示方式和效果都不再单一，而是让待显示的数据源融合到3D 场景中，让数据源显示更逼真，有更强的沉浸感，浏览更方便，显示更多样化生动；且数据源先渲染到不同的坐标系中，再显示于不同的显示窗口，通过渲染到不同坐标系中，将进一步确保数据源显示的真实感。

在本实施方式中，在将不同的数据源分别渲染到不同的虚拟屏幕，或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中前，对所述数据源的大小格式进行适配处理，使其最终可在显示窗口上适配显示；在其它实施方式中，也可先将不同的数据源分别渲染到不同的虚拟屏幕上，再对渲染后得到的虚拟屏幕显示结果大小进行适配处理，使其最终可在显示窗口上适配显示。

请参阅图5，在本实施方式中，一种存储设备500的具体实现技术方案如下：

一种存储设备500，其中存储有指令集，所述指令集用于执行：预设3D 显示场景，所述3D显示场景中包含有两个以上显示窗口，每个显示窗口位于 3D显示场景中不同或不完全相同的空间位置；从同一终端的应用程序获取两个以上待显示的数据源，将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中；或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中。

所述数据源包括应用程序实时输出的图片和/或声音。

所述两个以上待显示的数据源由同一应用程序提供或由同一终端的不同应用程序分别提供。

所述两个以上待显示的数据源由不同应用程序提供，所述“将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中”包括以下步骤：在显存中预设两个以上空间，不同空间对应不同的数据源和虚拟屏幕；将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景中不同的显示窗口中。

所述两个以上待显示的数据源由同一应用程序提供，所述“通过不同的坐标系将不同的数据源显示于3D显示场景不同的显示窗口中”包括以下步骤：在3D显示场景中预设两个以上的坐标系，不同坐标系对应不同的数据源和显示窗口；将不同数据源渲染至对应的坐标系中，使渲染后得到的虚拟屏幕显示结果显示于3D显示场景中对应的显示窗口。

所述指令集还用于执行：接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于 3D显示场景的显示窗口中。

其中预设3D显示场景，可采用如下方式：所述3D显示场景中包含有两个以上显示窗口，其中，每个显示窗口位于3D显示场景中不同或不完全相同的空间位置，即各显示窗口在3D场景中可以是完全分隔开的，或者也可以是有部分重叠的。如：预设一个3D显示场景为KTV，该虚拟KTV中包含有点歌屏和多台电视，其中点歌屏即一个显示窗口，一台电视即一个显示窗口。请参阅图2，所述显示窗口在3D显示场景中的空间位置，可如一本打开的书的前后页一样，空间位置不完全相同，存在部分重叠，同样所述显示窗口也可如打开的书的左右两页，空间位置完全不同，不存在任何重叠部分。当然也可以如图2所示，直接建立一个立体书本的3D显示场景，每一页书对应一个显示窗口，用户如同阅读书本一样查看不同显示窗口上的内容，内容显示生动丰富。另外请参阅图3，所述3D显示场景为两台电视机，而显示窗口可呈现不同形状，如方形、爱心等等，可个性化调整显示窗口，使得显示更生动。

预设好3D显示场景后，获取两个以上待显示的数据源。可采用如下方式：所述数据源包括应用程序实时输出的图片和/或声音。其中所述两个以上待显示的数据源可由统同一应用程序提供或由同一终端的不同应用程序分别提供。

获取好待显示的数据源后，将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中；或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中。可采用如下方式：

若所述两个以上待显示的数据源由同一应用程序提供，可采用如下方式：在3D显示场景中预设两个以上的坐标系，不同坐标系对应不同的数据源和显示窗口，通过不同的坐标系将不同的数据源显示于3D显示场景中对应的显示窗口。所述坐标系系指一组3D对象的位置和渲染参考基准。在本实施方式中，所述坐标系优选为观察坐标系，观察坐标系亦称为摄影坐标系，观察坐标系的原点是在摄像机。一个摄像机对应一个观察坐标系，其中摄像机在原点，X 轴位于右方，Z轴向前(朝向屏幕内或摄像机方向)，Y轴向上(不是世界的上方而是摄像机本身的上方)。如：由同一浏览器提供不同的数据源，可为声音，可为画片，将这些不同的数据源渲染至对应的坐标系，即放置到对应的显存中，该显存可将数据源直接显示到对应的显示窗口，每个显示窗口的坐标系均不一样。如图3所示的两台电视机则为两个显示窗口，而在两台电视机中各有独立的3D场景，每个3D场景都有独立摄像机(一个摄像机对应一个3D坐标系)，其中，通过所述摄像机能够将其对应的同一3D坐标系的3D 对象，独立渲染并将渲染最终结果显示到指定设备上(显示器或虚拟屏幕)，通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中，从而更新窗口画面。现有技术中，虽也有将同一应用程序的数据显示在不同窗口上，然而其不同窗口的坐标系是一样的，因此无法对数据的显示做调整，显示非常单一。而在本实施方式中，各显示窗口对应的坐标系是不一样，每个坐标系都是一个独立模块，显示区域内容可以方便更换不同坐标系显示结果，比如针对该显示区域当做全新屏幕使用，且单独应用多坐标系，程序架构灵活。因显示区域内容由单独坐标系实时更新、实时渲染，各显示区域可以互动，却又互不影响各自的显示，因此可通过调整坐标系使得同一应用程序的数据在不同窗口上做个性化显示，实现3D动画，使得数据源显示更形象、逼真生动，大大丰富显示画面。

若所述两个以上待显示的数据源由同一终端的不同应用程序分别提供，可采用如下方式：在显存中预设两个以上空间(在***中对不同空间进行不同的定义，使其可以被不同的应用程序所调用)，不同空间对应不同的数据源和虚拟屏幕；将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景中不同的显示窗口中，从而更新3D 场景中的窗口画面。该虚拟屏幕对应的是显存中的一个空间，其上的数据源无法直接在3D显示场景的显示窗口上显示，须将其复制再贴至所述3D显示场景中不同的显示窗口中，这与同一应用程序的数据源可直接通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中是不一样的。

如：由同一移动终端的浏览器、听歌软件和视频软件分别提供不同的数据源，将这些不同的数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景中不同的显示窗口中。通过以上方式，实现一屏多用，在同一屏幕上可以实现不同应用显示。实现屏幕扩展，如上述的一边刷网页、一边听歌、一边看视频、玩游戏等。不仅实现了更丰富的显示效果，而且节约显示成本。且不同应用完全由第三方提供，本实施方式实现了一个开放的平台，方便集成各种第三方应用。同样各显示窗口可以实现3D动画，丰富显示画面。其中，将不同数据源渲染至对应的虚拟屏幕的实现方式之一可以为：将不同数据源渲染至不同的纹理。通过渲染到纹理，可进一步确保数据源显示的真实感。

在其它实施方式中，还包括接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。可采用如下方式：不同终端通各自对录屏数据进行处理并编码，然后通过图像传输接口或网络发送录屏数据至其中一终端，该终端接收所述录屏数据，并对录屏数据进行解码，将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。如：在主机A中预设3D显示场景，将主机B中的录屏数据处理编码后发送至主机A中的3D显示场景中显示，有以下两种情况：

1、主机B的录屏数据可以通过图像传输接口直接输出给主机A，主机A 对录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中；

2、主机B将录屏数据实时编码，并将编码后的录屏数据通过网络发送至主机A，主机A对录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。

其他终端多个应用的录屏数据可通过发送到另一终端同时在另一终端的屏幕上进行显示，不仅方便集成第三方应用；而且实现屏幕扩展，让多个app 同时显示成为可能，实现更丰富显示效果、节约显示成本。且可实现不同用户将各自终端的录屏数据投屏到同一屏幕上显示，实现用户间同屏互动，如：比赛玩游戏或玩合作类游戏。同样各显示窗口可以实现3D动画，丰富显示画面。

在本实施方式中，也可以是多个主机的录屏数据发送至主机A的3D显示场景中进行显示。实现不同用户将各自终端的录屏数据投屏到同一屏幕上显示的效果，实现屏幕扩展，让多个app同时显示成为可能，且实现用户间同屏互动，如：比赛玩游戏或玩合作类游戏。实现不同终端app显示，根据终端性能，用一块大屏幕扩展显示更多app，实现更丰富显示效果、节约显示成本。同样各显示窗口可以实现3D动画，丰富显示画面。以上所有情况可使用其中一种也可多种同时使用。

通过以上方式，可实现在同一个屏幕上显示多个输入源信息。且采用多应用程序或多主机形式则将不同的输入源开放给不同的开发商制作，有利于资源整合。

请参阅图4，如最后可实现如下的一种情况：用户可以在虚拟KTV场景中的点歌屏上点歌，看着一台虚拟电视A唱歌；虚拟电视B运行游戏，用户可以通过主机的交互手段玩游戏；用户可以通过虚拟电视C播放由其他手机上电影程序观看电影等等。其中各个显示窗口中数据源的显示互不影响，且通过3D场景，使得各个显示窗口中数据源的显示更加生动立体。如图4a和图4b所示，以舞台的3D场景为背景，其上有三个显示窗口，一个显示足球比赛，一个显示歌曲视频，一个呈现点歌屏效果，各个窗口针对自己显示的数据均进行了个性化的显示，整个显示效果立体生动，趣味性足。

通过预设包含有两个以上显示窗口的3D显示场景，获取两个以上待显示的数据源，将不同的数据源先分别渲染到不同的虚拟屏幕中，再将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景中不同的显示窗口中，或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中；可通过设定不同的3D显示场景，实现各个显示窗口不同的个性化显示效果，使得数据源的显示方式和效果都不再单一，而是让待显示的数据源融合到3D 场景中，让数据源显示更逼真，有更强的沉浸感，浏览更方便，显示更多样化生动；且数据源先渲染到不同的坐标系中，再显示于不同的显示窗口，通过渲染到不同坐标系中，将进一步确保数据源显示的真实感。

在本实施方式中，在将不同的数据源分别渲染到不同的虚拟屏幕，或通过不同的坐标系将不同的数据源显示于3D显示场景中不同的显示窗口中前，对所述数据源的大小格式进行适配处理，使其最终可在显示窗口上适配显示；在其它实施方式中，也可先将不同的数据源分别渲染到不同的虚拟屏幕上，再对渲染后得到的虚拟屏幕显示结果大小进行适配处理，使其最终可在显示窗口上适配显示。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于3D技术的多画面融合显示方法，其特征在于，包括以下步骤：

预设3D显示场景，所述3D显示场景中包含有两个以上显示窗口，每个显示窗口位于3D显示场景中不同或不完全相同的空间位置，每个显示窗口的坐标系均不一样；

从同一终端的应用程序获取两个以上待显示的数据源；

通过渲染至不同的纹理将不同的数据源分别渲染到不同的虚拟屏幕中，所述虚拟屏幕对应的是显存中的一个空间，虚拟屏幕的数据不直接在3D显示场景的显示窗口上显示；

将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中，具体包括将渲染后得到的虚拟屏幕显示结果复制再贴至所述3D显示场景中不同的显示窗口中，让待显示的数据源融合到3D场景中，其中，数据源先渲染到不同的坐标系中，再显示于不同的显示窗口。

2.根据权利要求1所述的多画面融合显示方法，其特征在于，所述数据源包括应用程序实时输出的图片和/或声音。

3.根据权利要求1所述的多画面融合显示方法，其特征在于，所述两个以上待显示的数据源由同一应用程序提供或由同一终端的不同应用程序分别提供。

4.根据权利要求3所述的多画面融合显示方法，其特征在于，所述两个以上待显示的数据源由不同应用程序提供，所述“将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中”包括以下步骤：

在显存中预设两个以上空间，不同空间对应不同的数据源和虚拟屏幕；

将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；

分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景中不同的显示窗口中。

5.根据权利要求1所述的多画面融合显示方法，其特征在于，还包括接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。

6.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：

预设3D显示场景，所述3D显示场景中包含有两个以上显示窗口，每个显示窗口位于3D显示场景中不同或不完全相同的空间位置，每个显示窗口的坐标系均不一样；

从同一终端的应用程序获取两个以上待显示的数据源，通过渲染至不同的纹理将不同的数据源分别渲染到不同的虚拟屏幕中，所述虚拟屏幕对应的是显存中的一个空间，虚拟屏幕的数据不直接在3D显示场景的显示窗口上显示；

将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中，具体包括将渲染后得到的虚拟屏幕显示结果复制再贴至所述3D显示场景中不同的显示窗口中，让待显示的数据源融合到3D场景中，其中，数据源先渲染到不同的坐标系中，再显示于不同的显示窗口。

7.根据权利要求6所述的存储设备，其特征在于，所述数据源包括应用程序实时输出的图片和/或声音。

8.根据权利要求6所述的存储设备，其特征在于，所述两个以上待显示的数据源由同一应用程序提供或由同一终端的不同应用程序分别提供。

9.根据权利要求8所述的存储设备，其特征在于，所述两个以上待显示的数据源由不同应用程序提供，所述“将不同的数据源分别渲染到不同的虚拟屏幕中，将渲染后得到的虚拟屏幕显示结果分别显示于所述3D显示场景不同的显示窗口中”包括以下步骤：

在显存中预设两个以上空间，不同空间对应不同的数据源和虚拟屏幕；

将不同数据源渲染至对应的虚拟屏幕，并将虚拟屏幕的显示结果分别存储于显存对应的空间中；

分别从显存的不同空间复制渲染后的虚拟屏幕显示结果，并贴至所述3D显示场景不同的显示窗口中。

10.根据权利要求6所述的存储设备，其特征在于，所述指令集还用于执行：

接收其他终端通过图像传输接口或网络发送的录屏数据，并将录屏数据进行解码，以及将解码得到的图片和/或声音显示于3D显示场景的显示窗口中。

Images