CN116778121A - 一种虚拟屏幕书写操控合成***及方法 - Google Patents

Abstract

本发明公开了一种虚拟屏幕书写操控合成***及方法，属于在线电子演示领域。主要包括透明虚拟书写操控板，用于透过其对演示者进行拍摄，并获取演示者在其表面的书写操控动作轨迹数据；摄像设备，用于对演示者的书写操控动作进行拍摄得到书写操控动作图像数据；演示设备，用于提供演示画面；采集设备，用于采集书写操控动作轨迹数据、书写操控动作图像数据以及演示画面；虚拟画面合成设备，用于对书写操控动作轨迹数据，书写操控动作图像数据，以及演示画面，进行处理和匹配合成得到虚拟展示画面；以及显示设备，用于显示虚拟展示画面以对演示者提供参考提示。本发明能够利于提高在线演示的演示效果，改善用户体验。

Description

一种虚拟屏幕书写操控合成***及方法

技术领域

本发明涉及在线电子演示技术领域，尤其涉及一种虚拟屏幕书写操控合成***及方法。

背景技术

目前在在线直播课程等远程电子演示的应用中，演示者利用现有技术中的可屏写电脑或电子书写板等方法在演示课件或其它画板软件上进行书写时或操控时，只能看到书写笔迹或光标，而无法看到像课堂里老师在黑板上板书和操控的场景，也看不到老师的面部表情和肢体语言。也有使用可屏幕书写的电子大屏，再在电子大屏前放一个摄像机实景拍摄老师在大屏上的书写过程，这个和在课堂里拍摄老师在写黑板一样，只是普通黑板换成了电子大屏而已，书写时不仅要背对观演者，而且拍摄的演示画面也不清楚。

发明内容

本发明实施例提供一种虚拟屏幕书写操控合成***及方法，利用透明虚拟书写操控板、摄像设备、采集设备、演示设备和虚拟合成设备，获取书写或操控轨迹数据的同时获取书写或操控动作画面数据和演示画面，并进行合成，从而在保证演示画面清晰的前提下，使得演示者能够面对观演者进行相应书写及操控，提高演示效果，观演者能看到如同演示者在屏幕上书写或操控的虚拟画面。其应用具有AR效果和元宇宙场景。

第一方面，本发明实施例提供一种虚拟屏幕书写操控合成***及方法，包括：透明虚拟书写操控板，包括透明板材以及轨迹提取装置，所述透明板材用于演示者在其表面进行书写操控动作，以及透过所述透明板材进行拍摄；所述轨迹提取装置为非遮挡装置，用于获取所述演示者在透明板材表面的书写操控动作轨迹数据；摄像设备，用于透过所述透明虚拟书写操控板对所述演示者的书写操控动作进行拍摄，得到与所述书写操控动作轨迹数据相应的书写操控动作图像数据；演示设备，用于为所述演示者提供需要进行演示的演示画面；采集设备，用于分别从所述透明虚拟书写操控板、所述摄像设备以及所述演示设备，对应采集所述书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面；虚拟画面合成设备，用于对所述书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面，进行处理和匹配合成得到用于向观众展示的虚拟展示画面；以及显示设备，用于对所述虚拟展示画面进行显示，进而利用所述虚拟展示画面，对所述演示者在所述透明虚拟书写操控板表面进行的所述书写操控动作提供参考提示。

第二方面，本发明实施例提供一种虚拟屏幕书写操控合成方法，包括：

利用透明虚拟书写操控板获取演示者在所述透明虚拟书写操控板表面进行书写操控动作过程中的书写操控动作轨迹数据，其中所述透明虚拟书写操控板，包括透明板材以及非遮挡的轨迹提取装置；利用摄像设备透过所述透明虚拟书写操控板对所述演示者的书写操控动作进行拍摄，得到与所述书写操控动作轨迹数据相应的书写控制动作图像数据；利用演示设备为所述演示者提供需要进行演示的演示画面；利用采集设备分别从所述透明虚拟书写操控板、所述摄像设备以及所述演示设备，采集所述书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面；利用虚拟画面合成设备对所述采集设备采集获取的所述书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行处理匹配合成得到虚拟展示画面；以及利用显示设备对所述虚拟展示画面进行显示，进而利用所述虚拟展示画面，对所述演示者在所述透明虚拟书写操控板表面进行的所述书写操控动作提供参考提示。

本发明实施例中，所提供的虚拟屏幕书写操控合成***及方法，使得在线演示的过程中，能够利用透明虚拟书写操控板，直接获取清晰的演示课件画面、演示者的书写笔迹、操控轨迹，同时获取演示者的正面演示动作，使得演示者能够面向摄像设备即观演者，使得书写笔迹和操控轨迹与演示者的书写动作和操控动作能够完全吻合，从而使得观演者有身临其境的观演体验，提高演示效果，改善用户体验，同时展示演示者的面部表情和肢体语言。而且还具有AR效果和元宇宙场景。

附图说明

图1是本发明一种虚拟屏幕书写操控合成***的一个具体实施例的流程示意图；

图2是本发明一种虚拟屏幕书写操控合成***的一个具体实施例的流程示意图；

图3是本发明一种虚拟屏幕书写操控合成***的一个具体实施例的流程示意图；

图4是本发明一种虚拟屏幕书写操控合成***的一个具体实施例的流程示意图；

图5是本发明一种虚拟屏幕书写操控合成***的一个具体实施例的流程示意图；

图6是本发明一种虚拟屏幕书写操控合成***的一个具体实施例中的透明虚拟书写操控板及其连接示意图；

图7是本发明一种虚拟屏幕书写操控合成方法的一个具体实施方式的流程示意图；

附图标记：

1-透明虚拟书写操控板；2-摄像机；3-采集设备；4-虚拟画面合成设备；5-显示器；6-绿幕；7-提词器；8-透明板材；9-红外触控框；10-电容触控膜；11-演示设备。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

目前在在线直播课程等远程电子演示的应用中，演示者利用现有技术中的可屏写电脑或电子书写板等演示中的书写或者操控时，观演者只能看到书写笔迹或光标，而无法看到像课堂里老师在黑板上板书和操控的场景，也看不到演示者的肢体语言。如果用可屏幕书写的电子大屏，再在电子大屏前放一个摄像机实景拍摄演示者在大屏上的书写过程，书写时不仅要背对观演者，而且拍摄的演示画面也不清楚。远程互动时，通常只有远端人员的声音，无法看到人像，更不能同屏书写。

为了实现在线演示中书写笔迹、操控和演示者的书写姿态和操控动作的拼接，让演示者正对屏幕书写、操控，看起来就像在屏幕上书写、操控一样，本发明提供了一种虚拟屏幕书写操控合成***及方法来实现这种场景。

在本发明的一个具体实施方式中，本发明的虚拟屏幕书写操控合成***包括：透明虚拟书写操控板，包括透明板材以及轨迹提取装置，透明板材用于演示者在其表面进行书写操控动作，以及透过透明板材进行拍摄；轨迹提取装置为非遮挡装置，用于获取演示者在透明板材表面的书写操控动作轨迹数据；摄像设备，用于透过透明虚拟书写操控板对演示者的书写操控动作进行拍摄，得到与书写操控动作轨迹数据相应的书写操控动作图像数据；采集设备，用于分别从透明虚拟书写操控板、摄像设备以及演示设备，采集书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面；虚拟画面合成设备，用于对书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行匹配合成得到虚拟展示画面；以及，显示设备，用于显示操控画面和演示画面，对虚拟展示画面进行显示，进而利用虚拟展示画面，对演示者在透明虚拟书写操控板表面进行的书写操控动作提供参考提示。

本发明虚拟屏幕书写操控合成***，能够使在线演示的过程中，利用透明虚拟书写操控板，直接获取清晰的演示课件画面、演示者的书写笔迹、操控轨迹，同时获取演示者的正面演示动作，使得书写笔迹和操控轨迹与演示者的书写动作和操控动作能够完全吻合，使得演示者能够始终面向观演者，从而使得观演者有全场景的观演体验，提高演示效果，改善用户体验，尤其在在线教学的场景中，使得课堂学习气氛更加易于调动，提高教学质量。在更多的应用场景中，还能具有AR效果和元宇宙效果。

具体的，上述采集设备可以是包含电脑、软件、采集卡和摄像设备等各种处理和获取必要信息的组合设备。

具体的，书写操控动作包括演示者及其书写的动作和操控的动作，相应的书写操控轨迹包括书写轨迹以及操控轨迹信息。书写轨迹包括演示者在演示过程中随时书写的字迹、图画等信息。操控轨迹包括演示者打开或使用软件的信息，例如演示者点击演示界面图标、点击各种菜单按钮、输入、选择、设置选项、调节参数和编辑等各种操控过程信息。书写操控动作可由摄像设备获取，书写操控轨迹可由透明虚拟书写操控板获取。

在本发明的可选具体实施例中，上述透明虚拟书写操控板包括多个轨迹提取装置，多个轨迹提取装置包括沿透明板材的四周边缘设置的红外触控框，和/或粘贴在透明板材上的透明电容触控膜。

具体的，在虚拟合成的视频画面里，可能多个书写操控界面会同时呈现或套叠，即多层多操控窗口，而且画面窗口的大小也可能不一样，为了操作另外一层或多层窗口，就需要另外一个或多个书写或操控信息提取装置。

在本发明的一个可选实例中，可以选用包含红外触控框和电容触控膜的多触控窗口的透明虚拟书写操控板，实现在多窗口书写操控同时进行。图6示出了轨迹提取装置包括一个红外触控框以及两个电容触控膜的窗口书写操控的情形，其中连接线仅表示书写操控信息的对应关系，内部窗口表示触控感应区域。

在本发明的一个可选实例中，上述多窗口书写操控也可以使用仅含电容触控膜的透明虚拟书写操控板实现，具体的，电容触控膜的参数设置也能使得在最终虚拟合成的画面中，呈现出多个窗口画面被分别书写操控的效果。

在本发明的一个可选实例中，上述多窗口书写操控也可以使用仅含红外触控框的透明虚拟书写操控板实现，具体的，红外触控框的参数设置也能使得在最终虚拟合成的画面中，呈现出多个窗口画面被分别书写操控的效果。

在实际应用场景中，透明书写操控板及其轨迹提取装置的形状尺寸和性能可以根据计算机设备的参数、摄像设备的参数和使用要求等进行配置，例如电脑画面的屏幕比，电脑屏幕的分辨率，摄像机的焦距、视场、几何画面还原度及画面分辨率等参数，竖屏或横屏显示，以及触控设备的分辨率和触控点数等。

在本发明的可选实施例中，上述摄像设备还包括抠像装置，该抠像装置用于对演示者进行抠像。具体的，上述抠像装置可以包括抠像布，该抠像布设置于演示者身后，抠像装置的设置能够利于后期在获取演示者的书写控制动作时进行抠像，得到只包括演示者的肢体图像。可选的，上述抠像布为绿幕。可选的，对智能抠像装置，也可以不用抠像布。

在本发明的可选具体实施例中，上述摄像设备包括一台摄像机如图1所示，摄像机设置于演示者的正前方，透明虚拟书写操控板位于摄像机与演示者之间。因为虚拟书写操控板是透明的，因此，将其设置于摄像机于演示者之间也可以正常对演示者的动作进行拍摄，以便于后续将演示者的书写动作和操控动作与相应书写轨迹和操控轨迹信息进行匹配合成。

具体的，上述摄像机可以选用镜像摄像头对演示者的演示动作进行拍摄，以利于后期轨迹与动作的匹配合成。

在本发明的可选具体实施例中，上述摄像设备可以包括多台摄像机，位置可在正前方监视器的上下左右侧方，以利于后续将不同方位拍摄的演示者画面进行合成，获得更好的虚拟合成画面效果。

在本发明的可选具体实施例中，上述摄像设备可以包括各种摄像机、会议摄像头、监控摄像头、照相机、电脑摄像头、网络摄像头和手机摄像头等各种影像或图像采集设备。在实际使用场景中，可以根据对摄像机的焦距、视场、几何画面还原度及画面分辨率等需求配置合适的摄像设备。

在本发明的可选具体实施例中，上述演示设备包括一台或多台计算机设备。

具体的，上述演示设备包括的一台或多台计算机设备可以提供需要演示的书写操控画面。通过透明虚拟书写操控板来操控显示设备上的画面，包括输入、点击、打开及操控软件、选择、设置选项和编辑等各种操作，以及在演示画面上书写。

具体的，对于包括多台计算机设备的情况，不同计算机设备可以用于提供不同的需要进行演示的画面，例如可以包括进行授课时需要展示课件画面、学生所提出的问题页面等。

在本发明的可选具体实施例中，上述虚拟画面合成设备可以包括一台或多台配置有相关软件的合成功能计算机。

在本发明的可选具体实施例中，前述对书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面，进行处理和匹配合成的方法可以包括多种方法。具体可以是，将透明虚拟书写操控板上的书写轨迹数据直接在演示画面上显示为书写笔迹；还可以是上将透明虚拟书写操控板上的书写轨迹数据独立提取出来，再合成到演示画面上显示书写笔迹。

具体的，在一些具体使用场景中虚拟画面合成设备需要一台合成功能计算机。合成功能计算机设备只包括一台合成功能计算机时，透明虚拟书写操控板、摄像设备和采集设备等都仅连接到该合成功能计算机，此时该合成功能计算机兼有演示设备、监视设备、显示设备和虚拟画面合成设备等各种功能于一体，能够整体节约***成本。

在本发明的可选具体实施例中，上述虚拟画面合成设备包括多台合成功能计算机。具体的，若虚拟画面合成设备包括有多台合成功能计算机，则可以分别用于处理不同的数据信息，例如用一台合成功能计算机用于处理书写轨迹和/或操控动作轨迹数据信息，利用另外一台用于处理摄像机所拍摄的图像数据并进行数据合成。这样能够提高合成功能计算机设备的处理效率，避免卡顿以及不匹配等现象。

具体的，上述多台合成功能计算机可以连接在一起，并设置其中一个为主控合成功能计算机。

具体的，上述虚拟画面合成设备包括的合成功能计算机上可以预先安装有所需要的专业软件，例如抠图软件，专业轨迹动作合成软件等。

在本发明的可选实施例中，显示设备包括一个或多个监视器，其中一个监视器设置于演示者的正前方，摄像机位于正前方的监视器与透明虚拟书写操控板之间。显示设备包括一个监视器的情形如图1所示。

具体的，监视器作为显示设备，上面的画面是利用专业合成软件对书写操控动作轨迹数据，以及相应的书写操控制动作图像数据进行匹配合成得到虚拟展示画面，是最终需要的画面，可以录制或推流。该画面包括演示画面，书写笔迹、电脑或软件画面、人像及书写或操控的动态姿势、图片和视频等等，一部分画面是计算机上的画面，会实时变化。监视器上的画面用作演示者进行各种书写和操作的参考画面时，演示者透过透明虚拟书写操控板就可以看到监视器画面，作为参考就可以决定在透明虚拟书写操控板上写什么，在哪里写，操作什么，点击什么，打开什么，就像平时在电脑上操作一样，但实际的操作是在透明虚拟书写操控板上进行的。

当有一个监视器作为演示者参考时，难免会出现演示者盯着一个地方不自然的情况。因此可以设置多个监视器，使得演示者可以改变目光视角，达到演示者看着虚拟笔迹的自然效果。

由于监视器不透光，因此需要将摄像机放置于监视器之前，与透明虚拟书写操控板之间，避免影响对演示者演示动作的拍摄。

在本发明的可选具体实施例中，上述显示设备包括一个或多个监视器，其中一个监视器套设于摄像机之上，显示设备包括一个套设的监视器场景如图2及图3所示。

由于监视器不透光，因此可以选择具有通孔的拼接屏或挖孔屏监视器，与摄像机进行套设。

可选的，可以对具有通孔的拼接屏或挖孔屏的监视器以及摄像机进行集装整合得到一个整合体，如图2所示，以利于***的安装和操作。

可选的，可以对具有通孔的拼接屏或挖孔屏的监视器，摄像机以及透明虚拟书写操控板进行集装整合得到一个整合体，如图3所示，以在使用的时候能够更加便利。

可选的，监视器也可以选择拼接屏模式，也可以将摄像机与之整合为一体。

可选的，监视器也可以选择投影屏模式，也可以将摄像机与之整合为一体。

在本发明的可选实施例中，显示设备包括一个或多个提词器架构设备，其中一个提词器架构设备设置于演示者的正前方，位于摄像机以及演示者之间，显示设备包括一个提词器架构设备的场景如图4及图5所示。

具体的，前述的提词器或提词器构架设备包含显示器，分光镜，遮光罩及支架等部件。

可选的，上述提词器架构中的显示器与分光镜的摆放位置可根据需要设置，显示器可以在分光镜的上下左右位置，相应的可能是横屏或竖屏显示。

可选的，可以对摄像机以及提词器构架的设备进行集装整合得到一个整合体，如图4所示，以利于***的安装、操作和使用。

可选的，可以对提词器构架的设备，摄像机以及透明虚拟书写操控板进行集装整合得到一个整合体，如图5所示，以在使用的时候能够更加便于安装操作。

具体的，在利用提词器构架的设备作为显示设备时，可以利用遮光罩等遮光设备对提词器的分光镜进行遮光，使得显示画面能清楚明晰。

在本发明的一个具体实施例中，本发明一种虚拟屏幕书写操控合成***中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

在本发明的一个具体实施例中，两个或多个远程虚拟屏幕书写操控合成***可以通过网络连接起来，远端的演示画面、监视画面、摄像设备和虚拟合成画面等可以通过网络相互被采集，再叠加合成为新的虚拟合成画面，新的虚拟画面中可以有两个或以上的演示者进行书写和/或操控。

可选的，透明虚拟书写操控板、摄像设备、演示画面和虚拟画面合成设备需要进行参数匹配，包括摄像设备的焦距、视场和离透明虚拟书写操控板的距离，与所述透明虚拟书写操控板的尺寸、感应和/或触控区域，以及虚拟合成画面中各图像位置和/或比例。

图7示出了本发明一种虚拟屏幕书写操控合成方法的一个具体实施方式。

在图7示出的虚拟屏幕书写操控合成方法的具体实施方式中，包括：

过程S701,利用透明虚拟书写操控板获取演示者在透明虚拟书写操控板表面进行书写操控动作过程中的书写操控动作轨迹数据，其中透明虚拟书写操控板，包括透明板材以及非遮挡的轨迹提取装置；

过程S702,利用摄像设备透过透明虚拟书写操控板对演示者的书写操控动作进行拍摄，得到与书写操控动作轨迹数据相应的书写控制动作图像数据；

过程S703,利用演示设备为演示者提供需要进行演示的演示画面；

过程S704,利用采集设备分别从透明虚拟书写操控板、摄像设备以及演示设备，采集书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面；

过程S705,利用虚拟画面合成设备对采集设备采集获取的书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行处理匹配合成得到虚拟展示画面；以及

过程S706,利用显示设备对虚拟展示画面进行显示，进而利用虚拟展示画面，对演示者在透明虚拟书写操控板表面进行的书写操控动作提供参考提示。

本发明方法能够使在线演示的过程中，利用透明虚拟书写操控板和采集设备等，直接获取清晰的演示课件画面、演示者的书写笔迹、操控轨迹，同时获取演示者的正面演示动作与影像，使得演示者能够面向摄像设备即观演者，使得书写笔迹和操控信息与演示者的书写动作和操控动作能够完全无缝匹配合成，从而使得观演者具有全场景的观演体验，提高演示效果，改善用户体验，尤其在在线教学的场景中，使得学习气氛更加易于调动，提高教学质量。在更多的应用场景里，具有AR效果和元宇宙效果。

过程S701表示的利用透明虚拟书写操控板获取演示者在透明虚拟书写操控板表面进行书写操控动作过程中的书写操控动作轨迹数据，能够利用透明虚拟控制板得到清晰的书写操控动作的轨迹数据信息，能够利于后期采集合成，保证演示的清晰度，进而保证演示效果。其中透明虚拟书写操控板，不仅有单窗口书写操控功能，而且也具有多窗口书写操控功能，能对多个演示画面进行书写操控，同时书写操控或分别书写操控。书写操控信息传输给计算机设备、采集设备和虚拟画面合成设备，通过设备和软件合成到虚拟画面中，其中书写操控信息的参数将根据需要进行设置和调整。

过程S702表示的利用摄像设备透过透明虚拟书写操控板对演示者的书写操控动作进行拍摄，得到与书写操控动作轨迹数据相应的书写控制动作图像数据的过程，能够透过透明虚拟书写操控板对演示者的书写操控动作进行正面拍摄，能够保持演示者正面面对镜头，并使得书写或操控动作能够被及时捕捉。摄像设备拍摄的图像信息质量会受到透明虚拟书写操控板性能的影响，包括光学性能、触控区域大小和几何尺寸等。为了获得高质量的图像信息，需要将摄像设备的焦距、视场、与书写操控板的距离等参数，同书写操控板的性能和形状等参数进行匹配。便于后期合成高质量虚拟画面，进而利于得到演示者在显示屏上书写或操控的虚拟画面，提高演示效果。

过程S703表示的利用演示设备为演示者提供需要进行演示的演示画面，能够利于后续将演示画面与书写操控动作轨迹进行合成得到虚拟展示画面。

过程S704表示的利用采集设备分别从透明虚拟书写操控板、摄像设备以及演示设备，采集书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面的过程。能够利于计算机设备上的专业合成软件进行书写操控动作轨迹数据，与相应的书写操控动作图像数据的匹配合成。合成的虚拟画面中的大部分画面都来源于演示设备。书写操控过程引起的画面变化都是在演示设备上完成的。

过程S705表示的利用虚拟画面合成设备对采集设备采集获取的书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行处理匹配合成得到虚拟展示画面的过程，能够得到观演者能够看得到的，集课件、软件、书写和/或操控以及书写控制动作的虚拟展示画面，从而使得观演者有全场景的观演体验，提高演示效果，改善用户体验。虚拟合成画面可以具有AR效果和元宇宙场景。

过程S706表示的利用显示设备对虚拟展示画面进行显示，进而利用虚拟展示画面，对演示者在透明虚拟书写操控板表面进行的书写操控动作提供参考提示的过程，能够利于演示者进行准确地操作，进而保证虚拟展示画面的自然流畅，保证演示效果。

在本发明的可选具体实施例中，过程S705，利用虚拟画面合成设备对采集设备采集获取的书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行处理匹配合成得到虚拟展示画面的过程包括：

根据书写操控动作轨迹数据对相应书写操控动作图像数据的对应的图像位置和/或图像比例进行适配调整；根据书写操控动作图像数据对书写操控动作轨迹数据对应的轨迹位置和/或轨迹比例进行适配调整；对书写操控动作轨迹数据对应的轨迹位置和/或轨迹比例，以及相应书写操控动作图像数据对应的图像位置和/或图像比例进行相互适配调整；和/或演示画面中各种元素的位置和/或比例，书写操控动作轨迹数据对应的轨迹位置和/或轨迹比例，以及相应书写操控动作图像数据对应的图像位置和/或图像比例进行相互适配调整。

多画面时，被书写界面或***控界面中元素的位置和/或比例、书写或操控动作数据信息所对应的位置和/或比例、书写控制动作影像数据信息对应的影像位置和/或比例，进行相互适配调整。并且对任何一个画面都可以作为参照物而调整另外其余的画面的位置和/或比例。使得所合成的虚拟画面达到无缝拼接的效果。

具体的，通过摄像机提取到了演示者的书写动作影像信息数据和/或操控动作图像数据，透明电子虚拟书写操控板提取到的书写操控动作数据信息，是两个渠道获得的，是各自独立呈现的，需要将它们与被书写界面或***控界面一起合成为虚拟的屏幕书写画面或操控画面就需要进行适配调整。合成过程不仅需要各设备的参数和指标高度匹配，而且还需要进一步精细调整。可以根据一个渠道获得数据调整另外其它渠道获得的数据，也可以对多个渠道获得数据进行相互适配调试。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例提供的虚拟屏幕书写操控合成方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任一实施例提供的虚拟屏幕书写操控合成方法。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种虚拟屏幕书写操控合成***，其特征在于，包括：

透明虚拟书写操控板，包括透明板材以及轨迹提取装置，所述透明板材用于演示者在其表面进行书写操控动作，以及透过所述透明板材进行拍摄；所述轨迹提取装置为非遮挡装置，用于获取所述演示者在透明板材表面的书写操控动作轨迹数据；

摄像设备，用于透过所述透明虚拟书写操控板对所述演示者的书写操控动作进行拍摄，得到与所述书写操控动作轨迹数据相应的书写操控动作图像数据；

演示设备，用于为所述演示者提供需要进行演示的演示画面；

采集设备，用于分别从所述透明虚拟书写操控板、所述摄像设备以及所述演示设备，对应采集所述书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面；

虚拟画面合成设备，用于对所述书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面，进行处理和匹配合成得到用于向观众展示的虚拟展示画面；以及

显示设备，用于对所述虚拟展示画面进行显示，进而利用所述虚拟展示画面，对所述演示者在所述透明虚拟书写操控板表面进行的所述书写操控动作提供参考提示。

2.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，

所述透明虚拟书写操控板包括多个轨迹提取装置，所述多个轨迹提取装置包括沿所述透明板材的四周边缘设置的红外触控框，和/或粘贴在所述透明板材表面的透明电容触控膜。

3.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，

所述摄像设备包括一个或多个摄像机，其中一个所述摄像机设置于所述演示者的前方，所述透明虚拟书写操控板位于所述摄像机与所述演示者之间。

4.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，

所述演示设备包括多台计算机设备。

5.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，

所述显示设备包括一个或多个监视器，其中一个所述监视器设置于所述演示者的正前方，所述摄像机位于正前方的所述监视器与所述透明虚拟书写操控板之间。

6.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，

所述显示设备包括一个或多个监视器，其中一个所述监视器套设于所述摄像机之上。

7.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，

所述显示设备包括一个或多个提词器架构设备，其中一个所述提词器架构设备设置于所述演示者的正前方，位于所述摄像机以及所述透明虚拟书写操控板之间。

8.根据权利要求1所述的虚拟屏幕书写操控合成***，其特征在于，所述摄像设备还包括抠像装置，所述抠像装置用于对所述演示者进行抠像。

9.一种虚拟屏幕书写操控合成方法，其特征在于，包括：

利用透明虚拟书写操控板获取演示者在所述透明虚拟书写操控板表面进行书写操控动作过程中的书写操控动作轨迹数据，其中所述透明虚拟书写操控板，包括透明板材以及非遮挡的轨迹提取装置；

利用摄像设备透过所述透明虚拟书写操控板对所述演示者的书写操控动作进行拍摄，得到与所述书写操控动作轨迹数据相应的书写控制动作图像数据；

利用演示设备为所述演示者提供需要进行演示的演示画面；

利用采集设备分别从所述透明虚拟书写操控板、所述摄像设备以及所述演示设备，采集所述书写操控动作轨迹数据、相应的书写操控动作图像数据以及演示画面；

利用虚拟画面合成设备对所述采集设备采集获取的所述书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行处理匹配合成得到虚拟展示画面；以及

利用显示设备对所述虚拟展示画面进行显示，进而利用所述虚拟展示画面，对所述演示者在所述透明虚拟书写操控板表面进行的所述书写操控动作提供参考提示。

10.根据权利要求9所述的虚拟屏幕书写操控合成方法，其特征在于，所述对所述采集设备采集获取的所述书写操控动作轨迹数据，相应的书写操控动作图像数据，以及演示画面进行处理匹配合成得到虚拟展示画面的过程包括：

根据所述书写操控动作轨迹数据对相应所述书写操控动作图像数据的对应的图像位置和/或图像比例进行适配调整；

根据所述书写操控动作图像数据对所述书写操控动作轨迹数据对应的轨迹位置和/或轨迹比例进行适配调整；

对所述书写操控动作轨迹数据对应的轨迹位置和/或轨迹比例，以及相应所述书写操控动作图像数据对应的图像位置和/或图像比例进行相互适配调整；和/或所述演示画面中各种元素的位置和/或比例，所述书写操控动作轨迹数据对应的轨迹位置和/或轨迹比例，以及相应所述书写操控动作图像数据对应的图像位置和/或图像比例进行相互适配调整。