CN110430454A - 一种多设备实时交互显示的方法和装置 - Google Patents

Abstract

本发明提供了一种多设备实时交互显示的方法和装置，所述方法包括以下步骤：第一点播设备获取一个以上的多媒体资源；第二点播设备获取一个以上的多媒体资源；第一点播设备播放其中一个多媒体资源，且给第二点播设备发送触发指令；第二点播设备根据接收的触发指令，播放触发指令对应的多媒体资源，至少其中一个点播设备的多媒体资源在超宽屏幕显示。这样，第一点播设备在播放自身对应的多媒体资源时，将触发第二点播设备同步播放其对应的多媒体资源，增强了两者之间的交互；又由于其中一个点播设备的多媒体资源在超宽屏幕显示，增强了多媒体资源播放的酷炫感，提高了用户的感官体验。

Description

一种多设备实时交互显示的方法和装置

技术领域

本发明涉及多媒体信息技术领域，特别涉及一种多设备实时交互显示的方法、装置和电子设备。

背景技术

随着生活水平的提高，数字视听场所(例如KTV场所)已经成了人们常去的地方，最早的KTV场所中的点歌机就是单纯地支持点歌、唱歌。现在随着人们要求的提高，许多点歌机开始显示不同皮肤的界面操作***，及在不同的演唱视频上添加各种特效以达到增强娱乐和提升用户体验的效果。

通过更换界面操作***皮肤的方式，虽然在一定程度上改变了操作***的界面风格，但由于换肤仅仅是改变UI层面的视觉效果，并未改变点歌***依赖于电视屏幕播放显示的本质，依然满足用户对显示画面酷炫化的追求，无法提供更多的娱乐玩法。

随着投影显示技术的发展，目前已经出现超宽屏幕显示，例如环幕、巨幕等。虽然目前的数字视听场所(例如KTV场所)已经应用了环幕等技术，但其环幕一般只替代背景墙的装修，显示一个背景场景，其功能仅仅起到营造包厢氛围，降低包厢装修成本。该背景场景无法与包厢前端的电视屏内容形成互动，无法起到提升用户体验的作用。

发明内容

为此，需要提供一种多设备实时交互显示的技术方案，用以解决多媒体资源播放过程中用户操作体验差的问题。

为实现上述目的，发明人提供了一种多设备实时交互显示的方法，所述方法包括以下步骤：

第一点播设备获取一个以上的多媒体资源；

第二点播设备获取一个以上的多媒体资源；

第一点播设备播放其中一个多媒体资源，且给第二点播设备发送触发指令；第二点播设备根据接收的触发指令，播放触发指令对应的多媒体资源，至少其中一个点播设备的多媒体资源在超宽屏幕显示。

进一步地，所述第二点播设备连接有一个以上的从点播设备，从点播设备获取一个以上的多媒体资源；所述第二点播设备接收第一点播设备的触发指令后，给各从点播设备分发相应的触发指令；各从点播设备接收触发指令后，控制相应的多媒体资源进行播放，且至少其中一个从点播设备的多媒体资源在超宽屏幕显示。

进一步地，所述第一点播设备、第二点播设备及各从点播设备分别预设同步的播放时间轴，将待播放的多媒体资源根据时间轴进度依序播放；每个时间轴上待播放的多媒体资源设有对应的播放时间点，当第一点播设备根据播放时间点播放对应的多媒体资源过程中，当前播放的多媒体资源给第二点播设备发出触发广播；第二点播设备监听到触发广播后，转发给所有从点播设备，第二点播设备及所有从点播设备判断所述触发广播是否是其预先订阅的触发广播，若是则触发所述触发广播对应的多媒体资源播放。

进一步地，所述各从点播设备播放多媒体资源的过程中，各多媒体资源对外发出对应的触发广播，第二点播设备监听到各触发广播后，将各触发广播转发给第一点播设备；第一点播设备、第二点播设备判断所述各触发广播是否有其预先订阅的触发广播，若有则触发所述触发广播对应的多媒体资源播放。

进一步地，所述“多媒体资源在超宽屏幕显示”包括：

在第一画布中绘制一个以上的多媒体资源，得到超宽多媒体画源；

根据输出分辨率在第二画布中绘制对应所述超宽多媒体画源的多媒体资源，得到输出画源；

各显示设备获取输出画源，并显示各自对应的画块，拼接融合显示。

进一步地，所述“在第一画布中绘制一个以上的多媒体资源，得到超宽多媒体画源”包括：

建立第一画布，在第一画布中构建背景场景，在背景场景上绘制一个以上的多媒体资源，得到超宽多媒体画源。

进一步地，所述“根据输出分辨率在第二画布中绘制对应所述超宽多媒体画源的多媒体资源，得到输出画源”包括：

根据输出分辨率将所述超宽多媒体画源切割成复数画块；

依次层列画块，以使得重组后的层列画块符合多媒体接口显示尺寸范围；

依据层列画块的区域大小建立第二画布，并在对应的画块区域绘制相应的多媒体资源，得到输出画源。

进一步地，当接收到更新显示多媒体资源的指令时，将更新的多媒体资源实时绘制到第二画布相应的画块区域；

并将重新绘制后的输出画源实时发送给两个以上的显示设备，各显示设备显示输出画源中自身对应的画块区，并将各个画块区拼接融合后更新显示。

进一步地，所述“将更新的多媒体资源绘制到第二画布相应的画块区域”包括：

若两画块在输出画源中不相邻且在超宽多媒体资源显示时处于相邻位置，则认为两画块存在显示边界；

若两画块在输出画源中不相邻且在超宽多媒体资源中部分内容或全部内容重复，则认为两画块存在融合区域；

当更新的多媒体资源宽度位于融合区域内时，则执行步骤S11：分别对存在融合区域的两个画块对应区域绘制更新的多媒体资源；

当更新的多媒体资源宽度跨越存在显示边界的两个画块的显示边界时，则执行步骤S12：根据显示边界对更新的多媒体资源进行切割，每个画块对应绘制切割后位于该画块中的部分更新多媒体资源；

当更新的多媒体资源宽度跨越一个画块的融合区域及与该画块相邻的画块，则执行步骤S2：根据融合区域与相邻画块的边界对更新的多媒体资源进行切割，相邻画块绘制切割后位于该画块中的部分更新多媒体资源；存在融合区域的两个画块在对应区域绘制切割后位于融合区域的部分更新多媒体资源。

进一步地，所述“将更新的多媒体资源绘制到第二画布相应的画块区域”包括：

当更新多媒体资源的宽度与所述两个画块的融合区域或所述存在显示边界的两个画块的显示边界没有交集时，执行步骤S3：

S3：直接在画块上更新多媒体资源的绘制区域绘制所述更新多媒体资源。

进一步地，其特征在于，所述多媒体资源包括下列中的一种或多种：H5页面、视频、图片、照片、文字或酒水列表。

进一步地，所述第一点播设备、第二点播设备、各从点播设备播放的多媒体资源与被其触发广播触发播放的多媒体资源之间相互交互，包括下列中的一种或几种：

所述第一点播设备在时间轴的某一时间点播放的多媒体资源为歌曲MV，第二点播设备接收歌曲MV的触发广播后，触发播放与歌曲类型相适配的3D场景多媒体资源；

或所述第一点播设备在时间轴的另一时间点播放的多媒体资源为歌曲MV，第二点播设备接收歌曲MV的触发广播后，触发播放与所述歌曲编号、歌曲名称、歌词内容中的一种或多种相适配的3D场景；第二点播设备给各从点播设备转让对应的触发广播后，其中一预先订阅过该触发广播的从点播设备播放与所述歌曲编号、歌曲名称、歌词内容中的一种或多种相适配的3D场景；

或所述第一点播设备在时间轴的另一时间点播放的多媒体资源为歌曲MV，第二点播设备接收歌曲MV的触发广播后，触发播放根据歌曲音频生成的可视化视频；所述根据歌曲音频生成可视化视频包括：获取歌曲MV对应的音频数据，识别所述音频节拍值和音频幅值，依据所述节拍值和频率幅值生成所述音频数据的视频，其中，依据所述节拍值确定所述音频幅值的显示速度。

发明人还提供了一种多设备实时交互显示的装置，所述装置包括第一点播设备和第二点播设备，所述第一点播设备和第二点播设备根前文所述的方法进行交互。

进一步，所述第二点播设备还连接有一个以上的从点播设备，所述各从点播设备根据权利要求2-12任一项所述的方法与第一点播设备、第二点播设备进行交互。

上述技术方案所述的多设备实时交互显示的方法和装置，所述方法包括以下步骤：第一点播设备获取一个以上的多媒体资源；第二点播设备获取一个以上的多媒体资源；第一点播设备播放其中一个多媒体资源，且给第二点播设备发送触发指令；第二点播设备根据接收的触发指令，播放触发指令对应的多媒体资源，至少其中一个点播设备的多媒体资源在超宽屏幕显示。这样，第一点播设备在播放自身对应的多媒体资源时，将触发第二点播设备同步播放其对应的多媒体资源，从而使第一点播设备和第二点播设备播放的多媒体资源可实现交互；同时，又由于其中一个点播设备的多媒体资源在超宽屏幕显示，从而可在引入超宽屏幕显示的同时，超宽屏幕显示的多媒体资源可与另一点播设备播放的多媒体资源进行交互，增强了多媒体资源播放的酷炫感，提高了用户的感官体验。

附图说明

图1为本发明一实施例涉及的多设备实时交互显示方法的流程图；

图2为本发明另一实施例涉及的多设备实时交互显示方法的流程图；

图3为本发明另一实施例涉及的多设备实时交互显示方法的流程图；

图4为本发明一实施例涉及的多设备实时交互显示装置的示意图；

图5为本发明另一实施例涉及的多设备实时交互显示装置的示意图；

图6为本发明一实施例涉及的显示装置融合显示输出画源的示意图；

图7为本发明一实施例涉及的超宽画面切割重组的示意图；

图8为本发明另一实施例涉及的超宽画面切割重组的示意图；

图9为本发明另一实施例涉及的超宽画面切割重组的示意图；

图10为本发明另一实施例涉及的超宽画面切割重组的示意图；

附图标记说明：

10、多设备实时交互显示的装置；

101、第一点播设备；

102、第二点播设备；

103、显示屏；

104、显示装置；

105、超宽屏幕。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本发明一实施例涉及的多设备互显示方法的示意图。所述方法可以应用于数字视听场所，例如可应用于KTV包厢中，并能效提高多媒体资源播放的感官体验，所述方法包括以下步骤：

首先进入步骤S101第一点播设备获取一个以上的多媒体资源。

在本实施方式中，所述第一点播设备为数字点播设备，如机顶盒。机顶盒可以通过网络与管理服务器建立通信连接，并从所述管理服务器获取多媒体资源。所述多媒体资源包括图像资源、视频资源、音频资源、动画资源、文字资源等。

而后进入步骤S102第二点播设备获取一个以上的多媒体资源。

在本实施方式中，所述第二点播设备为数字点播设备，如机顶盒、可与投影仪连接的融合服务器等。机顶盒可以通过网络与管理服务器建立通信连接，并从所述管理服务器获取多媒体资源，也可以直接从第一点播设备获取多媒体资源。所述多媒体资源包括图像资源、视频资源、音频资源、动画资源、文字资源等。所述第二点播设备不仅可以从管理服务器或第一点播设备获取多媒体资源，还可以从存储有多媒体资源的存储介质进行获取。所述存储介质包括但不限于：U盘、硬盘、网盘等。第一点播设备和第二点播设备所获取的多媒体资源既可以相同也可以不同。

而后进入步骤S103第一点播设备播放其中一个多媒体资源，且给第二点播设备发送触发指令；第二点播设备根据接收的触发指令，播放触发指令对应的多媒体资源，至少其中一个点播设备的多媒体资源在超宽屏幕显示。

以KTV实际应用场景为例，第一点播设备对应的显示屏幕可以为包厢内的显示屏，第二点播设备对应的显示屏幕可以为超宽屏幕。所述显示屏为包厢内的电视显示屏，所述超宽屏幕可以为KTV包厢内的墙壁，也可以是预先设置于KTV包厢内的画布。当第一多媒体资源在显示屏上播放显示时，第一点播设备将向第二点播设备发送触发指令，以使得第二点播设备开始在包厢内的墙体或超宽画布中播放显示对应的多媒体资源。这样，可以使得第一点播设备和第二点播设备播放的多媒体资源内容实现交互，同时，通过超宽屏幕显示交互内容，可使得点歌过程画面播放更加震撼，有效提高了用户的感官体验。

在另一些实施例中，第一点播设备的显示屏幕可以为超宽屏幕，第二点播设备的显示屏幕可以为电视屏幕。亦或者，第一点播设备和第二点播设备的显示屏幕均为超宽屏幕。

在实际应用场景中，为了更好地显示多媒体资源的交互效果，在某些实施例中，如图4所示，所述第二点播设备连接有一个以上的从点播设备，从点播设备获取一个以上的多媒体资源；所述第二点播设备接收第一点播设备的触发指令后，给各从点播设备分发相应的触发指令；各从点播设备接收触发指令后，控制相应的多媒体资源进行播放，且至少其中一个从点播设备的多媒体资源在超宽屏幕显示。

从点播设备为数字点播设备，如机顶盒，为与第一点播设备和第二点播设备加以区分，以下称为第三机顶盒。第三机顶盒与第二机顶盒(即第二点播设备)连接，通过第二机顶盒实现与第一机顶盒(即第一点播设备)之间的交互。相比于各其他点播设备(第二点播设备及各从点播设备)均与第一点播设备连接的方式，采用本实施例中的方案，各从点播设备的控制模块只需设置自身需要的控制命令，无需实现所有的控制命令交互；同时，第一点播设备只需与第二点播设备进行交互，无需与所有的从点播设备进行直接交互，大大降低对第一点播设备性能的要求，有效降低了设备成本。

在某些实施例中，所述第一点播设备、第二点播设备及各从点播设备分别预设同步的播放时间轴，将待播放的多媒体资源根据时间轴进度依序播放；每个时间轴上待播放的多媒体资源设有对应的播放时间点，当第一点播设备根据播放时间点播放对应的多媒体资源过程中，当前播放的多媒体资源给第二点播设备发出触发广播；第二点播设备监听到触发广播后，转发给所有从点播设备，第二点播设备及所有从点播设备判断所述触发广播是否是其预先订阅的触发广播，若是则触发所述触发广播对应的多媒体资源播放。这样，可以有效提升多媒体资源播放过程中各点播设备之间的交互性，提升用户体验，后面将结合从点播设备以各个不同应用场景为例，对本实施方式描述的方案作具体说明。

在某些实施例中，所述各从点播设备播放多媒体资源的过程中，各多媒体资源对外发出对应的触发广播，第二点播设备监听到各触发广播后，将各触发广播转发给第一点播设备；第一点播设备、第二点播设备判断所述各触发广播是否有其预先订阅的触发广播，若有则触发所述触发广播对应的多媒体资源播放。

预先订阅的触发广播可以事先进行设置，例如某一从点播设备在播放MV至1分钟时对外发出触发广播，第二点播设备的控制模块中预先被配置有响应该广播信息，且响应操作为播放某一轻音乐，而第一点播设备的控制模块中没有被配置响应该广播信息。那么当从点播设备播放MV至1分钟时，第二点播设备在接收到从点播设备发出的触发广播后，将触发开始播放轻音乐，而第一点播由于没有预先订阅触发广播，因而不会对该触发广播进行响应。

简言之，从点播设备不仅可以通过第二点播设备接收第一点播设备发送的触发广播，实现在第一点播设备播放多媒体资源的过程中，与第一点播设备进行交互，也可以在自身播放多媒体资源的过程中，主动向第一点播设备或第二点播设备发出对应的触发广播，以实现其与第一点播设备、第二点播设备的互动交互。

在某一应用场景下，用户需要在KTV包厢内的显示屏播放个人照片，当个人照片在显示屏上开始播放时(即第一点播设备播放多媒体资源时)，此时该个人照片也会同步在包厢内的超宽屏幕上显示(即个人照片该多媒体资源的触发广播为第二点播设备预先订阅的触发广播，当第二点播设备监听到该触发广播后，第二点播设备会同步播放对应的多媒体资源)，亦或者当个人照片在显示屏上播放结束后，该个人照片(或与之关联的其他内容)将开始在包厢内的超宽屏幕上显示播放。

在另一应用场景下，用户需要在KTV包厢内的显示屏播放歌曲MV(所述歌曲为军歌)，当歌曲MV在显示屏上开始播放时(即第一点播设备播放多媒体资源时)，第二点播设备监听到歌曲MV该多媒体资源的触发广播，并判断该触发广播是否其预先订阅的触发广播，当判断是时，第二点播设备触发在同一包厢内的环幕播放与军队主题相关的3D场景多媒体资源，从而使同一包厢的显示屏与环幕显示的内容实现交互。

在另一应用场景下，用户需要在KTV包厢内的显示屏播放歌曲MV，所述歌曲名称为《大海》，当歌曲MV在显示屏上开始播放时(即第一点播设备播放多媒体资源时)，第二点播设备接收歌曲MV的触发广播后，触发播放与所述歌曲名称《大海》多种相适配的3D场景；同时，第二点播设备给各从点播设备转让对应的触发广播后，其中一预先订阅过该触发广播的从点播设备播放与所述歌词内容相适配的3D场景，从而使同一包厢的显示屏与环幕显示的内容实现交互。

在另一应用场景下，用户需要在KTV包厢内的显示屏播放足球赛，当球赛在显示屏上开始播放时(即第一点播设备播放多媒体资源时)，第二点播设备接收球赛多媒体资源的触发广播后，触发在包厢的环幕上播放与所述酒水列表的点单信息；同时，第二点播设备给各从点播设备转让对应的触发广播后，其中一预先订阅过该触发广播的从点播设备在另一环幕中播放与所述球赛相关的两支球队的历史、成员等信息介绍，从而使同一包厢的显示屏与环幕显示的内容实现交互。

在另一应用场景下，用户需要在KTV包厢内的显示屏播放歌曲MV，当歌曲MV在显示屏上开始播放时(即第一点播设备播放多媒体资源时)，第二点播设备监听到歌曲MV该多媒体资源的触发广播，并判断该触发广播是否其预先订阅的触发广播，当判断是时，第二点播设备触发在同一包厢内的环幕播放同步时间轴上同一播放时间点预设播放的多媒体资源，从而使同一包厢的显示屏与环幕显示的内容实现交互。所述预设播放的多媒体资源可以是根据用户操作实时替换的多媒体与资源。例如，用户从第二点播设备预存的3D场景中选取其中一3D场景，并替换时间轴上某一播放时间点的其他多媒体资源，当触发广播触发播放该时间点的多媒体资源时，用户替换的多媒体资源进行播放。用户还可以从第一点播设备预存的3D场景中选取其中一3D场景，发送给第二点播设备，并替换第二点播设备同步时间轴上某一播放时间点的其他多媒体资源。

在另一应用场景下，用户需要在KTV包厢内的显示屏播放歌曲MV，当歌曲MV在显示屏上开始播放时(即第一点播设备播放多媒体资源时)，第二点播设备接收歌曲MV的触发广播后，触发同一包厢的环幕播放根据歌曲音频生成的可视化视频；所述根据歌曲音频生成可视化视频包括：获取歌曲MV对应的音频数据，识别所述音频节拍值和音频幅值，依据所述节拍值和频率幅值生成所述音频数据的视频，其中，依据所述节拍值确定所述音频幅值的显示速度。通过上述方法，使同一包厢的显示屏、播放的音频与环幕显示的内容实现音效互动，提高用户体验。

所述“依据所述节拍值和频率幅值生成所述一音频数据”具体为：

使用心电图展示所述一音频数据，其中，心电图的电位变化表示所述频率幅值的变化，电位变化的速度表示所述节拍值；

或者使用左右移动的音柱图展示所述一音频数据，其中，音柱的长度表示所述频率幅值，音柱移动的速度表示所述节拍值；

或者使用升降变化的音柱图展示所述一音频数据，其中，音柱的攀升高度表示所述音频幅值，音柱的升降速度表示所述节拍值；

或者使用灯光的闪烁变化展示所述一音频数据，其中，灯光的亮度表示所述音频幅值，灯光闪烁的速度表示所述节拍值。

在另一应用场景下，用户需要在KTV包厢内的显示屏播放照片，并让照片能够在显示屏上呈现从左至右移动的效果，即播放的多媒体资源包括渲染照片以及照片的移动效果，当该照片在显示屏上移动至最右边时(即将要从电视屏上消失时)，此时该照片将会在包厢内的超宽屏幕上显示照片3D碎片化效果(假设第二点播设备的多媒体资源在超宽屏幕上显示，其所播放的多媒体资源为照片3D碎片化效果)，由于第一点播设备和第二点播设备所播放的内容存在交互内容，相比于单一播放某一渲染数据的方式，有效增强了感官视觉效果。

目前市面上的多媒体接口一般最大支持4K分辨率的显示，当需要输出超宽分辨率画面时，其往往是在原有画面比例的基础上进行缩放，尽管保证了输出画源符合超宽画面的长宽比要求，但是牺牲了输出画源的分辨率，影响了用户的感官体验。为了保证输出画源的分辨率不损失，本发明先根据输出分辨率对超宽画面进行先切割再重组，从而保证了输出画源的分辨率不损失，同时还解决了现有技术中只能通过替换整个超宽多媒体画源来实现超宽画面的更新显示，导致渲染操作运算量大、处理效率低的问题。

请参阅图5，为本发明一实施例涉及的多设备实时交互显示的方法的流程图。所述方法包括以下步骤：

首先进入步骤S201在第一画布中绘制一个以上的多媒体资源，得到超宽多媒体画源。

超宽多媒体画源，顾名思义，是指长宽比较大的多媒体画源，例如，目前常规的显示设备最大只能输出分辨率为3840x2160的图像，而本发明中的超宽多媒体画源指多媒体画源的长方向分辨率超过3840，或多媒体画源的宽方向分辨率超过2160，例如，要输出的多媒体画源为分辨率6720x1080、8960x720的图像或视频。

第一画布是指多媒体资源的绘制区域，由于需要绘制得到超宽多媒体画源，而现有的多媒体接口的显示尺寸还无法实现对超宽多媒体画源的绘制，因而在本实施方式中，第一画布为一块虚拟绘制区域，所述虚拟绘制区域的大小不小于所述超宽多媒体画源的大小。绘制的多媒体资源可以为图片、视频、动画、文字等。优选的，在所述第一画布上绘制的是超宽融合显示界面的背景图像。

而后进入步骤S202根据输出分辨率在第二画布中绘制对应所述超宽多媒体画源的多媒体资源，得到输出画源。

所述输出分辨率为最终拼接融合显示的画面的分辨率，输出分辨率可以通过预先配置。第二画布的大小满足多媒体接口的输出尺寸的要求。通过在第二画布上绘制对应所述超宽多媒体画源的多媒体资源，从而实现将超宽多媒体画源中的多媒体资源重新绘制到符合多媒体接口输出尺寸的第二画布中。在实际制作过程中，当超宽多媒体画源第一次进行显示时，第一画布上绘制的多媒体资源与第二画布绘制的多媒体资源相同。这样第一画布绘制好多媒体资源以后在显存中保存绘制数据，当在第二画布中再次绘制时，只需从显存中读取绘制数据，将绘制数据复制到对应的位置即可。在后续的显示过程中，当需要更新显示内容时，例如增加显示新的多媒体资源时，只需在第二画布绘制过程中，将需更新显示的多媒体资源实时绘制到第二画布上，相比于每新增一次多媒体资源，就需要重新替换绘制整个超宽多媒体画源的方式，有效减少了运算量，提升了画面处理效率，达到实时更新显示的效果。

而后进入步骤S203各显示设备获取输出画源，并显示各自对应的画块，拼接融合显示。

由于输出画源的长宽比较大，长度较长，单一的显示设备往往无法完整播放多媒体画源，因而需要两个以上的显示设备分别截取画源中的某一段，进行拼接融合后播放，以使得显示的画面达到超宽画源的要求。在实际应用过程中，各个显示设备可以接收完整的输出画源后，分别截取自身将要进行播放的那一部分多媒体画源，而后对各显示设备播放的部分多媒体画源进行拼接融合显示。各个显示设备也可以只接收自身需要播放的那一部分多媒体画源，而后对各显示设备播放的部分多媒体画源进行拼接融合显示。

以显示装置为3台为例，如图6所示，显示装置包括显示设备1(即投影仪1)、显示设备2(即投影仪2)和显示设备3(即投影仪3)，则在实际使用过程中，投影仪1、2、3各自接收输出画源(分辨率为6720x1080)后，各自分别截取分辨率2880x1080、960x1080、2880x1080的数据，并对三者进行拼接融合，而后投影播放。优选的，投影播放的融合显示界面呈L型或360°四周环绕型，融合显示界面可以在场景画布上进行播放，也可以直接投影到墙体上进行播放。

最终呈现的融合显示画面包含着多种多媒体资源，为了提升绘制效率，在某些实施例中，所述“在第一画布中绘制一个以上的多媒体资源，得到超宽多媒体画源”包括：建立第一画布，在第一画布中构建背景场景，在背景场景上绘制一个以上的多媒体资源，得到超宽多媒体画源。***中可预设多个背景场景，当需要时可直接调用背景场景，直接在背景场景中再绘制新增的多媒体资源，有效提升了绘制效率。

如图3所示，在某些实施例中，所述“根据输出分辨率在第二画布中绘制对应所述超宽多媒体画源的多媒体资源，得到输出画源”包括：

首先进入步骤S301根据输出分辨率将所述超宽多媒体画源切割成复数画块。例如图1中，输出分辨率为6720x1080，可以切割为A、B、C三个画块，三个画块对应的分辨率分别为2880x1080、960x1080、2880x1080。

而后进入步骤S302依次层列画块，以使得重组后的层列画块符合多媒体接口显示尺寸范围。在本实施方式中，所述多媒体接口显示尺寸是指多媒体资源能够在显示装置上显示的最大尺寸范围。重组后的输出画源符合多媒体接口显示尺寸范围，可以使得多媒体资源的实时渲染变得可行，从而节省了运算资源，提高了处理效率(原有超宽画面超过了显示尺寸，无法在保证输出分辨率的情况下直接在多媒体接口的显示尺寸范围内对新增多媒体资源进行绘制)。

如图7所示，将分辨率为6720x1080输出画源切割为A、B、C三个画块区，三个画块区对应的分辨率分别为2880x1080、960x1080、2880x1080，然后层列成画块A、画块B同层且作为上层；画块B’、画块C同层且作为下层的排列方式，其中画块B和画块B’显示内容相同，从而使拼接后的画块符合多媒体输出接口3840x2160的分辨率。

又如图8所示，其也是将分辨率为6720x1080输出画源进行切割，其切割方案及重组方案与图7相同。

又如图9所示，将分辨率为8960x720输出画源切割为A、B、C、D、E五个画块区，五个画块区对应的分辨率分别为2560x720、1280x720、1280x720、1280x720、2560x720，然后层列画块A、画块B同层且作为第一层；画块B’、画块C、画块D同层且作为第二层，画块D’、画块E同层且作为第三次排列，其中画块B和画块B’显示内容相同，画块D和画块D’显示内容相同，从而使拼接后的画块符合多媒体输出接口3840x2160的分辨率。

又如图10所示，将分辨率为7680x1080输出画源切割为A、B、C、D四个画块区，四个画块区对应的分辨率分别为2880x1080、960x1080、960x1080、2880x1080，然后层列画块A、画块B同层且作为第一层；画块C、画块D同层且作为第二层，从而使拼接后的画块符合多媒体输出接口3840x2160的分辨率。

而后进入步骤S303依据层列画块的区域大小建立第二画布，并在对应的画块区域绘制相应的多媒体资源，得到输出画源。

由于第二画布是依据层列画块的区域大小建立的，而层列画块的排列符合多媒体接口的显示尺寸，在进行多媒体资源的绘制时，无需替换整个超宽多媒体画源，即可实现多媒体资源的实时绘制，提升了处理效率。

在某些实施例中，当接收到更新显示多媒体资源的指令时，将更新的多媒体资源实时绘制到第二画布相应的画块区域；将重新绘制后的输出画源实时发送给两个以上的显示设备，各显示设备显示输出画源中自身对应的画块区，并将各个画块区拼接融合后更新显示。

以图7为例，当接收到指令为在A画块上增加显示某一图片的指令时，则会将新增的图片实时绘制到第二画布中(与层列画块排列相对应的绘制区域)的A画块中；当接收到指令为在C画块上增加显示某一图片的指令时，则会将新增的图片实时绘制到第二画布中(与层列画块排列相对应的绘制区域)的C画块中；当接收到指令为在B画块上增加显示某一图片的指令时，则会将新增的图片同时绘制到第二画布中(与层列画块排列相对应的绘制区域)B画块与B’画块中。

在某些实施例中，所述“将更新的多媒体资源绘制到第二画布相应的画块区域”包括：

若两画块在输出画源中不相邻且在超宽多媒体资源显示时处于相邻位置，则认为两画块存在显示边界；

若两画块在输出画源中不相邻且在超宽多媒体资源中部分内容或全部内容重复，则认为两画块存在融合区域；

当更新的多媒体资源宽度位于融合区域内时，则执行步骤S11：分别对存在融合区域的两个画块对应区域绘制更新的多媒体资源；

当更新的多媒体资源宽度跨越存在显示边界的两个画块的显示边界时，则执行步骤S12：根据显示边界对更新的多媒体资源进行切割，每个画块对应绘制切割后位于该画块中的部分更新多媒体资源。

例如在某一应用场景中，需要在第二画布上绘制一图片，该图片的添加位置位于图7中第一层B画块的阴影部分(即融合区域)内时，那么当该图片绘制到第一层B画块的阴影部分(即融合区域)时，在第二层B’画块的阴影部分也会对应绘制该图片，从而实现图片的实时绘制渲染。

同理，当图10上层列的画块接收到图片添加指令时，当添加的图片位置横跨B、C两个画块时，则在图片进行绘制时，会先根据B、C画块的显示边界(B画块的右边界与C画块的左边界为两个画块之间的显示边界)将图片切割为两部分，在B画块的右边界绘制显示其中一部分，在C画块的左边界绘制显示其中的另一部分，从而保证拼接融合显示时该图片能够完整进行显示。另外，由于该图片的添加操作是在第二画布内进行的，第二画布的大小又符合多媒体接口显示尺寸，因而实现了在保证输出画源分辨率不损失的情况下对新增多媒体资源的添加显示。

在某些实施例中，当更新的多媒体资源宽度跨越一个画块的融合区域及与该画块相邻的画块，则执行步骤S2：根据融合区域与相邻画块的边界对更新的多媒体资源进行切割，相邻画块绘制切割后位于该画块中的部分更新多媒体资源；存在融合区域的两个画块在对应区域绘制切割后位于融合区域的部分更新多媒体资源。

以图8为例，当前融合区域为B画块和B’画块，当前融合区域的大小为B画块，B画块和B’画块大小相同，当在画块A和画块B之间添加图片时，由于该图片的宽度跨越了B画块(即融合区域)并与A画块(即与B画块相邻的画块)，因而将执行步骤S2：先根据A、B画块之间的显示边界对该图片进行切割，而后再A、B画块上对应绘制相应的切割部分，其中，当该图片的部分在B画块上绘制时，在B画块绘制的图片部分也会在B’画块上同步绘制。这样，可以保证当绘制的图片的宽度经过A画块和B画块的交界时，在超宽画面上能够顺利显示实时绘制的图片，而不会因为多媒体接口的显示尺寸限制，导致图片的添加操作无法进行。

在某些实施例中，所述“将更新的多媒体资源绘制到第二画布相应的画块区域”包括：

当更新多媒体资源的宽度与所述两个画块的融合区域或所述存在显示边界的两个画块的显示边界没有交集时，执行步骤S3：

S3：直接在画块上更新多媒体资源的绘制区域绘制所述更新多媒体资源。

同样以新增图片为例，如果添加的图片位置完全位于图8中的A画块或B画块内，或者与图7中的阴影部分没有存在交集时，那么就不存在添加的图片宽度跨越显示边界或融合区域的情况，在绘制时，将会直接在当前画块上绘制该图片。

新增的多媒体资源可能是静态的，也可能是动态的，为了保证绘制的动态多媒体资源也能够在融合显示界面中进行显示，因而在某些实施例中，当接收到移动或缩放新增的多媒体资源指令时，根据步骤S11、步骤S12、步骤S2、步骤S3中的任一项操作将新增的多媒体资源绘制到移动或缩放后的第二画布相应的画块区域。以绘制图片移动为例，其是由多帧图像的位置细微变化来呈现图片移动的效果，那么在绘制该图片对应的多帧图像，依次根据当前帧内图片所在位置进行相应处理。

在某些实施例中，所述多媒体资源包括下列中的一种或多种：H5页面、视频、图片、照片、文字或酒水列表。当接收到的指令为缩放新增图片指令，或者多媒体资源为上述列出除图片以外的其他多媒体资源时，其对应的绘制处理方式与移动新增图片的处理方式类似，此处不再赘述。

在某些实施例中，“将新增的多媒体资源绘制到第二画布相应的画块区域”后还包括以下步骤：将重新绘制后的输出画源实时发送给两个以上的显示设备，各显示设备显示输出画源中自身对应的画块区，并将各个画块区拼接融合后更新显示。例如新增绘制的多媒体资源为酒水列表，那么当前输出画源将在原有输出画源的基础上新增绘制了酒水列表，包含有酒水列表的输出画源将会在显示在拼接融合显示的画面中。

又例如，若新增的多媒体资源为新增显示多个视频，通过将新增的多个视频绘制到第二画布后，在融合显示的画面中实时显示新增的多个视频，从而可实现多屏互动的效果。又例如，若新增的多媒体资源为系列照片，并实现系列照片从界面一端向另一端移动的效果，通过实时在第二画布上绘画系列照片移动的系列帧图片，从而实现融合界面显示系列照片从界面一端向另一端移动的效果。

发明人还提供了一种多设备实时交互显示的装置，所述装置包括第一点播设备和第二点播设备，所述第一点播设备和第二点播设备根据前文所述的方法进行交互。

本发明提供了一种多设备实时交互显示的方法和装置，所述方法包括以下步骤：第一点播设备获取一个以上的多媒体资源；第二点播设备获取一个以上的多媒体资源；第一点播设备播放其中一个多媒体资源，且给第二点播设备发送触发指令；第二点播设备根据接收的触发指令，播放触发指令对应的多媒体资源，至少其中一个点播设备的多媒体资源在超宽屏幕显示。这样，第一点播设备在播放自身对应的多媒体资源时，将触发第二点播设备同步播放其对应的多媒体资源，从而使第一点播设备和第二点播设备播放的多媒体资源可实现交互；同时，又由于其中一个点播设备的多媒体资源在超宽屏幕显示，从而可在引入超宽屏幕显示的同时，超宽屏幕显示的多媒体资源可与另一点播设备播放的多媒体资源进行交互，增强了多媒体资源播放的酷炫感，提高了用户的感官体验。

进一步，所述第二点播设备还连接有一个以上的从点播设备，所述各从点播设备根据前面提到的交互方法与第一点播设备、第二点播设备进行交互。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (14)

1.一种多设备实时交互显示的方法，其特征在于，所述方法包括以下步骤：

第一点播设备获取一个以上的多媒体资源；

第二点播设备获取一个以上的多媒体资源；

第一点播设备播放其中一个多媒体资源，且给第二点播设备发送触发指令；第二点播设备根据接收的触发指令，播放触发指令对应的多媒体资源，至少其中一个点播设备的多媒体资源在超宽屏幕显示。

2.根据权利要求1所述的多设备实时交互显示的方法，其特征在于，所述第二点播设备连接有一个以上的从点播设备，从点播设备获取一个以上的多媒体资源；所述第二点播设备接收第一点播设备的触发指令后，给各从点播设备分发相应的触发指令；各从点播设备接收触发指令后，控制相应的多媒体资源进行播放，且至少其中一个从点播设备的多媒体资源在超宽屏幕显示。

3.根据权利要求2所述的多设备实时交互显示的方法，其特征在于，所述第一点播设备、第二点播设备及各从点播设备分别预设同步的播放时间轴，将待播放的多媒体资源根据时间轴进度依序播放；每个时间轴上待播放的多媒体资源设有对应的播放时间点，当第一点播设备根据播放时间点播放对应的多媒体资源过程中，当前播放的多媒体资源给第二点播设备发出触发广播；第二点播设备监听到触发广播后，转发给所有从点播设备，第二点播设备及所有从点播设备判断所述触发广播是否是其预先订阅的触发广播，若是则触发所述触发广播对应的多媒体资源播放。

4.根据权利要求3所述的多设备实时交互显示的方法，其特征在于，所述各从点播设备播放多媒体资源的过程中，各多媒体资源对外发出对应的触发广播，第二点播设备监听到各触发广播后，将各触发广播转发给第一点播设备；第一点播设备、第二点播设备判断所述各触发广播是否有其预先订阅的触发广播，若有则触发所述触发广播对应的多媒体资源播放。

5.根据权利要求2所述的多设备实时交互显示的方法，其特征在于，所述“多媒体资源在超宽屏幕显示”包括：

在第一画布中绘制一个以上的多媒体资源，得到超宽多媒体画源；

根据输出分辨率在第二画布中绘制对应所述超宽多媒体画源的多媒体资源，得到输出画源；

各显示设备获取输出画源，并显示各自对应的画块，拼接融合显示。

6.根据权利要求5所述的多设备实时交互显示的方法，其特征在于，所述“在第一画布中绘制一个以上的多媒体资源，得到超宽多媒体画源”包括：

建立第一画布，在第一画布中构建背景场景，在背景场景上绘制一个以上的多媒体资源，得到超宽多媒体画源。

7.根据权利要求5所述的多设备实时交互显示的方法，其特征在于，

所述“根据输出分辨率在第二画布中绘制对应所述超宽多媒体画源的多媒体资源，得到输出画源”包括：

根据输出分辨率将所述超宽多媒体画源切割成复数画块；

依次层列画块，以使得重组后的层列画块符合多媒体接口显示尺寸范围；

依据层列画块的区域大小建立第二画布，并在对应的画块区域绘制相应的多媒体资源，得到输出画源。

8.根据权利要求7所述的多设备实时交互显示的方法，其特征在于，当接收到更新显示多媒体资源的指令时，将更新的多媒体资源实时绘制到第二画布相应的画块区域；

并将重新绘制后的输出画源实时发送给两个以上的显示设备，各显示设备显示输出画源中自身对应的画块区，并将各个画块区拼接融合后更新显示。

9.根据权利要求8所述的多设备实时交互显示的方法，其特征在于，所述“将更新的多媒体资源绘制到第二画布相应的画块区域”包括：

若两画块在输出画源中不相邻且在超宽多媒体资源显示时处于相邻位置，则认为两画块存在显示边界；

若两画块在输出画源中不相邻且在超宽多媒体资源中部分内容或全部内容重复，则认为两画块存在融合区域；

当更新的多媒体资源宽度位于融合区域内时，则执行步骤S11：分别对存在融合区域的两个画块对应区域绘制更新的多媒体资源；

当更新的多媒体资源宽度跨越存在显示边界的两个画块的显示边界时，则执行步骤S12：根据显示边界对更新的多媒体资源进行切割，每个画块对应绘制切割后位于该画块中的部分更新多媒体资源；

当更新的多媒体资源宽度跨越一个画块的融合区域及与该画块相邻的画块，则执行步骤S2：根据融合区域与相邻画块的边界对更新的多媒体资源进行切割，相邻画块绘制切割后位于该画块中的部分更新多媒体资源；存在融合区域的两个画块在对应区域绘制切割后位于融合区域的部分更新多媒体资源。

10.根据权利要求8所述的多设备实时交互显示的方法，其特征在于，所述“将更新的多媒体资源绘制到第二画布相应的画块区域”包括：

当更新多媒体资源的宽度与所述两个画块的融合区域或所述存在显示边界的两个画块的显示边界没有交集时，执行步骤S3：

S3：直接在画块上更新多媒体资源的绘制区域绘制所述更新多媒体资源。

11.根据权利要求1-10任一项所述的多设备实时交互显示的方法，其特征在于，其特征在于，所述多媒体资源包括下列中的一种或多种：H5页面、视频、图片、照片、文字或酒水列表。

12.根据权利要求3所述的多设备实时交互显示的方法，其特征在于，所述第一点播设备、第二点播设备、各从点播设备播放的多媒体资源与被其触发广播触发播放的多媒体资源之间相互交互，包括下列中的一种或几种：

所述第一点播设备在时间轴的某一时间点播放的多媒体资源为歌曲MV，第二点播设备接收歌曲MV的触发广播后，触发播放与歌曲类型相适配的3D场景多媒体资源；

或所述第一点播设备在时间轴的另一时间点播放的多媒体资源为歌曲MV，第二点播设备接收歌曲MV的触发广播后，触发播放与所述歌曲编号、歌曲名称、歌词内容中的一种或多种相适配的3D场景；第二点播设备给各从点播设备转让对应的触发广播后，其中一预先订阅过该触发广播的从点播设备播放与所述歌曲编号、歌曲名称、歌词内容中的一种或多种相适配的3D场景；

或所述第一点播设备在时间轴的另一时间点播放的多媒体资源为歌曲MV，第二点播设备接收歌曲MV的触发广播后，触发播放根据歌曲音频生成的可视化视频；所述根据歌曲音频生成可视化视频包括：获取歌曲MV对应的音频数据，识别所述音频节拍值和音频幅值，依据所述节拍值和频率幅值生成所述音频数据的视频，其中，依据所述节拍值确定所述音频幅值的显示速度。

13.一种多设备实时交互显示的装置，其特征在于，所述装置包括第一点播设备和第二点播设备，所述第一点播设备和第二点播设备根据权利要求1至12任一项所述的方法进行交互。

14.根据权利要求13所述的多设备实时交互显示的装置，其特征在于，所述第二点播设备还连接有一个以上的从点播设备，所述各从点播设备根据权利要求2-12任一项所述的方法与第一点播设备、第二点播设备进行交互。