CN101883270A

CN101883270A - 一种在独立视频流中***相关媒体的方法

Info

Publication number: CN101883270A
Application number: CN 201010197497
Authority: CN
Inventors: 高军; 刘广钟; 杨国东
Original assignee: Shanghai Maritime University
Current assignee: Shanghai Maritime University
Priority date: 2010-06-10
Filing date: 2010-06-10
Publication date: 2010-11-10

Abstract

一种在独立视频流中***相关媒体的方法，采集主要视频流，以及要与主要视频流协同的从属视频流，并指定这些多媒体信息的***到原始视频流中的时间戳；对主要的视频流利用一种编码器进行编码，将从属的视频流利用可选的编码器进行单独编码；在编码时用户定制的多媒体信息将被编码成一些特殊帧，与普通的视频帧经过时间戳对比后，按照一定的时序重新安排帧的位置；在接收端，对收到的视频流进行解码，要特别考虑用户的特殊帧的解码；若该特殊帧包含的是文本等数据，则将文本显示在原始视频流的合适位置上；若该特殊帧包含的是图片或从属视频流，则在一个新画面中展示该内容。本发明模拟真实课堂的授课效果，给用户以更多的信息、更生动的场景。

Description

一种在独立视频流中***相关媒体的方法

技术领域

本发明涉及计算机网络视频，尤其处理多路视频流的远程实时传输技术。

背景技术

随着网络技术的发展，远程教学迅速发展成为人们获取教育一种重要方式。远程教学可以实时将教师现场授课场景以视频流的形式传输到上课者面前，也可以将视频流压缩成多媒体文件分发给上课者，这是一种非实时视频。而目前这种视频授课并不能保持现场授课的那种生动性。在目前的视频授课中，大多是在授课老师和授课的讲稿之间切换镜头，而不能把授课老师的本身形体动作和授课讲稿的内容同时展现给听课者，因此也就失去了一定的现场授课的生动性。然而，传统的实时视频流一般是一路视频流与多路音频的混合传输，这种并不适合在远程授课中同时传输多路视频流的需求。

为了更生动地展现实时授课场景，需要在一路主媒体流播放的同时，展现其他几路从属的媒体流。从属的媒体流是对主媒体流的补充和注释，也就是为实时场景增加多个镜头，对多个镜头分别编码；在接收端用多个画面展示从属的媒体流，给人以生动的场景。从属的媒体流可以是压缩过的图片或者文字等信息。

专利《一种模拟真实课堂授课效果的远程授课视频制作方法》，展示了一种模拟真实课堂授课效果的远程授课视频的制作方法，将教师的上课过程，分解为黑板上的板书和教师讲课两个过程，分别制成黑板视频和讲课视频，使得这两路视频完全同步，模拟真实课堂的授课效果。这种方法有一定的局限性，它只能处理两路视频流，而不能处理更多的视频流。

专利《在网络直播缓冲过程中播放广告的方法、***及客户端》，公开了一种在网络直播缓冲过程中播放广告的方法、***及客户端，但它处理的对象并不针对远程视频授课的应用，而是主要考虑网络视频的流畅性。

因此，目前单路视频流的远程视频授课形式已经满足不了当今对实时场景更好的效果的需求，针对多路视频流的实时视频传输技术有待开发。

发明内容

本发明的目的为了模拟真实课堂的授课效果，满足当今对实时场景更好的效果的需求，向视频流中***用户定制的多媒体信息，实现对视频流中的注解、说明、补充等，当应用在远程视频授课中，可以将授课实时场景以多个视频画面展示，提供更加生动的视频。视频流与用户定制的多媒体信息相结合，尽可能使用户定制的多媒体信息全方位展现视频表达的场景，使这些多媒体信息表达更多的细节，以多画面形式向用户呈现视频流。即本发明可以对于多于一路的视频流或者图片流进行编码和传输，针对多路视频流的实时视频传输技术。

本发明的技术方案包括：

一种在原始视频流中***用户定制的多媒体信息的方法，包括以下步骤：

1、采集主要视频流，以及要与主要视频流协同的从属视频流，包括文体、图片或其他的视频流，并指定这些多媒体信息的***到原始视频流中的时间戳。

2、对主要的视频流利用一种编码器进行编码，将从属的视频流利用可选的编码器进行单独编码。在编码时用户定制的多媒体信息将被编码成一些特殊帧，与普通的视频帧经过时间戳对比后，按照一定的时序重新安排帧的位置。

3、在接收端，对收到的视频流进行解码，要特别考虑用户的特殊帧的解码。若该特殊帧包含的是文本等字幕数据，则根据需要将文本显示在原始视频流的合适位置上；若该特殊帧包含的是图片或从属视频流，则在一个新画面中展示这些内容。

有益效果

本发明提供的在视频流中***相关多媒体的方法能够在视频流中方便***用户的定制多媒体信息，使视频的展示功能得到扩展，在接收端通过多个画面展示场景，或者对细节进行补充，给接收用户以更多的信息、更生动的场景。

附图说明

下面结合附图与实施案例进一步说明本发明。

图1编码过程示意图；

图2二路视频流解码示意图；

图3整***编码结构图；

图4整体效果图。

具体实施方式

下面将以远程视频授课的案例说明本发明的应用实施步骤及其优点。

在视频授课时，视频流可以有二个镜头：一个对准授课者，一个对准讲稿。授课者的动作作为主要的视频流，我们称其为主媒体；而讲稿以图片形式作为多媒体信息***到主要的视频流中进行传输，我们称其为从属流。在下面的说明中，以一路从属流为例，说明实施步骤：

将从属流编码为主流中的特殊帧。在一般的视频流中，有三类帧：I帧、P帧和B帧。我们可以自定义一种新的类型帧：U帧，代表用户多媒体帧。这样，可以将从属流也做为帧进行编码，可以采用现有的帧编码技术对从属流进行处理，但U帧与I、P以及B帧没有关系，每一个U帧都进行帧内编码，而且不为其他帧的参考帧。在编码端的过程如图1所示。

在接收端，根据发送端的编码方法，对视频流进行解码。解码的视频流分为两部分显示，一个画面显示授课者的动作，另一个画面显示讲稿。这样，听课者在既能看到授课者的形体语言的同时，又能观看到讲稿的内容。(参见图4)

解码过程示意图如图2所示：

当对多路视频流进行编码时，可以定义更多的视频帧，如U1、U2等，编码和解码的过程与二路视频流类似。这样做的好处是将所有用户附加的数据都作为特殊帧来对待，这些帧进行帧内编码，而且可以使用与主媒体不同的编码与解码手段，这样具有很大的灵活性，使得对多路视频流的处理互不干扰。

本发明具有很强的扩展性。特殊帧传送的数据类型并没有限制，因此，我们既可以利用特殊帧扩充可传送的视频流通道数目；也可以利用特殊帧开展其他数据业务，如一些控制命令等。(参见图3)

本发明是在现在编码方案基础上的扩充，与现在编码方案兼容。一路视频流的编码是本发明编码方案的一个特例。

Claims

1.一种在独立视频流中***相关媒体的方法，其特征在于，包括以下步骤：

1)、采集主要视频流，以及要与主要视频流协同的从属视频流，包括文体、图片或其他的视频流，并指定这些多媒体信息的***到原始视频流中的时间戳；

2)、对主要的视频流利用一种编码器进行编码，将从属的视频流利用可选的编码器进行单独编码；在编码时用户定制的多媒体信息将被编码成一些特殊帧，与普通的视频帧经过时间戳对比后，按照一定的时序重新安排帧的位置；

3)、在接收端，对收到的视频流进行解码，要特别考虑用户的特殊帧的解码；若该特殊帧包含的是文本等字幕数据，则根据需要将文本显示在原始视频流的合适位置上；若该特殊帧包含的是图片或从属视频流，则在一个新画面中展示这些内容。

2.根据权利要求1所述的方法，其特征在于：所述的步骤2中，当对多路视频流进行编码时，可以定义更多的视频帧，将所有用户附加的数据都作为特殊帧来对待，这些帧进行帧内编码，可以使用与主媒体不同的编码与解码手段，编码和解码的过程与二路视频流类似。

3.根据权利要求1所述的方法，其特征在于：所述的步骤3中，所述的特殊帧传送的数据类型没有限制，既能扩充为可传送的视频流通道数目；也可以开展其他控制命令数据业务。