CN102081946B

CN102081946B - 在线协同非线性编辑***

Info

Publication number: CN102081946B
Application number: CN 201010564774
Authority: CN
Inventors: 李锦伟; 孙军; 茆唯伟; 王兴东; 孙思慧
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai National Engineering Research Center of Digital Television Co Ltd
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2013-04-17
Anticipated expiration: 2030-11-30
Also published as: CN102081946A

Abstract

一种互联网多媒体信息处理技术领域的在线协同非线性编辑***，包括：制作组管理模块、素材管理模块、时间线操作模块、素材预览模块、用户操作管理模块和协同制作管理模块，本发明通过共享每人对各自的视频进行的编辑操作，实现了多人的在线的协同的非线性编辑***，为实现在线视频节目的协同编辑制作提高了效率，能够实现多人在不同环境下的协同编辑制作。

Description

在线协同非线性编辑***

技术领域

本发明涉及的是一种互联网多媒体信息处理技术领域的***，具体是一种在线协同非线性编辑***。

背景技术

随着世界各地的网络宽带化的发展和数字视频压缩技术的发展，互联网上的视频节目越来越多，网络视频对人们日常生活的影响越来越深，视频节目正在以多媒体全景展示的方式影响广大民众的生活，这也带动了网络视频行业在国内的发展。现今为止，已经有不少网站提供了编辑制作的功能。但是，有时候为了提高工作效率，人们并不满足于单机的低效率工作模式，而是希望能够多人进行协同的视频节目编辑，传统的非线性编辑方法并不具备这样的功能。

经过对现有技术的检索发现，如今的非线性编辑技术无一例外的都是针对单人的工作模式。而本文所提出的基于开放时间线的非线性编辑技术则解决了这个问题，除了传统的单人工作模式外，还提供了多人协作的工作模式。也就是说，不同于以往的一个人负责素材导入、编辑制作、成品渲染等所有工作，而是可以多个人分工完成这些工作，例如可以二个人同时进行视频节目的编辑制作，可以由一个人负责节目的视频部分的编辑，而另一个人负责节目的音频部分的编辑的协作方式，或者制作一个小时的成品，一个人编辑制作前半部分，另一个人编辑制作后半部分。

发明内容

本发明的目的是为了克服现有技术中存在的不足，提出一种在线协同非线性编辑***，通过共享每人对各自的视频进行的编辑操作，实现了多人的在线的协同的非线性编辑***，为实现在线视频节目的协同编辑制作提高了效率，能够实现多人在不同环境下的协同编辑制作。

本发明是通过以下技术方案实现的，本发明包括：制作组管理模块、素材管理模块、时间线操作模块、素材预览模块、用户操作管理模块和协同制作管理模块，其中：制作组管理模块和时间线操作模块相连传输用户的制作组的相关信息及用户权限信息，素材管理模块和时间线操作模块相连传输单个包括时长、路径和缩略图的音视频素材信息，时间线管理模块和素材预览模块相连传输时间线上的素材组成、素材组织形式和素材特技信息以生成最终成品，时间线操作模块和用户操作管理模块相连传输单个用户在时间线上对音视频进行的所有编辑操作，用户操作管理模块和时间线路模块相连并传输其他用户在时间线上进行的所有编辑操作，用户操作管理模块和协同制作管理模块相连以传输单个用户在时间线上的编辑操作，且同时接收协同制作管理模块传输的其他用户在各自的时间线上的编辑操作。

所述的制作组管理模块包括：用户交互子模块和制作组信息管理子模块，其中：用户交互子模块和制作组信息管理子模块相连传输组的用户的权限设置信息，制作组信息管理子模块和时间线操作模块相连传输各用户在时间线上的操作权限信息及组的相关信息。

所述的素材管理模块包括：用户交互子模块、素材检索子模块和素材信息管理子模块，其中：用户交互子模块和素材检索子模块相连传输用户相关控制指令信息，素材检索子模块和素材信息管理子模块相连传输已存储的素材信息，素材信息管理子模块和用户交互子模块相连传输素材的基本信息，用户交互子模块和时间线操作模块相连传输素材的原始信息以及用户设置信息。

所述的时间线操作模块包括：用户交互子模块、时间线管理子模块、用户操作管理子模块和预览信息管理子模块，其中：用户交互子模块和时间线管理子模块相连传输用户的相关控制指令，用户交互子模块和用户操作管理子模块相连传输用户在时间线上的操作信息，用户操作管理子模块和预览信息管理子模块相连传输用户的时间线状态信息，预览信息管理子模块和素材预览模块相连传输预览成品所需要的所有信息。

所述的素材预览模块包括：预览信息管理子模块、音视频素材预览子模块、特效预览子模块和字幕预览子模块，其中：时间线操作模块和预览信息管理子模块相连传输预览所需要的素材信息、特效信息和字幕信息，预览信息管理子模块和音视频素材预览子模块相连传输素材的播放地址，预览信息管理子模块和特效预览子模块相连传输包括特效种类以及特效时长的特效属性，预览信息管理子模块和字幕预览子模块相连传输包括字体、字号、位置和时长的字幕属性。

所述的用户操作管理模块包括：用户操作存储子模块、用户操作发送子模块和协同操作接收子模块，其中：时间线操作模块和用户操作存储子模块相连传输用户在自己的时间线上所做的所有操作，用户操作存储子模块和用户操作发送子模块相连传输所存储的用户的所有操作，用户操作发送子模块通过网络将用户的操作发送到协同制作管理模块，协同操作接收子模块接收协同制作管理模块通过网络推送过来的其他用户的操作，协同操作接收子模块和时间线操作模块相连传输制作组内其他用户发送过来的时间线上的操作。

所述的协同制作管理模块包括：组内用户操作存储子模块、组内用户操作同步更新子模块和成品制作管理子模块，其中：用户操作管理模块和组内用户操作存储子模块相连传输单个用户在时间线上的操作，组内用户操作同步更新子模块和用户操作管理模块相连传输位于同一个制作组内的其他用户在时间线上的操作，时间线操作模块和成品制作管理子模块相连传输成品的具体信息。

与现有技术相比，本发明的有益效果是：通过对传统的非线性编辑***的扩展，通过增加制作组管理模块、用户操作管理模块和协同制作管理模块，实现了不同用户的各自时间线的共享，很好的解决了在线的音视频节目的协同编辑制作的问题。

附图说明

图1本发明的***组成连接示意图.

图2用户操作的存储结构。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例通过两人(A和B)建立一个制作组(G)来编辑制作一个成品。成品的视频部分由两段不同的视频素材(V1和V2)组成，两段视频之间有一段2s的转场特效(VE)，音频部分由两端不同的音频素材(A1和A2)组成，音频之间有声音渐响的效果(AE)。

如图1所示，本实施例包括：制作组管理模块、素材管理模块、时间线操作模块、素材预览模块、用户操作管理模块、协同制作管理模块。其中制作组管理模块和时间线操作模块相连传输用户的制作组的相关信息及用户权限信息；素材管理模块和时间线操作模块相连传输单个的音视频素材信息，包括时长、路径、缩略图等；时间线管理模块和素材预览模块相连传输时间线上的数据，包括有哪些素材组成、素材之间在时间线上是如何组织的、素材之间有什么特技等，用以生成最终成品；时间线操作模块和用户操作管理模块相连传输单个用户在时间线上对音视频进行的所有编辑操作；用户操作管理模块和时间线路模块相连以传输其他用户在时间线上进行的所有编辑操作；用户操作管理模块和协同制作管理模块相连以传输单个用户在时间线上的编辑操作，同时接收协同制作管理模块传输的其他用户在各自的时间线上的编辑操作，然后反映在自己的界面显示上。在该实施例中，为了实现在线的需要，没有采用传统的C/S模式的架构，而得转向B/S模式的架构，与传统的C/S模式不同，它将客户端统一为浏览器的形式，而且它还带来了跨平台的特性。由于需要在浏览器里做一些比较复杂的操作，所以采用富客户端的方式，具体的是采用Flex技术来实现制作组管理模块、素材管理模块、时间线操作模块、素材预览模块、用户操作管理模块，而协同制作管理模块采用Java实现，网络通信都是通过TCP实现。

所述的制作组管理模块包括：用户交互子模块、制作组信息管理子模块。用户交互子模块和制作组信息管理子模块相连传输组的相关控制信息，主要是用户的权限设置。制作组信息管理子模块和时间线操作模块相连传输各用户在时间线上的操作权限信息及组的相关信息。所谓制作组，即多个用户形成一个组来共同完成编辑制作的工作。在本实施例中，A和B组成一个制作组G共同开始工作。用户交互子模块提供了web页面以进行相关设置，A和B分别可以对时间线的视频轨和音频轨分别进行操作，A负责编辑制作成品的视频部分，B负责编辑制作成品的音频部分。在用户通过页面进行设置之后，用户交互子模块传输用户的权限设置信息给制作组信息管理子模块，用户A和B就可以分别同时开始编辑。

所述的素材管理模块包括：用户交互子模块、素材检索子模块、素材信息管理子模块。用户交互子模块和素材检索子模块相连传输用户相关控制指令信息。素材检索子模块和素材信息管理子模块相连传输已经存储的素材的所有信息。素材信息管理子模块和用户交互子模块相连传输素材的基本信息。用户交互子模块和时间线操作模块相连传输素材的原始信息以及用户的一些设置信息。在本实施例中，用户A和B通过各自的编辑制作终端页面，通过用户交互子模块检索素材，用户A检索得到素材V1和V2信息，用户B通过检索得到素材A1和A2信息，并将它们添加到工程里面。然后，用户A和B可以开始分别进行成品制作。

所述的时间线操作模块包括：用户交互子模块、时间线管理子模块、用户操作管理子模块、预览信息管理子模块。用户交互子模块和时间线管理子模块相连传输用户的相关控制指令。用户交互子模块和用户操作管理子模块相连传输用户在时间线上的操作信息。用户操作管理子模块和预览信息管理子模块相连传输用户的时间线状态信息。预览信息管理子模块和素材预览模块相连传输预览成品所需要的所有信息。在本实施例中，用户A将检索出来的视频素材V1和V2添加到自己的时间线上，在V1和V2中间再添加一个转场的特效VE。用户B将检索出来的音频素材A1和A2添加到自己的时间线上，在A1和A2之间再添加一个转场的特效AE。在整个过程中用户操作管理子模块将记录用户在时间线上的操作记录，在本实施例中，A的用户操作管理子模块记录了A的3个操作：添加V1、添加V2、添加VE。B的用户操作管理子模块记录了B的3个操作：添加A1、添加A2、添加AE。同时，A和B的动作是同步进行的。预览信息管理子模块记录了整个时间线上的所有素材状态，比如A的时间线状态为两个视频片段外加一段特效，包括视频和特效的属性信息，这些信息传输给素材预览模块以进行预览。用户在界面上的操作是多样而复杂的，如何对用户在时间线上的各种不同的操作进行分类，是其中最为关键的问题。在该***中首先是根据素材类型来进行分类用户操作，即分为视频、音频、字幕三大类，然后对每种素材又分为添加、删除、改变属性三种基本操作。其它一些比较复杂的操作也可以由之组合得到，比如视频的剪切操作是通过添加两个新的视频和删除原来的视频操作而得到的。移动素材的位置可以由删除素材和添加素材两个操作来得到的。所以说，一个用户操作应该是一个或者多个基本操作构成的。而上面提到的基本操作可以组合实现所有的用户操作。该***中，将所有的基本操作存于一个数组中，具有相同任务id的几个连续的基本操作代表一个用户操作，存储结构如图2所示。对于每个基本操作，都定义了相应的事件处理函数。所以执行用户操作，则是首先对用户的操作进行分解，分为一个个基本操作，然后执行每个基本操作所对应的处理函数，这样就实现了对一次用户操作的处理。

所述的素材预览模块包括：预览信息管理子模块、音视频素材预览子模块、特效预览子模块、字幕预览子模块。时间线操作模块和预览信息管理子模块相连传输预览所需要的所有信息，包括素材信息、特效信息、字幕信息等。预览信息管理子模块和音视频素材预览子模块相连传输素材的播放地址等预览素材所需的信息。预览信息管理子模块和特效预览子模块相连传输特效的属性，包括特效的种类，特效的时长等信息。预览信息管理子模块和字幕预览子模块相连传输字幕的属性，包括字体、字号、位置、时长等信息。在本实施例中，用户可以通过预览模块查看当前编辑成品的效果，本实例中用户A看到的即是V1、V2、VE所组成的成品的效果，用户B看到的即是A1、A2、AE所组成的成品的效果。

所述的用户操作管理模块包括：用户操作存储子模块、用户操作发送子模块、协同操作接收子模块。时间线操作模块和用户操作存储子模块相连传输用户在自己的时间线上所做的所有操作。用户操作存储子模块和用户操作发送子模块相连传输所存储的用户的所有操作。用户操作发送子模块通过网络将用户的操作发送到协同制作管理模块。协同操作接收子模块接收协同制作管理模块通过网络推送过来的其他用户的操作。协同操作接收子模块和时间线操作模块相连传输制作组内其他用户发送过来的时间线上的操作。在本实施例中，时间线操作模块中已经记录了用户在时间线上所做的操作，用户A在时间线上进行了添加素材V1、添加素材V2、添加特技VE共3个动作，用户B在时间线上进行了添加素材A1、添加素材A2、添加特技AE共3个动作，用户A和B分别将这3个动作传递给自己的用户操作存储子模块，存储子模块将记录下这些操作。用户操作发送子模块负责通过TCP将相应的3个操作发送到协同制作管理模块，以作进一步的处理。协同制作管理模块接收到这些操作之后，经过处理，通过TCP会将处理后的结果发送给协同操作接收子模块，协同操作接收子模块会将接收到的信息发送给时间线操作模块，可以达到协同制作的目的。

所述的协同制作管理模块包括：组内用户操作存储子模块、组内用户操作同步更新子模块、成品制作管理子模块。用户操作管理模块和组内用户操作存储子模块相连传输单个用户在时间线上的操作。组内用户操作同步更新子模块和用户操作管理模块相连传输位于同一个制作组内的其他用户在时间线上的操作。时间线操作模块和成品制作管理子模块相连传输成品的具体信息。在本实例中，组内操作存储子模块负责接收不同用户发送过来的信息，即不同用户在对应的时间线上执行的操作，组内操作存储子模块以组为单位来进行管理。在本实施例中，A和B在同一个组G中，组内操作存储子模块通过TCP接收到G组的操作共有6个，用户A和用户B各有3个操作，组内操作存储子模块将这些操作进行存储。组内用户操作同步更新子模块会负责分析存储下来的操作，该子模块的主要目的是为了能够同步组内所有用户的操作，所有会将用户A的3个操作发送至用户B，将用户B的3个操作发送至A，这样一个制作组里所有用户的操作就可以得到同步。实际上，用户A的操作管理模块接收到用户B的3个操作之后，会将这3个操作发送到用户A的时间线操作模块，然后时间线操作模块经过处理后用户B的操作也反映到用户A的界面上，这样就实现了同步的编辑。同理，用户B的界面上也将同步用户A的所有操作。

本实施例的优点：用户A和B在编辑制作同一个成品时，能够分别编辑成品的视频部分和音频部分，实现了协同工作，提高了工作效率，也是现有技术所不具备的功能。

Claims

1.一种在线协同非线性编辑***，其特征在于，包括：制作组管理模块、素材管理模块、时间线操作模块、素材预览模块、用户操作管理模块和协同制作管理模块，其中：制作组管理模块和时间线操作模块相连传输用户的制作组的相关信息及用户在时间线上的操作权限信息，素材管理模块和时间线操作模块相连传输单个包括时长、路径和缩略图的音视频素材信息，时间线操作模块和素材预览模块相连传输时间线上的素材组成、素材组织形式和素材特技信息以生成最终成品，时间线操作模块和用户操作管理模块相连传输单个用户在时间线上对音视频进行的所有编辑操作，用户操作管理模块和时间线操作模块相连并传输制作组内其他用户在时间线上进行的所有编辑操作，用户操作管理模块和协同制作管理模块相连以传输单个用户在时间线上的编辑操作，且同时接收协同制作管理模块传输的制作组内其他用户在各自的时间线上的编辑操作。

2.根据权利要求1所述的在线协同非线性编辑***，其特征是，所述的制作组管理模块包括：用户交互子模块和制作组信息管理子模块，其中：用户交互子模块和制作组信息管理子模块相连传输制作组内用户在时间线上的操作权限信息，制作组信息管理子模块和时间线操作模块相连传输各用户在时间线上的操作权限信息及制作组的相关信息。

3.根据权利要求1所述的在线协同非线性编辑***，其特征是，所述的素材管理模块包括：用户交互子模块、素材检索子模块和素材信息管理子模块，其中：用户交互子模块和素材检索子模块相连传输用户相关控制指令信息，素材检索子模块和素材信息管理子模块相连传输素材信息，素材信息管理子模块和用户交互子模块相连传输素材信息，用户交互子模块和时间线操作模块相连传输素材信息以及用户设置信息。

4.根据权利要求1所述的在线协同非线性编辑***，其特征是，所述的时间线操作模块包括：用户交互子模块、时间线管理子模块、用户操作管理子模块和预览信息管理子模块，其中：用户交互子模块和时间线管理子模块相连传输用户的相关控制指令，用户交互子模块和用户操作管理子模块相连传输用户在时间线上的操作信息，用户操作管理子模块和预览信息管理子模块相连传输用户的时间线状态信息，预览信息管理子模块和素材预览模块相连传输预览成品所需要的所有信息。

5.根据权利要求1所述的在线协同非线性编辑***，其特征是，所述的素材预览模块包括：预览信息管理子模块、音视频素材预览子模块、特效预览子模块和字幕预览子模块，其中：时间线操作模块和预览信息管理子模块相连传输预览所需要的素材信息、特效信息和字幕信息，预览信息管理子模块和音视频素材预览子模块相连传输素材的播放地址，预览信息管理子模块和特效预览子模块相连传输包括特效种类以及特效时长的特效信息，预览信息管理子模块和字幕预览子模块相连传输包括字体、字号、位置和时长的字幕信息。

6.根据权利要求1所述的在线协同非线性编辑***，其特征是，所述的用户操作管理模块包括：用户操作存储子模块、用户操作发送子模块和协同操作接收子模块，其中：时间线操作模块和用户操作存储子模块相连传输用户在自己的时间线上所做的所有操作，用户操作存储子模块和用户操作发送子模块相连传输所存储的用户的所有操作，用户操作发送子模块通过网络将用户的操作发送到协同制作管理模块，协同操作接收子模块接收协同制作管理模块通过网络推送过来的制作组内其他用户的操作，协同操作接收子模块和时间线操作模块相连传输制作组内其他用户发送过来的时间线上的操作。

7.根据权利要求1所述的在线协同非线性编辑***，其特征是，所述的协同制作管理模块包括：组内用户操作存储子模块、组内用户操作同步更新子模块和成品制作管理子模块，其中：用户操作管理模块和组内用户操作存储子模块相连传输单个用户在时间线上的操作，组内用户操作同步更新子模块和用户操作管理模块相连传输位于同一个制作组内的其他用户在时间线上的操作，时间线操作模块和成品制作管理子模块相连传输成品的具体信息。