CN102724474A

CN102724474A - 自适应网络编码的便携式视频会议终端及实现方法

Info

Publication number: CN102724474A
Application number: CN2012101530453A
Authority: CN
Inventors: 江小平; 李成华; 张华�; 杨辉; 孙凯
Original assignee: South Central University for Nationalities
Current assignee: South Central Minzu University
Priority date: 2012-05-17
Filing date: 2012-05-17
Publication date: 2012-10-10

Abstract

本发明提供一种自适应网络编码的便携式视频会议终端及实现方法，该终端将音视频采集模块、音视频数字处理模块、电源模块等集成在一个便携终端盒里，通过USB与个人计算设备相连，视频会议终端客户端软件在个人计算设备上自动运行，个人计算设备只要能联上网可加入多方视频会议。该终端通过感知当前通信网络状态，编码控制器自适应地选择性编码方式，根据实时网络状况动态调整视频编码策略，使接收侧用户能够得到当前网络状态下尽可能好的实时视频图像；因该终端底层驱动及客户端软件均驻留在该终端中，与个人计算设备连接后自动运行，即插即用；该终端携带方便，操作简单，建设灵活可靠性高，采用低功耗设计有较长待机时间，方便用户随时随地使用。

Description

自适应网络编码的便携式视频会议终端及实现方法

技术领域

本发明涉及一种视频会议终端及实现方法，特别是涉及一种自适应网络编码的便携式视频会议终端及实现方法。

背景技术

目前，视频会议***主要分为软件视频会议和硬件视频会议两种。采用基于 PC 的纯软件解决方案虽然会议软件本身费用并不高，但每个会议室还要配专用 PC、单独的视音频采集设备（如 USB 摄像头、耳麦）以及操作***等相关基础软件，再加上安装、维护等方面的开销，综合起来，其成本较高。而纯硬件解决方案不仅可以实现高品质的会议效果，而且可以通过高集成度的一体化终端设备完成所有功能，无需另配其他硬件和软件设施，即插即用、使用简单、无需维护，因此其综合成本反而比纯软件的便宜，但是由于其部署位置固定，需要参会人员达到指定的场所才能参与视频会议。

随着信息技术的发展和交通方式的日益便利，人们经常处于移动办公状态，这种必须要固定场所才能参与视频会议的模式给人们的工作带来许多不便，极大影响了工作效率。此外视频会议***技术目前发展中值得关注的一个趋势是个人通信工具的快速发展，即不断追求终端的小型化、简易化和便携化，以适应经常处于移动状态的中小企业用户和公务员的随时随地进行信息沟通的需求。

利用个人计算设备实现移动视频会议存在以下问题：一、网络下行速率相对较大，个人计算设备在接受下行视频流时有足够的软解码能力，而网络上行速率相对小，视频流的上传是影响视频会议质量的瓶颈；二、个人计算设备使用网络环境复杂，存在信道带宽有限且带宽不稳定的特点；三、个人计算设备通常带有视频采集设备，但其视频的编码采用是软件编码的方式，满足不了视频会议实时编码的要求；四、传统视频编码标准的编码器将视频压缩到一个固定码率，使之具有固定的帧率、分辨率和视频质量，只有当传输网络的带宽足够高，才能在接收端正常解码和显示。

发明内容

针对上述现有的视频会议***建设以及个人计算设备实现视频会议的不足，满足随时随地的加入视频会议的需求，本发明的目的是提供一种自适应网络编码的便携式视频会议终端实现方法，该终端将输入模块、音视频数字处理模块、电源模块等集成在一个便携的终端盒里，通过USB连接方式与个人电脑等个人计算设备相连，视频会议终端客户端软件在个人计算设备上自动运行，个人计算设备只要能联上网（有线网、3G网络、WiFi无线网络）就可以实现多方视频会议。在嵌入式DSP芯片上实现了一个较低复杂度的提供“时间－空间－质量”三维可伸缩的编码方案，根据服务质量QoS感知到网络状态信息控制音视频数字处理模块实现自适应网络状态的码流输出。

为实现上述目的，本发明采取以下技术方案：

一种自适应网络编码的便携式视频会议终端实现方法，包括以下主要步骤：

步骤一、采集本地视频信号和音频信号；

步骤二、将采集到的本地音频信号和视频信号进行压缩编码，根据终端软件感知到的网络状态，编码控制器根据相应的网络状态来决策选择对应的编码方式，实现自适应的硬件快速编码；

步骤三、终端通过USB接口与个人计算设备连接，借助个人计算设备的网络通信功能将数据传输到视频会议中心，会议中心将数据分发给会场其他终端视频和音频装置播放，同时也接收会议中心转发的其他终端的视频数据，从而实现多方视频会议之间通信。

优选的，上述便携式视频会议终端包括采集模块、音视频数字处理模块、外部通信设备接口模块、电源模块以及终端软件模块。

优选的，上述采集模块包括摄像头和麦克风，用于接收本地的音视频输入信号；

上述音视频数字处理模块包括编码控制器，可根据网络的状态选择相应的编码方式；音视频数字处理器，采用基于小波的MCTF、DWT和SHIFT算法来实现对输入的视频信号进行压缩编码；

上述外部通信设备接口模块为USB接口模块，以USB接口的形式与个人计算设备连接，利用个人计算设备的网络通讯能力向会场传输数据；

上述电源模块为低功耗的电源***，包括可充电电池、电源适配器，USB接口充电模块，提供两种供电方式：通过电源适配器外接电源直接向终端供电；通过USB接口外接的个人计算设备向电池充电，由电池给终端供电；

上述终端软件模块将客户端软件和驱动程序驻留在视频会议终端中，在通过USB接口连接到个人计算设备时自动运行，无需安装，即插即用。

优选的，上述个人计算设备是指具有显示、上网和一定计算能力的设备，如台式电脑、笔记本电脑、上网本等。

优选的，上述采集模块、音视频数字处理模块、外部通信设备接口模块和供电模块固定在同一底板上，集成在卡片式的机盒内，上述便携式视频会议终端还包括散热***，散热***由一块散热板和一排散热孔组成。

本发明由于采取以上技术方案，其具有以下优点：

1、终端通过感知网络信道状况进行可伸缩编码，自适应多种个人计算设备所接入的网络环境，可根据实时的网络状况动态调整视频编码策略，使接收侧用户能够得到当前网络状态下尽可能好的实时视频图像质量。

2、相比在个人计算设备上进行对音视频信号进行软件编码的方式，终端中借助高性能的嵌入式数字信号处理***实现的音视频编码硬件模块实现了更高效率的编码。

3、该视频会议终端将输入模块、电源模块、音视频数字处理模块、传输模块、电源模块集成在一个便携箱里面，携带方便。另外，该终端底层驱动及客户端软件均安装在视频会议终端中，与个人计算设备连接后可自动运行，无需安装，即插即用，操作简单。

4、传输方式方面，该终端通过USB接口方式可与任意个人计算设备连接，再通过个人计算设备所接入的网络，实现数据交换和数据传输，建设灵活、可靠性高。视频会议的实现不再囿于固定场地的设备。

附图说明

图1是视频会议***各个模块连接图。

图2是本发明便携式视频会议终端结构框图。

图3是音视频数字处理模块的结构框图。

图4是编码策略坐标示意图。

图5是网络质量状态分类示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施方式对本发明作进一步的详细描述。

图1为一套完整的视频会议***解决方案，由服务器（包括网络管理软件（网守和网关））、多点控制单元（MCU）、本发明设计的便携式视频会议终端、个人计算设备和传输网络以及相关附件构成。各部分通过互联网有序的连接来实现视频会议。

如图2所示，本发明包括音视频采集模块、音视频数字处理模块、USB接口模块、散热***、电源模块和终端客户端软件模块。

音视频采集模块接收本地音视频信号的输入。它主要包括麦克风和摄像头。麦克风接收本地音频信号输入，摄像头接收本地视频信号的输入。

音视频数字处理模块，该模块连接到音视频采集模块和USB接口模块。它从音视频采集模块接收本地音视频信号，将信号压缩成为符合国际标准的本地压缩编码，将本地压缩编码通过USB接口模块传输给个人计算设备（如笔记本电脑，智能手机等），然后再通过个人计算设备所连接的通信网络，向外部传输编码信号，此外，个人计算设备通过所连接通信网络接收其他会场的远程音视频数据，利用视频会议客户端软件进行解码，还原远程音视频信号。

电源模块包括可充电电池、电源适配器，USB接口充电模块，提供两种供电方式：通过电源适配器外接电源直接向视频会议终端供电；通过USB接口外接通信设备向电池充电，由电池给视频会议终端供电。通过图2所示开关选择供电模式。

终端客户端软件模块主要有以下三种功能：对会议平台进行简单的操作（包括申请和拒绝会议以及其他操作）；对本地采集的音视频信号和来自网络音视频信号进行播放；接收来自会议中心的QOS信息和音视频信号；该终端客户端软件可在多个操作***下运行。

从图3中可以看出，首先在信号传输过程中终端客户端接收来自视频会议中心QoS服务对网络状态的监控信息，将网络状态信息反馈给编码控制器。

图3给出了音视频数字处理模块的工作原理。其核心思想是根据视频会议中心的QOS监控器反馈过来的网络状态信息，来决定终端采集来的图像采用何种策略和速率来传输，该模块使用一种速率自适应的“时间－空间－质量”的分层视频编码方案。该方案原理如下：在编码控制器中，通过将接收到QOS的反馈的网络状态进行量化分析，得到当前编码策略，采用多层MCTF（基于运动补偿时域滤波算法）技术实现时间（帧速率）可伸缩性，采用DWT（离散小波变换算法）技术实现空间可伸缩性，采用SPIHT（多级树集合***算法）技术来实现质量的可伸缩性，对经过MCTF、DWT和SPIHT算法处理后的分层数据流进行重组织，将得到的数据流及索引文件发送给接收端的解码器重建图像。以上算法在嵌入式DSP***上实现。

所谓确定编码策略，就是在对反馈到编码控制器的网络状态信息进行量化分析后，在图4所示的三维空间坐标系中选择一个坐标点（x，y，z），对应的取值分别对应是时间、空间和质量可伸缩性编码的控制参数，如取值(2，3，2)，其对应含义是MCTF做2层变换，做3级DWT分解，在实现SPIHT算法中进行二次逼近量化。具体描述如下：在对输入的视频序列应用2层MCTF变换，形成两层高通帧和低通帧序列，通过舍弃高通帧来减少帧数，实现帧速率减少到原来的1/4，保留第二层MCTF变换后的低通帧进行下一步操作；离散小波变换DWT是对上一步保留的帧进行，经过3级小波变换后每帧图像得到10个子带，舍弃所有的高频子带，只保留低频子带LL3做下一步处理，得到空间分辨率是原来的1/8；最后由SPIHT算法决定将哪层数据发送到解码端，对上一步保留帧最大的小波系数进行初始量化后，经过编码得到第1层码流，解码时对应为第一重构图像，质量最为粗糙，对余下的系数进行二次量化下编码形成第2层码流，解码质量优于第一重构图像，编码只输出第1、2层码流，不再进行新的量化了。可见，x，y和z的不同取值组合下代表了送到接收端解码器的视频数据流在时间、空间和质量三方面信息量是不同的，且这三个方面的参数可独立控制；x和y的取值越大，z的取值越小，对应的视频压缩比越大。在本发明中，规定x，y和z的取值范围，即1≤x≤4，1≤y≤4，1≤z≤8。

对网络状态进行量化分析方法如下描述。QOS的丢包率是影响视频会议质量的关键指标，目前在视频会议中可以容忍的最高网络丢包率为20%，我们根据丢包率大小n将网络质量状态划分为三种状态：最佳状态，最差状态和调整状态，如图5所示。

最佳状态：当网络丢包率n<5%时认为网络质量状态处于最佳状态，可在略低于当前网络上行带宽速度下选择较高编码策略，解码器重构后得到高质量的视频图像，若测得当前上行网络带宽为700kbps左右，输入视频信号的空间分辨率为640*480，视频帧率为60fps时，可以确定编码策略点为（1，1，8），处于此种状态时编码策略不用随时间调整。

最差状态：当网络丢包率n>20%时认为网络质量状态处于最差状态，对视频序列进行MCTF处理后得到的层集合中，选取最低级别的层做相应的DWT处理，最后进行质量编码，重建出最低级别的质量、帧速率和空间分辨率的图像来满足传输需求，保证在此网络状态下仍然能够进行视频会议，此时的编码策略应选取x和y的最大值以及z的最小值，如取x=4，y=4和z=1。处于此种状态时编码策略不用随时间调整。

调整状态：当5%<n<20%时，编码策略随网络质量状态变化而调整的，当n接近5%时，选取的编码策略(x，y，z)越接近最佳状态下计算的(1，1，8),此时的重建图像质量越好；n接近于20%时，选取的编码策略(x，y，z)越接近(4，4，1)，此时的重建图像质量越差。调整方法描述如下：按n的值大小划分为4个状态子区间，即5%-8%、8%-12%，12%-17%和17%-20%，每个子区间内对应一个固定编码策略，这样存在5个状态调整临界点，即n=5%、8%、12%、17%和20%。考虑到网络传输中会出现一个较小的波动，不能仅根据一次丢包率的变化情况而进行编码策略的调整。本发明中通过定时器连续测量记录n在某一时间段的值，即对K时刻的记录值与K-1、K-2、K-3、K-4时刻的记录值进行统计计算，按公式

计算出该段时间的平均丢包率

，再按公式

求出均方差，由的大小判断一段时间网络状态的变化情况，如果

<2%，认为属于细微波动，保持前一编码策略，无需进行策略调整；如果某个时刻丢包率n的值为调整临界点的取值且

≥2%，则对编码策略进行相应的调整。

以上所述，仅是用以说明本发明的具体实施案例而已，并非用以限定本发明的可实施范围，举凡本领域熟练技术人员在未脱离本发明所指示的精神与原理下所完成的一切等效改变或修饰，仍应由本发明权利要求的范围所覆盖。

Claims

1.一种自适应网络编码的便携式视频会议终端实现方法，其特征在于包括以下主要步骤：

步骤一、采集本地视频信号和音频信号；

步骤二、将采集到的本地音频信号和视频信号进行压缩编码，根据终端软件感知到的网络状态，编码控制器根据相应的网络状态来决策选择对应的编码方式，实现自适应的硬件快速编码。

2.如权利要求1所述的自适应网络编码的便携式视频会议终端实现方法，其特征在于：所述便携式视频会议终端包括采集模块、音视频数字处理模块、外部通信设备接口模块、电源模块以及终端软件模块；

所述采集模块包括摄像头和麦克风，用于接收本地的音视频输入信号；

所述音视频数字处理模块包括编码控制器，根据网络的状态决策选择适应网络传输状态的编码方式；音视频数字处理器，采用基于小波MCTF、DWT和SPIHT算法来实现对输入的视频信号进行压缩编码；

所述外部通信设备接口模块为USB接口模块，以USB接口的形式与个人计算设备连接，利用个人计算设备的网络通讯能力向会场传输数据；

所述电源模块为低功耗的电源***，包括可充电电池、电源适配器，USB接口充电模块，提供两种供电方式：通过电源适配器外接电源直接向终端供电；通过USB接口外接的个人计算设备向电池充电，由电池给终端供电；

所述终端软件模块将客户端软件和驱动程序驻留在视频会议终端上，在通过USB接口连接到个人计算设备上时自动运行，无需安装，即插即用。

3.如权利要求1或2所述的自适应网络编码的便携式视频会议终端实现方法，其特征在于：所述个人计算设备是指具有显示、上网和一定计算能力的设备。

4.如权利要求3所述的自适应网络编码的便携式视频会议终端中的音视频数字处理模块，其特征在于：所述个人计算设备为台式电脑、笔记本电脑、平板电脑、上网本或智能手机。

5.如权利要求2所述的自适应网络编码的便携式视频会议终端中的音视频数字处理模块，其特征在于，能根据视频会议中心的QoS监控器反馈过来的网络状态信息，决定终端采集来的图像以何种格式和何种帧率来传输，该模块使用一种自适应网络状况的“时间－空间－质量”三维可伸缩视频编码方案。