CN1466384A - 视讯***中的图像分层编码和交换方法 - Google Patents
视讯***中的图像分层编码和交换方法 Download PDFInfo
- Publication number
- CN1466384A CN1466384A CNA021246408A CN02124640A CN1466384A CN 1466384 A CN1466384 A CN 1466384A CN A021246408 A CNA021246408 A CN A021246408A CN 02124640 A CN02124640 A CN 02124640A CN 1466384 A CN1466384 A CN 1466384A
- Authority
- CN
- China
- Prior art keywords
- terminal
- hierarchical coding
- coding
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明是一种视讯***中的图像分层编码和交换方法,分别在终端和MCU中采用H.263+中的分层编解码技术方案,在没有多画面的情形下,MCU只起交换、转接的作用;在有多画面的情形下,MCU进行解码、拼接后再采用分层编码技术。虽然本发明增加了编解码处理的复杂度,但所得到的好处是显然的,通过使用分层编解码技术和采用灵活的速率适配策略,既可以解决不同带宽终端共同开会时都可以得到与其带宽相应的图像质量,又可以提高抗误码能力,保证会议能正常进行,从而提高了***整体性能。
Description
技术领域
本发明属于视讯领域,具体来说是一种应用于视讯图像传输的图像分层编码和交换方法。
背景技术
在视讯领域,尤其是目前基于H.320和H.323标准的会议电视***一般主要包括MCU(Multipoint Control Unit:多点控制单元)和终端两部分,通过传输网络,如ISDN(Integrated Services Digital Network:综合服务数字网)和LAN(Local Area Network:局域网)等,将MCU和各个终端连接起来。而会议电视***中一般都允许多种类型的网络和终端参会,而各种网络的带宽不尽相同,为了能正常开会,一般都是采用参会者中最小的带宽进行编码传输,这样对拥有较高带宽的参会者来说有两个缺点:一是不能提供理想的图像质量,二是没有充分利用现有带宽资源。
针对上述缺点,现有技术中提出如下解决方案,即:
如果在没有多画面的情况下,一个终端图像在采用H.261/H.263标准经过编码压缩后,通过MCU将其传送给所有参会终端,如果不需要速率适配,则将其直接转发,如果需要进行速率适配处理,则需对图像码流进行解码,按所需带宽进行编码后再发送给各个终端。
如果在采用多画面的情况下,MCU将多个终端的图像解码后分别进行所需比例缩小变换处理,然后经过拼接,再进行编码压缩后发送给各个终端。
另外,专利号为US5838664、发明名称为“采用速率适配的会议电视***”的美国专利也描述了一种采用速率适配(transcoding)、码率匹配和空间混合(transmission rate matching and spatial mixing)技术的会议电视***,在该***中,MCU有一个进行这方面的处理的VPU(Video Processing Unit:视频处理单元),各终端都采用统一带宽的图像质量进行开会。
可是上述方案存在许多缺点,如在没有多画面的情形下MCU也进行图像解、编码的速率适配处理,增加了计算量和时延,降低了图像质量。
另一方面视频分层编码技术在H.263标准中也得到了广泛的应用,该技术是在同一个编码码流中,根据解码需要的不同,如不同的SNR(Signal Noise Ratio:信噪比)、不同的分辨率、不同的帧率,而得到不同质量的视频图像。视频编码分层技术分三种,即采用SNR分层编码技术、Temporal(时间)分层编解码技术、Spatial(空间)分层编码技术,图3、4、5所示为采用上述三种分层编码技术的示意图,这类分层编码技术将终端图象分层为:基本层和增强层。分层编码技术一方面可以根据传输网络现状来安排码流流量,另一方面在当增强层出现较严重的误码时,可以将增强层舍弃不要而只显示基本层,进而提高了***的抗误码能力。
发明内容
针对上述情形,本发明提出了一种分别在终端和MCU中采用H.263+中的分层编码技术方案,使得在保证会议能正常进行的情况下,各终端能得到与相应传输网络带宽相匹配的图像质量。
为实现上述目的,本发明提供一种视讯***中的图像分层编码和交换方法,该方法由下列步骤组成:
a、将终端图象编码码流进行分层编码,并通过传输网络传送至MCU;
b、对视讯***是否为多画面的情形进行判断,然后MCU将分层编码流发送至终端;
c、各个终端将分层编码码流解码。
其中,步骤b更具体地讲是指,
如果是没有多画面的情形,MCU直接将和各终端所拥有的传输网络带宽数相匹配的分层编码码流通过传输网络发送至各个终端,
如果是多画面的情形,MCU将多个终端的分层编码码流解码后分别进行所需比例变换处理,经过拼接,将拼接后图像进行分层编码,再将和各终端所拥有的传输网络带宽数相匹配的分层编码码流分别发送给各个终端。
一般来说,上述将图像进行分层编码是指采用SNR分层编码技术、Spatial(空间)分层编码技术或Temporal(时间)分层编码技术中的一种,只是终端得到的将分别是:相同帧率不同SNR的图像、不同分辨率的图像或不同帧率的图象。
步骤a更具体地还包含以下步骤:
a1、根据传输网络的带宽种类数确定分层编码的层数;
a2、根据所述的层数进行基本层和增强层的分层处理;
a3、将终端图象码流进行分层编码,并通过传输网络将和终端所拥有的传输网络带宽数相匹配的分层编码码流传送至MCU。
步骤b中具体描述的分层编码还包含以下步骤:
b1、根据传输网络的带宽种类数确定分层编码的层数;
b2、根据所述的层数进行基本层和增强层的分层处理。
上述步骤a、b中,当所述的传输网络带宽数的种类繁多时,一般是有多少种带宽就进行相应层数的分层编码。可是由于增加编码层数将会增加编码计算量,对于带宽数较多的情形,可选取不多于3个增强层的方法。将分层编码码流发送至相应的终端或MCU,其中分层编码码流的带宽数不超过且最接近于终端所拥有的传输网络带宽数。
采用本发明所述的技术方案,虽然增加了编解码处理的复杂度,但可以通过使用分层编解码技术和采用灵活的速率适配策略,使得不同带宽终端共同开会时都可以得到与其带宽相应的图像质量,另外,还可以提高抗误码能力,保证会议能正常进行,从而提高了***整体性能。
附图说明
图1是本发明的方法流程图。
图2是本发明实施例中拥有不同带宽的终端与MCU相连的示意图。
图3是本发明实施例1中采用SNR分层编码技术的方法示意图。
图4是本发明实施例2中采用Temporal分层编码技术的方法示意图。
图5是本发明实施例3中采用Spatial分层编码技术的方法示意图。
图号说明:
I、基本层的帧内帧; P、基本层的预测帧;
EI、增强层的帧内帧; EP、增强层的预测帧;
B、双向预测帧; CIF、通用中间格式;
QCIF、1/4通用中间格式。
具体实现方式
下面结合如图2、3、4、5所示的具体实施例情形来详细描述本发明。
如图2所示,其中终端1、终端2与带宽为768kbps的传输网络相连,终端3、终端4与带宽为384kbps的传输网络相连,多点控制单元MCU则分别与上述两种传输网络相连。
实施例1
图3为采用SNR分层编码方法的示意图,基本层图像编码与非分层情形一样,而将原图像与解码图像的差值图像在增强层中进行编码,传给解码端,从而得到比非分层情形具有更高SNR值的解码图像,例如,基本层图像SNR为40分贝,增强层图像SNR为45分贝,这样,通过分别在MCU和终端采用SNR分层编解码技术,可以满足不同终端获得相同的帧率、不同的SNR的图像质量的要求,如图1所示,具体步骤如下:
一、将终端1的图象编码码流进行分层编码,并通过传输网络传送至MCU。
具体来说,首先根据传输网络的2种带宽来确定分层编码的层数2层。
其次,根据所述的层数进行基本层和增强层的分层处理,如图3所示,确定终端1的基本层编码带宽为384kbps,I和P分别代表基本层的帧内帧和预测帧;增强层编码带宽也为384kbps,EI和EP分别代表增强层的帧内帧和预测帧。
最后,将终端图象码流进行分层编码,并通过传输网络,将“基本层+增强层”编码总带宽为768kbps的分层编码码流传送至MCU。
二、对视讯***是否为多画面的情形进行判断,
对于没有多画面的情形,MCU将分层编码码流仅仅交换、转接,分别传送给各终端。在图2中,MCU要将终端1传来的带宽为768kbps的分层编码码流分别传送到终端2、终端3、终端4,则终端2可得到带宽为768kbps的“基本层+增强层”的图像质量,而终端3、终端4则得到其相应带宽为384kbps的基本层的图像质量。
对于有多画面的情形,MCU将多个终端的分层编码码流解码后分别进行所需比例缩小变换处理,然后经过拼接,再将拼接后的图像进行SNR分层编码压缩,最后分别将各终端所需的相应码流发送给各个终端。如图2所示,MCU将拼接后图像进行如图3所示的“384kbps基本层+384kbps增强层”的SNR分层编码,然后将“基本层码流+增强层码流”发送给终端1和终端2,而仅将“基本层码流”发送给终端3和终端4。
三、各个终端将分层编码码流解码。
实施例2
图4为采用Temporal(时间)分层编码方法的示意图,Temporal分层编码使用双向预测帧(B帧)图像,该图像在码流中是一个独立的实体,基本层可以选择帧率为15fps(Frames Per Second:每秒帧)的图像,而增强层则可以选择帧率为30fps的图像。通过分别在MCU和终端采用Temporal分层编解码技术,可以满足不同终端获得不同帧率的图像,其他具体步骤同实施例1,其不同之处仅在使用的分层编码方法不同。
实施例3
图5为采用Spatial(空间)分层编码方法的示意图,其编码方式与SNR分层编码方法基本相同,唯一不同的是其增强层和基本层的图像分辨率不一样,例如,基本层得到的是QCIF(Quarter Common IntermediateFormat:1/4通用中间格式)图像,而增强层得到的是CIF(CommonIntermediate Format:通用中间格式)图像。通过分别在MCU和终端采用Spatial分层编解码技术,可以满足不同终端获得不同分辨率的图像,其他具体步骤同实施例1,其不同之处仅在使用的分层编码方法不同。
上述实施例只是针对两种带宽的情形进行了描述,对于其它情形,处理方法类似,一般是有多少种带宽就进行相应层数的分层编码。由于增加编码层数将会增加编码计算量,对于带宽数较多的情形,可选取不多于3个增强层的方法。
另外,为了提高计算效率,增强层可直接利用基本层中的运动估计结果而不用进行运动估计计算,甚至增强层只考虑整像数运动估计而不考虑半像素运动估计,但是这些措施对于图像质量的影响不会很大。
Claims (11)
1、一种视讯***中的图像分层编码和交换方法,其特征在于,该方法由下列步骤组成:
a、将终端图象编码码流进行分层编码,并通过传输网络传送至MCU;
b、对视讯***是否为多画面的情形进行判断,然后MCU将分层编码流发送至终端;
c、各个终端将分层编码码流解码。
2、如权利要求1所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的步骤b具体地包括:
如果是没有多画面的情形,MCU直接将和各终端所拥有的传输网络带宽数相匹配的分层编码码流通过传输网络发送至各个终端;
如果是有多画面的情形,MCU将多个终端的分层编码码流解码后分别进行所需比例变换处理,经过拼接,将拼接后图像进行分层编码,再将和各终端所拥有的传输网络带宽数相匹配的分层编码码流分别发送至各个终端。
3、如权利要求1、2所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的分层编码是指采用信噪比分层编码技术、空间分层编码技术或时间分层编码技术中的一种。
4、如权利要求1所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的步骤a具体包含以下步骤:
a1、根据传输网络的带宽种类数确定分层编码的层数;
a2、根据所述的层数进行基本层和增强层的分层处理;
a3、将终端图象码流进行分层编码,并通过传输网络将和终端所拥有的传输网络带宽数相匹配的分层编码码流传送至MCU。
5、如权利要求4所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的步骤a1中的带宽种类数等于分层编码的层数。
6、如权利要求4所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述步骤a1中增强层的层数不多于3层。
7、如权利要求4所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的步骤a3中所述的相匹配是指:分层编码码流的带宽数不超过且最接近于终端所拥有的传输网络带宽数。
8、如权利要求2所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的分层编码包含以下步骤:
b1、根据传输网络的带宽种类数确定分层编码的层数;
b2、根据所述的层数进行基本层和增强层的分层处理。
9、如权利要求8所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的步骤b1中的带宽种类数等于分层编码的层数。
10、如权利要求8所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的步骤b1中增强层的层数不多于3层。
11、如权利要求2所述的一种视讯***中的图像分层编码和交换方法,其特征在于所述的相匹配是指:分层编码码流的带宽数不超过且最接近于终端所拥有的传输网络带宽数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 02124640 CN1199460C (zh) | 2002-06-19 | 2002-06-19 | 视讯***中的图像分层编码和交换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 02124640 CN1199460C (zh) | 2002-06-19 | 2002-06-19 | 视讯***中的图像分层编码和交换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1466384A true CN1466384A (zh) | 2004-01-07 |
CN1199460C CN1199460C (zh) | 2005-04-27 |
Family
ID=34142739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 02124640 Expired - Fee Related CN1199460C (zh) | 2002-06-19 | 2002-06-19 | 视讯***中的图像分层编码和交换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1199460C (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634533B2 (en) | 2004-04-30 | 2009-12-15 | Microsoft Corporation | Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment |
CN101258754B (zh) * | 2005-04-08 | 2010-08-11 | 新加坡科技研究局 | 编码至少一个数字图像的方法和编码器 |
CN101860714A (zh) * | 2010-04-29 | 2010-10-13 | 中兴通讯股份有限公司 | 一种视频处理方法及其***、mcu视频处理单元 |
US7903886B2 (en) | 2005-09-08 | 2011-03-08 | Seiko Epson Corporation | Partial precision compression scheme for transmitting data to a display over a limited-bandwidth transmission path |
CN102033729A (zh) * | 2010-10-27 | 2011-04-27 | 广东威创视讯科技股份有限公司 | 一种异构图像拼接方法及其*** |
CN101594512B (zh) * | 2009-06-30 | 2012-01-18 | 中兴通讯股份有限公司 | 实现高清多画面的终端、多点控制单元、***及方法 |
CN101155309B (zh) * | 2006-09-28 | 2012-12-26 | Lg电子株式会社 | 传送数据的方法 |
US8477841B2 (en) | 2008-12-24 | 2013-07-02 | Acer Incorporated | Video processing method, encoding device, decoding device, and data structure for facilitating layout of a restored image frame |
CN108093197A (zh) * | 2016-11-21 | 2018-05-29 | 阿里巴巴集团控股有限公司 | 用于信息分享的方法、***及机器可读介质 |
CN108134918A (zh) * | 2018-01-30 | 2018-06-08 | 苏州科达科技股份有限公司 | 视频处理方法、装置及多点视频处理单元、会议设备 |
CN110139129A (zh) * | 2019-03-27 | 2019-08-16 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
-
2002
- 2002-06-19 CN CN 02124640 patent/CN1199460C/zh not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634533B2 (en) | 2004-04-30 | 2009-12-15 | Microsoft Corporation | Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment |
CN1694528B (zh) * | 2004-04-30 | 2013-01-02 | 微软公司 | 实时音频-视频通信和数据协作的***和方法 |
CN101258754B (zh) * | 2005-04-08 | 2010-08-11 | 新加坡科技研究局 | 编码至少一个数字图像的方法和编码器 |
US7903886B2 (en) | 2005-09-08 | 2011-03-08 | Seiko Epson Corporation | Partial precision compression scheme for transmitting data to a display over a limited-bandwidth transmission path |
CN101155309B (zh) * | 2006-09-28 | 2012-12-26 | Lg电子株式会社 | 传送数据的方法 |
US8787446B2 (en) | 2006-09-28 | 2014-07-22 | Lg Electronics Inc. | Method of transmitting data |
US8477841B2 (en) | 2008-12-24 | 2013-07-02 | Acer Incorporated | Video processing method, encoding device, decoding device, and data structure for facilitating layout of a restored image frame |
CN101594512B (zh) * | 2009-06-30 | 2012-01-18 | 中兴通讯股份有限公司 | 实现高清多画面的终端、多点控制单元、***及方法 |
WO2011134224A1 (zh) * | 2010-04-29 | 2011-11-03 | 中兴通讯股份有限公司 | 一种视频处理方法及其***、mcu视频处理单元 |
CN101860714B (zh) * | 2010-04-29 | 2013-07-03 | 中兴通讯股份有限公司 | 一种视频处理方法及其***、mcu视频处理单元 |
CN101860714A (zh) * | 2010-04-29 | 2010-10-13 | 中兴通讯股份有限公司 | 一种视频处理方法及其***、mcu视频处理单元 |
CN102033729A (zh) * | 2010-10-27 | 2011-04-27 | 广东威创视讯科技股份有限公司 | 一种异构图像拼接方法及其*** |
CN108093197A (zh) * | 2016-11-21 | 2018-05-29 | 阿里巴巴集团控股有限公司 | 用于信息分享的方法、***及机器可读介质 |
CN108134918A (zh) * | 2018-01-30 | 2018-06-08 | 苏州科达科技股份有限公司 | 视频处理方法、装置及多点视频处理单元、会议设备 |
CN110139129A (zh) * | 2019-03-27 | 2019-08-16 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN1199460C (zh) | 2005-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2372743C2 (ru) | Масштабируемое видеокодирование с двухуровневым кодированием и одноуровневым декодированием | |
CN101594512B (zh) | 实现高清多画面的终端、多点控制单元、***及方法 | |
CN101427573B (zh) | 用于可缩放视频编码比特流的稀疏化的***和方法 | |
US8319820B2 (en) | Systems, methods, and media for providing cascaded multi-point video conferencing units | |
CN1910926A (zh) | 用于处理视频通信差错的方法和装置 | |
CN100420299C (zh) | 一种屏幕广播方法 | |
CN1885785A (zh) | Mcu级联***和该***的创建及通信方法 | |
AU2007223300A1 (en) | System and method for providing error resilience, random access and rate control in scalable video communications | |
CN1199460C (zh) | 视讯***中的图像分层编码和交换方法 | |
CN1578456A (zh) | 移动通信***的数字视频信号处理装置及方法 | |
CN100466745C (zh) | 帧内预测编解码方法及其*** | |
CA2644753A1 (en) | System and method for providing error resilience, random access and rate control in scalable video communications | |
EP1695558A2 (en) | Spatial and snr scalable video coding | |
US20030118097A1 (en) | System for realization of complexity scalability in a layered video coding framework | |
CN1668110A (zh) | 提高压缩视频比特流中的平均图像刷新速率的方法和设备 | |
WO2001062001A1 (en) | A method and an apparatus for video mixing of bit streams | |
CN100454821C (zh) | 一种视频会议***多mcu之间资源共享的方法 | |
CN1832569A (zh) | 一种会议电视***及会议电视实现方法 | |
CN1605200A (zh) | 在视频传输***中使用的终端 | |
JP2005535219A (ja) | ハイブリッド予測コードを使用してマルチプル・ディスクリプション動き補償を実行する方法及び装置 | |
CN1941903A (zh) | 一种实现多码流同时输出的转码***及方法 | |
CN101056405A (zh) | 可伸缩视频流的一种快速切换方法 | |
CN1620133A (zh) | 在会议电视***中实现单画面和多画面切换的方法 | |
CN1244234C (zh) | 基于dct空间的多路画面混合方法 | |
CN1633177A (zh) | 视频通信***的帧率调节方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20050427 Termination date: 20170619 |