CN103795996B - 3d视频传递方法和设备 - Google Patents

3d视频传递方法和设备 Download PDF

Info

Publication number
CN103795996B
CN103795996B CN201210429878.8A CN201210429878A CN103795996B CN 103795996 B CN103795996 B CN 103795996B CN 201210429878 A CN201210429878 A CN 201210429878A CN 103795996 B CN103795996 B CN 103795996B
Authority
CN
China
Prior art keywords
video
signal
qoe
information
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210429878.8A
Other languages
English (en)
Other versions
CN103795996A (zh
Inventor
陈雪晨
王河
晁华
陈宇
胡中骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Shanghai Bell Co Ltd
Original Assignee
Alcatel Lucent Shanghai Bell Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent Shanghai Bell Co Ltd filed Critical Alcatel Lucent Shanghai Bell Co Ltd
Priority to CN201210429878.8A priority Critical patent/CN103795996B/zh
Publication of CN103795996A publication Critical patent/CN103795996A/zh
Application granted granted Critical
Publication of CN103795996B publication Critical patent/CN103795996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种在3D通信***中向用户终端传递3D信号的方法,该包括:对3D信号中的视频信息和深度信息分别执行并行的可伸缩视频编码;对3D信号执行用户体验质量QoE建模;利用QoE建模的结果对编码的视频信息和深度信息进行优先级分配;以及,对优先级分配后的视频信息和深度信息进行不等差错保护编码。本发明还涉及一种在3D通信***中向用户终端传递3D信号的设备。

Description

3D视频传递方法和设备
技术领域
本发明涉及3D视频通信***,更具体地涉及在3D视频传递***中优化用户体验质量的机制。
背景技术
当前3D电影已经成为最吸引人的热点和最近媒体关注的焦点。随着3D显示技术的快速发展,例如,HTC已经发布了EVO3D产品,我们相信在不久的未来,越来越多的电话用户将请求3D视频业务。
在3D视频通信中用户体验(QoE)至关重要。QoE试图使用户质量期望与驱动的技术以及有关网络的服务质量相匹配。考虑到单播的3D无线视频传递中受限的带宽和包括例如信道吞吐量变化的时变信道条件,包丢失和包延迟可能会影响视频传递并进一步影响用户质量体验。
因此,产生这样的问题:如何设计一个健壮的QoE优化的3D视频通信***,该通信***具有有效的差错消除策略以满足移动视频传输下的3D视频用户浸入式期望。
关于如何使得编码的视频流满足可用带宽或者受决定策略影响的可用带宽的问题,已经提出了若干方法,例如在演进的核心网络中增加转码部件,这会使从分组网关(PGW)输入的视频实时传输协议(RTP)流终止,然后对它们进行解码并通过改变比特率、分辨率和帧速率来对解码后的视频帧进行重编码。这种方案的缺点显而易见,因为解码再重编码过程自然地会导致***复杂性和明显的时延。实际情况是,采用最新的H.264/可伸缩视频编码(SVC)技术,可以在应用层简单地操作带有反馈的速率适配而不需修改编码器的参数,因为在SVC下,从视频编码器输出的编码比特流已经是多描述下的流,可以自然地用于速率适配。使用该特性可以带来显著的性能改善和成本效益。
综上所述,目前设计端到端的QoE优化3D视频通信***还是一个崭新的课题。
发明内容
当前比较流行的一种生成3D的技术是视频+深度(video+depth)格式,该格式是由传统的单目彩***和相关的每像素深度图构成,深度图可以看成是单色、只有亮度的视频信号。浸入式3D感知的质量取决于恢复后的视频+深度信号。研究显示,深度图的质量对立体感的形成效果有更大的影响。因此,当我们对3D视频QoE建模时,我们应该考虑视频和深度信息传输质量两者分别的重要性。
为了增加***的网络鲁棒性,必须使得视频和深度信息传输质量两者都可伸缩。在本发明中,提出对视频信号和深度信号分别应用SVC编码器。输出的多分辨率比特流被交织并划分为具有不同优先级ID的不同层(或被称为子源块或子比特流),接着不同层被施加不同的差错保护(具有不同码速率的FEC)。发明人考虑到,将信道条件评估和UE参数反馈等作为有效的辅助参数,以找到最佳的优先级分配和UEP机制,这样在给定估计的信道吞吐量(可达比特率)和信道可靠性(包丢失率)后,端到端QoE可以被优化。
根据本发明的一个方面,提出了一种在3D通信***中向用户终端传递3D信号的方法,包括:a.对3D信号中的视频信息和深度信息分别执行并行的可伸缩视频编码,b.对3D信号执行用户体验质量QoE建模,c.利用QoE建模的结果对编码的视频信息和深度信息进行优先级分配;以及,d.对优先级分配后的视频信息和深度信息进行不等差错保护编码。
根据本发明的实施例,步骤b进一步包括使用峰值信噪比、深度信号峰值信噪比、时延、视频流畅性对QoE建模。
根据本发明的实施例,步骤c进一步包括利用实时信道吞吐量和/或实时丢包率进行优先级分配。
根据本发明的实施例,所述信道吞吐量来自向用户提供网络接入的基站所反馈的信道条件评估报告,所述丢包率来自所述用户终端的反馈。
根据本发明的实施例,步骤c进一步包括基于用户终端的显示器分辨率设置进行优先级分配。
根据本发明的实施例,步骤d包括采用Reed-Solomon码对具有不同优先级的视频信息和深度信息分别进行不等差错保护编码。
根据本发明的实施例,步骤d包括采用无速率码对具有不同优先级的视频信息和深度信息分别进行不等差错保护编码。
本发明还提出一种在3D通信***中向用户终端传递3D信号的设备,包括:可伸缩编码器,被配置为3D信号中的视频信息和深度信息分别执行并行的可伸缩视频编码;QoE建模装置,被配置为对3D信号执行用户体验质量QoE建模;优先级分配装置,被配置为利用QoE建模的结果对编码的视频信息和深度信息进行优先级分配;以及,不等差错保护编码装置,被配置为对优先级分配后的视频信息和深度信息进行不等差错保护编码。
目前,对于3D视频,还没有目标在于基于信道变化来优化3DQoE的功能单元或实体。如在背景技术部分所提到的,进行编码转换以对变化信道条件进行速率适配的现有方法显著地引入了时延和复杂性。本发明所提出的机制完全利用了最新的SVC技术以随变化的信道吞吐量约束确保最佳QoE。采用本发明的技术方案,不必要求源编码器对比特流重新编码以适配网络质量,也不必在传输过程中增加转码部件。
附图说明
根据本文以下给出的详细描述和附图,本发明将变得被更彻底地理解,在所述描述和附图中,类似单元用类似标号表示,所述描述和附图仅作为示例被给出,以及由此不对本发明进行限制,以及,其中:
图1示出本发明所应用的3D通信***100的整体框架;
图2示出根据本发明的实施例的功能单元106的逻辑框图;
图3示出根据本发明的实施例,在SVC编码器中进行操作的例子;以及
图4是采用RS码的UEP机制的例子。
具体实施方式
现在将参考附图充分描述各种示例性实施例,其中,在所述附图中示出了一些示例性实施例。示例性实施例能够进行各种修改和采用可替换形式,然而应当理解,本发明不旨在将示例性实施例限于所公开的特定形式。相反,示例性实施例将覆盖所有修改、等价体和可替换项。贯穿对附图的描述,类似附图标记指示类似单元。
还应当指出,在一些可替换实现中,所指出的功能/动作可以不以图中指示的顺序出现。例如,取决于所涉及的功能/或动作,相继示出的两个图可以实际上被基本并发地执行,或者可以以逆序被执行。
以下描述中提供了特定细节,以便提供对示例性实施例的透彻理解。然而本领域的技术人员应当理解,可以在没有这些特定细节的情况下实现示例性实施例。例如,可以用框图示出***和网络,以便不因不必要的细节使示例性实施例晦涩难懂。在其它情况下,为避免使示例性实施例晦涩难懂,不对众所周知的过程、结构和技术进行详细的描述或讨论。
图1示出本发明所应用的3D通信***100的整体框架。
在该通信***中,用户终端102通过例如演进型基站104(以下称为eNB104)接收或发送3D视频数据。该***在应用层和RTP层之间引入了新的功能单元106,该功能单元106可以位于例如图1中的视频服务器或者3D视频传递***中的其他功能实体处。另外,需要说明的是,在本说明书中,“功能单元”与诸如“3DQoE优化设备”具有类似的含义。
该功能单元106智能地结合和改组来自视频信息类和深度信息类的比特流,同时考虑QoE质量和用户显示器分辨率需求。在操作之后,具有不同优先级ID的子源块被给予不同的差错保护等级。不等差错保护(UEP)的特定参数可以在以GroupofPicture为单位变化。3DQoE建模算法使用带宽评估和信道可靠性报告的功能部件作辅助以获取尽可能使用户满意的适当优先权分配和UEP编码方案,其中,带宽评估输出自eNB104,包丢失率例如来自UE102的信道可靠性报告。
图2示出根据本发明的实施例的功能单元106的逻辑框图。
如图2所示,根据本发明实施例的功能单元包括:可伸缩编码器201和201’,被配置为3D信号中的视频信息和深度信息分别执行并行的可伸缩视频编码;QoE建模装置203,被配置为对3D信号执行用户体验质量QoE建模;优先级分配装置205,被配置为利用QoE建模的结果对编码的视频信息和深度信息进行优先级分配;不等差错保护编码装置207,被配置为对优先级分配后的视频信息和深度信息进行不等差错保护编码;以及参数配置装置209,用于根据QoE建模装置203的结果,并结合实时信道条件、丢包率、UE显示器分辨率等参数进行参数配置。参数配置装置209可以用本领域中现有的多种方式实现。
为了生成3D数据,当前最先进的方法之一是使用传统的2D视频相机和深度相机以捕获场景的2D表示以及每个像素的估算深度或者从2D-3D转换工具来获得深度图像。捕捉的2D+深度信息接着被分别编码并交织成一个整体比特流用于传输。为了增加***鲁棒性以改变信道状况和拥塞控制需求,发明人提出对视频和深度信息分别施加可伸缩视频编码SVC。SVC的输出在GOP边界中被交织。
由于QoE是个主观概念,为了对其建模,需要将所有可观的度量的组合映射成主观的分数。例如,分数5意味着QoE“非常好”,分数4意味“好”,3意味“一般”,2意味“低于一般”,1意味“无法容忍”。分数和诸如峰值信噪比(PSNR)、时延(delay)以及3D视频特有的包括深度图的PSNR(DPSNR)的其他因素之间必然有着内部联系,因为3D视频感知的质量部分地取决于深度表示。本发明提出以PSNR、DPSNR、delay,以及视频流畅性(TemporalFluency)作为主要参数对QoE建模。至于如何详细地对QoE建模,可以利用本领域中多种现有方法,对此不再展开讨论。
QoE=f(PSNR,DPSNR,Delay,TemporalFluency)
很明显,如何对优先级进行划分以及如何分配不同的差错保护等级给这些优先级将直接影响UE上的主观视频质量,并进一步影响用户体验。基本原则是优先级越高,包含在层中的信息应当被下载得更快,信息应当以更高的概率被解码。
参考图1,在传送视频流的无线承载建立之后,信道吞吐量被连续地评估并且被反馈给应用层的功能单元。诸如CQI(信道质量指示符)和HARQ(混合自动重复请求)事件的低等级的指示符的改变可以用于辅助预测无线条件改变的方向。
下降的带宽可用性的原因包括:1)增加的拥塞;2)UE进入糟糕的无线状况区域。稳定的CQI和HARQ以及下降的吞吐量的组合指示的是前一种情况而具有增加的HARQ计数和变糟的CQI报告的组合指示的是后一种情况。两种情况尤其是前种情况发生的时候,会相应地需要对比特速率作出调整。比特速率的调整可以通过以下方法实现:1)信源的重新编码,即改变信源速率,这就会涉及到视频编码部分2)对于比特流进行智能的优先层划分,并进行智能的层丢弃”3)对分层后每层对应的信源-信道速率做个联合,最优的选择。所有机制都可以概括成以下问题:
maxQoE=f(PSNR,DPSNR,Delay,TemporalFluency)
whileRtotal≤ChannelThroughput
换句话说,需要做的工作是最大化QoE值,同时总速率Rtotal必须小于等于信道吞吐量channelthroughput。
另一方面,考虑到QoE的值部分地取决于如前面分析的视频的客观质量,我们需要诸如估算的包丢失率的参数分析端到端3D视频质量以进行最优选择。QoE的值还部分地受到诸如时延的其他测量的影响,因此,基于缓存器占有率报告的可能时延的评估也应当结合到QoE最大化处理中。
在本发明的优选实施例中,用户手机的反馈也可以用作辅助信息。如果UE的分辨率非常低,没有必要以更高的相关性ID发送层,因为高分辨率质量的视频在低分辨率显示屏上播放是令人厌烦的,QoE会非常低。另一方面,对于强调深度感知的3D视频,有时候,即使视频信息的质量不能保证“非常好”,好的深度信息质量也会是一种补偿以获得相当不错的最终QoE。一种可行的QoE模型将能有助于分配合适的优先权ID给视频信息和深度信息的每个层,以在给定估算的可达信道吞吐量、可用信道可靠性和发回的用户显示设置参数的情况下,竭尽所能地满足用户。
在图2中,编码后的H.264数据作为已知的网络提取层单元(NAL单元或NALU)数据的一系列包被存储或者传送。每个NAL单元包括1字节NALU报头,之后紧跟包含控制信息或编码的视频数据的1字节流。报头表明NALU类型和NALU的“重要性”。例如,nal-unit-type值1或5表明NALU由非IDR或IDR(瞬间编码器刷新)编码片组成(IDR帧之间的距离定义了GOP大小)。
H.264/SVC引入了字段nal_unit_header_svc_extension,该字段包括D(空间层ID)、Q(质量层ID)和T(时间层ID)和其他有用信息。
NAL定义了视频编解码器和外部的接口。紧接两个并行SVC之后的功能单元在NAL数据单元上进行操作。我们首先提议在NALU报头上添加一个比特,即d_flag。如果d_flag等于0,则NALU包括视频信息;如果d_flag等于1,则NALU包括深度信息。功能单元读取报头信息,并且在反馈信道状况信息的帮助下基于优先级分配原则向每个NALU分配优先权ID。具有相同优先权ID的NALU构成一个子源块输入至UEP操作部件。
在一个可选实施例中,假定用户显示屏具有最低的分辨率设置。只有具有D(空间层ID)0的NAL单元必须被发送。功能单元中的所有具有较高D数量的其他NAL单元被丢弃。如果因eNB中的拥塞或者特定UE的糟糕的无线状况使得信道吞吐量(可达比特速率)受到严重限制,则采取最基础的优先权分配,所有具有QId=0(质量ID)、TId=0(时间ID)的视频NALU构成视频信息的优先权0层,所有具有QId=0(质量ID)、TId=0(时间ID)的深度NALU构成深度信息的优先权0层。这样的设置尽可能地保证在当前糟糕的无线资源下,这样的两层在UE上被正确接收,换句话说,这两层被给予最大保护。因而可以保证用户有基本的2D或3D视频体验。一旦状况有所改善,相应的参数就会反馈给功能单元,继而可以进行新的优先级分配。取代简单地选择具有QId=0、TId=0的NALU构成第一优先层,在进行优先权分配时考虑对用户终端的影响。
图3显示了SVC采用的技术MGS(MedianGrainScalability)的工作原理。
SVC中采用的MGS按如下方法工作,为每个图像传送一个标志,该标志表明是否针对运动补偿预测使用了基本质量层重构或者增强质量层重构。对于关键图像(Tid=0)使用之前的一个,而对于其他图像,使用后面的一个。
例如考虑两个质量层:
QI=1I1B1P1
QId=0I0B0P0
I0基于MGS,为了解码B0,解码器应当参考I0+I1和P0+P1。采用最初的简单优先权分配,只有I0和P0属于第一优先级层,只给予I0,P0最高级别保护。因此,很可能在接收机中,只有I0和P0能被正确地恢复。仅具有I0和P0的B0恢复很明显是不期望的。由于反馈表明信道质量改善,我们可以通过不仅给I0,P0也给I1,P1分配优先级号0来提高质量。换句话说,具有use_ref_base_pic_flag=1的那些NALU应当被放入第一优先层,其中use_ref_base_pic_flag包括在nal_unit_header_svc_extension中。这便是智能优先级划分的工作原理。
MGS的工作原理可以参考图3。
发明人所提出的智能优先级划分机制不需要改变编码器输出原始比特流,也不需要将信号从功能单元反馈至应用层。它实际上是一种粗糙的源速率适配因为它改变了每个优先级层的源速率。特别地对于3D视频传输,深度信息的优先级也应当在最终的QoE评估中被考虑,从而帮助我们选择产生最佳QoE的优先权分配方法。
智能优先级划分之后,便是动态的UEP调节机制。下面将结合特定实施例,描述UEP机制。
视频流需要差错恢复机制来对抗包丢失和时延。最先进的方法之一是应用层前向纠错(FEC)。对多分辨率比特流应用不等差错保护。FEC包括固定速率FEC和***率FEC。它们分别具有固有的优点和缺陷。策略决定引擎会基于信道条件做出选择。
第一种UEP策略采用的是诸如Reed-Solomon码的纠删码。
诸如Reed-Solomon码(以下称为RS码)的纠删码具有非常好的特性。对于一个(n,k)RS码,当接收机接收k个字符时,它可以恢复原始的n个字符,无论这k个字符是不是消息字符。该特性可以运用到UEP过程。通过设计将不同等级的差错保护运用到不同的优先层,该功能可以在接收机上实施,需要更少的包来恢复较高优先层。接收机处最终的3D视频的PSNR和DPSNR可以在功能单元中给定信道吞吐量和估算的可靠性(包丢失率)的情况下被预估。根据QoE建模,所有优先等级的信道编码速率的组合(r1,r2,…,rn)以GOP为时间单位及时更新,以便使最终得到的视频的主观QoE分数可以尽可能地高。
下面简要说明两种可以采用的UEP-FEC的方法
1)图4是采用RS码的UEP机制的例子。该图示出采用RS码的UEP机制中的一组单元(GOU)(阴影区域包含了校验位)。一组图像(一个GOP单位)中的所有比特可以在一个或若干个这样的单元组中传输。
假设在优先权分配和智能丢弃操作之后,如图4所示,比特流包括三个视频优先层和三个深度优先层。每个层被填充进逐行具有尺寸Si×n的每个子组。在填充了ki行之后,RS码被应用到子组的每一列以生成校验位。这样对于每一层,信道码速率为ri=ki/n。值得注意的是,Si和Sj之间的比例等于第i和第j层的源速率的比例。
在整个组被构建完毕之后,不同的层信息被交织进每个单元,每个单元包括整个组的每一行的比特。该单元接着被作为RTP打包的单元来处理。需要注意两点:
1)由于一个子组中包括一个或多个NALU,一旦新的NALU开始出现,单元内应当有分隔符;
2)一旦承载建立并且在一个GOP时间固定,S1,S2,…,Si的值被沿下行链路发送作为辅助信息。结果,很容识别在一个单元中属于不同层的比特,这可以帮助解码器重新生成层并恢复信号。
假定反馈了平均包丢失概率PB,我们可以计算n个包内的m个丢失包的概率。p(m,n)通过概率p(m,n),可以估算当前保护机制下的***的QoE,
QoE=f(PSNR,DPSNR,Delay,TemporalFluency,...)
其中, PSNR = Σ i PSNR layer _ i * Σ m = n - k video , layer _ i + 1 n - k video , layer _ i p ( m , n )
(1)
DPSNR = Σ i DPSNR layer _ i * Σ m = n - k depth , layer _ i + 1 n - k depth , layer _ i p ( m , n )
时延可以通过拥塞状况来估算。时间流畅性可以通过最终视频采用的时间上的采样率来反映。
值得注意的是,通过公式(1),QoE实际上是rv_c1,rv_c2,...,rv_ci、视频信号的信道速率、rd_c1,rd_c2,...,rd_ci、以及深度信号的信道速率的函数。因此,问题归结为,假设一组图像包含在一组单元,在符合以下限制的前提下找到使QoE最大化的适当rv_c1,rv_c2,...,rv_ci和rd_c1,rd_c2,...,rd_ci
Σ i n k i S i ≤ T * R ‾
其中,T是GOP时间间隔,是当前的时间T内估算的平均可达比特率。
第二种UEP机制采用例如Raptor码的无速率码。
固定速率的FEC需要基于过去对信道条件和可靠性的观察。于是,由于实际情况和预测情况之间不可避免的失配,固定速率FEC的性能是无法预期的。例如,一旦实际包丢失率并不比预测的高很多,接收字符的数量会大大低于预测的数量。最糟糕的情况是甚至是优先层0都不能被恢复。与之相反,无速率码并不要求固定码速率,而是会连贯产生编码的字符。
Raptor码包括预编码阶段(通常是RS码或LDPC码)以及无速率编码阶段。UEP可以在预编码阶段实现。换句话说,多分辨率比特流用外部码编码,这比用不等码速率编码的EEP(相等差错保护)情况能促成更高的优先层。之后,编码的数据用内部码,即这里的无速率码,进一步编码,以增强鲁棒性和传输性能。采用无速率码同时信道反馈可访问的UEP依然是开放的领域并且将在未来得到进一步发展。
最后依然回到图1,在图1中,一旦PCRF授权了用户的QoS,无线承载即被建立。接着建立eNB、UE和功能单元之间的周期性信令。频率基于GOP时间周期,因为解码处理是在GOP边界内进行的。eNB104用作信道状况测量收集点,其中信道吞吐量估算被反馈。从eNB反馈包丢失率并不是一个好的选择,因为eNB中获得的BLER信息对于计算包丢失率来说不是一个好的参考。相反,向功能单元反馈包丢失率,RTCP会是一个好的选择。如果允许,承载一建立,UE的显示器分辨率也可以在eNB中收集。在功能单元(例如通过图2的参数配置装置209)中进行速率确定,并且由功能单元确定信道速率、源速率或组合的源-信道速率的哪一个需要调整。一旦完成优化适配,辅助信息、优先层的总数量、每个子源块的大小以及UEP阶段每个子源块的信道速率与视频包一起沿下行链路发送以辅助解码。
本发明将信道条件评估和用户显示器分辨率信息与提出的功能单元中的QoE建模算法相结合,以引导最佳的优先权分配并且将UEP编码运用到来自并行SVC编码器的视频+深度信息。通过使用本发明的技术方案,构建了目标在于优化端到端的QoE的新的健壮的3D视频传输***。为了实现速率适配,没有必要修改原始的源编码器参数,因为本发明完全开发了来自视频SVC和深度SVC的视频+深度比特流内的不同层的冗余性和重要性。
附图中示出的或在此描述的所有各种模块可以实现为硬件、软件、固件或它们的某种组合。而且,一种模块可以实现为可由处理器或计算机执行以执行元件功能的指令。所述指令的某些实例包括软件、程序代码和固件。当由处理器执行时,所述指令可通过运行引导处理器执行模块功能。所述指令可以存储在可由处理器读取的存储设备上。所述存储设备的某些实例包括数字或固态存储器、诸如磁盘和磁带之类的磁存储介质、硬盘或光可读数字数据存储介质。
虽然已经使用一些示例性实施例详细说明了本发明的3D视频传递方法和设备的实施例,但是这些实施例不是穷尽性的,本领域的技术人员可以在本发明的精神和范围内进行各种改变和修改。因此,本发明的范围不限于这些实施例,而是通过权利要求来限定。

Claims (14)

1.一种在3D通信***中向用户终端传递3D信号的方法,包括:
a.对3D信号中的视频信息和深度信息分别执行并行的可伸缩视频编码,
b.对3D信号执行用户体验质量QoE建模,
c.利用所述3D信号的QoE建模的结果对所述3D信号的可伸缩视频编码后的视频信息和深度信息进行优先级分配;以及
d.对优先级分配后的视频信息和深度信息进行不等差错保护编码。
2.根据权利要求1所述的方法,其中,步骤b进一步包括使用峰值信噪比、深度信号峰值信噪比、时延、以及视频流畅性对QoE建模。
3.根据权利要求1或2所述的方法,其中,步骤c进一步包括利用实时信道吞吐量和/或实时丢包率进行优先级分配。
4.根据权利要求3所述的方法,其中,所述信道吞吐量来自向用户提供网络接入的基站所反馈的信道条件评估报告,所述丢包率来自所述用户终端的反馈。
5.根据权利要求3所述的方法,其中,步骤c进一步包括基于用户终端的显示器分辨率设置进行优先级分配。
6.根据权利要求1所述的方法,其中,步骤d包括采用Reed-Solomon码对具有不同优先级的视频信息和深度信息分别进行不等差错保护编码。
7.根据权利要求1所述的方法,其中,步骤d包括采用无速率码对具有不同优先级的视频信息和深度信息分别进行不等差错保护编码。
8.一种在3D通信***中向用户终端传递3D信号的设备,包括:
可伸缩编码器,被配置为3D信号中的视频信息和深度信息分别执行并行的可伸缩视频编码;
QoE建模装置,被配置为对3D信号执行用户体验质量QoE建模,
优先级分配装置,被配置为利用所述3D信号的QoE建模的结果对所述3D信号的可伸缩视频编码后的视频信息和深度信息进行优先级分配;以及
不等差错保护编码装置,被配置为对优先级分配后的视频信息和深度信息进行不等差错保护编码。
9.根据权利要求8所述的设备,其中,所述QoE建模装置被配置为使用峰值信噪比、深度信号峰值信噪比、时延、以及视频流畅性对QoE建模。
10.根据权利要求8或9所述的设备,其中所述优先级分配装置进一步被配置为利用实时信道吞吐量和/或实时丢包率进行优先级分配。
11.根据权利要求10所述的设备,其中,所述信道吞吐量来自向用户提供网络接入的基站所反馈的信道条件评估报告,所述丢包率来自所述用户终端的反馈。
12.根据权利要求10所述的设备,其中所述优先级分配装置进一步被配置为基于用户终端的显示器分辨率设置进行优先级分配。
13.根据权利要求8所述的设备,其中,所述不等差错保护编码装置进一步被配置为采用Reed-Solomon码对具有不同优先级的视频信息和深度信息分别进行不等差错保护编码。
14.根据权利要求8所述的设备,其中,所述不等差错保护编码装置进一步被配置为采用无速率码对具有不同优先级的视频信息和深度信息分别进行不等差错保护编码。
CN201210429878.8A 2012-11-01 2012-11-01 3d视频传递方法和设备 Active CN103795996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210429878.8A CN103795996B (zh) 2012-11-01 2012-11-01 3d视频传递方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210429878.8A CN103795996B (zh) 2012-11-01 2012-11-01 3d视频传递方法和设备

Publications (2)

Publication Number Publication Date
CN103795996A CN103795996A (zh) 2014-05-14
CN103795996B true CN103795996B (zh) 2016-08-03

Family

ID=50671223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210429878.8A Active CN103795996B (zh) 2012-11-01 2012-11-01 3d视频传递方法和设备

Country Status (1)

Country Link
CN (1) CN103795996B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450549A (zh) * 2014-09-02 2016-03-30 上海贝尔股份有限公司 优化宽带接入网络中用户设备QoE的方法、装置及***
CN105827361B (zh) * 2015-01-08 2019-02-22 上海交通大学 一种基于媒体内容的fec方法
CA2998900C (en) * 2015-01-08 2022-08-30 Shanghai Jiao Tong University Fec mechanism based on media contents
CN105991226B (zh) * 2015-02-13 2019-03-22 上海交通大学 一种基于不等差错保护的前向纠错方法
US10334223B2 (en) * 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
CN110224793B (zh) * 2015-10-16 2021-03-09 上海交通大学 一种基于媒体内容的自适应fec方法
CN105376587B (zh) * 2015-12-15 2018-01-26 华中科技大学 基于rcm编码矩阵权重不等分配的视频传输方法
CN107018425A (zh) * 2017-02-16 2017-08-04 广东顺德中山大学卡内基梅隆大学国际联合研究院 多播模式下3d视频数据的传输方法及其衡量机制
CN108495112B (zh) * 2018-05-10 2020-12-22 Oppo广东移动通信有限公司 数据传输方法及终端、计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611027A (zh) * 2001-12-28 2005-04-27 皇家飞利浦电子股份有限公司 采用基于理德-所罗门码的前向纠错的不均等差错保护
CN101072227A (zh) * 2006-05-11 2007-11-14 华为技术有限公司 一种视频广播***中的发送***、方法和接收***
CN101842990A (zh) * 2007-09-21 2010-09-22 弗劳恩霍夫应用研究促进协会 可扩展信息信号、可扩展信息内容的编码方法和装置、可扩展信息信号的纠错方法及装置
CN102308585A (zh) * 2008-12-08 2012-01-04 韩国电子通信研究院 多视点视频编码/解码方法和设备
CN102594774A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 流媒体传输方法与***
CN102710950A (zh) * 2012-05-31 2012-10-03 哈尔滨工业大学 一种单路电视信号传输3d视频的***和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611027A (zh) * 2001-12-28 2005-04-27 皇家飞利浦电子股份有限公司 采用基于理德-所罗门码的前向纠错的不均等差错保护
CN101072227A (zh) * 2006-05-11 2007-11-14 华为技术有限公司 一种视频广播***中的发送***、方法和接收***
CN101842990A (zh) * 2007-09-21 2010-09-22 弗劳恩霍夫应用研究促进协会 可扩展信息信号、可扩展信息内容的编码方法和装置、可扩展信息信号的纠错方法及装置
CN102308585A (zh) * 2008-12-08 2012-01-04 韩国电子通信研究院 多视点视频编码/解码方法和设备
CN102594774A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 流媒体传输方法与***
CN102710950A (zh) * 2012-05-31 2012-10-03 哈尔滨工业大学 一种单路电视信号传输3d视频的***和方法

Also Published As

Publication number Publication date
CN103795996A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
CN103795996B (zh) 3d视频传递方法和设备
CN102036061B (zh) 视频数据传输处理、发送处理方法、装置和网络***
CN101656888B (zh) 一种视频传输方法及装置、***
CN102802089B (zh) 一种基于体验质量预测的移动视频码率调整方法
CN101061659B (zh) 自适应前向纠错的方法和设备
CN100558167C (zh) 多媒体视频通信方法及***
CN105874794B (zh) 用于视频组播的***和方法
CN103222200A (zh) 用于增强多媒体通信的失真已知链路自适应的cqi反馈机制
CN101065966A (zh) 用于从远程位置在有损网络上实时传递视频的网络体系结构
CN102201896A (zh) 失真感知多输入多输出通信
CN102342057A (zh) 用于可伸缩媒体的封装的方法和装置
CN102438152B (zh) 可伸缩视频编码容错传输方法、编码器、装置和***
KR20170102524A (ko) 일종 미디어 컨텐츠에 기반한 fec 메커니즘
CN1130914C (zh) Mpeg数据流转换方法
CN101513068A (zh) 灵活冗余编码
CN1557073A (zh) 计算每个流的可用带宽和比特流协调的发送多数据流的数据通信方法和***
CN101478677B (zh) 基于码率控制的可伸缩多描述视频编码结构设计方法
CN106303539A (zh) 一种基于h.264视频报文类型的不等差错传输保护方法
CN103339912A (zh) 用于多媒体流的视频包调度方法
CN102124760B (zh) 组播速率优化
Kim et al. A multiple-substream unequal error-protection and error-concealment algorithm for SPIHT-coded video bitstreams
CN107995502A (zh) 实现自适应流媒体的方法和设备以及***
US20130111302A1 (en) Method and apparatus for recovering burst data loss by duplicating block code symbols
He et al. Real-Time Neural Video Recovery and Enhancement on Mobile Devices
Kamnoonwatana et al. Rate controlled redundancy-adaptive multiple description video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 201206 Pudong Jinqiao Ning Road, Shanghai, No. 388

Patentee after: Shanghai NOKIA Baer Limited by Share Ltd

Address before: 201206 Pudong Jinqiao Ning Road, Shanghai, No. 388

Patentee before: Shanghai Alcatel-Lucent Co., Ltd.