CN107018425A - 多播模式下3d视频数据的传输方法及其衡量机制 - Google Patents

多播模式下3d视频数据的传输方法及其衡量机制 Download PDF

Info

Publication number
CN107018425A
CN107018425A CN201710084371.6A CN201710084371A CN107018425A CN 107018425 A CN107018425 A CN 107018425A CN 201710084371 A CN201710084371 A CN 201710084371A CN 107018425 A CN107018425 A CN 107018425A
Authority
CN
China
Prior art keywords
video data
video
user
deep
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710084371.6A
Other languages
English (en)
Inventor
于静
陈雪晨
严家俊
李元新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Original Assignee
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, SYSU CMU Shunde International Joint Research Institute filed Critical Sun Yat Sen University
Priority to CN201710084371.6A priority Critical patent/CN107018425A/zh
Publication of CN107018425A publication Critical patent/CN107018425A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种多播模式下3D视频数据的传输方法及其衡量机制。本发明提供一种多播模式下3D视频数据的传输方法，包括以下步骤：S1.将颜***数据和深度视频数据分别进行SVC（Scalable Video Coding）时间、空间、质量上的混合分层，即信源编码，得到多层颜***码流和多层深度视频码流；S2.在不超过用户组最小信道容量的基础上，将信源编码得到的多层颜***码流和深度视频码流分别进行不等差错保护的信道编码；然后将经过信道编码后的码流传输至用户组；S3.用户组根据最小带宽限制选择码流层数，然后将获得的颜***码流和深度视频码流进行信源解码和信道解码；得到颜***数据和深度视频数据；S4.用户组内的用户将得到的颜***数据和深度视频数据进行合成，得到3D视频数据。

Description

多播模式下3D视频数据的传输方法及其衡量机制
技术领域
本发明涉及信号传输领域，更具体地，涉及一种多播模式下3D视频数据的传输方法及其衡量机制。
背景技术
随着几年前《阿凡达》的热映，3D电影越来越多的引起人们的关注。而随着3D视频合成技术的日益成熟，凭借着身临其境的立体画面，3D视频对用户有着极大的吸引力，使得人们一致认为3D视频的发展前景不可限量。传统的网络传输服务质量的评价标准为QOS，包括带宽、时延、和丢包率等，但对于一个立体视频传输***，其最终目标是为终端用户提供最佳的感知质量，即QOE。
目前的网络中有三种通讯模式，单播、广播、多播，其中多播同时具备单播和广播的优点，既能节省服务器的负载，又能在Internet宽带网上进行传输，所以最具有发展前景。因此在多播模式下，如何使得用户组所有用户的3D视频的体验达到最优，是现有技术所需解决的技术问题。
对于3D视频数据的信道编码传输，有的学者提出这样的一种传输方法：先将深度视频进行下采样，再将其和颜***进行ACV编码，然后进行信道编解码和ACV解码。将解码后的深度视频进行上采样，最后将上采样的深度视频和解码的颜***进行合成。这种方案面对单播模式，通过实验优化出最佳的下采样参数，从而达到用户体验优化的效果；但是在多播模式下，每类用户的信道环境都不同，因此这种方法在面对不同信道环境用户时，3D视频数据进行编码传输的效率很难满足不同用户的需求，且这种传输方式将对服务器产生很大负载。
发明内容
本发明为解决以上现有技术难以满足不同用户需求、对服务器产生很大负载的缺陷，提供了一种多播模式下3D视频数据的传输方法，该方法在不超过用户组最小带宽的情况下，使得用户组尽可能的接收到最优的视频质量。
为实现以上发明目的，采用的技术方案是：
一种多播模式下3D视频数据的传输方法，包括以下步骤：
S1.将用于合成3D视频数据的颜***数据和深度视频数据分别进行SVC时间、空间、质量上的混合分层，即信源编码，得到多层颜***码流和深度视频码流；
S2.在不超过用户组最小信道容量的基础上，将信源编码得到的多层颜***码流和深度视频码流分别进行不等差错保护的信道编码；然后将经过信道编码后的码流传输至用户组；
S3.用户组根据最小带宽限制选择码流层数，获得颜***码流和深度视频码流；然后将获得的颜***码流和深度视频码流进行信源解码和信道解码；得到颜***数据和深度视频数据；
S4.用户组内的用户将得到的颜***数据和深度视频数据进行合成，得到3D视频数据。
上述方案中，用户组利用分支界定法选择进行信道编码后的深度视频码流和颜***码流，即在满足最小带宽限制条件的情况下，尽可能地选择合适的深度视频码流和颜***码流，这使得后续合成的3D视频的质量能够尽量好，同时使得用户组的平均体验值达到最高。
优选地，所述信道编码采用***率的Raptor code信道编码技术，(n，k)参数由分支界定法优化确定。
优选地，所述用户组根据最小带宽限制通过分支界定法确定选择的深度视频码流层数和颜***码流层数，以及每层码流所要加的冗余保护。
优选地，所述步骤S4中，利用DIBR技术对颜***数据和深度视频数据进行合成。
优选地，所述步骤S4在进行颜***数据和深度视频数据的合成时，颜***数据的时间帧数与深度视频数据的时间帧数相同。
同时，本发明还提供了一种用于衡量以上方法效果优劣的衡量机制，其具体的方案如下：
A.将原始的颜***数据与深度视频数据合成左右视图，记做原始的左右视图；
B.对用户A步骤S4得到的颜***数据和深度视频数据合成左右视图，记做重建的左右视图；
C.将原始的左视图与重建后的左视图作比较，比较结果记做SSIM左，将原始的右视图与重建后的右视图作比较，比较结果记做SSIM右，
D.令SSIM＝(SSIM左+SSIM右)/2；
E.对用户组内的每个用户执行步骤B～D的操作，然后对得到的所有SSIM值做加权平均，加权平均得出的值即为方法的衡量值。
与现有技术相比，本发明的有益效果是：
本发明提供的方法采用SVC可伸缩技术对颜***数据和深度视频数据在时间、空间、质量上进行混合分层，得到多层的深度视频码流和深度视频码流，可以满足用户多种选择的需求；利用分支界定法优化出用户组所选择的颜***码流和深度视频码流的层数以及每层所要加的冗余保护；从而在不超过用户组最小带宽的情况下，使得用户组尽可能的接收到最优的视频质量。通过以上技术手段使得用户组的平均用户体验达到最好。
附图说明
图1为传输方法的流程示意图。
图2为多播***的信道反馈的示意图。
图3为衡量机制的示意图。
图4为不同帧率视频的比较方式的示意图。
图5为SVC可伸缩技术的时间编码方式的示意图。
图6为SVC可伸缩技术的空间编码方式的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1所示，本发明提供的方法具体包括以下步骤：
首先，将用于合成3D视频数据的颜***数据和深度视频数据分别进行SVC时间、空间、质量上的混合分层，即信源编码，得到多层颜***码流和深度视频码流。
SVC可伸缩技术在时间和空间上的编码的过程如图5、6所示。其中混合分层具体实施过程是：对于颜***数据，时间GOP设为8，即将时间分三层，空间分两层，质量分两层；因为本发明考虑了所有的码流提取情况，所以一共可提取23层；对于深度视频数据，时间GOP也设置为8，即将时间分三层，空间分两层，质量分四层，考虑所有的码流提取情况，一共可提取102层。举个简单的例子来说明本发明的码流提取情况：如果将视频进行SVC时间分两层，空间分一层，质量分两层。用JSVM中的码流提取命令BitStreamExtractorStatic进行码流提取，只能提取DTQ(0 0 0)、DTQ(0 0 1)、DTQ(0 1 0)、DTQ(0 1 1)。但是却忽略了空间DTQ(0 1 01)的情况，就是说时间0层的质量为1，时间为1层的质量为0。为了满足多用户的情况，本发明考虑了所有的情况。
其次，在不超过用户组最小信道容量的基础上，将已经进行SVC编码后的深度视频码流和颜***码流采用***率的Raptor code进行不等差错保护的信道编码，(n，k)参数由分支界定法进行优化确定。经过信道编码后的码流传输至用户组。用户组根据最小带宽限制选择深度视频码流层数和颜***码流层数；然后将获得的颜***码流和深度视频码流进行信源解码和信道解码；得到颜***数据和深度视频数据；
最后，用户组将得到的颜***数据和深度视频数据进行合成，得到3D视频数据。合成过程中，有一个原则需要遵守，就是要保证颜***数据的时间帧数与深度视频数据的时间帧数相同。
如图2所示，本发明提供的方法是采用多播的形式，原因是：与单播相比，多播形式减少了服务器的负载压力，虽然没有纠错机制，但是可以加入一些反馈机制加以弥补；与广播相比，多播可以在Internet宽带网上进行传输。本发明将加入一些反馈机制，不仅节省了服务器的负载，同时可以克服多播在发生丢包后难以弥补的现象。
实施例2
如图3所示，本实施例提供了一种用于衡量实施例1方法效果优劣的衡量机制，其具体的方案如下：
A.将原始的颜***数据与深度视频数据合成左右视图，记做原始的左右视图；
B.对用户A步骤S4得到的颜***数据和深度视频数据合成左右视图，记做重建的左右视图；
C.将原始的左视图与重建后的左视图作比较，比较结果记做SSIM左，将原始的右视图与重建后的右视图作比较，比较结果记做SSIM右，
D.令SSIM＝(SSIM左+SSIM右)/2；
E.对用户组内的每个用户执行步骤B～D的操作，然后对得到的所有SSIM值做加权平均，加权平均得出的值即为方法的衡量值。
在求SSIM值的过程中，会遇到不同帧率和不同分辨率的比较。对于不同帧率的情况，如图4所示，对于低帧率的情况，采用前面帧代替后面帧进行填补，然后与高帧率的比较。对于不同分辨率的情况，对于低分辨率的视频，本发明采用JSVM软件的DownConvertStatic命令进行上采样，然后将其与高分辨率的视频做比较。
加权平均得出的值(表1中的SSIM)与用户满意度的关系如表1所示，基于表1可知，用户满意度与SSIM的大小是呈现正相关关系的，SSIM的至越高，用户的满意度越好，视频质量越好。因此，本发明提供的衡量机制能够很好地衡量传输方法的效果优劣。
表1
SSIM MOS值 级别 用户满意度
＞0.99 5 优 非常好，听的看的很清楚，无失真感和延迟感
＞＝0.95&＜0.99 4 良 稍差，听的看的清楚，失真延迟小
＞＝0.88&＜0.95 3 中 还可以，不太清楚，有一定延迟失真
＞＝0.5&＜0.88 2 差 勉强，不太清，失真延迟严重
＜0.5 1 劣 极差，基本看不清，失真延迟非常严重
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种多播模式下3D视频数据的传输方法，其特征在于：包括以下步骤：
S1.将用于合成3D视频数据的颜***数据和深度视频数据分别进行SVC时间、空间、质量上的混合分层，即信源编码，得到多层颜***码流和深度视频码流；
S2.在不超过用户组最小信道容量的基础上，将信源编码得到的多层颜***码流和深度视频码流分别进行不等差错保护的信道编码；然后将经过信道编码后的码流传输至用户组；
S3.用户组根据最小带宽限制选择码流层数，获得颜***码流和深度视频码流；然后将获得的颜***码流和深度视频码流进行信源解码和信道解码；得到颜***数据和深度视频数据；
S4.用户组内的用户将得到的颜***数据和深度视频数据进行合成，得到3D视频数据。
2.根据权利要求1所述的多播模式下3D视频数据的传输方法，其特征在于：所述信道编码采用***率的Raptor code信道编码技术，（n，k）参数由分支界定法进行优化确定。
3.根据权利要求1所述的多播模式下3D视频数据的传输方法，其特征在于：所述用户组根据最小带宽限制通过分支界定法确定选择的深度视频码流层数和颜***码流层数，以及每层码流所要加的冗余保护。
4.根据权利要求1所述的多播模式下3D视频数据的传输方法，其特征在于：所述步骤S4中， 利用DIBR技术对颜***数据和深度视频数据进行合成。
5.根据权利要求1所述的多播模式下3D视频数据的传输方法，其特征在于：所述步骤S4在进行颜***数据和深度视频数据的合成时，颜***数据的时间帧数与深度视频数据的时间帧数相同。
6.一种根据以上权利要求1~5任一项所述多播模式下3D视频数据的传输方法的衡量机制，其特征在于：包括以下步骤：
A.将原始的颜***数据与深度视频数据合成左右视图，记做原始的左右视图；
B.对用户A步骤S4得到的颜***数据和深度视频数据合成左右视图，记做重建的左右视图；
C.将原始的左视图与重建后的左视图作比较，比较结果记做SSIM左，将原始的右视图与重建后的右视图作比较，比较结果记做SSIM右，
D.令SSIM=（SSIM左+SSIM右）/2；
E.对用户组内的每个用户执行步骤B~D的操作，然后对得到的所有SSIM值做加权平均，加权平均得出的值即为方法的衡量值。
CN201710084371.6A 2017-02-16 2017-02-16 多播模式下3d视频数据的传输方法及其衡量机制 Pending CN107018425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710084371.6A CN107018425A (zh) 2017-02-16 2017-02-16 多播模式下3d视频数据的传输方法及其衡量机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710084371.6A CN107018425A (zh) 2017-02-16 2017-02-16 多播模式下3d视频数据的传输方法及其衡量机制

Publications (1)

Publication Number Publication Date
CN107018425A true CN107018425A (zh) 2017-08-04

Family

ID=59440370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710084371.6A Pending CN107018425A (zh) 2017-02-16 2017-02-16 多播模式下3d视频数据的传输方法及其衡量机制

Country Status (1)

Country Link
CN (1) CN107018425A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795996A (zh) * 2012-11-01 2014-05-14 上海贝尔股份有限公司 3d视频传递方法和设备
CN106303539A (zh) * 2015-05-22 2017-01-04 江苏惠纬讯信息科技有限公司 一种基于h.264视频报文类型的不等差错传输保护方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795996A (zh) * 2012-11-01 2014-05-14 上海贝尔股份有限公司 3d视频传递方法和设备
CN106303539A (zh) * 2015-05-22 2017-01-04 江苏惠纬讯信息科技有限公司 一种基于h.264视频报文类型的不等差错传输保护方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.FLORIS等: "Reduced-Reference Quality Estimation for Rate Control in 3D Video Multicasting", 《2013 FIFTH INTERNATIONAL WORKSHOP ON QUALITY OF MULTIMEDIA EXPERIENCE》 *
S.XIAO: "Priority Ordering Algorithm for Scalable Video Coding Transmission over Heterogeneous Network", 《22ND INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION NETWORKING AND APPLICATIONS》 *
安华等: "基于遗传算法的SVC非均等差错保护算法研究", 《太原科技大学学报》 *

Similar Documents

Publication Publication Date Title
Ji et al. Joint source-channel coding and optimization for layered video broadcasting to heterogeneous devices
CN101355707B (zh) 一种立体视频分层编码差错控制方法
CN110740334A (zh) 一种帧级别的应用层动态fec编码方法
Zhu et al. Adaptive-truncated-HARQ-aided layered video streaming relying on interlayer FEC coding
Cui et al. Denoising and resource allocation in uncoded video transmission
Chakareski et al. View-popularity-driven joint source and channel coding of view and rate scalable multi-view video
Hu et al. Multiple description coding for best-effort delivery of light field video using GNN-based compression
CN106657961A (zh) 立体视频的混合数字-模拟编码
Huo et al. Wireless video: An interlayer error-protection-aided multilayer approach
Hewage et al. Prioritized 3D video distribution over IEEE 802.11 e
Wang et al. Cost-distortion optimized unequal error protection for object-based video communications
CN107018425A (zh) 多播模式下3d视频数据的传输方法及其衡量机制
Ozcinar et al. Dynamic adaptive 3D multi-view video streaming over the internet
CN103391162B (zh) 基于Raptor码的多媒体数据非均等差错保护方法
Wang et al. An efficient retransmission strategy for wireless scalable video multicast
Hewage et al. Unequal error protection for backward compatible 3-D video transmission over WiMAX
CN101420607B (zh) 基于框架的多描述编解码方法和装置
Gupta et al. Guaranteed QoS with MIMO systems for scalable low motion video streaming over scarce resource wireless channels
CN102227133A (zh) 一种立体视频传输方法
Karim et al. Multiple description video coding for underlay cognitive radio network
Zi High definition wireless multimedia transmission model based on bit-stream control and differential fault tolerance
US20050050430A1 (en) Image communication system using a hierarchical code comprised of a plurality of layers
Hassan et al. Adaptive and ubiquitous video streaming over Wireless Mesh Networks
CN105554500B (zh) 基于rcm译码符号不等分配的视频传输方法及***
Liu et al. Application-adapted mobile 3D video coding and streaming—A survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170804

RJ01 Rejection of invention patent application after publication