CN110708548B - 一种全景视频帧内比特分配的方法 - Google Patents

一种全景视频帧内比特分配的方法 Download PDF

Info

Publication number
CN110708548B
CN110708548B CN201910974363.8A CN201910974363A CN110708548B CN 110708548 B CN110708548 B CN 110708548B CN 201910974363 A CN201910974363 A CN 201910974363A CN 110708548 B CN110708548 B CN 110708548B
Authority
CN
China
Prior art keywords
strip
frame
utility function
bit
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910974363.8A
Other languages
English (en)
Other versions
CN110708548A (zh
Inventor
刘德建
宋衍杰
王宪宇
陈宏展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Tianqing Online Interactive Technology Co Ltd
Original Assignee
Fujian Tianqing Online Interactive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Tianqing Online Interactive Technology Co Ltd filed Critical Fujian Tianqing Online Interactive Technology Co Ltd
Priority to CN201910974363.8A priority Critical patent/CN110708548B/zh
Publication of CN110708548A publication Critical patent/CN110708548A/zh
Application granted granted Critical
Publication of CN110708548B publication Critical patent/CN110708548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种全景视频帧内比特分配的方法，该方法为：步骤S1、将全景视频进行投影变换，编码器的码率控制在对视频进行压缩编码时，最小的处理单位是64×64的单元块，则投影变换时将全景视频帧内条带进行拆分的宽度设置为64，长度保持为视频图像的长度；步骤S2、建立全景视频帧内条带内部效用函数，即设定条带效用函数，条带最小效用函数，以及总体效用函数；步骤S3、对条带进行比特分配，即利用拉格朗日优化算法，求得条带的比特分配；步骤S4、在全景视频帧内各条带完成对应的比特分配，并通过均分条带比特数设定条带内部各最大编码单元的比特数之后进行编码器进行实际的编码操作，完成帧内的编码流程；本发明能更好地提升视频质量。

Description

一种全景视频帧内比特分配的方法
技术领域
本发明涉及视频编码技术领域，特别是一种全景视频帧内比特分配的方法。
背景技术
全景视频是由多个摄像机同步运动拍摄得到的视频内容信息经过拼接而成的球形视频。现有全景视频的帧内优化大多借助主观实验数据，通过VR设备采集受试者在观看全景视频时的眼部运动规律，分析用户的感兴趣区域(Region Of Interest，ROI)，并在此基础上做出对应的比特分配优化，改进的是主观编码评价指标，不同全景视频的感兴趣区域各不相同，因此很难在编码器中进行普遍推广和应用。
现有编码器HEVC/H.265在处理全景视频时，采用的是适用于普通2D视频的比特分配方案，该方案在处理全景视频帧内比特分配时仅根据MAD(Mean Absolute Difference,平均绝对差值)做出比特分配估算，存在进一步优化空间。
发明内容
为克服上述问题，本发明的目的是提供一种全景视频帧内比特分配的方法，能更好地提升视频质量。
本发明采用以下方案实现：一种全景视频帧内比特分配的方法，所述方法包括如下步骤：
步骤S1、将全景视频进行投影变换，投影变换后再进入编码器进行编码，编码器的码率控制在对视频进行压缩编码时，最小的处理单位是64×64的单元块，则投影变换时将全景视频帧内条带进行拆分的宽度设置为64，长度保持为视频图像的长度；
步骤S2、建立全景视频帧内条带效用函数，即设定条带效用函数，条带最小效用函数，以及总体效用函数；
步骤S3、对条带进行比特分配，即利用拉格朗日优化算法，求得条带的比特分配；
步骤S4、在全景视频帧内各条带完成对应的比特分配之后，通过编码器进行实际的编码操作，完成帧内的编码流程。
进一步的，所述投影变换采用等距长方投影ERP方式。
进一步的，所述步骤S2进一步具体为：所述设定条带效用函数，具体为条带效用函数反应了条带对比特数的需求情况，对于帧内各条带，选取
Figure BDA0002233121100000021
作为各条带的效用函数，以反映不同条带对比特数的需求，其中Di,j为第i帧第j个条带的MSE值；MSE值表示第i帧第j个条带的均方误差值，
为得到ui,j与Di,j的关系，采用
Figure BDA0002233121100000022
其中mi,j表示第i帧第j个条带的平均绝对差值MAD，ki,j为模型参数一；Qstep表示量化步长；
Ri,j表示条带的比特分配数；并且Di,j＝γi,j·Qstep；
其中ri,j为模型参数二；
联立式子(1)和式子(2)，可得Di,j的取值：
Figure BDA0002233121100000023
设定条带最小效用函数，具体为：
为反映帧内各条带的最小比特需求，定义第i帧第j个条带的最小效用函数为：
Figure BDA0002233121100000024
其中M为当前帧所含条带数，R0为当前帧剩余比特数，ei,j表示第i帧第j个条带的平均MSE值，c为比例因子,表示剩余比特数的比例，用以保证第j个条带的最小比特数；
设定总体效用函数，具体为：
根据条带效用函数和条带最小效用函数的设定，能构建总体效用函数为：
Figure BDA0002233121100000031
其中，这个函数的主体是
Figure BDA0002233121100000032
后两行
Figure BDA0002233121100000033
和Ri，j，0＜Ri，j为限制条件，s.t.表示函数的主体内容要满足后两行的限定条件。
进一步的，所述即利用拉格朗日优化算法，求得条带的比特分配数Ri,j，即
Figure BDA0002233121100000034
其中，p为第p个条带，p<j。
进一步的，所述步骤S3和步骤S4之间进一步包括：步骤S30、对条带内部编码单元进行比特分配，即帧内各条带的比特数分配完毕后，由于条带内部最大编码单元LCU同属一个纬度，为保障相同纬度具有一致的观看体验，对条带内部第x个最大编码单元LCU的比特分配：
Figure BDA0002233121100000035
在帧内各条带和条带内部最大编码单元LCU完成对应的比特分配之后进行编码器编码。
本发明的有益效果在于：本发明的比特分配方法的分析对象是帧内各条带，一帧内包含多个条带，将各条带当做独立的个体，利用博弈论思维进行分析，并针对已分配比特情况改进其余条带的比特分配值，能对不同内容的全景视频进行自适应比特分配，具有较高的普适性；改进了码率控制中帧内比特分配的方案，在相同码率的条件下，提升了全景视频的编码质量。
附图说明
图1是本发明的方法流程示意图。
图2是本发明等距长方投影示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
请参阅图1和图2所示，本发明的一种全景视频帧内比特分配的方法，所述方法包括如下步骤：
步骤S1、将全景视频进行投影变换，投影变换后再进入编码器进行编码，编码器的码率控制在对视频进行压缩编码时，最小的处理单位是64×64的单元块，则投影变换时将全景视频帧内条带进行拆分的宽度设置为64，长度保持为视频图像的长度；
步骤S2、建立全景视频帧内条带效用函数，即设定条带效用函数，条带最小效用函数，以及总体效用函数；
步骤S3、对条带进行比特分配，即利用拉格朗日优化算法，求得条带的比特分配；
步骤S4、在全景视频帧内各条带完成对应的比特分配之后，通过编码器进行实际的编码操作，完成帧内的编码流程。
其中，1、帧内条带拆分
全景视频在进入编码器进行编码前，需要经过投影变换，由于投影方式对全景球形视频的处理，导致投影后的视频在不同维度上的投影质量不一致，由于投影方式众多且适用性不一，本方案针对当下最常用的等距长方投影(ERP)方式进行分析如图2所示。
码率控制在对视频进行压缩编码时，最小的处理单位是64×64的单元块，因此条带的划分宽度同样设置为64，长度保持为视频图像的长度。
2、条带内部效用函数的建立
(1)条带效用函数的设定
效用函数反应了条带对比特数的需求情况，对于帧内各条带，选取
Figure BDA0002233121100000041
作为各条带的效用函数，以反映不同条带对比特数的需求，其中Di,j为第i帧第j个条带的MSE值；MSE值表示第i帧第j个条带的均方误差值，
为得到ui,j与Di,j的关系，采用
Figure BDA0002233121100000042
其中mi,j表示第i帧第j个条带的平均绝对差值MAD，ki,j为模型参数一；Qstep表示量化步长；其中，模型参数是一个数学用语，表示已知函数表达式其余变量值的基础上，求得唯一的不确定量。式中k即为这个不确定量。
Ri,j表示条带的比特分配数；并且Di,j＝γi,j·Qstep；
其中ri,j为模型参数二；
联立式子(1)和式子(2)，(这两式是视频编码领域普遍应用的函数关系，见参考文献1即：作者：J.Katto，M.Ohta；主题：Mathematical analysis of MPEG compressioncapability and its application to rate control；年份：1995年)，可得Di,j的取值(倒数即为ui,j)：
Figure BDA0002233121100000051
(2)条带最小效用函数的设定，具体为：
为反映帧内各条带的最小比特需求，定义第i帧第j个条带的最小效用函数为：
Figure BDA0002233121100000052
其中M为当前帧所含条带数，R0为当前帧剩余比特数，ei,j表示第i帧第j个条带的平均MSE值，c为比例因子,表示剩余比特数的比例，用以保证第j个条带的最小比特数；即条带效用函数为ui,j，而最小效用函数即ui,j，0，其中0即为最小之意；
(3)总体效用函数的设定，具体为：
根据条带效用函数和条带最小效用函数的设定，能构建总体效用函数为：
Figure BDA0002233121100000053
其中，这个函数的主体是
Figure BDA0002233121100000054
后两行
Figure BDA0002233121100000055
和Ri，j，0＜Ri，j为限制条件，s.t.表示函数的主体内容要满足后两行的限定条件。Ri,j,0中的0也是为最小之意；即最小的条带最佳比特分配；
3、条带最佳比特分配
利用拉格朗日优化算法，求得条带的比特分配Ri,j，即
Figure BDA0002233121100000061
其中，p为第p个条带，p<j。
所述步骤S3和步骤S4之间进一步包括：步骤S30、对条带内部编码单元进行比特分配，即帧内各条带的比特数分配完毕后，由于条带内部最大编码单元LCU同属一个纬度，为保障相同纬度具有一致的观看体验，对条带内部第x个最大编码单元LCU的比特分配：
Figure BDA0002233121100000062
Ri，j，x为第x个最大编码单元LCU的比特分配，在帧内各条带和条带内部最大编码单元LCU完成对应的比特分配之后进行编码器编码。
在帧内各条带和条带内部LCU完成对应的比特分配之后，通过编码器自带的量化参数计算，进行实际的编码操作，完成帧内的编码流程。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种全景视频帧内比特分配的方法，其特征在于：所述方法包括如下步骤：
步骤S1、将全景视频进行投影变换，投影变换后再进入编码器进行编码，编码器的码率控制在对视频进行压缩编码时，最小的处理单位是64×64的单元块，则投影变换时将全景视频帧内条带进行拆分的宽度设置为64，长度保持为视频图像的长度；
步骤S2、建立全景视频帧内条带效用函数，即设定条带效用函数，条带最小效用函数，以及总体效用函数；
所述步骤S2进一步具体为：所述设定条带效用函数，具体为条带效用函数反应了条带对比特数的需求情况，对于帧内各条带，选取
Figure FDA0003312480920000011
作为各条带的效用函数，以反映不同条带对比特数的需求，其中Di,j为第i帧第j个条带的MSE值；MSE值表示第i帧第j个条带的均方误差值，
为得到ui,j与Di,j的关系，采用
Figure FDA0003312480920000012
其中mi,j表示第i帧第j个条带的平均绝对差值MAD，ki,j为模型参数一；Qstep表示量化步长；
Ri,j表示条带的比特分配数；并且Di,j＝γi,j·Qstep；
其中γi,j为模型参数二；
联立式子(1)和式子(2)，可得Di,j的取值：
Figure FDA0003312480920000013
设定条带最小效用函数，具体为：
为反映帧内各条带的最小比特需求，定义第i帧第j个条带的最小效用函数为：
Figure FDA0003312480920000014
其中M为当前帧所含条带数，R0为当前帧剩余比特数，ei，j表示第i帧第j个条带的平均MSE值，c为比例因子，表示剩余比特数的比例，用以保证第j个条带的最小比特数；
设定总体效用函数，具体为：
根据条带效用函数和条带最小效用函数的设定，能构建总体效用函数为：
Figure FDA0003312480920000021
Ri，j，0＜Ri，j；其中，这个函数的主体是
Figure FDA0003312480920000022
后两行
Figure FDA0003312480920000023
和Ri，j，0＜Ri，j为限制条件，s.t.表示函数的主体内容要满足后两行的限定条件；其中，Ri，j，0是表示最小条带的比特分配数；
步骤S3、对条带进行比特分配，即利用拉格朗日优化算法，求得条带的比特分配；
步骤S4、在全景视频帧内各条带完成对应的比特分配之后，通过编码器进行实际的编码操作，完成帧内的编码流程。
2.根据权利要求1所述的一种全景视频帧内比特分配的方法，其特征在于：所述投影变换采用等距长方投影ERR方式。
3.根据权利要求1所述的一种全景视频帧内比特分配的方法，其特征在于：所述即利用拉格朗日优化算法，求得条带的比特分配数Ri，j，即
Figure FDA0003312480920000024
其中，p为第p个条带，p＜j。
4.根据权利要求3所述的一种全景视频帧内比特分配的方法，其特征在于：所述步骤S3和步骤S4之间进一步包括：步骤S30、对条带内部编码单元进行比特分配，即帧内各条带的比特数分配完毕后，由于条带内部最大编码单元LCU同属一个纬度，为保障相同纬度具有一致的观看体验，对条带内部第x个最大编码单元LCU的比特分配：
Figure FDA0003312480920000031
在帧内各条带和条带内部最大编码单元LCU完成对应的比特分配之后进行编码器编码。
CN201910974363.8A 2019-10-14 2019-10-14 一种全景视频帧内比特分配的方法 Active CN110708548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910974363.8A CN110708548B (zh) 2019-10-14 2019-10-14 一种全景视频帧内比特分配的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910974363.8A CN110708548B (zh) 2019-10-14 2019-10-14 一种全景视频帧内比特分配的方法

Publications (2)

Publication Number Publication Date
CN110708548A CN110708548A (zh) 2020-01-17
CN110708548B true CN110708548B (zh) 2022-03-08

Family

ID=69199401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910974363.8A Active CN110708548B (zh) 2019-10-14 2019-10-14 一种全景视频帧内比特分配的方法

Country Status (1)

Country Link
CN (1) CN110708548B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112616014B (zh) * 2020-12-09 2022-03-15 福州大学 一种基于gan的全景视频自适应流传输方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207601B (zh) * 2007-05-24 2012-01-11 北京交通大学 基于博弈论的ofdm比特功率分配方法与***
CN105245919B (zh) * 2015-10-08 2018-01-16 清华大学 智能终端能耗优化的自适应流媒体分发方法
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
CN108200431B (zh) * 2017-12-08 2021-11-16 重庆邮电大学 一种视频编码码率控制帧层比特分配方法
CN109451309B (zh) * 2018-12-04 2022-07-26 南京邮电大学 Hevc全i帧编码基于显著性的ctu层码率分配方法

Also Published As

Publication number Publication date
CN110708548A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN104954791B (zh) 矿井无线分布式视频编码中的关键帧实时选取方法
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
US6963610B2 (en) Moving image coding device, moving image coding method and program thereof employing pre-analysis
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
CN111432207A (zh) 基于显著目标检测和显著性指导的感知高清视频编码方法
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
AU2016337193B2 (en) Data compression
CN103313047B (zh) 一种视频编码方法及装置
CN110662044A (zh) 一种视频编码方法、视频编码装置及计算机存储介质
CN103533365B (zh) 比特率控制方法与比特率控制***
US9185419B2 (en) Method and device for coding a sequence of images
CN107222748B (zh) 图像数据码率的处理方法和装置
CN110365983B (zh) 一种基于人眼视觉***的宏块级码率控制方法及装置
EP3545677A1 (en) Methods and apparatuses for encoding and decoding video based on perceptual metric classification
CN108810530A (zh) 一种基于人眼视觉***的avc码率控制方法
CN104994382A (zh) 一种感知率失真的优化方法
CN1498501A (zh) 视频数据压缩和解压缩的方法
WO2016060672A1 (en) Video coding using a saliency map
CN111556318B (zh) 数据传输方法及装置
CN104113761B (zh) 一种视频编码中的码率控制方法及编码器
CN110708548B (zh) 一种全景视频帧内比特分配的方法
CN106231305B (zh) 基于梯度的全i帧视频码率控制方法及控制***
US9635362B2 (en) System and method for the dynamic reduction of the entropy of a signal upstream to a data compression device
CN113141526B (zh) QoE驱动下的联合资源分配的点云视频自适应传输方法
CN110545429B (zh) 一种基于全景视频纬度特性的复杂度优化方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant