CN111277839B - 一种编码立方体投影格式的自适应qp调整方法 - Google Patents

一种编码立方体投影格式的自适应qp调整方法 Download PDF

Info

Publication number
CN111277839B
CN111277839B CN202010154990.XA CN202010154990A CN111277839B CN 111277839 B CN111277839 B CN 111277839B CN 202010154990 A CN202010154990 A CN 202010154990A CN 111277839 B CN111277839 B CN 111277839B
Authority
CN
China
Prior art keywords
region
ctu
coding
area
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010154990.XA
Other languages
English (en)
Other versions
CN111277839A (zh
Inventor
尹宝才
李煜聪
施云惠
齐娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010154990.XA priority Critical patent/CN111277839B/zh
Publication of CN111277839A publication Critical patent/CN111277839A/zh
Application granted granted Critical
Publication of CN111277839B publication Critical patent/CN111277839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种编码立方体投影格式的自适应QP调整方法，属于计算机编解码领域。本发明在传统编解码技术的基础上，针对立方体投影的像素分布特点，进行有针对性的改进。通过自适应QP调整，对同一帧内的不同区域采取适宜的方案，来实现对于立方体投影格式的优化。与传统编码方法统一QP相比，可以更加适配立方体投影格式，既提高了编码效率又节约了码率。

Description

一种编码立方体投影格式的自适应QP调整方法
技术领域
本方法是一种针对360°全景视频中立方体投影(CMP)格式的方法，属于计算机编解码领域。
背景技术
360°全景视频亦称为沉浸式视频,在同一位置改变观察方向,能够浏览四周全部场景。在景观展示、数字娱乐、视频会议、远程医疗和会诊、远程监控、机器人自动导航、军事对抗仿真与虚拟战场等领域得到了广泛应用。
360°全景视频应用主要包括采集、拼接、编码及传输和播放几个部分。360°全景视频采集需要多台摄像机同时完成,完成同步采集后,需要将多相机采集的视频进行拼接。由于不同角度下拍摄的图像并不在同一投影平面上,直接对重叠的图像无缝拼接会破坏景物视觉的一致性,所以需要先对图像进行投影变换, 再进行拼接。由于360度视频投影方式不同,投影变换过程中存在着图像失真, 分辨率要求较高,沿用传统视频编码技术压缩360°全景视频效果并不理想等问题，所以需要针对不同的投影格式进行相应的优化。
立方图投影(cubemap projection,CMP)是目前除球面投影(ERP)格式以外，应用最广泛的投影格式，所以对其进行有针对性性的改进有很重要的实际意义。立方体投影经由投影变换后，会采样不均匀，产生像素冗余问题。如图1灰度图所示，图片分为不同的灰度等级。灰度等级越高，所表示的编码有效像素越少，像素密度越低，如靠近上下边界地区和圆形中心地区，灰度等级较高，表示像素密度不足，会导致编码精确度降低；灰度等级越低，所表示的编码有效像素越多，像素密度越大，如圆形外部周边地区，像素密度较足，编码精度较好，但是像素密度过大在编码时也会产生浪费码率的问题。最接近1:1像素密度比率的部分存在于圆形区域外部，但是存在的部分较少。对于这个特性，传统的视频编解码方案不能进行有效的适配。
在编码器端，量化步长Qstep是控制量化的参数，可以调节编码压缩率以及重建图像的精度。如果Qstep较大，量化较粗，相应的编码长度较短，压缩率高，会损失较多的图像细节；如果Qstep较小，量化较细，相应的编码长度也比较长，图像细节损失较少。根据立方体投影像素分布特点来调节重建图像精度，进行动态优化可以提高编码效率。实际编码时，只需要控制量化步长的编号——量化参数 QP就行了。对立方体投影的同一帧进行有目的性的QP调整策略，使得相应位置获得合适的量化参数，可以在保证重建质量的前提下节省码率，以期达到整体最佳效果。
发明内容
本发明是在传统编解码技术的基础上，针对立方体投影的像素分布特点，进行有针对性的改进。通过自适应QP调整，对同一帧内的不同区域采取适宜的方案，来实现对于立方体投影格式的优化。
本发明的技术方案如图2所示。该方法针对立方体投影，把待编码的一帧分为3个区域。该序列的每一帧长为L，宽为W，其中，L＝2W。左下角点坐标为原点，把该帧划分为3个区域，其中第一区域为距上边界1/6W内以及距下边界1/6W 内的部分；第三区域为半径R＝1/4W，圆心位于支线L＝1/2W上的两个半圆以及三个圆形区域，两个半圆分别位于一帧图像的左右两端，三个圆形位于两个半圆之间；第二区域为其余部分。根据不同区域像素分布情况，进行针对性QP调整，从而有效的对立方体投影编码进行优化。本发明的特征在于该方法还依次包括下述步骤：
1：在编码阶段，对于待编码帧，获取第一个编码CTU中心像素的位置，判断其所处区域。
2：根据所在区域采用不同的QP调整方案调整该CTU的QP。
3：根据调整完成的QP来更新Lambda参数。
4：继续对该CTU编解码。
5：继续下一个CTU，直至本帧编码完成。
有益效果
与传统编码方法统一QP相比，本方法根据立方体投影像素密度分布特性，进行了具体的QP调整优化，可以更加适配立方体投影格式，既提高了编码效率又节约了码率。
附图说明
图1是立方体投影格式像素密度图
图2是本发明对立方体投影区域划分图
图3是本发明的流程图
具体实施方式
本发明实施可以在现行的国际标准编码框架，如H.265/HEVC，H.266/VVC等框架下实现。对于360°全景视频的立方体投影格式，在编码过程中进行有针对性的QP调整，具体实施方式如下：
1：设左下角点坐标为原点，对于待编码的帧，从第一个CTU开始，获取中心像素所在位置，作为参考位置。判断该参考位置所处区域。
2：根据所在区域进行不同的QP调整方案。如图2 所示，设基础设置QP为 QP0，对于区域3，像素密度不足，但越远离各个圆心的像素密度越大，根据这一特点，设区域3的QP为QP3：
QP3＝QP0-3log2(2-X3) (1)
其中
Figure BDA0002402708220000031
L3为当前CTU中心像素位置距离最近圆心的长度，R为圆半径的长度。
对于区域1，越靠近中心像素密度越大，但是还是存在着不足的问题，根据这一特点。设区域1的QP为QP1：
QP1＝QP0-2log2(2-X1) (2)
其中
Figure BDA0002402708220000032
对区域1的上半区域，L3为当前CTU中心像素位置距直线
Figure BDA0002402708220000033
的长度；对区域1的下半区域，L3为当前CTU中心像素位置距直线
Figure BDA0002402708220000034
的长度。
对于区域2，像素密度充足，根据这一特点，设区域2的QP为QP2：
QP2＝QP0+3 (3)
3根据调整后的QP更新Lambda参数。更新Lambda参数有很多方法，HM与 VTM平台均提供了相应的函数，调用相关函数即可更新。
4继续对该CTU进行编码。
5编码完成该CTU之后，继续下一个CTU。
为了验证本发明的有效性，将本发明的算法结果与JVET专家组提供的原始VTM1.0平台进行结果比对，采取的测试序列均为JVET专家组提供的。采取S- PSNR-NN作为参考，计算出的BD-rate均有所增益。

Claims (2)

1.一种编码立方体投影格式的自适应QP调整方法，其特征在于包括以下步骤：
1)在编码阶段，对于待编码帧，获取第一个编码CTU中心像素的位置，判断其在当前帧中的所处区域；
2)根据所在区域采用不同的QP调整方案调整该CTU的QP；
3)根据调整完成的QP来更新Lambda参数；
4)继续对该CTU编解码；
5)继续下一个CTU，直至本帧编码完成，
进一步的，步骤1所述的区域分为3个，即第一区域、第二区域、以及第三区域；
所述第一区域为距当前帧上边界
Figure FDA0003496929780000011
内以及距当前帧下边界
Figure FDA0003496929780000012
内的部分，其中L为当前帧的长，W为当前帧的宽，且L＝2W；
所述第三区域为半径
Figure FDA0003496929780000013
圆心位于支线
Figure FDA0003496929780000014
上的两个半圆以及三个圆形区域，两个半圆分别位于一帧图像的左右两端，三个圆形位于两个半圆之间；
所述第二区域为其余部分。
2.根据权利要求1所述的一种编码立方体投影格式的自适应QP调整方法，其特征在于：
第三区域的QP调整方案如下式，
QP3＝QP0-3log2(2-X3) (1)
其中，QP3为第三区域调整后的QP，QP0为在编码开始前设置的基础值，
Figure FDA0003496929780000015
L3为当前CTU中心像素位置距离最近圆心的长度，R为圆半径的长度；第一区域的QP调整方案如下式，
QP1＝QP0-2log2(2-X1) (2)
其中，QP1为第一区域调整后的QP，
Figure FDA0003496929780000016
对第一区域的上半区域，L3为当前CTU中心像素位置距直线
Figure FDA0003496929780000017
的长度；对第一区域的下半区域，L3为当前CTU中心像素位置距直线
Figure FDA0003496929780000018
的长度；
第二区域的QP调整方案如下式，
QP2＝QP0+3 (3)
其中，QP2为第二区域调整后的QP。
CN202010154990.XA 2020-03-06 2020-03-06 一种编码立方体投影格式的自适应qp调整方法 Active CN111277839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010154990.XA CN111277839B (zh) 2020-03-06 2020-03-06 一种编码立方体投影格式的自适应qp调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010154990.XA CN111277839B (zh) 2020-03-06 2020-03-06 一种编码立方体投影格式的自适应qp调整方法

Publications (2)

Publication Number Publication Date
CN111277839A CN111277839A (zh) 2020-06-12
CN111277839B true CN111277839B (zh) 2022-03-22

Family

ID=71002446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010154990.XA Active CN111277839B (zh) 2020-03-06 2020-03-06 一种编码立方体投影格式的自适应qp调整方法

Country Status (1)

Country Link
CN (1) CN111277839B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040771A (zh) * 2017-03-28 2017-08-11 北京航空航天大学 一种针对全景视频的编码优化方法
CN107113414A (zh) * 2014-11-14 2017-08-29 三星电子株式会社 使用区域自适应平滑的360度视频的编码
WO2018237146A1 (en) * 2017-06-21 2018-12-27 Vid Scale, Inc. ADAPTIVE QUANTIFICATION FOR 360-DEGREE VIDEO CODING
CN109246430A (zh) * 2018-09-06 2019-01-18 北方工业大学 虚拟现实360度视频快速帧内预测和cu划分提前决策

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
US10614609B2 (en) * 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113414A (zh) * 2014-11-14 2017-08-29 三星电子株式会社 使用区域自适应平滑的360度视频的编码
CN107040771A (zh) * 2017-03-28 2017-08-11 北京航空航天大学 一种针对全景视频的编码优化方法
WO2018237146A1 (en) * 2017-06-21 2018-12-27 Vid Scale, Inc. ADAPTIVE QUANTIFICATION FOR 360-DEGREE VIDEO CODING
CN109246430A (zh) * 2018-09-06 2019-01-18 北方工业大学 虚拟现实360度视频快速帧内预测和cu划分提前决策

Also Published As

Publication number Publication date
CN111277839A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN114424542B (zh) 具有非规范平滑的基于视频的点云压缩
JP6383116B2 (ja) ハイダイナミックレンジ映像符号化における、ループ内ブロックベース画像再構成
US10666979B2 (en) Image processing device and image processing method for encoding/decoding omnidirectional image divided vertically
US20220312006A1 (en) Cross-component adaptive loop filter for chroma
CN111133476A (zh) 点云压缩
US7522778B2 (en) Image decoding technique for suppressing tile boundary distortion
ES2275037T3 (es) Procedimiento de codificacion de video con compensacion de fundido.
KR20050021233A (ko) 신호 처리 장치 및 그것을 이용한 전자 기기
KR20140093247A (ko) 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
US10848771B2 (en) Encoding and decoding a video signal
US5748243A (en) Method for encoding and decoding motion picture as a function of its non-linear characteristic
CN115695784A (zh) 对图像的块进行编码的方法，编码设备和计算机可读介质
CN1347621A (zh) 减少“块状图像”效应
JP6975121B2 (ja) 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ
Sauer et al. Improved motion compensation for 360° video projected to polytopes
US5881175A (en) Method and apparatus for encoding an image signal by using the contour signal thereof
US20230071018A1 (en) Parallel encoding of video frames without filtering dependency
CN113810715B (zh) 一种基于空洞卷积神经网络的视频压缩参考图像生成方法
CN116567207A (zh) 用于帧内预测的方法和装置
CN111277839B (zh) 一种编码立方体投影格式的自适应qp调整方法
Chengjia et al. Octagonal mapping scheme for panoramic video encoding
Pi et al. Texture-aware spherical rotation for high efficiency omnidirectional intra video coding
CN114205586A (zh) 基于多色彩空间进行率失真优化的视频处理方法及应用
JP6996300B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN116980596A (zh) 一种帧内预测方法、编码器、解码器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant