CN111669532B - 一种高动态范围视频端到端实现方法 - Google Patents
一种高动态范围视频端到端实现方法 Download PDFInfo
- Publication number
- CN111669532B CN111669532B CN202010488758.XA CN202010488758A CN111669532B CN 111669532 B CN111669532 B CN 111669532B CN 202010488758 A CN202010488758 A CN 202010488758A CN 111669532 B CN111669532 B CN 111669532B
- Authority
- CN
- China
- Prior art keywords
- video
- hlg
- metadata
- display
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种高动态范围视频端到端实现方法,其主要技术特点是:制作视频节目,得到HLG视频;对HLG视频进行编码,得到编码码流;编码码流经过不同的传输网络进行传输;接收端对接收到的传输码流进行解码处理,根据显示终端的显示能力,将HLG视频送至显示终端进行显示。本发明设计合理,其在现有基于HLG的超高清电视***中,增加PQ动态元数据的提取和传输,如果是现有支持HLG视频的终端,直接显示;如果是支持PQ视频的终端,将HLG转换为PQ视频动态适配后显示,可以在不改变现有传输方式的基础上,实现不同显示终端的最佳还原显示功能。
Description
技术领域
本发明属于HDR视频技术领域,尤其是一种高动态范围视频端到端实现方法。
背景技术
在视频技术中,根据转换曲线的不同,高动态范围(High-Dynamic Range,简称HDR)视频可以分为HLG和PQ两种。考虑到显示终端的多样化以及在显示能力上的差异性,广播电视行业中HDR***需要解决制作传输一种类型的HDR节目,通过显示兼容和适配,能在不同显示能力的终端上最佳还原显示。
HLG视频在低亮度部分与现有的SDR能够兼容,而且是一种基于场景的信号格式,在不同的显示终端上基本可以正常显示;而PQ视频是一种基于显示的信号格式,采用了绝对亮度体系,当制作端的亮度和终端显示亮度有差异时,需要进行显示兼容和适配。
基于HLG视频的制作传输与传统SDR类似,实现相对简单,因此,目前4K超高清电视直播方案普遍采用基于HLG的方案,制作传输HLG节目,但是,HLG视频在某些场景下会有色偏。而基于PQ的方案,节目制作流程复杂,适合精品节目制作,显示效果更优。
发明内容
本发明的目的在于克服上述现有技术方案存在的不足,提供一种高动态范围视频端到端实现方法,该方法综合考虑PQ和HLG两种视频类型,采用现有的HLG节目制作流程,传输HLG视频和PQ元数据,在不同类型的HDR终端上都能获得最佳显示适配效果。
本发明解决其技术问题是采取以下技术方案实现的:
一种高动态范围视频端到端实现方法,包括以下步骤:
步骤1、制作视频节目,得到HLG视频;
步骤2、对HLG视频进行编码,得到编码码流;
步骤3、编码码流经过不同的传输网络进行传输;
步骤4、接收端对接收到的传输码流进行解码处理,根据显示终端的显示能力,将HLG视频送至显示终端进行显示。
进一步,所述步骤1根据ITU-R BT 2390和ITU-R BT 2408的相关要求制作视频节目,得到的HLG视频技术参数符合符合GY/T 315-2018的规定。
进一步,所述步骤2的具体实现方法包括以下步骤:
⑴将HLG视频转换为PQ视频;
⑵提取PQ视频元数据,该PQ视频元数据包括静态元数据和动态元数据;
⑶对视频数据进行编码;
⑷对超高清视频技术参数进行标识;
⑸对元数据进行封装。
进一步,所述静态元数据包括但不限于SMPTE2086所规定的静态元数据,所述动态元数据包括但不限于SMPTE 2094-10、SMPTE 2094-20、SMPTE 2094-30、SMPTE 2094-40所规定的动态元数据。
进一步,所述步骤⑶对视频数据进行编码,包括但不限于H.264/AVC、H.265、AVS2编码。
进一步,所述步骤⑷对超高清视频技术参数进行标识,包括但不限于色域、转换曲线、转换矩阵;对于H.264/AVC编码和H.265/HEVC编码,在序列头VUI的vui_parameters()语法中对色域、转换曲线和颜色转换矩阵字段进行标识;对于AVS2编码,在序列头的sequence_display_extension()语法中对色域、转换曲线和颜色转换矩阵字段进行标识。
进一步,所述步骤⑸进行封装时,对于H.264/AVC编码和H.265/HEVC编码,在SEI和VUI中对元数据进行封装,对于AVS2编码,在序列头和图像头中对元数据进行封装。
进一步,所述传输网络包括但不限于有线网络、地面数字网络、IPTV网络、OTT网络、卫星网络和5G网络,所述传输网络应能满足至少一路4K超高清电视节目的传输带宽。
进一步,所述步骤4的具体实现方法包括以下步骤:
⑴对HLG视频解码,对视频中的技术参数进行解析,并通过HDMI2.0及以上接口获取显示终端的显示能力;
⑵如果终端支持HLG显示,则将解码后的HLG视频直接显示;
⑶如果终端支持PQ显示,则将解码后的视频做进一步处理后显示。
进一步,所述步骤⑶对解码后的视频做进一步处理包括以下内容:
①解析编码码流中的PQ元数据;
②将HLG视频转换为PQ视频;
③通过PQ视频和元数据进行动态显示适配后显示。
本发明的优点和积极效果是:
1、本发明设计合理,考虑节目制作、传输和接收显示等各环节的实现复杂度,综合HLG和PQ的优势,制作传输HLG视频和PQ元数据,根据终端类型最佳还原显示,在不改变节目制作流程的前提下,能够更好地适配不同显示能力的终端,实现不同显示终端的最佳还原显示功能,有助于HDR技术的应用和推广。
2、本发明在现有基于HLG的超高清电视***中,增加PQ动态元数据的提取和传输,如果是现有支持HLG视频的终端,直接显示;如果是支持PQ视频的终端,将HLG转换为PQ视频动态适配后显示,可以在不改变现有传输方式的基础上,实现不同显示终端的最佳还原显示功能。
3、本发明采用制作HLG节目、传输HLG节目和PQ元数据的方式,既能够与现有的直播***兼容,又降低前端制作复杂度。
附图说明
图1是本发明的超高清片源检测方法原理图。
具体实施方式
以下结合附图对本发明做进一步详述。
一种高动态范围视频端到端实现方法,如图1所示,包括以下步骤:
步骤1、制作视频节目得到HLG视频。
在本步骤中,根据ITU-R BT 2390和ITU-R BT 2408的相关要求进行视频节目制作,制作得到的HDR视频技术参数应符合GY/T 315-2018的规定:分辨率3840x2160、帧率50帧/秒、量化精度10比特、BT.2020色域、转换曲线为HLG、显示峰值亮度为1000cd/m2。
步骤2、编码器对HLG视频进行编码处理,得到编码码流,本步骤的具体实现方法为:
(1)将HLG视频转换为PQ视频。
(2)提取PQ视频元数据;PQ视频元数据包括静态元数据和动态元数据。静态元数据是与图像序列相关联的元数据,该元数据在图像序列内保持不变,包括SMPTE ST.2086中规定的显示设备三基色X坐标、显示设备三基色Y坐标、显示设备标准白光X坐标、显示设备标准白光Y坐标、显示设备最大显示亮度、显示设备最小显示亮度及CEA 861.3中规定的显示内容最大亮度和显示内容最大图像平均亮度。动态元数据是与每帧图像相关联的元数据,该元数据随画面不同而改变。
(3)对HLG视频进行编码,1路视频压缩码率不低于36Mbps;
(4)对HDR相关技术参数进行识别,具体方法如下:
对于H.264/AVC编码和H.265/HEVC编码,在VUI(Video usability information,视频使用信息)vui_parameters()语法中对色域(colour_primaries)、转换曲线(transfer_characteristics)和颜色转换矩阵(matrix_coeffs)等字段进行标识,具体定义见表1。
表1 VUI中字段标识定义
对于AVS2编码,在序列头sequence_display_extension()语法中对色域(colour_primaries)、转换曲线(transfer_characteristics)和颜色转换矩阵(matrix_coeffs)等字段进行标识,具体定义见表2。
表2 AVS2编码流标识
(5)对PQ元数据进行封装,具体方法如下:
对于H.264/AVC编码和H.265/HEVC编码,在SEI(Supplemental enhancementinformation,补充增强信息)的mastering_display_colour_volume()语法中传输静态元数据,在user_data_registered_itu_t_t35()语法中传输动态元数据。
对于AVS2编码,在视频码流序列头extension_id为“1010”的mastering_display_and_content_metadata_extension()中传输静态元数据,在图像头extension_id为“0101”的hdr_dynamic_metadata_extension()中传输动态元数据。封装具位置如下:
步骤3、通过传输网络对编码码流进行传输。传输网络应能满足至少一路4K超高清电视节目的传输带宽,即视频不低于36Mbps、总带宽不低于38Mbps。
步骤4、接收端对接收到的传输码流进行解码处理,根据显示终端的显示能力,将视频送至显示终端进行显示。
对于SDR和HLG显示终端,对HLG视频进行解码及技术参数解析后得到HLG视频,直接在SDR与HDR终端显示;
对于PQ显示终端,将对HLG视频进行解码及技术参数解析后,进行PQ与数据解析、将HLG视频转换为PQ视频后,利用PQ动态元数据,进行动态适配调整后显示。
本发明未述及之处适用于现有技术。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
Claims (7)
1.一种高动态范围视频端到端实现方法,其特征在于:包括以下步骤:
步骤1、制作视频节目,得到HLG视频;
步骤2、对HLG视频进行编码,得到编码码流;
步骤3、编码码流经过传输网络进行传输;
步骤4、接收端对接收到的编码码流进行解码处理,根据显示终端的显示能力,将HLG视频送至显示终端进行显示;
所述步骤2的具体实现方法包括以下步骤:
⑴将HLG视频转换为PQ视频;
⑵提取PQ视频元数据,该PQ视频元数据包括静态元数据和动态元数据;
⑶对HLG视频数据进行编码;
⑷对超高清视频技术参数进行标识;
⑸对PQ视频元数据进行封装;
所述步骤4的具体实现方法包括以下步骤:
⑴对HLG视频解码,对HLG视频中的超高清视频技术参数进行解析,并通过HDMI2.0及以上接口获取显示终端的显示能力;
⑵如果终端支持HLG显示,则将解码后的HLG视频直接显示;
⑶如果终端支持PQ显示,则将解码后的HLG视频做进一步处理后显示,方法如下:
解析编码码流中的PQ视频元数据;
将HLG视频转换为PQ视频;
通过PQ视频和PQ视频元数据进行动态显示适配后显示。
2.根据权利要求1所述的一种高动态范围视频端到端实现方法,其特征在于:所述步骤1根据ITU-R BT 2390和ITU-R BT 2408的相关要求制作视频节目,得到的HLG超高清视频技术参数符合GY/T 315-2018的规定。
3.根据权利要求1所述的一种高动态范围视频端到端实现方法,其特征在于:所述静态元数据为SMPTE2086所规定的静态元数据,所述动态元数据包括SMPTE 2094-10、SMPTE2094-20、SMPTE 2094-30、SMPTE 2094-40所规定的动态元数据。
4.根据权利要求1所述的一种高动态范围视频端到端实现方法,其特征在于:所述步骤⑶对HLG视频数据进行编码,包括H.264/AVC、H.265、AVS2编码。
5.根据权利要求1所述的一种高动态范围视频端到端实现方法,其特征在于:所述步骤⑷对超高清视频技术参数进行标识,超高清视频技术参数包括色域、转换曲线、颜色转换矩阵;对于H.264/AVC编码和H.265/HEVC编码,在序列头VUI的vui_parameters()语法中对色域、转换曲线和颜色转换矩阵字段进行标识;对于AVS2编码,在序列头的sequence_display_extension()语法中对色域、转换曲线和颜色转换矩阵字段进行标识。
6.根据权利要求1所述的一种高动态范围视频端到端实现方法,其特征在于:所述步骤⑸进行封装时,对于H.264/AVC编码和H.265/HEVC编码,在SEI和VUI中对PQ视频元数据进行封装,对于AVS2编码,在序列头和图像头中对PQ视频元数据进行封装。
7.根据权利要求1所述的一种高动态范围视频端到端实现方法,其特征在于:所述传输网络包括有线网络、地面数字网络、IPTV网络、OTT网络、卫星网络和5G网络,所述传输网络应能满足至少一路4K超高清电视节目的传输带宽。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010488758.XA CN111669532B (zh) | 2020-06-02 | 2020-06-02 | 一种高动态范围视频端到端实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010488758.XA CN111669532B (zh) | 2020-06-02 | 2020-06-02 | 一种高动态范围视频端到端实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111669532A CN111669532A (zh) | 2020-09-15 |
CN111669532B true CN111669532B (zh) | 2021-08-10 |
Family
ID=72385479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010488758.XA Active CN111669532B (zh) | 2020-06-02 | 2020-06-02 | 一种高动态范围视频端到端实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111669532B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114095733A (zh) * | 2021-08-23 | 2022-02-25 | 镕铭微电子(济南)有限公司 | 视频转码中元数据的处理方法、视频转码设备及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015190045A1 (ja) * | 2014-06-10 | 2015-12-17 | パナソニックIpマネジメント株式会社 | 変換方法および変換装置 |
GB201611253D0 (en) * | 2016-06-29 | 2016-08-10 | Dolby Laboratories Licensing Corp | Efficient Histogram-based luma look matching |
JPWO2018012244A1 (ja) * | 2016-07-11 | 2018-12-20 | シャープ株式会社 | 映像信号変換装置、映像信号変換方法、映像信号変換システム、制御プログラム、および記録媒体 |
CN110178378B (zh) * | 2017-01-16 | 2022-04-08 | 索尼公司 | 视频处理装置、视频处理方法和存储介质 |
CN106791865B (zh) * | 2017-01-20 | 2020-02-28 | 杭州当虹科技股份有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
CN108540781A (zh) * | 2017-03-03 | 2018-09-14 | 扬智科技股份有限公司 | 影像信号处理装置与影像信号处理方法 |
CN109391790A (zh) * | 2017-08-02 | 2019-02-26 | 华为技术有限公司 | 一种转换视频格式的方法和装置 |
CN110691277B (zh) * | 2018-07-05 | 2024-03-05 | 华为技术有限公司 | 视频信号的处理方法及装置 |
CN110730339A (zh) * | 2019-11-05 | 2020-01-24 | 上海网仕科技有限公司 | 一种sdr视频信号处理方法、装置和视频编码设备 |
-
2020
- 2020-06-02 CN CN202010488758.XA patent/CN111669532B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111669532A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111372097B (zh) | 接收装置、显示设备及接收方法 | |
US11544824B2 (en) | Method and device for generating a second image from a first image | |
US11146807B2 (en) | Signaling high dynamic range and wide color gamut content in transport streams | |
US20210377542A1 (en) | Video encoding and decoding method, device, and system, and storage medium | |
US11257195B2 (en) | Method and device for decoding a high-dynamic range image | |
US20220167019A1 (en) | Method and device for reconstructing image data from decoded image data | |
WO2020135357A1 (zh) | 数据压缩方法及装置、数据编码/解码方法及装置 | |
WO2018178367A1 (en) | Method and device for color gamut mapping | |
TWI713354B (zh) | 用於顯示器調適之色彩重映射資訊sei信息發信號 | |
US20110228855A1 (en) | Device for Encoding Video Data, Device for Decoding Video Data, Stream of Digital Data | |
KR20210028654A (ko) | Sl-hdr2 포맷에서 중간 동적 범위 비디오 신호를 처리하기 위한 방법 및 장치 | |
KR20160003689A (ko) | 합성 이미지 전송 및 수신 | |
CN111669532B (zh) | 一种高动态范围视频端到端实现方法 | |
WO2019203973A1 (en) | Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity | |
EP3367684A1 (en) | Method and device for decoding a high-dynamic range image | |
CN109104635A (zh) | 即时传送屏幕图像的方法及*** | |
CA2986520A1 (en) | Method and device for reconstructing a display adapted hdr image | |
CN117676166A (zh) | 一种基于私有化语法的色度残差编码优化方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |