CN114205595A - 一种基于avs3编解码的低延时传输方法及*** - Google Patents

一种基于avs3编解码的低延时传输方法及*** Download PDF

Info

Publication number
CN114205595A
CN114205595A CN202111562813.6A CN202111562813A CN114205595A CN 114205595 A CN114205595 A CN 114205595A CN 202111562813 A CN202111562813 A CN 202111562813A CN 114205595 A CN114205595 A CN 114205595A
Authority
CN
China
Prior art keywords
data
coding
avs3
macro block
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111562813.6A
Other languages
English (en)
Inventor
林晓帆
龙仕强
陈智敏
曾辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bohua Ultra Hd Innovation Center Co ltd
Original Assignee
Guangdong Bohua Ultra Hd Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bohua Ultra Hd Innovation Center Co ltd filed Critical Guangdong Bohua Ultra Hd Innovation Center Co ltd
Priority to CN202111562813.6A priority Critical patent/CN114205595A/zh
Publication of CN114205595A publication Critical patent/CN114205595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于AVS3编解码的低延时传输方法，包括：S1.前端摄像机采集画面得到原始数据，使用SDI传输至编码器；S2.通过编码器将前端摄像机采集到的原始数据进行分块编码、传输；S3.解码器收到来自步骤S2中的宏块包装组的数据，解析其中的宏块包装组头数据，并根据其中的编号重组图像；以及S4.解码器解码后通过SDI输出视频数据，可接入支持SDI的显示设备查看画面是否正常、是否出现马赛克、掉帧的现象。本发明方法可以有效地节省视频流传输的宽带，提高传输效率，并降低编码传输的延时，解决了原来方法高延时的问题。

Description

一种基于AVS3编解码的低延时传输方法及***
技术领域
本发明涉及音视频编解码领域，特别涉及一种基于AVS3编解码的低延时传输方法及***。
背景技术
随着人工智能技术的发展，近年来的超高清视频技术的落地应用越来越多。目前中国已经成为球最大的超高清产业市场，从前端的8K内容采集、8K超高清编码、8K内容分发与传输到最终的8K终端的应用显示，具备了完整的应用体系。内容采集上，有广电的视频采集，传输上，有各运营商的5G+光纤网络，终端显示上，已有8K超高清大屏的落地，也有4K/8K解码芯片方案的应用。但目前超高清视频传输环节带宽需求较高，8K信号即使经过AVS3编码，其数据量也十分庞大，为实现高质量的图像效果，业内多选择120Mbps作为基本要求，虽然国内宽带网络一直在不断升级，但一旦8K终端产量巨增，这就对大量视频数据传输的延时带来巨大的挑战。
在现有的技术中，视频的实时编码需要依次按照序列、图像组、图像、条带、宏块、块进行编码，编码完一帧数据后再进行传输，解码器再对该帧进行解码，这样容易造成网络的较高延时。
在音视频传输中，除了要求视频传输的稳定性外，延时也是一个重要的指标，网络直播出现延时环节有很多。如：视频采集-前期处理-视频编码器-端到端网络延时-视频解码器-后期处理-播放。影响实时视频质量的因素包括：码率、帧率、分辨率、延时。在音视频传输过程中，不同阶段都会产生一定的延时。视频编解码延时问题分为3大类：
1.设备端上的延时：包括前端的采集，前期的处理，后处理的过程中产生的延时以及两端在编码后和解码前产生网络端延时等。设备端上的延时主要与硬件性能、采用的编解码算法、音视频数据量相关。另外，在设备端，CPU、缓存通常会同时处理来自多个应用、外接设备的请求，如果某个问题设备的请求占用了CPU，会导致音视频的处理请求出现延时。
2.设备与服务器间延时：包括采集前端视频源到服务器的延时，以及服务器传输数据到播放端的延时。客户端和服务器的网络运营商、终端网络的网速、负载和网络类型等。影响上下行网络延时的主要因素就是终端网络的负载和网络类型，都会对延时有所影响。
3.服务器之间延时：包括服务器之间传输延时，服务器处理延时等。如果网络不佳、网络抖动，会在采集设备端、服务器、播放端增设缓冲策略。一旦触发缓冲策略就会产生延时。如果卡顿情况多，延时会慢慢积累。要解决卡顿、积累延时，就需要优化整个网络状况。
解决以上问题及缺陷的难度为：
由此可见，在整个音视频的传输中，设备连接多、传输距离长、传输数据大，对设备的软件硬件都有非常高的要求，而且目前技术上也已经相对成熟，如果其中一个环节、一个设备出现问题，则整个传输链路都会异常。
解决以上问题及缺陷的意义为：
目前8K音视频的应用逐步推广，而8K音视频具有超高清、数据量大、延时高等特点，而且对整个链路设备具有更高的要求，8K音视频的数据是4K的4倍，2K的16倍，因此如果不进行处理的话，延时将会成倍增长，如果在采访和直播中延时过高，则体验效果会非常差。目前国内传输8K音视频数据，主要是通过AVS3编码后进行传输，因此本发明从AVS3的编解码方式入手，降低整个链路的延时。
发明内容
本发明方法的目的是提供一种基于AVS3编解码的低延时传输方法，降低AVS3实时编码传输延时的算法，将视频编码层次分为序列、图像组、图像、条带、宏块包装组、宏块、块进行编码后，分块编码完成后，打包成宏块包装层直接进行传输，在解码端接收到宏块包装组分块编码的数据直接进行解码，从而解决了原来方法高延时的问题。
本发明的技术方案如下：
根据本发明的一个方面，提供了一种基于AVS3编解码的低延时传输方法，包括以下步骤：S1.前端摄像机采集画面得到原始数据，使用数字分量串行接口(SDI)传输至编码器；S2.通过编码器将前端摄像机采集到的原始数据进行分块编码、传输；S3.解码器收到来自步骤S2中的宏块包装组的数据，解析其中的宏块包装组头数据，并根据其中的编号重组图像；以及S4.解码器解码后通过数字分量串行接口(SDI)输出视频数据，可接入支持数字分量串行接口(SDI)的显示设备查看画面是否正常、是否出现马赛克、掉帧的现象。
优选地，在上述基于AVS3编解码的低延时传输方法中，在步骤S2中，视频的编码层次分为序列、图像组、图像、条带、宏块包装组、宏块、块。
优选地，在上述基于AVS3编解码的低延时传输方法中，在步骤S2中，通过编码器将前端摄像机采集到的原始数据进行分块编码、传输包括：1)将二维变换量化数据重新组织成一维的数据序列；2)根据待编码数据的概率特性减少编码冗余；3)再给视频按照序列、图像组、图像、条带、宏块包装组、宏块、块步骤编码，其中，在宏块包装组头不仅包含描述图像的信息，还包含了图像的组成顺序编号，带有标记第0、1...N块数据；当宏块包装组层编码完成后依次通过网络传输给到解码器。
优选地，在上述基于AVS3编解码的低延时传输方法中，在步骤S2中，编码器支持AVS3格式编码。
优选地，在上述基于AVS3编解码的低延时传输方法中，解码器支持AVS3格式编码。
根据本发明的另一方面，提供了一种基于AVS3编解码的低延时传输***，包括：前端摄像机，用于采集画面得到原始数据；编码器，用于将前端摄像机采集到的原始数据进行分块编码、传输；解码器收到来自步骤S2中的宏块包装组的数据，解析其中的宏块包装组头数据；显示设备，解码器解码后通过数字分量串行接口(SDI)输出视频数据接入显示设备，其中，显示设备支持数字分量串行接口(SDI)。
根据本发明的技术方案，产生的有益效果是:
本发明的基于AVS3编解码的低延时传输方法提供了一种降低AVS3实时编码传输延时的算法，利用编码器编码的特点，修改编码传输的算法，在宏块层编码完成后进行传输，以此来降低8K AVS3视频流实时传输的延时。具体地，在宏块包装层编码完成之后进行传输，解码器接收后能够依次对宏块包装组进行解码，可以有效地节省视频流传输的宽带，提高传输效率，并降低编码传输的延时。
为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明的基于AVS3编解码的低延时传输方法的流程图；
图2是编码层次示意图；
图3是通过对比测试，比较编码器、解码器修改后的延时效果的图。
具体实施方式
为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
本发明的基于AVS3编解码的低延时传输方法，如图1所示，包括以下步骤：
S1:前端摄像机采集画面得到原始数据，使用数字分量串行接口(SDI)传输至编码器。
S2:通过编码器将前端摄像机采集到的原始数据进行分块编码、传输，其中编码器支持AVS3等多种格式编码。具体地，通过编码器将前端摄像机采集到的原始数据进行分块编码、传输包括：1)将二维变换量化数据重新组织成一维的数据序列；2)根据待编码数据的概率特性减少编码冗余；3)再给视频按照序列、图像组、图像、条带、宏块包装组、宏块、块步骤编码，其中在宏块包装组头不仅包含描述图像的信息，还包含了图像的组成顺序编号，带有标记第0、1...N块数据；当宏块包装组层编码完成后依次通过网络传输给到解码器。在本步骤中，将原视频通过AVS3分块编码，通过帧内预测和帧间预测降低视频图像的空间冗余和时间冗余。通过从时域到频域的变换，去除相邻数据之间的相关性，即去除空间冗余。通过用更粗糙的数据表示精细的数据来降低编码的数据量，或者通过去除人眼不敏感的信息来降低编码数据量，除去空间冗余的同时除去时间冗余。
S3:解码器收到宏块包装组的数据，解析其中的宏块包装组头数据，并根据其中的编号重组图像，其中解码器支持AVS3等多种格式的解码。
S4:解码器解码后通过SDI接口输出视频数据，可接入支持SDI接口的显示设备(例如监视器)进行查看画面是否正常，是否出现马赛克、掉帧的现象。
与现有技术相比，本发明的视频的编码层次增加了一层宏块包装层协议。如图2所示，本发明的视频的编码层次分为序列、图像组、图像、条带、宏块包装组、宏块、块。
序列：一段连续编码的并具有相同参数的视频图像。序列起始码：专有的一段比特串，标识一个序列的压缩数据的开始，序列起始码为十六进制数。序列头：记录序列信息档次，级别，宽度，高度，是否是逐行序列，帧率等。序列结束码：专有的一段比特串，标识该序列的压缩数据的结束。序列结束码为十六进制数。
图像组：图像起始码：专有的一段比特串，标识一个图像的压缩数据的开始图像起始码为十六进制数。图像组头：记录图像信息图像编码类型，图像距离，图像编码结构，图像是否为逐行扫描。图像组0数据：当解析到图像组头后，接下来就是图像组0数据，如图所示，一个图像组头包含一个图像组0数据，依次递增，构成整个图像。
图像：图像层包含了图像头和图像数据，为一一对应，如图2所示，一个图像头对应一个图像组0数据，以此类推。
条带：多个宏块的组合。条带起始码：专有的一段比特串，标识一个条带的压缩数据的开始，条带起始码为十六进制数。条带头：记录当前图像的相关信息条带位置，条带量化参数，宏块编码技术标识等。条带数据：条带数据由条带头引导，包含了图像的数据，和条带头一一对应，由条带0数据依次递增，如图2所示。
宏块包装组：这一层是降低延时关键的一层，其中包含了宏块包装组头，宏块组数据，彼此一一对应。宏块包装组头不仅包含描述图像的信息，还包含了图像的组成顺序编号，当宏块包装组层编码完成后依次通过网络传输给到解码器，解码器收到后根据图像的组成顺序编号进行重组。
宏块：宏块信息包含宏块编码类型，编码模式，参考帧索引，运动矢量信息，宏块编码系数等。
块编码结构：8×8或4×4块的变换量化系数的熵编码数据。
本发明的基于AVS3编解码的低延时传输方法，将原视频通过AVS3分块编码，通过帧内预测和帧间预测降低视频图像的空间冗余和时间冗余。通过从时域到频域的变换，去除相邻数据之间的相关性，即去除空间冗余。通过用更粗糙的数据表示精细的数据来降低编码的数据量，或者通过去除人眼不敏感的信息来降低编码数据量，将二维变换量化数据重新组织成一维的数据序列。根据待编码数据的概率特性减少编码冗余，分块编码完成后直接进行传输，在解码端接收到分块编码的数据直接进行解码，相较原来的编码传输方式，节省了带宽，提高了网络传输的效率且降低了延时。
本发明基于AVS3编解码的低延时传输***，包括：前端摄像机，用于采集画面得到原始数据；编码器，用于将前端摄像机采集到的原始数据进行分块编码、传输；解码器收到来自步骤S2中的宏块包装组的数据，解析其中的宏块包装组头数据；显示设备，解码器解码后通过数字分量串行接口(SDI)输出视频数据接入显示设备，其中，显示设备支持数字分量串行接口(SDI)。
图3是通过对比测试，比较编码器、解码器修改后的延时效果。测试的方法在显示器A播放时间计时画面，通过摄像机拍摄显示器A的画面传输给编码器，编码后传输给到解码器解码输出画面到显示器B，通过对比显示器A、B的时间差来计算整个链路的延时。实验组和对照组的差别就在于编码器和解码器的软件，其余设备完全相同。摄像头拍摄2K、4K和8K的情况下进行测试。详情如图三所示，整体效果会比原来提升0.5s左右。
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

Claims (6)

1.一种基于AVS3编解码的低延时传输方法，其特征在于，包括以下步骤：
S1.前端摄像机采集画面得到原始数据，使用数字分量串行接口(SDI)传输至编码器；
S2.通过所述编码器将前端摄像机采集到的原始数据进行分块编码、传输；
S3.解码器收到来自步骤S2中的宏块包装组的数据，解析其中的宏块包装组头数据，并根据其中的编号重组图像；以及
S4.所述解码器解码后通过数字分量串行接口(SDI)输出视频数据，可接入支持数字分量串行接口(SDI)的显示设备查看画面是否正常、是否出现马赛克、掉帧的现象。
2.根据权利要求1所述的基于AVS3编解码的低延时传输方法，其特征在于，在步骤S2中，视频的编码层次分为序列、图像组、图像、条带、宏块包装组、宏块、块。
3.根据权利要求1所述的基于AVS3编解码的低延时传输方法，其特征在于，在步骤S2中，通过所述编码器将所述前端摄像机采集到的原始数据进行分块编码、传输包括：
1)将二维变换量化数据重新组织成一维的数据序列；
2)根据待编码数据的概率特性减少编码冗余；
3)再给视频按照序列、图像组、图像、条带、宏块包装组、宏块、块步骤编码，其中，在宏块包装组头不仅包含描述图像的信息，还包含了图像的组成顺序编号，带有标记第0、1...N块数据；当宏块包装组层编码完成后依次通过网络传输给到所述解码器。
4.根据权利要求1所述的基于AVS3编解码的低延时传输方法，其特征在于，在步骤S2中，所述编码器支持AVS3格式编码。
5.根据权利要求1所述的基于AVS3编解码的低延时传输方法，其特征在于，在步骤S3中，所述解码器支持AVS3格式编码。
6.一种基于AVS3编解码的低延时传输***，该***实现上述权利要求1至5任意一项所述的基于AVS3编解码的低延时传输方法，其特征在于，包括：
前端摄像机，用于采集画面得到原始数据；
编码器，用于将所述前端摄像机采集到的原始数据进行分块编码、传输；
解码器收到来自步骤S2中的宏块包装组的数据，解析其中的宏块包装组头数据；
显示设备，所述解码器解码后通过数字分量串行接口(SDI)输出视频数据接入所述显示设备，其中，所述显示设备支持数字分量串行接口(SDI)。
CN202111562813.6A 2021-12-20 2021-12-20 一种基于avs3编解码的低延时传输方法及*** Pending CN114205595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111562813.6A CN114205595A (zh) 2021-12-20 2021-12-20 一种基于avs3编解码的低延时传输方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111562813.6A CN114205595A (zh) 2021-12-20 2021-12-20 一种基于avs3编解码的低延时传输方法及***

Publications (1)

Publication Number Publication Date
CN114205595A true CN114205595A (zh) 2022-03-18

Family

ID=80655658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111562813.6A Pending CN114205595A (zh) 2021-12-20 2021-12-20 一种基于avs3编解码的低延时传输方法及***

Country Status (1)

Country Link
CN (1) CN114205595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115842919A (zh) * 2023-02-21 2023-03-24 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115842919A (zh) * 2023-02-21 2023-03-24 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法
CN115842919B (zh) * 2023-02-21 2023-05-09 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Similar Documents

Publication Publication Date Title
EP1529401A1 (en) System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
JP2007520149A (ja) エンコーダ部からスケーラビリティを提供するスケーラブルビデオコーディング装置および方法
WO2010035505A1 (ja) 動画像符号化方法および動画像符号化装置
EP2235952A1 (en) Vlc method and device
CN106961610B (zh) 一种结合超分辨率重建的超高清视频新型压缩框架
US20050196057A1 (en) Video encoder/decoder and video encoding/decoding method and medium
TW202349948A (zh) 視頻解碼方法、視頻編碼方法、視頻解碼裝置、視頻編碼裝置、視頻解碼器、視頻編碼器、視頻編解碼系統、電腦可讀儲存媒體及電腦程式產品
CN114205595A (zh) 一种基于avs3编解码的低延时传输方法及***
JPH11122617A (ja) 画像圧縮
US20190356911A1 (en) Region-based processing of predicted pixels
EP1841235A1 (en) Video compression by adaptive 2D transformation in spatial and temporal direction
CN111757126A (zh) 面向vr的实时图像压缩方法、***和存储介质
CN115002482B (zh) 使用结构性保持运动估计的端到端视频压缩方法及***
Strukov et al. Evaluation of video compression methods for network transmission on diverse data: a case study
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100584422B1 (ko) 영상데이터의 압축 장치 및 방법
CN109495745B (zh) 一种基于逆量化/逆变换的无损压缩解码方法
Uhrina et al. The impact of bitrate and packet loss on the video quality of H. 264/AVC compression standard
Qi et al. Research on CAVLC audio-video synchronization coding approach based on H. 264
KR100627494B1 (ko) 동영상 부호화기 및 이를 이용한 부호화 방법
Vechtomov Low latency H. 264 encoding for teleoperation
JP7338992B2 (ja) 送信装置、受信装置、及びプログラム
WO2022174659A1 (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN108419085B (zh) 一种基于查表的视频传输***及方法
Tian et al. Improved H. 264/AVC video broadcast/multicast

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination