CN112565762B

CN112565762B - 适用运载火箭的多通道视频图像的均衡编码方法和装置

Info

Publication number: CN112565762B
Application number: CN202011402130.XA
Authority: CN
Inventors: 黎泽清; 章泉源; 张震; 闵康磊; 董丽丽; 叶恒; 王琰; 周艾玉; 刘柯健
Original assignee: Shanghai aerospace computer technology research institute
Current assignee: Shanghai aerospace computer technology research institute
Priority date: 2020-12-04
Filing date: 2020-12-04
Publication date: 2022-08-12
Anticipated expiration: 2040-12-04
Also published as: CN112565762A

Abstract

本发明公开了一种适用运载火箭的多通道视频图像的均衡编码方法和方法，方法包括：S1：创建N个通道的编码库实例，设定编码库实例中H264图像均衡编码策略；S2：实时接收所采集的多通道相同分辨率的视频图像，并将各视频图像存储于不同的缓存区域；S3：利用H264图像均衡编码策略对同一时刻不同缓存区域的视频图像进行动态编码，以均衡多通道中的编码数据，并在编码完成后打包输出同一时刻的多通道视频图像的编码数据。本发明通过H264图像均衡编码策略，动态均衡多通道的码速率，充分有效的利用信道带宽，输出低延时高质量图像。

Description

适用运载火箭的多通道视频图像的均衡编码方法和装置

技术领域

本发明涉及视频编码领域，尤其涉及适用运载火箭的多通道视频图像的均衡编码方法和装置。

背景技术

随着图像压缩技术的成熟，图像已经作为最常见的信息传输方式，能够提供比其它数据形式更丰富的内容，在航天发射任务中也必不可少。然而航天运载火箭应用中，因为传输信道带宽有限，往往只能分配少量的信道用于传输图像数据。但由于运载火箭对携带产品的重量限制，在需要观察多个方向的视频图像时，往往无法在运载火箭上安装多个只有单通道图像的图像编码设备，因此多通道的图像编码设备孕育而生。

H.264图像压缩技术具备很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。与此同时，H.264在具有高压缩比的同时还拥有高质量流畅的图像；同时航天领域对产品和设备具有高可靠的要求，H.264图像压缩技术经过多年的迭代，已经具有高成熟度高可靠性，因此运载火箭的图像设备的图像压缩数据技术采用了H.264图像压缩技术。

由于各个通道拍摄的角度和位置不同，其图像的复杂程度也不相同，因此各个通道图像在设定相同H.264编码码速率情况下，实际产生的码速率高低会有不同，图像越简单的码速率越低，图像越复杂的码速率越高。同时，虽然由于各个通道摄像头安装位置事先可知，但是由于各通道图像编码的码率会随着光照外部环境的变化而变化，因此无法安装事先设定的码速率。

发明内容

本申请实施例通过提供一种多通道视频图像的H.264图像均衡编码方法，解决了现有技术中各通道视频图像的编码码速率无法确定的问题，采用多通道H.264编码，实现对多通道图像的编码码速率的动态均衡控制，达到充分有效的利用信道带宽，输出低延时高质量图像的目的。

第一方面，本申请实施例提供了一种适用运载火箭的多通道视频图像的均衡编码方法，所述方法包括：

S1：创建N个通道的编码库实例，对所述编码库实例设定H264图像均衡编码策略；

所述H264图像均衡编码策略包括：根据预设的信道总码速率M，计算每个信道H264编码的初始码速率，以使初始状态下根据初始码速率进行H264图像编码；根据预设关键帧间隔、帧率获取每个信道的实时码速率，以便实时动态调整对应通道的H264编码码速率；

S2：实时接收所采集的多通道相同分辨率的视频图像，并将各视频图像存储于不同的缓存区域；

S3：利用H264图像均衡编码策略对同一时刻不同缓存区域的视频图像分别进行动态编码，以均衡多通道中的编码数据，并在编码完成后打包输出同一时刻的多通道视频图像的编码数据。

进一步地，所述步骤S3中，利用H264图像均衡编码策略对同一时刻不同缓存区域的视频图像分别进行动态编码的方法包括：

S31：接收每个通道H264编码的初始码速率Ki，Ki＝(M/N)*90％；

S32：基于预设统计周期S，计算各通道H264编码的实时码速率Li；

S33：计算各通道的实时码速率Li与初始码速率Ki的比值Ri；

S34：根据比值Ri，筛选出比值Ri最大的通道X和比值Ri最小的通道Y；

S35：调整通道X的H264编码码速率Kx，Kx＝110％*Ki，调整通道Y的H264编码码速率Ky，Ky＝90％*Ki，以均衡多通道的H264编码码速率；

S36：根据调整后的H264编码码速率，对缓存区域的视频图像进行编码，并重复步骤S31-S36。

第二方面，本申请实施例提供了一种适用运载火箭的多通道视频图像的均衡编码装置，包括硬件部分和与之配套的软件部分，所述硬件部分包括：FPGA芯片、DSP处理器以及多路摄像机；所述软件部分包括：设于DSP处理器的H264图像均衡编码程序；所述H264动态编码程序采用如第一方面所述的适用运载火箭的多通道视频图像的均衡编码方法；

所述FPGA芯片与所述多路摄像机连接，以多通道获取采集的视频图像；

所述DSP处理器与所述FPGA芯片之间通过EMIF、VPIF、GPIO以及复位引脚进行连接，用于接收每个通道的视频图像；利用H264图像均衡编码程序对多通道视频图像分别进行H264图像编码。

进一步地，所述硬件部分包括FLASH寄存器，所述FLASH寄存器与所述DSP处理器连接，并以多通道分区方式保存编码前的原始视频图像。

进一步地，所述硬件部分包括DDR寄存器，所述DDR寄存器外接于所述DSP处理器，通过所述DDR寄存器以时间序列保存编码后的视频图像的编码数据。

进一步地，所述硬件部分还包括时钟模块，所述时钟模块连接DSP处理器，用于配置满足H264编码要求的时钟值；并且用于提供复位信号，包括上电初始化的复位信号以及工作异常时的看门狗复位信号。

进一步地，所述DSP处理器采用TI公司的TMS320DM6467芯片。

进一步地，所述FPGA芯片采用XILINX公司的XC4VLX25芯片。

本申请实施例中提供的适用运载火箭的多通道视频图像的均衡编码方法和装置，至少具有如下技术效果：

1、由于采用了H264图像均衡编码策略，在固定H264编码的总码速率内，动态均衡多通道的码速率，充分有效的利用信道带宽，输出低延时高质量图像。

2、由于采用了多个通道动态调整码速率，有效控制多通道视频图像的编码传输。

附图说明

图1为本申请实施例的一种多通道视频图像的均衡编码方法的流程图；

图2为本申请实施例中利用H264图像均衡编码策略动态编码的流程图；

图3为本申请实施例的适用运载火箭的多通道视频图像的均衡编码装置结构框图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施方式一

参考图1所示，本申请实施例提供了一种适用运载火箭的多通道视频图像的均衡编码方法，方法包括如下步骤。

步骤S1：创建N个通道的编码库实例，对编码库实例设定H264图像均衡编码策略。

其中，H264图像均衡编码策略包括：根据预设的信道总码速率M，计算每个信道H264编码的初始码速率，以使初始状态下根据初始码速率进行H264图像编码；根据预设的关键帧间隔、帧率获取每个信道的实时码速率，以便实时动态调整对应通道的H264编码码速率。

本步骤S1中，根据设定的视频图像宽度、高度、信道总码速率、帧率等参数创建N个通道的编码库实例。

本实施方式中的均衡编码方法适用于运作火箭上的多通道视频图像传输，其中，由于在视频图像传输过程中，视频图像的复杂度参差不齐，由于环境变化以及视频图像自身的复杂度，对视频图像的编码往往无法按照事先设定的H264编码码速率进行编码。例如，从不同角度和位置实时采集拍摄的视频图像，在同一时刻内产生若干的视频图像，此时视频图像不同复杂度直接影响编码效率。本实施方式采用H264图像均衡编码策略，以多通道方式对各路采集的视频图像进行动态编码，使得信道总码速率固定的前提下，根据各信道的视频图像的复杂度或环境等原因，动态调整各通道的码速率，实现总码速率均衡的前提下，自动动态调整各通道的码速率。

步骤S2：实时接收所采集的多通道相同分辨率的视频图像，并将各视频图像存储于不同的缓存区域。本步骤中将同一时刻的不同通道的视频图像存储于不同的缓存区域，以便在进行H264编码时，从不同的缓存区域获取不用时刻的视频图像。

步骤S3：利用H264图像均衡编码策略同一时刻不同缓存区域的视频图像分别进行动态编码，以均衡多通道中的编码数据，并在编码完成后打包输出同一时刻的多通道视频图像的编码数据。

进一步地，步骤S3中，参考图2所示，利用H264图像均衡编码策略对同一时刻不同缓存区域的视频图像分别进行动态编码的方法包括：

步骤S31：接收每个通道H264编码的初始码速率Ki，Ki＝(M/N)*90％。

步骤S32：基于预设统计周期S，计算各通道H264编码的实时码速率Li。预设的统计周期可以为2秒-10秒之间。

步骤S33：计算各通道的实时码速率Li与初始码速率Ki的比值Ri。

步骤S34：根据比值Ri，筛选比值Ri最大的通道X和比值Ri最小的通道Y。

步骤S35：调整通道X的H264编码码速率Kx，Kx＝110％*Ki，调整通道Y的H264编码码速率Ky，Ky＝90％*Ki，以均衡多通道的H264编码码速率。

步骤S36：根据调整后的H264编码码速率，对缓存区域的视频图像进行编码，并重复步骤S31-S36。

从步骤S31-步骤S36可以看出，本实施方式利用各通道的H264编码的实时码速率和设定的H264编码的初始码速率的比值，并根据获得的最大比值和最小比值，调整相应通道的H264编码码速率设定值。

进一步地，根据设定的图像宽度、高度、总码速率和帧率等参数创建N个编码库实例。即每个通道创建一个编码库实例。对N通道视频图像的H264编码，例如，N个通道均以40毫秒为一时间段，独立编码一帧图像，每25帧一个I帧，随后有24帧P帧。I帧表示H264编码中的关键帧，P帧表示H264编码中的预测编码帧。本实施方式中，每固定时间S秒，S可选为2秒-10秒之间，统计一次每个通道的H.264实时码速率。在同一时刻，计算每个通道的实时码速率，并统计出每个通道H264编码的实时码速率。

实施方式二

参考图3所示，本实施方式提供了一种适用运载火箭的多通道视频图像的均衡编码装置，包括硬件部分和与之配套的软件部分。本实施方式中的硬件部分包括：FPGA芯片、DSP处理器以及多路摄像机；软件部分包括：设于DSP处理器上的H264图像均衡编码程序；H264动态编码程序采用实施方式一中的适用运载火箭的多通道视频图像的均衡编码方法。

本实施方式中的FPGA芯片与多路摄像机连接，以多通道方式获取摄像机采集的视频图像；即每个通道获取一路摄像机采集的视频图像。DSP处理器与FPGA芯片之间通过EMIF、VPIF、GPIO以及复位引脚进行连接，用于接收各通道的视频图像；利用H264图像均衡编码程序对多通道视频图像分别进行H264图像编码。

本实施方式以三通道为例进行阐述，当然不局限于三通道，可以理解为，本发明适用于任意通道数，可选地，通道数量不大于八个。

如表1所示，图像设备的基本信息。

表1

在一种实施例中，DSP处理器采用TI公司的TMS320DM6467芯片。FPGA芯片采用XILINX公司的XC4VLX25芯片。进一步地，DSP处理器中H264动态编码程序采用C代码和Verilog代码。

进一步地，DSP处理器中的编码库实例的各通道同时对准摄像机一、摄像机二以及摄像机三，共对三路视频图像进行H264编码处理。本实施方式中没路摄像机所采集的视频图像的分辨率为704*288，FPGA芯片负责接受三路摄像机采集的视频图像，并通过VPIF接口将原始的视频图像传输给DSP处理器。此时，DSP处理器没有直接进行编码处理。

进一步假设分配给图像信道的总码速率为3Mbps，进而在编码处理时，每个通道的最大码速率为3Mbps/3＝1Mbps，为保证信道余量，设置每个信道的初始码速率为Ki＝(3/2)*90％＝900kbps，以便每个信道编码时，含有动态调整空间。本实施方式中，为保证图像的均衡性和信道误码后的可恢复性，设定图像的I帧间隔为1秒，设定帧率为25帧。

通过调用编码库函数CH264AppObj*H264APP_create(int32_t iHeight,int32_tiWidth,int32_t iPitch,int32_t iFrameRate,int32_t iBitRate,int32_t iGop)。

依次创建三个编码库实例pH264Obj1、pH264Obj2、pH264Obj3，其中参数iHeight为图像高度、iWidth为图像宽度、iPitch为图像宽度内存占用字节、iFrameRate为帧率、iBitRate为码率、iGop为I帧间隔。

在一种实施例中，通过DSP处理器进行三通道图像编码时，三通道每40毫秒独立编码一帧图像，每25帧一个I帧，随后有24帧P帧。

本实施方式中的硬件部分包括FLASH寄存器，FLASH寄存器与DSP处理器连接，用于保存处理前的视频图像。即，DSP处理器接收的原始视频图像先保存至FLASH寄存器中。为方便区分各通道摄像头所采集的视频图像，本实施方式中，对FLASH寄存器内的存储空间进行分区，将不同通道的摄像头采集的视频图像保存在不同地址的分区中。

本实施方式中的硬件部分包括DDR寄存器，DDR寄存器外接于DSP处理器，通过DDR寄存器保存处理后的视频图像的编码数据。进一步地，本实施方式中DDR寄存器按照时间序列保存视频图像的编码数据，即，同一时刻保存多通道中所有摄像头采集的视频图像的编码数据。进一步地，本实施方式中，通过多通道的摄像机同时采集视频图像，那么可以理解为，同一时间段中包括多个通道的视频图像，接收以及发送时，需要将同一时刻所有视频图像的编码数据同时传输出去。DSP处理器通过调用H264APP_encode函数来实现H264编码，三个通道分辨使用各自的编码库实例进行编码，相互之间独立各不影响，编码的数据放在DDR寄存器中，记录DSP处理器输出的字节长度EncLEN1、EncLEN2、EncLEN3。

据根据图像数据格式由DSP处理器将编码数据打包后通过EMIF口发送给FPGA芯片，由FPGA芯片通过LVDS接口对外输出,图像数据格式如表2所示。

表2图像数据格式

本实施方式中的硬件部分还包括时钟模块，时钟模块连接DSP处理器，用于配置满足H264编码要求的几个时钟值，以及用于提供复位信号，包括上电初始化的复位信号以及工作不正常时的看门狗复位信号。本实施方式中每固定时间S秒(S建议在2秒至10秒之间)统计一次各个通道的H.264实时码速率Li,计算实时码速率Li和编码目标码速率Ki的比值Ri。即，每间隔5秒统计一次各个通道的实时码率，第一个通道的5秒平均实时码率L1＝∑EncLEN1j/5,1≤j≥125；第二个通道的5秒平均实时码率L2＝∑EncLEN2j/5,1≤j≥125；第三个通道的5秒平均实时码率L3＝∑EncLEN3j/5,1≤j≥125。计算实时码速率和编码目标码速率的比值K，第一通道的比值R1＝L1/K1，第二通道的比值R2＝L2/K2，第三通道的比值R3＝L3/K3；获取比值最大通道i和比值最小通道j,调整通道i和通道j的H.264编码码速率，Ki＝(Ki*110％),Kj＝(Kj*90％)；假设某时刻，获取比值最大通道为第一通道，获取比值最小通道为第三通道，调整第一通道的编码码率K1＝K1*110％，调整第三通道的编码码率K3＝K3*90％。进一步按新设定的码率给各个通道编码。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种适用运载火箭的多通道视频图像的均衡编码方法，其特征在于，所述方法包括：

S2：实时接收多通道相同分辨率的视频图像，并将各视频图像存储于不同的缓存区域；

S3：利用H264图像均衡编码策略对同一时刻不同缓存区域的视频图像分别进行动态编码，以均衡多通道中的编码数据，并在编码完成后打包输出多通道视频图像的编码数据；

其中，利用H264图像均衡编码策略对同一时刻不同缓存区域的视频图像分别进行动态编码的方法包括：

S31：接收每个通道H264编码的初始码速率Ki，Ki＝(M/N)*90％；

S33：计算各通道的实时码速率Li与初始码速率Ki的比值Ri；

2.一种适用运载火箭的多通道视频图像的均衡编码装置，其特征在于，包括硬件部分和与之配套的软件部分，

所述硬件部分包括：FPGA芯片、DSP处理器以及多路摄像机；

所述软件部分包括：设于DSP处理器上的H264图像均衡编码程序；所述H264动态编码程序采用如权利要求1所述的适用运载火箭的多通道视频图像的均衡编码方法；

所述FPGA芯片与所述多路摄像机连接，以多通道方式获取所述摄像机采集的视频图像；

3.如权利要求2所述的适用运载火箭的多通道视频图像的均衡编码装置，其特征在于，所述硬件部分包括FLASH寄存器，所述FLASH寄存器与所述DSP处理器连接，并以多通道分区方式保存编码前的原始视频图像。

4.如权利要求2所述的适用运载火箭的多通道视频图像的均衡编码装置，其特征在于，所述硬件部分包括DDR寄存器，所述DDR寄存器外接于所述DSP处理器，通过所述DDR寄存器以时间序列保存编码后的视频图像的编码数据。

5.如权利要求2所述的适用运载火箭的多通道视频图像的均衡编码装置，其特征在于，所述硬件部分还包括时钟模块，所述时钟模块连接DSP处理器，用于配置满足H264编码要求的时钟值；并且用于提供复位信号，包括上电初始化的复位信号以及工作异常时的看门狗复位信号。

6.如权利要求2所述的适用运载火箭的多通道视频图像的均衡编码装置，其特征在于，所述DSP处理器采用TI公司的TMS320DM6467芯片。

7.如权利要求2所述的适用运载火箭的多通道视频图像的均衡编码装置，其特征在于，所述FPGA芯片采用XILINX公司的XC4VLX25芯片。