CN111669517B - 一种视频叠加方法 - Google Patents

Abstract

本发明提供了一种视频叠加方法，包括以下步骤：步骤一、M个视频采集模块对应采集M路原始视频信号后缓存在M个视频缓存模块；步骤二、每个视频缓存模块均通过一个FIFO模块其处理成视频数据，M个视频缓存模块将视频数据发送给对应的M个视频无极缩放模块；步骤三、参数配置模块配置M个视频无极缩放模块的参数，根据该参数对M路视频数据缩放得到缩放数据，M路缩放数据均发送给视频叠加模块；步骤四、视频叠加模块调取M路缩放数据后，视频叠加模块根据坐标点和参数实现M路缩放数据的叠加，视频叠加模块把叠加视频发送给视频显示模块。本发明具有开发速度快、灵活性高、延时低的优点。

Description

一种视频叠加方法

技术领域

本发明涉及视频处理领域，尤其涉及一种视频叠加方法。

背景技术

随着硬件技术的发展，视频图像处理技术在当今的信息社会中获得了广泛的应用。视频叠加技术是视频图像处理技术的一个应用分支,通过将多路视频图像合成一路视频进行输出显示。这项技术在电视***、安防监控***、会议***应用非常广泛。视频叠加有多种方案可选，基于计算机的视频叠加，基于嵌入式平台的视频叠加，基于FPGA的视频叠加。

基于计算机的视频叠加和基于嵌入式平台的视频叠加往往实时性得不到满足，基于FPGA的视频叠加以前都是采用硬件描述语言开发，这种开发难度较大，成本高。

发明内容

本发明提供了一种视频叠加方法，解决现有视频叠加处理方法硬件要求高、实时性差、开发成本高、不可动态配置、灵活性低等问题，具有开发速度快、灵活性高、延时低的优点。

实现本发明目的的技术方案如下：

一种视频叠加方法，包括以下步骤：

步骤一、M个视频采集模块对应采集M路原始视频信号后缓存在M个视频缓存模块；

步骤二、每个视频缓存模块均通过一个FIFO模块将本视频缓存模块缓存的原始视频信号处理成视频数据，M个视频缓存模块将视频数据发送给对应的M个视频无极缩放模块；

步骤三、参数配置模块配置M个视频无极缩放模块的参数，根据该参数对M路视频数据缩放得到缩放数据，M路缩放数据均发送给视频叠加模块；

步骤四、视频叠加模块调取M路缩放数据后，提取每路缩放数据的像素数据，在像素数据中标定每个像素坐标，参数配置模块配置向视频叠加模块发送叠加坐标点和参数，视频叠加模块根据坐标点和参数实现M路缩放数据的叠加，视频叠加模块把叠加视频发送给视频显示模块。

作为本发明的进一步改进，所述步骤四调取M路缩放数据之前，先把每路缩放数据转换成若干帧图像数据，M路的若干帧图像数据在所述视频叠加模块叠加。

作为本发明的进一步改进，一个视频缓存模块对应一个视频无极缩放模块；

视频缓存模块与视频无极缩放模块之间具有一个视频倍频模块；

所述视频倍频模块调取视频缓存模块中的视频数据，将该视频数据以60HZ的帧率输出给视频无极缩放模块。

作为本发明的进一步改进，所述视频倍频模块的处理方法为：

1）在内存模块中开辟出两块内存区域，第一块内存区域记为A，第二块内存区域记录B；

2）视频倍频模块对调取的视频数据进行行列计数，控制模块根据帧号控制视频数据具体存入哪一块内存区域；

3）在视频倍频模块的控制下第一帧图像存入第一块内存区域A，第一帧图像存完后输出给控制模块一个有效信号，同时控制模块将下一帧图像存入第二块内存区域B，与此同时，控制模块向视频倍频模块输出有效信号，视频倍频模块检测到有效信号后开始不断从第一块内存区域A以60HZ帧率向视频输出模块输出视频信号；

当第二块内存区域B填满第二帧图像数据后，控制模块将下一帧图像存入第一块内存区域A，与此同时，控制模块向视频倍频模块输出有效信号，视频倍频模块检测到有效信号后开始不断从第二块内存区域B以60HZ帧率向视频输出模块输出视频信号；

当第二块内存区域B填满第二帧图像数据后，将第三帧视频信号存入第一内存区域A，如此重复就能实现任意帧率视频倍频至60HZ的功能。

作为本发明的进一步改进，所述步骤一具体为：每个视频采集模块的FPGA（现场可编程门阵列）根据VESA（视频电子标准协会）标准接口时序采集视频接收芯片输出的原始视频信号，通过一个FIFO模块（按序执行模块）缓存原始视频信号并进行时钟域转换，以200MHZ的时钟将数据输出给数据缓存模块。

作为本发明的进一步改进，数据缓存模块把原始视频信号传输给视频无极缩放模块之前，还通过接口转换模块进行数据转换；

所述接口转换模块将FIFO接口的原始视频数据转换成AXI-STREAM接口的数据发送给视频无极缩放模块。

作为本发明的进一步改进，所述视频叠加模块输入M路缩放数据，M路缩放数据中的任一缩放数据作为基础数据，其他路缩放数据以任意排列组合的方式叠加在所述基础数据上。

作为本发明的进一步改进，所述步骤四的视频叠加模块在M路图像数据叠加时，根据参数配置模块的配置参数和叠加坐标点，分别截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。

作为本发明的进一步改进，在两帧图像叠加之前，先获取叠加坐标点，接下来获取一帧图像中横坐标-1的第一新坐标点像素信息、另一帧图像中横坐标-1的第二新坐标点像素信息，然后根据第一新坐标点像素信息和第二新坐标点像素信息调整叠加坐标点的像素信息；最后截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。

与现有技术相比，本发明的有益效果是：

本发明实现了视频叠加IP基于C语言开发，经过优化综合后可以用在任何FPGA平台上，内部数据流全流水线处理，降低了逻辑资源的使用，单时钟周期处理完一个视频像素点，延时在微妙级，支持无极缩小和放大，视频叠加参数可动态配置，可同时部署多个视频叠加P实现多路视频缩放处理。

附图说明

图1为视频叠加方法的原理框图；

图2为视频叠加的内部流程图；

图3为一帧图像叠加的流程图；

图4为叠加后实际显示效果图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施方式一：

本实施方式提供了一种视频叠加方法，如图1所示，包括以下步骤：

步骤一、M个视频采集模块对应采集M路原始视频信号后缓存在M个视频缓存模块（步骤一具体为：每个视频采集模块的FPGA根据VESA标准接口时序采集视频接收芯片输出的原始视频信号，通过一个FIFO模块缓存原始视频信号并进行时钟域转换，以200MHZ的时钟将数据输出给数据缓存模块；数据缓存模块把原始视频信号传输给视频无极缩放模块之前，还通过接口转换模块进行数据转换；接口转换模块将FIFO接口的原始视频数据转换成AXI-STREAM接口的数据发送给视频无极缩放模块）；

步骤二、每个视频缓存模块均通过一个FIFO模块将本视频缓存模块缓存的原始视频信号处理成视频数据，M个视频缓存模块将视频数据发送给对应的M个视频无极缩放模块；

步骤三、参数配置模块配置M个视频无极缩放模块的参数，根据该参数对M路视频数据缩放得到缩放数据，M路缩放数据均发送给视频叠加模块；

步骤四、视频叠加模块调取M路缩放数据后，提取每路缩放数据的像素数据，在像素数据中标定每个像素坐标，参数配置模块配置向视频叠加模块发送叠加坐标点和参数，视频叠加模块根据坐标点和参数实现M路缩放数据的叠加，视频叠加模块把叠加视频发送给视频显示模块。

在实际应用时，优选步骤四的视频叠加模块在M路图像数据叠加时，根据参数配置模块的配置参数和叠加坐标点，分别截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。

在两帧图像叠加之前，先获取叠加坐标点，接下来获取一帧图像中横坐标-1的第一新坐标点像素信息、另一帧图像中横坐标-1的第二新坐标点像素信息，然后根据第一新坐标点像素信息和第二新坐标点像素信息调整叠加坐标点的像素信息；最后截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。

如图2和图3所示，步骤四调取M路缩放数据之前，先把每路缩放数据转换成若干帧图像数据，M路的若干帧图像数据在视频叠加模块叠加。

一个视频缓存模块对应一个视频无极缩放模块；视频缓存模块与视频无极缩放模块之间具有一个视频倍频模块；视频倍频模块调取视频缓存模块中的视频数据，将该视频数据以60HZ的帧率输出给视频无极缩放模块。

视频倍频模块的处理方法为：

1）在内存模块中开辟出两块内存区域，第一块内存区域记为A，第二块内存区域记录B；

2）视频倍频模块对调取的视频数据进行行列计数，控制模块根据帧号控制视频数据具体存入哪一块内存区域；

3）在视频倍频模块的控制下第一帧图像存入第一块内存区域A，第一帧图像存完后输出给控制模块一个有效信号，同时控制模块将下一帧图像存入第二块内存区域B，与此同时，控制模块向视频倍频模块输出有效信号，视频倍频模块检测到有效信号后开始不断从第一块内存区域A以60HZ帧率向视频输出模块输出视频信号；

当第二块内存区域B填满第二帧图像数据后，控制模块将下一帧图像存入第一块内存区域A，与此同时，控制模块向视频倍频模块输出有效信号，视频倍频模块检测到有效信号后开始不断从第二块内存区域B以60HZ帧率向视频输出模块输出视频信号；

当第二块内存区域B填满第二帧图像数据后，将第三帧视频信号存入第一内存区域A，如此重复就能实现任意帧率视频倍频至60HZ的功能。

如图2所示，本实施方式的视频叠加模块输入M路缩放数据，M路缩放数据中的任一缩放数据作为基础数据，其他路缩放数据以任意排列组合的方式叠加在基础数据上。

在本实施方式中，视频无极缩放模块的缩放过程如下：

（1）使用参数配置模块设置视频缩放模块的输入分辨率和输出分辨率；

（2）使用输入接口将视频缩放模块之外的视频经过步骤一的参数配置模块处理成对应输入分辨率后输入视频缩放模块；

（3）在视频缩放模块中采用双线性插值算法计算出视频像素值，根据参数配置模块的缩放参数配置视频缩放像素值，视频缩放模块依据视频像素值和视频缩放像素值输出缩放后的有效像素。（优选采用像素的坐标、依据视频像素值和视频缩放像素值输出缩放后的有效像素。）

本实施方式的视频缩放模块包括：列计算器、行计算器、窗缓存、像素计算，输入接口把视频输入视频缩放模块，先通过列计算器获得列有效像素，再通过行计算器获得行有效像素，接下来通过窗缓存缓存列有效像素和行有效像素，然后把列有效像素和行有效像素在像素计算中获得视频像素值，并根据参数配置模块的缩放参数配置视频缩放像素值，最后输出有效像素。

上述视频在输入视频缩放模块过程中，每输入一个有效像素，列计数加一，每一行结束，行计数加一，然后根据双线性插值算法对像素值计算，视频缩放模块内部使用行缓存对输入像素进行缓存，只有第一行输入完，第二行输入第二个像素后模块才输出第一个有效像素，直到输入完一帧视频图像数据。

视频缩放模块还包括行缓存，输入接口把视频输入视频缩放模块，先通过行缓存缓存有效像素，再通过窗缓存缓存每个窗区域的列有效像素和行有效像素，然后把列有效像素和行有效像素在像素计算中获得视频像素值，并根据参数配置模块的缩放参数配置视频缩放像素值，最后输出有效像素。当然，视频缩放模块还包括参数暂存寄存器，从参数配置模块输入的缩放参数存储在参数暂存寄存器，参数暂存寄存器向窗缓存和像素计算发生缩放参数。

本实施方式实现了视频叠加IP基于C语言开发，经过优化综合后可以用在任何FPGA平台上，内部数据流全流水线处理，降低了逻辑资源的使用，单时钟周期处理完一个视频像素点，延时在微妙级，支持无极缩小和放大，视频叠加参数可动态配置，可同时部署多个视频叠加P实现多路视频缩放处理。

实施方式二：

参照图1所示，一种基于C语言的视频叠加IP***，该***包括：参数配置模块、HDMI接收芯片、视频采集模块、数据缓存模块、视频叠加模块、视频显示模块、HDMI发射芯片，其中，

参数配置模块根据分辨率要求完成对HDMI接收芯片，视频采集模块，视频叠加模块，视频显示模块，HDMI发射芯片的配置。

HDMI接收芯片完成HDMI视频接收，将其转换为RGB24位视频信号供FPGA采集。

视频采集模块根据检测到的视频帧行场同步信号完成RGB24位数据的采集。

数据缓存模块通过FIFO接口接收视频采集模块收到的数据，将其转换成AXI-STREAM接口的信号。

视频叠加模块通过AXI-STREAM接口接收四路视频数据，根据参数配置模块设置的输入输出分辨率完成对一帧视频数据的叠加处理，然后通过AXI-STREAM接口输出叠加后的视频数据。

视频显示模块接收视频缩放模块输出的视频数据，将其转换为RGB24位时序信号发送给HDMI发射芯片。

HDMI发射芯片在视频显示模块的控制下输出标准显示器可接收的HDMI信号。

在上述公开***的基础上，本实施方式还公开了一种基于C语言的视频叠加IP方法，具体工作包括以下步骤：

1） HDMI视频接收芯片采集电脑主机输出的1920x1080分辨率的视频数据，通过RGB24数据总线以148.5MHZ时钟速度输出视频数据；

2） 参数配置模块，通过I2C接口向HDMI接收芯片内部寄存器写入初始化参数，将其初始化成1920x1080分辨率，输出时序初始化成RGB24为单边沿输出；将视频叠加模块四个图层输入分辨率设置成1920x1080，将视频叠加模块的输出分辨率设置成1920x1080；将HDMI发射芯片初始化成1920x1080的分辨率，将其输入接收初始化成RGB24为单边沿输入接口。

3） 视频采集模块，需要实现RGB24采集接口和FIFO输出接口，RGB24位视频接口包括CLK，HS，VS，DE，DATA[24]信号线，CLK时钟为148.5MHZ，HS为行同步信号，VS为场同步信号,DE为有效输出信号，DATA[24]为数据信号，视频采集模块根据HS和VS信号检测每一帧视频信号的起始，然后根据DE有效信号采集视频有效数据，具体时序参考图2,最后通过FIFO接口将视频数据输出给下一级数据缓存模块。

4） 数据缓存模块，数据缓存模块输入接口为标准FIFO接口，时钟为148.5MHZ，输出接口AXI-STREAM接口，AXI-STREAM接口时钟为200MHZ，输出接口速度大于输入接口速度，保证数据缓存模块不会溢出。

5） 视频叠加模块，视频缩放模块采用C语言开发，算法采用双线性插值算法，通过优化指令对C代码进行优化，具体优化步骤包括：

A） 首先完成视频缩放模块的C语言代码编写；

B） 将视频缩放模块输入和输出变量优化成AXI-STREAM接口，数据位宽为24位；

C） 将算法中的外层循环结构做pipeline优化，保证模块内部流水线处理，提高算法效率；

D） 将最内层循环作展开优化，保证每个时钟周期内完成一个像素的输出；

E） 对模块时钟作约束处理，时钟周期定位6.73ns。

F） 视频缩放模块代码完成后首先进行C语言仿真，保证算法没有问题；

G） C仿真通过后对代码进行综合，转换成FPGA逻辑代码，然后再对综合后的代码进行仿真，具体仿真结果见参考图4。

H） 仿真成功后导出视频缩放模块IP，之后就可在FPGA开发中使用该IP进行设计。

6） 视频显示模块，视频显示模块通过AXI-STREAM接口接收视频缩放模块发送的视频数据，时钟速度为200MHZ，然后通过RGB24位总线输出视频数据给HDMI发送芯片。

7） HDMI发射芯片在视频显示模块控制下直接输出分辨率为1280x720的标准HDMI视频信号，实际显示效果如图4所示。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种视频叠加方法，其特征在于，包括以下步骤：

步骤一、M个视频采集模块对应采集M路原始视频信号后缓存在M个视频缓存模块；

步骤二、每个视频缓存模块均通过一个FIFO模块将本视频缓存模块缓存的原始视频信号处理成视频数据，M个视频缓存模块将视频数据发送给对应的M个视频无极缩放模块；视频缓存模块与视频无极缩放模块之间具有一个视频倍频模块；

步骤三、参数配置模块配置M个视频无极缩放模块的参数，根据该参数对M路视频数据缩放得到缩放数据，采用像素的坐标、依据视频像素值和视频缩放像素值输出缩放后的有效像素，M路缩放数据均发送给视频叠加模块；

步骤四、视频叠加模块调取M路缩放数据后，提取每路缩放数据的像素数据，在像素数据中标定每个像素坐标，参数配置模块配置向视频叠加模块发送叠加坐标点和参数，视频叠加模块根据坐标点和参数实现M路缩放数据的叠加，视频叠加模块把叠加视频发送给视频显示模块；调取M路缩放数据之前，先把每路缩放数据转换成若干帧图像数据；在两帧图像叠加之前，先获取叠加坐标点，接下来获取一帧图像中横坐标-1的第一新坐标点像素信息、另一帧图像中横坐标-1的第二新坐标点像素信息，然后根据第一新坐标点像素信息和第二新坐标点像素信息调整叠加坐标点的像素信息；最后截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。

2.根据权利要求1所述的视频叠加方法，其特征在于，所述步骤四M路的若干帧图像数据在所述视频叠加模块叠加。

3.根据权利要求1或2所述的视频叠加方法，其特征在于，一个视频缓存模块对应一个视频无极缩放模块；

所述视频倍频模块调取视频缓存模块中的视频数据，将该视频数据以60HZ的帧率输出给视频无极缩放模块。

4.根据权利要求3所述的视频叠加方法，其特征在于，所述视频倍频模块的处理方法为：

1）在内存模块中开辟出两块内存区域，第一块内存区域记为A，第二块内存区域记录B；

2）视频倍频模块对调取的视频数据进行行列计数，控制模块根据帧号控制视频数据具体存入哪一块内存区域；

3）在视频倍频模块的控制下第一帧图像存入第一块内存区域A，第一帧图像存完后输出给控制模块一个有效信号，同时控制模块将下一帧图像存入第二块内存区域B，与此同时，控制模块向视频倍频模块输出有效信号，视频倍频模块检测到有效信号后开始不断从第一块内存区域A以60HZ帧率向视频输出模块输出视频信号；

当第二块内存区域B填满第二帧图像数据后，控制模块将下一帧图像存入第一块内存区域A，与此同时，控制模块向视频倍频模块输出有效信号，视频倍频模块检测到有效信号后开始不断从第二块内存区域B以60HZ帧率向视频输出模块输出视频信号；

当第二块内存区域B填满第二帧图像数据后，将第三帧视频信号存入第一内存区域A，如此重复就能实现任意帧率视频倍频至60HZ的功能。

5.根据权利要求1所述的视频叠加方法，其特征在于，所述步骤一具体为：每个视频采集模块的FPGA根据VESA标准接口时序采集视频接收芯片输出的原始视频信号，接下来通过一个按序执行模块缓存原始视频信号并进行时钟域转换，以200MHZ的时钟将数据输出给数据缓存模块。

6.根据权利要求5所述的视频叠加方法，其特征在于，数据缓存模块把原始视频信号传输给视频无极缩放模块之前，还通过接口转换模块进行数据转换；

所述接口转换模块将FIFO接口的原始视频数据转换成AXI-STREAM接口的数据发送给视频无极缩放模块。

7.根据权利要求1所述的视频叠加方法，其特征在于，所述视频叠加模块输入M路缩放数据，M路缩放数据中的任一缩放数据作为基础数据，其他路缩放数据以任意排列组合的方式叠加在所述基础数据上。

Images