CN105554416A - 一种基于fpga的高清视频淡入淡出处理***及方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的高清视频淡入淡出处理***及方法，所述***主要由SDI/HDMI接口电路、矩阵芯片、SDI/HDMI信号解码电路、FPGA及其配置电路、DDR2？SDRAM数据存储电路、HDMI信号编码电路组成；接收到SDI/HDMI视频信号后，矩阵芯片分别通过SDI/HDMI信号解码电路进行解码、转换成并行的数字信号，然后进入FPGA及其配置电路，FPGA对这多路视频信号进行提取、alpha系数叠加、存储、合成处理，再通过HDMI信号编码电路转换为HDMI视频信号。本***的处理和传输延时为零，其在数字远程庭审主机中得到了成功应用，满足了用户对庭审设备显示功能的需求。

Description

一种基于FPGA的高清视频淡入淡出处理***及方法

技术领域

本发明涉及通信技术领域，具体是一种基于FPGA的高清视频淡入淡出处理***及方法。

背景技术

淡出淡入是电影中表示时间-空间转换的一种技巧。在电影中常用“淡”分隔时间空间，表明剧情段落：淡出表示一场戏或一个段落的终结；淡入表示一场戏或一个段落的开始，能使观众产生完整的段落感。“淡”本身不是一个镜头，也不是一个画面，它所表现的，不是形象本身，而只是画面渐隐渐显的过程。它节奏舒缓，具有抒情意味，能够造成富有表现力的气氛。

目前淡入淡出效果无处不在，可以经常在电视电影和网络视频中看到，该功能的设计基本采用纯软件的制作方式。随着专用视频设备用户对视频显示效果的要求提高，该功能在一些专用视频设备中逐渐呈现出来，比方说监控平台***、指挥调度***、视频会议***中的视频拼接和视频分割功能表现不俗，其实现方式有基于PC处理方案的、基于DSP芯片方案的、基于ARM控制方案的、基于FPGA处理方案的等等，其处理数据的稳定性和传输延时各不相同。

随着半导体加工工艺的不断发展，FPGA在结构、速度、工艺、集成度和性能方面都取得了很大的进步和提高。本发明提出了一种基于FPGA的高清视频淡入淡出处理方案，其处理和传输延时为零。该方案在数字远程庭审主机中得到了成功应用，很好的满足了用户对庭审设备显示功能的需求。

发明内容

本发明的目的在于提供一种基于FPGA的高清视频淡入淡出处理***及方法，其在数字远程庭审主机中得到了成功应用，很好的满足了用户对庭审设备显示功能的需求。

为实现上述目的，本发明提供如下技术方案：

一种基于FPGA的高清视频淡入淡出处理***，主要由SDI接口电路、HDMI接口电路、矩阵芯片、SDI信号解码电路、HDMI信号解码电路、FPGA及其配置电路、DDR2SDRAM数据存储电路、HDMI信号编码电路组成；所述的FPGA包括有效视频提取模块、淡入淡出模块、有效视频缩小模块、多路画面合成模块、视频图像显示模块，多路高清视频依次通过有效视频提取模块、淡入淡出模块、有效视频缩小模块与多路画面合成模块连接，多路画面合成模块再与视频图像显示模块连接；接收到多路SDI视频信号、HDMI视频信号后，矩阵芯片分别通过SDI信号解码电路、HDMI信号解码电路进行解码、转换成并行的数字信号，然后进入FPGA及其配置电路，FPGA对这多路视频信号进行提取、alpha系数叠加、存储、合成处理，处理后的数据通过HDMI信号编码电路转换为HDMI视频信号。

作为本发明进一步的方案：所述矩阵芯片的型号为ADN4605，所述SDI信号解码包括电路解码芯片GS2970，所述HDMI信号解码电路包括解码芯片ADV7611，所述FPGA的型号为EP4CE75F29C8，所述HDMI信号编码电路包括编码芯片SiI9136。

作为本发明进一步的方案：通过HDMI信号编码电路转换的HDMI视频信号能够连接到显示器上，进行显示。

作为本发明进一步的方案：所述的视频图像显示模块的个数为2个，所述的有效视频提取模块、淡入淡出模块、有效视频缩小模块的个数与高清视频的路数一致。

作为本发明进一步的方案：所述的高清视频的路数为9路。

作为本发明进一步的方案：所述的多路画面合成模块包括DDR2图像存储模块、读写控制信号模块和读写地址产生模块。

利用所述的***进行高清视频淡入淡出处理的方法，包括以下步骤：

（1）当接收到多路SDI视频信号、HDMI视频信号后，矩阵芯片分别通过SDI信号解码电路、HDMI信号解码电路进行解码、转换成并行的数字信号，然后进入FPGA及其配置电路；

（2）FPGA对这多路视频信号进行提取、alpha系数叠加、存储、合成处理，包括以下步骤：

1）有效视频提取模块通过单独的行同步和场同步信号方式进行传输；

2）淡入淡出模块通过触发逻辑淡出来逐渐退出当前画面，等到淡出时间到，冻结当前输出画面，再切换矩阵芯片引入新的视频内容，然后触发逻辑进行视频淡入并且解冻输出画面；该步骤需要CPU的控制和FPGA的响应时间到位；

3）多路画面合成模块进行图像合成；

（3）处理后的数据通过HDMI信号编码电路转换为HDMI视频信号。

作为本发明进一步的方案：所述的步骤3），具体包括以下步骤：

S1、首先，对原图像按像素进行抽取，分别将多路图像按照一定的比例缩小；

S2、然后，按照一定的规则将多路图像进行排列，排列后的图像即为多路合成的图像；

S3、最后，将合成的图像编码输出，即可在同一个屏幕显示多个画面，完成对多路图像的合成；

S4、视频图像显示模块将多路画面合成模块合成的视频图像进行逐行显示。

作为本发明进一步的方案：所述的步骤S1中，对原图像按像素进行抽取，具体是利用有效视频提取模块分别在原图像的垂直方向和水平方向上抽取有效的视频数据。

与现有技术相比，本发明的有益效果是：本发明提出了一种基于FPGA的高清视频淡入淡出处理方案，其处理和传输延时为零。该方案在数字远程庭审主机中得到了成功应用，很好的满足了用户对庭审设备显示功能的需求。

附图说明

图1是本发明***的结构框图；

图2是本发明***的功能框图；

图3是本发明***的图像提取示意图；

图4是本发明***的淡入淡出处理流程图；

图5是本发明***的图像合成示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～2，本发明实施例中，一种基于FPGA的高清视频淡入淡出处理***，主要由SDI接口电路、HDMI接口电路、矩阵芯片、SDI信号解码电路、HDMI信号解码电路、FPGA及其配置电路、DDR2SDRAM数据存储电路、HDMI信号编码电路组成；其中，矩阵芯片的型号为ADN4605，SDI信号解码包括电路解码芯片GS2970，HDMI信号解码电路包括解码芯片ADV7611，FPGA的型号为EP4CE75F29C8，HDMI信号编码电路包括编码芯片SiI9136；从矩阵芯片ADN4605接口接收到SDI/HDMI信号后分别通过解码芯片GS2970/ADV7611进行解码，转换成并行的数字信号，然后进入FPGA对这九路视频信号进行提取、alpha系数叠加、存储、合成等功能，进行处理后的数据通过编码芯片SiI9136再转换为HDMI视频信号，就可以接到显示器上显示了。

上述***功能实现的关键是在***的硬件平台的基础上，通过对FPGA编程实现对视频解码芯片输出的实时数字视频数据接收，并根据画面合成需要，对有效视频图像数据进行提取和存储，然后将各路视频数据合成一路输出到显示器。所述***的实现功能框图如图2所示，FPGA包括有效视频提取模块、淡入淡出模块、有效视频缩小模块、多路画面合成模块、视频图像显示模块，多路高清视频依次通过有效视频提取模块、淡入淡出模块、有效视频缩小模块与多路画面合成模块连接，多路画面合成模块再与视频图像显示模块连接，视频图像显示模块的个数为2个，有效视频提取模块、淡入淡出模块、有效视频缩小模块的个数与高清视频的路数一致，优选为9路；其中多路画面合成模块包括DDR2图像存储模块、读写控制信号模块和读写地址产生模块。

以下将针对上述各个模块的工作原理进行阐述：

1、有效视频提取模块的图像提取原理

尽管视频画面看起来好像是连续运动的，其实那是一系列静止的图像，这些图像切换得足够快，使得画面看起来像是连续运动的，一种称为场同步（verticalsync）的特定时序信息被用于指定新图像从什么时候开始显示；每张静止图像是由扫描线（scanline）组成的，即沿着显示器从上到下、一行接着一行进行显示的数据线，另一种称为行同步（horizontalsync）的时序信息被用于指定新扫描线从什么时候开始显示。

行同步和场同步信息通常通过以下3种方式之一进行传输：

①单独的行同步和场同步信号；

②单独的复合同步信号；

③嵌入视频信号的复合同步信号。

本发明***采用的是数字视频，采用的是技术①。

请参阅图3，本发明***采用的输入分辨率为19200×1080/60Hz，像素时钟为148.5MHz。SDI/HDMI信号经解码后得到带像素时钟的16位并行4：2：2的YCBCR数字信号及H、V、DE信号，它们之间的相互关系如图所示。

其中，当DE为1时，处理有效视频，当DE为0时，处理HSYNC和VSYNC信号。SDI/HDMI输出的数字视频信号一帧由1125行视频数据组成，每一场有效视频行为1080行，每一行又有2200个像素，其中有效像素有1920个，这些是在视频图像合成过程中要用到的数据，每一个像素都包含Y和CB/CR两种信号。

2、淡入淡出模块的淡入淡出原理

图像淡入淡出，实际上是当前显示图像逐渐退出，背景图像逐渐显现出来。这个过程关键依靠两幅叠加在一起的图像“透明度”系数alpha来动态调节。该系数可以设置成一个满量程是256的常数，两幅画面共享该量程值，进行显示时，各画面乘以对应比例的系数。所以淡入淡出的效果实际上是动态改变该“透明度”系数的值。

如何动态改变“透明度”系数的值成了本发明***设计的关键，下面重点介绍一下：

从上面的硬件结构中可以清楚的看到，多路视频流要实现画面分割的功能，同时需要支持每路视频画面的淡入淡出功能。如果是当前路的视频画面逐渐退出，同时新的视频画面逐渐呈现出来。那么，FPGA至少需要缓存两路视频画面，这样会增加DDR2的读写吞吐压力。目前所选用的器件是CYCLONEIV系列，从数据手册上获知该器件的DDR2读写控制IP最大支持166.66MHZ，数据总线的宽度是32位，对应的DDR2的吞吐带宽是166.66×2×32=10.66Gbit/s。对于1080P60的视频流输入，其单路所需要的读写带宽是2Gbit/s×2=4Gbit/s，而本发明***中需要支持两路多画面的显示模式，其所需要的总带宽就是8Gbit/s，再加上DDR2的读写效率问题需要乘以一个0.8的系数。所以，在进行多画面视频分割时，首先应该考虑把每路画面缩小后再写入DDR2中，这样才能节省DDR2带宽，保证其吞吐正常。

那么，视频淡入淡出的功能在什么位置加入？以及如何加入才能满足目前有限DDR2带宽的要求？经过仔细考虑，在已有的硬件结构中，实现上面所说的一路视频逐渐淡出同时另外一路逐渐淡入功能已经变得不太现实，因为需要每路输出对应有两路视频流的读写操作过程，其DDR2的带宽显然不满足要求。

请参阅图4，为了能够实现淡入淡出的功能，又不更改硬件方案。只能通过改变淡入淡出的方式来实现，即通过触发逻辑淡出来逐渐退出当前画面，等到淡出时间到，冻结当前输出画面，再切换矩阵芯片引入新的视频内容，然后触发逻辑进行视频淡入并且解冻输出画面，该方式需要CPU的控制和FPGA的响应时间到位，具体的操作流程如图4所示。值得注意的是，进行Alpha值递减时需要防止溢出。

3、多路画面合成模块的图像合成原理

请参阅图5，在像素域的多画面合成中，首先，对原图像按像素进行抽取，分别将多路图像按照一定的比例缩小。然后，按照一定的规则将多路图像进行排列，排列后的图像即为多路合成的图像。最后，将合成的图像编码输出，即可在同一个屏幕显示多个画面，完成对多路图像的合成。

合成后的视频图像是逐行显示的，而对于将图像以逐行方式“绘制”到屏幕上的设备，每张图像都是从显示器的左上角开始，一直向右移动，直到到达显示器的右边缘为止，然后向下扫描一行，重复地从左到右进行扫描，这个过程一直持续到整个屏幕全部被刷新一次为止。

以9路为例，首先，要分别对原图像进行1/9比例缩小：则在垂直方向上隔行抽取有效视频行，使垂直方向缩小为原来的1/3，在水平方向上隔行抽取有效视频行，使水平方向缩小为原来的1/3。这样经过垂直和水平方向的抽取所得到的图像缩小为原图像的1/9。

然后，按照一帧图像数据的排列格式对抽取的各路图像的像素进行排列：抽取的第1路图像的行与第2、3路图像的行组成一整行，第4路图像的行与第5、6路图像的行组成一整行，第7路图像的行与第8、9路图像的行组成一整行。9路图像的行组成新的一帧图像的图像数据。

最后，将9路合成图像数据经过SiI9136编码输出，通过逐行扫描在一个显示器上显示9路图像，即完成了9路视频图像合成。

视频图像画面合成的实现方法主要分为两大类：像素域合成和压缩域合成。基于***的图像数据为16位Y、CB/CR数字视频格式，所以在视频图像画面合成中采用像素域内多画面合成的方法。9路视频图像合成的实现过程如下：

首先，分别在垂直方向和水平方向上抽取有效的视频数据，将9路图像各缩小为原图像的1/9。这部分功能由有效视频提取模块实现，该模块在前面已经做过详细介绍。然后将提取的各路图像数据按找一定顺序排列，即按照一定的规律存储到DDR2SDRAM中。各路图像数据的地址按照上面介绍的地址产生方法实现，都有各自固定的存储空间。

在完成各路视频图像的抽取、存储后，就要对抽取的各路视频图像的进行9画面合成。根据1080P***数字信号的数据格式，把有效视频数据从存储器中采用顺序读取出来，在相应的H、V、DE信号的位置，送视频编码输出，完成9路视频图像的合成。在合成的过程中，H、V、DE信号及时钟信号都由输出时钟计数产生。9路视频合成图像的排列方式如图5所示。

通过以上方案设计、逻辑编码、仿真、逻辑综合和布局布线、板上FPGA调试等等，最后实现了视频多画面分割中的淡入淡出功能，该设计在数字庭审主机中得到了很好的应用，满足了客户的需求。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于FPGA的高清视频淡入淡出处理***，其特征在于，主要由SDI接口电路、HDMI接口电路、矩阵芯片、SDI信号解码电路、HDMI信号解码电路、FPGA及其配置电路、DDR2SDRAM数据存储电路、HDMI信号编码电路组成；所述的FPGA包括有效视频提取模块、淡入淡出模块、有效视频缩小模块、多路画面合成模块、视频图像显示模块，多路高清视频依次通过有效视频提取模块、淡入淡出模块、有效视频缩小模块与多路画面合成模块连接，多路画面合成模块再与视频图像显示模块连接；接收到多路SDI视频信号、HDMI视频信号后，矩阵芯片分别通过SDI信号解码电路、HDMI信号解码电路进行解码、转换成并行的数字信号，然后进入FPGA及其配置电路，FPGA对这多路视频信号进行提取、alpha系数叠加、存储、合成处理，处理后的数据通过HDMI信号编码电路转换为HDMI视频信号。

2.根据权利要求1所述的基于FPGA的高清视频淡入淡出处理***，其特征在于，所述矩阵芯片的型号为ADN4605，所述SDI信号解码包括电路解码芯片GS2970，所述HDMI信号解码电路包括解码芯片ADV7611，所述FPGA的型号为EP4CE75F29C8，所述HDMI信号编码电路包括编码芯片SiI9136。

3.根据权利要求1所述的基于FPGA的高清视频淡入淡出处理***，其特征在于，通过HDMI信号编码电路转换的HDMI视频信号能够连接到显示器上，进行显示。

4.根据权利要求1所述的基于FPGA的高清视频淡入淡出处理***，其特征在于，所述的视频图像显示模块的个数为2个，所述的有效视频提取模块、淡入淡出模块、有效视频缩小模块的个数与高清视频的路数一致。

5.根据权利要求4所述的基于FPGA的高清视频淡入淡出处理***，其特征在于，所述的高清视频的路数为9路。

6.根据权利要求1所述的基于FPGA的高清视频淡入淡出处理***，其特征在于，所述的多路画面合成模块包括DDR2图像存储模块、读写控制信号模块和读写地址产生模块。

7.一种利用权利要求1-6任一所述的***进行高清视频淡入淡出处理的方法，其特征在于，包括以下步骤：

（1）当接收到多路SDI视频信号、HDMI视频信号后，矩阵芯片分别通过SDI信号解码电路、HDMI信号解码电路进行解码、转换成并行的数字信号，然后进入FPGA及其配置电路；

（2）FPGA对这多路视频信号进行提取、alpha系数叠加、存储、合成处理，包括以下步骤：

1）有效视频提取模块通过单独的行同步和场同步信号方式进行传输；

2）淡入淡出模块通过触发逻辑淡出来逐渐退出当前画面，等到淡出时间到，冻结当前输出画面，再切换矩阵芯片引入新的视频内容，然后触发逻辑进行视频淡入并且解冻输出画面；该步骤需要CPU的控制和FPGA的响应时间到位；

3）多路画面合成模块进行图像合成；

（3）处理后的数据通过HDMI信号编码电路转换为HDMI视频信号。

8.根据权利要求7所述的高清视频淡入淡出处理的方法，其特征在于，所述的步骤3），具体包括以下步骤：

S1、首先，对原图像按像素进行抽取，分别将多路图像按照一定的比例缩小；

S2、然后，按照一定的规则将多路图像进行排列，排列后的图像即为多路合成的图像；

S3、最后，将合成的图像编码输出，即可在同一个屏幕显示多个画面，完成对多路图像的合成；

S4、视频图像显示模块将多路画面合成模块合成的视频图像进行逐行显示。

9.根据权利要求8所述的高清视频淡入淡出处理的方法，其特征在于，所述的步骤S1中，对原图像按像素进行抽取，具体是利用有效视频提取模块分别在原图像的垂直方向和水平方向上抽取有效的视频数据。