CN110881092B - 一种基于fpga的图像输出方法和*** - Google Patents

一种基于fpga的图像输出方法和*** Download PDF

Info

Publication number
CN110881092B
CN110881092B CN201911309510.6A CN201911309510A CN110881092B CN 110881092 B CN110881092 B CN 110881092B CN 201911309510 A CN201911309510 A CN 201911309510A CN 110881092 B CN110881092 B CN 110881092B
Authority
CN
China
Prior art keywords
image data
display
effective image
data corresponding
indication information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911309510.6A
Other languages
English (en)
Other versions
CN110881092A (zh
Inventor
李宠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gowin Semiconductor Corp
Original Assignee
Gowin Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gowin Semiconductor Corp filed Critical Gowin Semiconductor Corp
Priority to CN201911309510.6A priority Critical patent/CN110881092B/zh
Publication of CN110881092A publication Critical patent/CN110881092A/zh
Application granted granted Critical
Publication of CN110881092B publication Critical patent/CN110881092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像输出***和方法,可提高显示图像的输出效率。方法包括:获取源图像数据;对获取的源图像数据进行解析,得到各摄像头的源图像数据的第一同步控制信息和第一有效图像数据;对用户配置信息进行解析得到显示方式指示信息;根据显示方式指示信息获取目标摄像头对应的第一有效图像数据;对目标摄像头对应的第一有效图像数据进行相关处理;将经过相关处理的目标摄像头对应的第一有效图像数据存储至存储器中;当解析得到显示指令时,根据目标摄像头对应的第一同步控制信息,对存储器中的目标摄像头对应的第一有效图像数据进行处理,得到目标图像数据内容;将目标图像数据内容转换至显示器对应的格式并输出至显示器进行显示。

Description

一种基于FPGA的图像输出方法和***
技术领域
本发明涉及图像处理领域,尤其涉及一种基于FPGA的图像输出方法和***。
背景技术
在需对获取的图像进行显示时,通常需要对摄像头的源图像进行处理后,再将图像数据显示出来,若存在多个摄像头图像源时,来源不同的多个图像则需要多个显示设备。随着科技发展,人们的多样性需求越来越高,日新月异的图像显示需求层出不穷,明显的,多个显示设备不能满足这类特殊场景的需求,如能广泛应用到无人机、倒车影像、行车记录仪、特种施工车辆辅助施工影像等。这类场景对图像地显示提出了特定的需求,在提出这些需求的同时,对提高图像显示灵活性和降低成本等方面地要求越来越高,而想要提高图像显示的灵活性和降低成本,就必然绕不开一个必须解决的问题,即如何获得清晰而方便展示图像,即使在复杂环境中,也能对各种来源的图像进行分析处理,进而获得符合要求显示图像。例如,在车辆运行时,驾驶员需要观察对车辆周围的某一实际环境,由于行车需要,汽车显示设备的显示的360度合成图像必须与实际环境高度相似,且图像合成的处理速度要非常迅速。
但是,现有技术中,在涉及到多个源图像的处理和显示时,当接收到显示指令时,才利用纯软件的方式对获取到图像进行相关处理并显示,当需要进行图像合成处理的图像数据变多时,输出显示图像的效率较低。
发明内容
本发明实施例提供一种图像输出方法和***,以解决输出显示图像的效率较低的问题。
本发明第一方面提供了一种基于FPGA的图像输出方法,所述图像输出方法应用于图像输出***中的FPGA芯片,所述图像输出***还包括存储器、多个摄像头和用户端,所述FPGA芯片分别与所述存储器、用户端和多个摄像头连接,所述图像输出方法包括:
获取各摄像头传输的源图像数据;
对获取的各摄像头的所述源图像数据进行解析,得到各摄像头的所述源图像数据的第一同步控制信息和第一有效图像数据;
接收所述用户端发送的用户配置信息,并对所述用户配置信息进行解析得到显示方式指示信息;
根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据;
对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中;
当解析得到显示指令时,根据所述第一同步控制信息对所述存储器中的所述第一有效图像数据进行同步处理,得到目标图像数据内容;
将所述目标图像数据内容转换至显示器对应的格式并输出至所述显示器进行显示。
可选地,所述图像输出方法还包括:
当对所述用户配置信息进行解析得到融合背景指示信息时获取背景图像数据;
对所述背景图像数据进行解析,得到所述背景图像数据对应的第二同步控制信息和第二有效图像数据;
当解析得到所述显示指令时,根据所述第一同步控制信息和所述背景图像数据对应的第二同步控制信息,将所述第二有效图像数据与所述存储器中的所述第一有效图像数据进行同步及融合处理,得到所述目标图像数据内容。
可选地,所述显示方式指示信息为合并显示指示信息,所述合并显示指示信息用于指示对多个摄像头的源图像进行合并显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述合并显示指示信息获取所述多个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理;
将经过缩放及拼接处理的所述多个摄像头对应的所述第一有效图像数据存储至所述存储器中。
可选地,所述对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理,包括:
获取所述显示器的屏幕分辨率信息;
根据所述合并显示指示信息和所述屏幕分辨率信息对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理。
可选地,所述显示方式指示信息为单独显示指示信息,所述单独显示指示信息用于指示对多个摄像头的其中一个源头像进行单独显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述单独显示指示信息获取所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
获取显示器的屏幕分辨率信息,根据所述屏幕分辨率信息确定所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据是否需要进行裁剪;
若不需要裁剪,则将所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。
可选地,所述图像输出方法还包括:
若需要裁剪,则对所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行裁剪;
将裁剪后的所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。
可选地,所述用户配置信息还包括背景关闭指示信息,所述显示方式指示信息为合并显示指示信息,所述合并显示指示信息用于指示对多个摄像头的源图像进行合并显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述合并显示指示信息获取多个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理;
将经过缩放及拼接处理的所述多个摄像头对应的所述第一有效图像数据存储至所述存储器中;
当解析得到所述背景关闭指示信息和所述显示指令时,根据所述第一同步控制信息对所述存储器中的所述第一有效图像数据进行处理,得到所述目标图像数据内容。
可选地,所述用户配置信息还包括背景关闭指示信息,所述显示方式指示信息为单独显示指示信息,所述单独显示指示信息用于指示对多个摄像头的其中一个源头像进行单独显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述单独显示指示信息获取多个摄像头的其中一个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
获取显示器的屏幕分辨率信息;
根据所述屏幕分辨率信息确定所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据是否需要进行裁剪;
若不需要裁剪,则将所述多个摄像头的其中一个摄像对应的所述第一有效图像数据存储至所述存储器中;
当接收到所述背景关闭指示信息和所述显示指令时,根据所述第一同步控制信息对所述存储器中的所述第一有效图像数据进行同步处理,得到所述目标图像数据内容。
可选地,所述图像输出方法还包括:
若需要裁剪,则对所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行裁剪;
将裁剪后的所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。
本发明第二方面提供了一种基于FPGA的图像输出***,所述图像输出***包括FPGA芯片、存储器、多个摄像头和用户端,所述FPGA芯片分别与所述存储器、用户端和多个摄像头连接,所述FPGA芯片用于实现前述第一方面所述的图像输出方法。
本发明第三方面提供了一种该图像输出装置,该图像输出装置包括源图像获取模块、源图像解码模块、I2C从模块、图像数据匹配模块、显示控制模块、存储控制模块、图像拼接模块、图像显示模块;
源图像获取模块,用于获取各摄像头传输的源图像数据;
源图像解码模块,用于对从源图像获取模块获取的各摄像头的源图像数据进行解析,得到各摄像头的源图像数据的第一同步控制信息和第一有效图像数据;
I2C从模块,用于接收用户端发送的用户配置信息,并用户配置信息进行解析得到显示方式指示信息;
图像数据匹配模块,用于根据显示方式指示信息获取目标摄像头对应的第一有效图像数据;
显示控制模块,用于对目标摄像头对应的第一有效图像数据进行相关处理;
存储控制模块,用于将经过相关处理的目标摄像头对应的第一有效图像数据存储至存储器中;
图像拼接模块,用于当I2C从模块解析得到显示指令时,根据所述第一同步控制信息,对存储器中的所述第一有效图像数据进行处理,得到目标图像数据内容;
图像显示模块,用于将目标图像数据内容转换至显示器对应的格式并输出至显示器进行显示。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被FPGA芯片执行时实现上述第一方面的图像输出方法。
上述图像输出方法、***、装置、介质所实现的一些方案中,在该图像输出方法中,结合了FPGA芯片的和存储器的硬件特点,通过多个摄像头所获取的多个源图像数据,并进行相关处理,对经过处理的相关图像数据存储至存储器中,待需要显示时,直接从存储器提取出图像数据并输出至同一显示器进行显示,减少图像处理时间,可以提高显示图像输出的效率,且本发明实施例所提供的图像输出***中,利用FPGA芯片可以兼容多个接口,可减少摄像头、存储器和用户端等的连接兼容问题,减少图像输出***的研发成本,应用场景较为广阔。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中图像输出***的一结构示意图;
图2是本发明实施例中图像输出方法的一流程示意图;
图3是本发明实施例中图像输出方法的另一流程示意图;
图4是本发明实施例中图像输出装置的一结构示意图;
图5是本发明实施例中图像输出装置的另一结构示意图.。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供了一种基于FPGA的图像输出***10,该图像输出***10包括FPGA芯片101、存储器102、N个摄像头103和用户端104,其中,N大于或等于2,具体数量这里不做限定,示例性的,该N可以为4,也就是该图像输出***可以外接4个摄像头,所述FPGA芯片101分别与所述存储器102、用户端104和多个摄像头103连接,其中,该FPGA芯片还与显示器11连接,其中,上述FPGA芯片101、存储器102、N个摄像头103和用户端104可以通过I2C总线等方式连接,需要说明的是,在一些应用场景中,该图像输出***10上还设置有MIPI输入输出端口等IO逻辑端口,上述MIPI输入输出端口等IO逻辑端口与FPGA芯片101连接,上述摄像头103通过上述MIPI输入输出端口与图像输出***建立连接关系,FPGA芯片101通过MIPI输入输出端口获取多个摄像头103所获取的多个源头的源图像数据,例如,当N为4时,4个摄像头可分别与4个MIPI输入输出端口连接,FPGA芯片101通过MIPI输入输出端口可以获取到来自4个摄像头的源图像数据。在一些应用场景中,获取的源图像数据可以是CSI源图像数据,这里不做限定。在一些应用场景中,上述存储器102可以采用SDRAM存储器实现,还可以是双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等,这里不做限定。用户终端为用于输入用户配置信息的控制终端,在一些应用场景中,该用户终端可以是手机、电脑等设备,这里不做限定。另外需要说明的是,上述场景在这里只是举例说明,并不对本发明实施例构成限定。
其中,在本发明实施例中,提出了一种基于FPGA的图像输出方法,该图像输出方法应用于如图1所示的FPGA芯片中,如图2所示,该图像输出方法包括如下步骤:
S100:获取各摄像头传输的源图像数据;
S101:对获取的各摄像头的所述源图像数据进行解析,得到各摄像头的所述源图像数据的第一同步控制信息和第一有效图像数据;
FPGA芯片可以通过MIPI输入输出端口获取到各摄像头传输的源图像数据并进行解析。如,若与图像输出***的摄像头有4个,则可以通过MIPI输入输出端口获取到这4个摄像头各自传输的源图像数据,得到4组源图像数据,在获取到这4组源图像数据之后,对4组源图像数据进行解析得到源图像数据的同步控制信息和有效图像数据,为了便于描述方案,本发明实施例将对源图像数据进行解析得到的同步控制信息称为第一同步控制信息,和对源图像数据进行解析得到的有效图像数据称为第一有效图像数据。
其中,可以理解的是,图像输出***最后需要将显示图像输出至显示器11中进行显示,因此,这里对摄像头获取的源图像数据进行解析得到源图像数据的第一同步控制信息和第一有效图像数据,其中,该第一同步控制信息为用于指示源图像数据中的行、场信号等控制信息,第一有效图像数据为实际的摄像头获取的实际的图像内容。
其中,在一些实施方式中,可以通过如下方式获取到上述源图像数据的第一同步控制信息:捕获源图像数据的同步信息字段b8;捕获源图像数据带有场同步信息标志位的数据段;捕获源图像数据带有行同步信息标志位的数据段;捕获源图像数据的图像内容,根据同步信息字段、带有场同步信息标志位和带有行同步信息标志位的数据段得到第一同步同步控制信息,源图像数据的图像内容即为第一有效图像数据。
S102:接收所述用户端发送的用户配置信息,并对所述用户配置信息进行解析得到显示方式指示信息;
用户可以通过用户端上配置用户配置信息,FPGA芯片可以接收到用户端发送的用户配置信息,该用户配置信息包括显示方式指示信息,该显示方式指示信息用于指示图像输出***将以何种显示方式在显示器12中显示,以及选择哪个摄像头的源图像等指示信息,在该实施例中,为了便于描述,将显示方式指示信息指示的后续要用到的源图像数据对应的摄像头称为目标摄像头。其中,用户端与FPGA芯片可以通过不同的总线方式连接,例如I2C协议或I3C协议总线等方式,使得FPGA芯片和用户端之间存在协议上的差异,因此,在该步骤中,需对所述用户端发送的用户配置信息进行协议解析,以得到FPGA芯片能够识别的指令或信息。例如,若FPGA芯片与用户端之间通过I2C协议总线连接,则FPGA芯片在接收到用户配置信息之后,根据I2C协议对用户配置信息进行解析得到显示方式指示信息。
S103:根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据;
S104:对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并将经过相关处理的所述目标摄像头对应的所述第一有效图像数据存储至所述存储器中;
在步骤S103-S104中,解析得到显示方式指示信息之后,根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,并对所述目标摄像头对应的所述第一有效图像数据进行相关处理。例如,若显示方式指示信息用于指示对摄像头1、摄像头2、摄像头3和摄像头4进行处理并显示,则会获取摄像头1、摄像头2、摄像头3和摄像头4各自对应的第一有效图像数据,并进行相关处理。
在对所述目标摄像头对应的所述第一有效图像数据进行相关处理之后,将经过相关处理的所述目标摄像头对应的所述第一有效图像数据存储至所述存储器中。如,在对获取摄像头1、摄像头2、摄像头3和摄像头4各自对应的第一有效图像数据进行相关处理之后,经过相关处理的摄像头1、摄像头2、摄像头3和摄像头4对应的第一有效图像数据存储至所述存储器中。
S105:当解析得到显示指令时,根据所述目标摄像头对应的所述第一同步控制信息,对所述存储器中的所述目标摄像头对应的所述第一有效图像数据进行同步处理,得到目标图像数据内容;
S106:将所述目标图像数据内容转换至显示器对应的格式并输出至所述显示器进行显示。
在步骤S105-S106中,如前述对用户配置信息的解释,用户可以通过用户端输入用户配置信息,其中,该用户配置信息还包括显示方式指示信息,当FPGA对用户配置信息进行解析得到显示指令时,对利用第一同步控制信息,所述存储器中的所述目标摄像头对应的所述第一有效图像数据进行同步处理,得到目标图像数据内容,并将目标图像数据内容转换至显示器对应的格式并输出至所述显示器进行显示。
可见,在本发明实施例中,提出了一种图像输出方法,在该图像输出方法中,可以通过多个摄像头所获取的多个源图像数据,并进行相关处理,对经过处理的相关图像数据存储至存储器中,待需要显示时从存储器中直接提出图像数据并输出至同一显示器进行显示,可以提高显示效率,减少了延迟,且本发明实施例所提供的图像输出***中,利用FPGA芯片可以兼容多个接口,可减少摄像头、存储器和用户端等的连接兼容问题,减少图像输出***的研发成本,且应用场景较为广阔。
其中,需要说明的是,在本发明中,提供了不同的显示方式,具体由显示方式指示信息和是否需要融合背景图像共同确定,第一种是融合背景图像数据进行显示,第二种是不融合背景图像数据进行显示,下面各自介绍。
在一实施例中,如图3所示,所述图像输出方法还包括如下步骤:
S201:当对所述用户配置信息进行解析得到融合背景指示信息时获取背景图像数据;
S202:对所述背景图像数据进行解析,得到所述背景图像数据对应的第二同步控制信息和第二有效图像数据;
可以理解,用户还可以通过用户端配置其他配置信息,在本发明实施例中,用户还可以配置融合背景指示信息,该融合背景指示信息用于指示在显示器显示图像时,需融合背景图像。对于FPGA芯片,当FPGA芯片对所述用户配置信息进行解析得到融合背景指示信息时,可以通过图像输出***的端口获取背景图像数据。需要说明的是,在一些实施方式中,该背景图像数据可以是用户通过用户端配置过来的背景图像数据,用户端通过用户配置信息将背景图像数据传输至FPGA芯片,FPGA芯片解析上述用户配置信息可以得到背景图像数据;或,在该图像输出***预先存储的背景图像数据,本发明实施例不做限定。
其中,可以理解的是,图像输出***最后需要将显示图像输出至显示器11中进行显示,由于最后显示图像需融合背景图像数据,因此,在该步骤中,需对背景图像数据进行解析得到背景图像数据同步控制信息有效图像数据,为了区别于上述源图像数据的同步控制信息和有效图像数据,这里将背景图像数据对应的同步控制信息称为第二同步控制信息,将背景图像数据对应的有效图像数据称为第二有效图像数据。其中,该第二同步控制信息为用于指示背景图像数据中的行、场信号等控制信息,第二有效图像数据为背景图像数据中实际的图像内容。
S203:当解析得到所述显示指令时,根据所述第一同步控制信息和所述背景图像数据对应的第二同步控制信息,将所述第二有效图像数据与所述存储器中的所述第一有效图像数据进行同步及融合处理,得到所述目标图像数据内容。
在该实施例中,当FPGA芯片解析得到所述显示指令时,根据所述存储器中的所述第一有效图像数据对应的所述第一同步控制信息和所述背景图像数据对应的第二同步控制信息,将所述第二有效图像数据与所述存储器中的所述第一有效图像数据进行同步及融合处理,得到所述目标图像数据内容,具体的,同步及融合处理如下所示:FPGA芯片根据第一同步控制信息对第一有效图像数据进行场对齐、行对齐,并根据第一同步控制信息对第二有效图像数据进行场对齐、行对齐,最后对经过场对齐、行对齐的第一有效图像数据和第二有效图像数据进行融合得到目标图像数据内容。
在该实施例中,通过FPGA芯片的实现方式,不仅可以将摄像头所获取的源图像与背景图像进行融合,以实现添加背景图像的目的,使得显示器显示图像更具有多样化,应用场景更广。
在一实施例中,所述显示方式指示信息为合并显示指示信息,所述合并显示指示信息用于指示对多个摄像头的源图像进行合并显示,步骤S103中,也即所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,指的是根据所述合并显示指示信息获取所述多个摄像头对应的所述第一有效图像数据;步骤S104中,也即所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,指的是对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理;将经过缩放及拼接处理的所述多个摄像头对应的所述第一有效图像数据存储至所述存储器中。这样,融合背景图像数据时,从存储器获取的第一有效图像数据是经过缩放及拼接的图像数据,最后得到的目标图像数据内容是经过缩放及拼接处理的所述多个摄像头对应的第一有效图像数据融合背景图像数据后的图像内容。在一实施例中,所述对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理,指的是获取所述显示器的屏幕分辨率信息,并根据所述合并显示指示信息和所述屏幕分辨率信息对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理。在进行多源图像数据合并输出时,考虑了显示器的屏幕分辨率时,可以根据显示器的屏幕分辨率时,确定多合一显示的方式,实现了显示的多样性,例如,将源图像拼接在一起共同显示的方式,其中,每个源图像数据的显示位置不做限定,可以预先配置,或由用户通过用户端输入用户配置信息进行配置,这里不做限定。
例如,若与本发明实施例提供的图像输出***连接的摄像头有4个,则可以触发用于对4个摄像头的源图像进行合并显示的合并显示指示信息。此时,在该实施例中会根据合并显示指示信息获取这4个摄像头对应的第一有效图像数据,并对这4个摄像头对应的第一有效图像数据进行缩放及拼接处理,以便后续输出至显示器与背景图像数据融合显示。例如,每个摄像头的源图像数据是720*480的,显示器屏幕分辨率是800*480,所以单独画面显示的时候只是将源图像直接贴出即可,而将4个摄像头的源图像拼接输出时,示例性的,需要将720*480进行4等分也就是每个摄像头的数据缩为放360*240,因此,需对这4个摄像头对应的第一有效图像数据进行缩放及拼接处理,以便后续输出至显示器显示,以实现4合一显示且融合了背景图像的显示效果,提高了显示多样性。
在一实施例中,所述显示方式指示信息为单独显示指示信息,所述单独显示指示信息用于指示对多个摄像头的其中一个源头像进行单独显示,步骤S103中,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,指的是根据所述单独显示指示信息获取所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据;步骤S104中,也即所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,指的是获取显示器的屏幕分辨率信息,根据所述屏幕分辨率信息确定所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据是否需要进行裁剪;若不需要裁剪,则将所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。这样,融合背景图像数据时,从存储器获取的第一有效图像数据是多个摄像头的其中一个摄像头对应的第一有效图像数据,最后得到的目标图像数据内容是多个摄像头的其中一个摄像头对应的第一有效图像数据融合背景图像数据后的图像内容。
在一实施例中,若需要裁剪,则对所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行裁剪;将裁剪后的所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。在本发明实施例中,还可以实现单一源图像进行单独显示的方式,提高了显示多样性,其中,需要显示的单一源图像数据可以由用户通过用户端的用户配置信息所确定,这里不做限定。需要说明的是,在该实施例中,还会根据显示器的屏幕分辨率信息确定某一源图像是否需要进行裁剪,减少图像失真等现象。
例如,若需要单独显示的源图像数据是720*480,而显示器的屏幕分辨率是800*480,此时,在单独画面显示的时候只是将该源图像数据的有效图像数据输出即可,若显示器的屏幕分辨率是620*470,则需要对源图像数据的有效图像数据进行裁剪,以适应显示器的屏幕分辨率,具体的裁剪大小本发明实施例不做限定。
上述是融合背景图像数据进行显示的实施例,下面介绍不融合背景图像数据进行显示的实施例:
在一实施例中,所述用户配置信息还包括背景关闭指示信息,所述显示方式指示信息为合并显示指示信息,所述合并显示指示信息用于指示对多个摄像头的源图像进行合并显示,步骤S103中,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,指的是根据所述合并显示指示信息获取多个摄像头对应的所述第一有效图像数据;步骤S104中,所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,指的是对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理;将经过缩放及拼接处理的所述多个摄像头对应的所述第一有效图像数据存储至所述存储器中。当解析得到所述背景关闭指示信息和所述显示指令时,根据所述多个摄像头对应的所述第一同步控制信息,对所述存储器中所述多个摄像头对应的所述第一有效图像数据进行同步处理,得到所述目标图像数据内容。这样,从存储器获取的第一有效图像数据是经过缩放及拼接的图像数据,最后得到的目标图像数据内容是经过缩放及拼接处理的所述多个摄像头对应的第一有效图像数据的图像内容。
例如,若与本发明实施例提供的图像输出***连接的摄像头有4个,则可以触发用于对4个摄像头的源图像进行合并显示的合并显示指示信息。此时,在该实施例中会根据合并显示指示信息获取这4个摄像头对应的第一有效图像数据,并对这4个摄像头对应的第一有效图像数据进行缩放及拼接处理后,根据第一同步控制信息同步处理后直接输出至显示器进行显示。
在一实施例中,所述显示方式指示信息为单独显示指示信息,所述单独显示指示信息用于指示对多个摄像头的其中一个源头像进行单独显示,步骤S103中,也即所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,指的是根据所述单独显示指示信息获取多个摄像头的其中一个摄像头对应的所述第一有效图像数据;步骤S104中,也即所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,指的是获取显示器的屏幕分辨率信息;根据所述屏幕分辨率信息确定所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据是否需要进行裁剪;若不需要裁剪,则将所述多个摄像头的其中一个摄像对应的所述第一有效图像数据存储至所述存储器中;这样,当接收到所述背景关闭指示信息和所述显示指令时,根据所述多个摄像头的其中一个摄像头对应的所述第一同步控制信息,对所述存储器中所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行同步处理,得到所述目标图像数据内容。若需要裁剪,则对所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行裁剪;将裁剪后的所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。这样,从存储器获取的第一有效图像数据是多个摄像头的其中一个摄像头对应的第一有效图像数据,最后得到的目标图像数据内容是多个摄像头的其中一个摄像头对应的第一有效图像数据的图像内容,在显示时,根据第一同步控制信息同步对其中一个摄像头对应的第一有效图像数据的图像内容处理后,直接输出至显示器进行显示。其中,关于裁剪的相关细节可以参阅前述融合背景图像数据时的单独显示和合并显示方式的相关描述,这里不重复描述。
在一实施例中,如图4所示,本发明实施例还提供了一种基于FPGA的图像输出装置,该图像输出装置包括源图像获取模块201、源图像解码模块202、I2C从模块203、图像数据匹配模块204、显示控制模块205、存储控制模块206、图像拼接模块207、图像显示模块208;
源图像获取模块201,用于获取各摄像头传输的源图像数据;
源图像解码模块202,用于对从源图像获取模块201获取的各摄像头的源图像数据进行解析,得到各摄像头的源图像数据的第一同步控制信息和第一有效图像数据;
I2C从模块203,用于接收用户端发送的用户配置信息,并用户配置信息进行解析得到显示方式指示信息;
图像数据匹配模块204,用于根据显示方式指示信息获取目标摄像头对应的第一有效图像数据;
显示控制模块205,用于对目标摄像头对应的第一有效图像数据进行相关处理;
存储控制模块206,用于将经过相关处理的目标摄像头对应的第一有效图像数据存储至存储器中;
图像拼接模块207,用于当I2C从模块203解析得到显示指令时,根据所述第一同步控制信息,对存储器中的所述第一有效图像数据进行处理,得到目标图像数据内容;
图像显示模块208,用于将目标图像数据内容转换至显示器对应的格式并输出至显示器进行显示。
在一实施例中,如图5所示,所述图像输出装置还包括背景图像获取模块209和背景图像解码模块210;
I2C从模块102,还用于对用户配置信息进行解析得到融合背景指示信息;
背景图像获取模块,用于当I2C从模块102解析得到融合背景指示信息时获取背景图像数据;
背景图像解码模块,用于对背景图像数据进行解析,得到背景图像数据对应的第二同步控制信息和第二有效图像数据;
图像拼接模块107,还用于当I2C从模块102解析得到显示指令时,根据所述第一同步控制信息和背景图像数据对应的第二同步控制信息,将第二有效图像数据与存储器中的第一有效图像数据进行同步及融合处理,得到目标图像数据内容。
关于所述图像输出装置的具体限定可以参见上文中对于所述图像输出方法中关于FPGA芯片的动作或功能的限定,在此不再赘述。上述图像输出装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于FPGA芯片中,也可以以软件形式存储于于FPGA芯片连接的存储器中,以便于FPGA芯片调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被FPGA芯片执行时实现上述方法实施例中FPGA芯片的动作或功能;或者,计算机程序被FPGA芯片执行时实现上述图像输出装置中各模块的功能,在此不重复赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于FPGA的图像输出方法,其特征在于,所述图像输出方法应用于图像输出***中的FPGA芯片,所述图像输出***还包括存储器、多个摄像头和用户端,所述FPGA芯片分别与所述存储器、用户端和多个摄像头连接,所述图像输出方法包括:
获取各摄像头传输的源图像数据;
对所述源图像数据进行解析,得到所述源图像数据的第一同步控制信息和第一有效图像数据;
接收所述用户端发送的用户配置信息,并对所述用户配置信息进行解析得到显示方式指示信息;
根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据;
对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中;
当解析得到显示指令时,根据所述第一同步控制信息对所述存储器中的所述第一有效图像数据进行同步处理,得到目标图像数据内容;
将所述目标图像数据内容转换至显示器对应的格式并输出至所述显示器进行显示。
2.如权利要求1所述的图像输出方法,其特征在于,所述图像输出方法还包括:
当对所述用户配置信息进行解析得到融合背景指示信息时获取背景图像数据;
对所述背景图像数据进行解析,得到所述背景图像数据对应的第二同步控制信息和第二有效图像数据;
当解析得到所述显示指令时,根据所述第一同步控制信息和所述背景图像数据对应的第二同步控制信息,将所述第二有效图像数据与所述存储器中的所述第一有效图像数据进行同步及融合处理,得到所述目标图像数据内容。
3.如权利要求2所述的图像输出方法,其特征在于,所述显示方式指示信息为合并显示指示信息,所述合并显示指示信息用于指示对多个摄像头的源图像进行合并显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述合并显示指示信息获取所述多个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理;
将经过缩放及拼接处理的所述多个摄像头对应的所述第一有效图像数据存储至所述存储器中。
4.如权利要求3所述的图像输出方法,其特征在于,所述对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理,包括:
获取所述显示器的屏幕分辨率信息;
根据所述合并显示指示信息和所述屏幕分辨率信息对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理。
5.如权利要求2所述的图像输出方法,其特征在于,所述显示方式指示信息为单独显示指示信息,所述单独显示指示信息用于指示对多个摄像头的其中一个源图像进行单独显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述单独显示指示信息获取所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
获取显示器的屏幕分辨率信息;
根据所述屏幕分辨率信息确定所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据是否需要进行裁剪;
若不需要裁剪,则将所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。
6.如权利要求5所述的图像输出方法,其特征在于,所述图像输出方法还包括:
若需要裁剪,则对所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行裁剪;
将裁剪后的所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。
7.如权利要求1所述的图像输出方法,其特征在于,所述用户配置信息还包括背景关闭指示信息,所述显示方式指示信息为合并显示指示信息,所述合并显示指示信息用于指示对多个摄像头的源图像进行合并显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述合并显示指示信息获取多个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
对所述多个摄像头对应的所述第一有效图像数据进行缩放及拼接处理;
将经过缩放及拼接处理的所述多个摄像头对应的所述第一有效图像数据存储至所述存储器中;
当解析得到所述背景关闭指示信息和所述显示指令时,根据所述第一同步控制信息对所述存储器中的所述第一有效图像数据进行同步处理,得到所述目标图像数据内容。
8.权利要求1所述的图像输出方法,其特征在于,所述用户配置信息还包括背景关闭指示信息,所述显示方式指示信息为单独显示指示信息,所述单独显示指示信息用于指示对多个摄像头的其中一个源图像进行单独显示,所述根据所述显示方式指示信息获取目标摄像头对应的所述第一有效图像数据,包括:
根据所述单独显示指示信息获取多个摄像头的其中一个摄像头对应的所述第一有效图像数据;
所述对所述目标摄像头对应的所述第一有效图像数据进行相关处理,并存储至所述存储器中,包括:
获取显示器的屏幕分辨率信息;
根据所述屏幕分辨率信息确定所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据是否需要进行裁剪;
若不需要裁剪,则将所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中;
当接收到所述背景关闭指示信息和所述显示指令时,根据所述第一同步控制信息对所述存储器中的所述第一有效图像数据进行同步处理,得到所述目标图像数据内容。
9.权利要求8所述的图像输出方法,其特征在于,所述图像输出方法还包括:
若需要裁剪,则对所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据进行裁剪;
将裁剪后的所述多个摄像头的其中一个摄像头对应的所述第一有效图像数据存储至所述存储器中。
10.一种基于FPGA的图像输出***,其特征在于,所述图像输出***包括FPGA芯片、存储器、多个摄像头和用户端,所述FPGA芯片分别与所述存储器、用户端和多个摄像头连接,所述FPGA芯片用于实现权利要求1-9任一项所述的图像输出方法。
CN201911309510.6A 2019-12-18 2019-12-18 一种基于fpga的图像输出方法和*** Active CN110881092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911309510.6A CN110881092B (zh) 2019-12-18 2019-12-18 一种基于fpga的图像输出方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911309510.6A CN110881092B (zh) 2019-12-18 2019-12-18 一种基于fpga的图像输出方法和***

Publications (2)

Publication Number Publication Date
CN110881092A CN110881092A (zh) 2020-03-13
CN110881092B true CN110881092B (zh) 2021-03-26

Family

ID=69731611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911309510.6A Active CN110881092B (zh) 2019-12-18 2019-12-18 一种基于fpga的图像输出方法和***

Country Status (1)

Country Link
CN (1) CN110881092B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532935A (zh) * 2020-11-23 2021-03-19 天津津航计算技术研究所 一种基于soc确定视频源位置的装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376293A (zh) * 2010-08-19 2012-03-14 上海济丽信息技术有限公司 一种基于fpga的图像拼接处理器及图像拼接方法
CN103269416A (zh) * 2013-05-03 2013-08-28 四川虹视显示技术有限公司 采用并行处理方式实现视频图像拼接显示的装置及方法
CN105430296A (zh) * 2015-11-26 2016-03-23 深圳市捷视飞通科技股份有限公司 一种高清视频多画面分割裂屏显示的解决方法
CN107249101A (zh) * 2017-07-13 2017-10-13 浙江工业大学 一种高分辨率图像采集与处理装置
CN108471513A (zh) * 2018-03-28 2018-08-31 国网辽宁省电力有限公司信息通信分公司 视频融合方法、装置及服务器
CN110475080A (zh) * 2019-08-23 2019-11-19 湖南融视文化创意有限公司 一种基于gpu的多屏幕融合矫正显示处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637120B (zh) * 2012-03-29 2014-11-26 重庆海康威视科技有限公司 一种控制拼接屏幕同步显示的***及方法
CN102724477A (zh) * 2012-05-25 2012-10-10 黑龙江大学 基于fpga的监控视频实时拼接装置及拼接方法
CN104780329B (zh) * 2014-01-14 2017-11-28 南京视威电子科技股份有限公司 基于fpga的高标清可混播的多画面分割器及分割方法
CN106657813B (zh) * 2016-12-08 2019-08-02 苏州长风航空电子有限公司 一种视频叠加算法的实现方法
CN107172368A (zh) * 2017-04-21 2017-09-15 西安诺瓦电子科技有限公司 多视频源拼接显示方法及处理装置及应用、可编程逻辑器件
CN206650791U (zh) * 2017-04-26 2017-11-17 左志权 一种基于无线电的消防信息实时传输装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376293A (zh) * 2010-08-19 2012-03-14 上海济丽信息技术有限公司 一种基于fpga的图像拼接处理器及图像拼接方法
CN103269416A (zh) * 2013-05-03 2013-08-28 四川虹视显示技术有限公司 采用并行处理方式实现视频图像拼接显示的装置及方法
CN105430296A (zh) * 2015-11-26 2016-03-23 深圳市捷视飞通科技股份有限公司 一种高清视频多画面分割裂屏显示的解决方法
CN107249101A (zh) * 2017-07-13 2017-10-13 浙江工业大学 一种高分辨率图像采集与处理装置
CN108471513A (zh) * 2018-03-28 2018-08-31 国网辽宁省电力有限公司信息通信分公司 视频融合方法、装置及服务器
CN110475080A (zh) * 2019-08-23 2019-11-19 湖南融视文化创意有限公司 一种基于gpu的多屏幕融合矫正显示处理方法

Also Published As

Publication number Publication date
CN110881092A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
TWI545388B (zh) 產生全景圖像的系統和方法
US20090185029A1 (en) Camera, image display device, and image storage device
KR101893722B1 (ko) 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US20110050850A1 (en) Video combining device, video display apparatus, and video combining method
JP7080103B2 (ja) 撮像装置、その制御方法、および、プログラム
CN113194269B (zh) 图像输出***和方法
JP2006262484A (ja) 画像通信中の画像合成方法及び装置
CN110881092B (zh) 一种基于fpga的图像输出方法和***
JP2007325074A (ja) 画像処理システム及び画像処理方法
CN114745514B (zh) 视频信号扩展方法、装置、计算机设备及存储介质
CN110225316B (zh) 一种软硬协同的多路视频处理装置及***
CN111435979A (zh) 视频图像处理方法和装置
CN113938617A (zh) 一种多路视频显示方法、设备、网络摄像机及存储介质
CN110312084B (zh) 一种多路视频处理器及基于该处理器实现水印叠加的方法
KR101792386B1 (ko) 스테레오 카메라 장치 및 그를 이용한 영상 처리 방법
JP6604782B2 (ja) 画像処理装置
CN109792475B (zh) Svm***及其图像输入和处理方法
CN104902192A (zh) 多路信号的传输方法及设备
EP3258467A1 (en) Transmission device, transmission method, reception device, and reception method
CN114327322B (zh) 图层显示方法及其装置
CN112887653A (zh) 一种信息处理方法和信息处理装置
JP2008193511A (ja) カメラシステム
CN105262962A (zh) 视频信号预览的调度方法和***
TWI812003B (zh) 影像預覽方法及預覽系統
JP2012186685A (ja) 画像認識表示システム及びこれに用いるカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant