CN110855907A - 一种基于预测的低延时视频叠加帧缓存调度器 - Google Patents

一种基于预测的低延时视频叠加帧缓存调度器 Download PDF

Info

Publication number
CN110855907A
CN110855907A CN201910996598.7A CN201910996598A CN110855907A CN 110855907 A CN110855907 A CN 110855907A CN 201910996598 A CN201910996598 A CN 201910996598A CN 110855907 A CN110855907 A CN 110855907A
Authority
CN
China
Prior art keywords
video
frame
unit
read
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910996598.7A
Other languages
English (en)
Other versions
CN110855907B (zh
Inventor
牛盼情
赵惠惠
李绪金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Institute of Electro Optical Equipment AVIC
Original Assignee
Luoyang Institute of Electro Optical Equipment AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Electro Optical Equipment AVIC filed Critical Luoyang Institute of Electro Optical Equipment AVIC
Priority to CN201910996598.7A priority Critical patent/CN110855907B/zh
Publication of CN110855907A publication Critical patent/CN110855907A/zh
Application granted granted Critical
Publication of CN110855907B publication Critical patent/CN110855907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种基于预测的低延时视频叠加帧缓存调度器，属于显示设备中字符视频图像处理技术领域。本发明通过在FPGA上构架帧缓存调度器，该帧缓存调度器采用全并行、流水线计算等技术，可复用模块化的设计方法，主要包括背景视频缓存、写入帧缓存调度、存储读写控制、背景视频检测、读出帧预测调度、前景视频检测、前景视频缓存和视频叠加等单元。读出帧预测调度单元根据写入帧缓存调度、背景视频检测和前景视频检测等三个单元的状态信息，通过一定的预测算法，在避免帧缓存读写冲突的同时进一步缩短叠加延时。本发明的叠加帧缓存调度器具有防止叠加画面撕裂、预测算法参数可在线调整与配置、叠加延时小于18毫秒等特性。

Description

一种基于预测的低延时视频叠加帧缓存调度器
技术领域
本发明涉及一种基于预测的低延时视频叠加帧缓存调度器，属于显示设备中字符视频图像处理技术领域。
背景技术
平视显示器把需要显示的符号与前视红外或者吊舱采集到的视频叠加在一起之后投射到驾驶员的正前方视场中，在执行夜航等能见度低的任务时，飞机员获取外界信息很大程度上依赖于平视显示器叠加的背景视频。因此叠加背景视频的延时特性极大的影响飞行安全情况，而传统的叠加实现方案中，视频叠加延时一般在40毫秒以上，无法满足平视显示器对叠加低延时的要求。
发明内容
本发明的目的是设计一种基于预测的低延时视频叠加帧缓存调度器，以避免叠加过程中的视频画面撕裂，同时大幅减少视频叠加延时。
本发明的技术方案为：
所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：包括背景视频缓存单元、写入帧缓存调度单元、存储读写控制单元、背景视频检测单元、读出帧预测调度单元、前景视频检测单元、前景视频缓存单元和视频叠加单元；
所述背景视频缓存单元输入端接收输入的背景视频信号，输出端与写入帧缓存调度单元的输入端相连；背景视频缓存单元实现对外部输入背景视频数据的一级缓存，并将缓存之后的连续视频流信号输出到写入帧缓存调度单元中；
所述写入帧缓存调度单元输出端通过存储读写总线与存储读写控制单元相连，实现输入背景视频写入外部存储的多帧缓存调度；
所述背景视频检测单元输入端接收输入的背景视频信号，通过检测背景视频行场同步信号，实时获取背景视频已写入到帧缓存的行数信息；
所述前景视频检测单元输入端接收输入的前景视频信号，通过检测前景视频行场同步信号，实时获取前景视频用于视频叠加的行数信息；
所述读出帧预测调度单元输入端通过视频行数信号线与写入帧缓存调度单元、背景视频检测单元、前景视频检测单元的状态输出端相连，接收背景视频和前景视频的写入状态，以及当前写入视频帧缓存编号信息；并根据背景视频的写入状态、当前写入视频帧缓存编号信息解算当前需要读取的帧缓存编号；
所述读出帧预测调度单元输入端还通过总线与存储读写控制单元相连，实现对解算得到当前需要读取的帧缓存数据进行读取控制；
所述的读出帧预测调度单元输出端通过连续视频流信号与视频叠加单元相连，输出读取的背景视频帧缓存数据到视频叠加单元；
所述前景视频缓存单元输入端接收输入的前景视频信号，实现对输入前景视频的一级缓存，并将缓存之后的连续视频流信号输出到视频叠加单元；
所述视频叠加单元实现背景与前景视频的叠加并输出。
进一步的优选方案，所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：该帧缓存调度器的逻辑架构基于FPGA实现。
进一步的优选方案，所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：所述写入帧缓存调度单元使用的调度算法是三帧缓存轮转写入算法：在外部存储中虚拟例化三个帧缓存区域并编号为1、2、3，将写入帧缓存调度单元将背景视频按照1-2-3-1的顺序循环写入到外部存储中。
进一步的优选方案，所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：所述读出帧预测调度单元根据当前时刻背景视频的输入行位置x’、写入帧缓存调度单元反馈的当前写入视频帧缓存编号信息u，通过以下过程解算当前需要读取的帧缓存编号v：
设置读写冲突阈值x，如果x’>x时，读取帧编号v＝u；如果x’≤x，读取帧编号使用如下公式获得
Figure BDA0002239921190000021
进一步的优选方案，所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：视频叠加单元使用的叠加算法为Alpha混叠算法或前景覆盖叠加算法。
有益效果
本发明的有益效果是:本发明通过FPGA构架帧缓存调度器，该帧缓存调度器采用计算全并行、流水线计算等技术，可复用模块化的设计方法，主要包括背景视频缓存、写入帧缓存调度、存储读写控制、背景视频检测、读出帧预测调度、前景视频检测、前景视频缓存和视频叠加等单元。读出帧预测调度单元根据写入帧缓存调度、背景视频检测和前景视频检测等三个单元的状态信息，通过一定的预测算法，在避免帧缓存读写冲突的同时进一步缩短叠加延时。本发明的叠加帧缓存调度器具有防止叠加画面撕裂、叠加延时小于18毫秒等特性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明基于预测的低延时视频叠加帧缓存调度器架构图；
图2是本发明基于预测的低延时视频叠加帧缓存调度器实施案例图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
本发明具体实施如图1所示，帧缓存调度器由背景视频缓存、写入帧缓存调度、存储读写控制、背景视频检测、读出帧预测调度、前景视频检测、前景视频缓存和视频叠加等单元组成。各个模块之间的连接关系及信号流向见图1。
本实施例中的基于预测的低延时视频叠加帧缓存调度器***架构如图2所示。图中实线表示连续视频流信号的传递过程，虚线表示视频行数信息的传递过程，粗箭头表示存储读写数据总线的传递过程，上述各个信号连接中箭头方向表示主要的信号流向。本实施实例中使用的背景视频分辨率为1280x1024刷新率60Hz，前景视频分辨率为1280x1024刷新率60Hz，叠加输出视频分辨率为1280x1024刷新率60Hz。
背景视频缓存和前景视频缓存单元使用FPGA内部的存储资源实现，该单元将外部输入的背景和前景视频各暂存3行，并将输入视频数据进行位宽拼接，拼接具体实现是将24位的RGB单像素数据拼接成4像素的96位数据，便于后续存储读写控制单元的使用。
背景视频和前景视频检测单元使用逻辑代码实现，用于获取输入的视频的行列坐标值，并将相关行数信息作为参数发送给读出帧预测调度单元。
写入帧缓存调度单元根据检测到的背景视频缓存情况，依据写入帧缓存调度算法，将视频数据通过存储读写控制单元顺序写入到外部存储中。写入帧缓存调度算法首先将外部存储设备虚拟化出三个帧缓存空间并编号为1、2、3，然后根据背景视频缓存单元内部状态实时启动写入操作，其写入帧缓存的顺序是1-2-3-1，属于连续滚动覆盖写入。
读出帧预测调度单元在前景视频的起始位置执行一次预测算法，该算法根据当前时刻背景视频的输入行位置x’、写入帧缓存调度单元反馈的当前写入帧编号信息u，推理出需要读取的叠加帧编号v，具体推理规则如下所述。
a)获取当前背景视频的输入行值信息x’，获取写入帧缓存调度单元正在写入的帧缓存编号u；
b)设定读写冲突阈值x；
c)综合上述信息预测直接读取正在写入的帧是否会出现读写冲突，若背景视频的输入行值大于读写冲突阈值，即x’>x时，读取帧编号v＝u；若x’≤x，读取帧编号使用如下公式获得
Figure BDA0002239921190000041
之后读出帧预测调度单元就根据解算得到的当前需要读取的帧缓存编号，通过总线利用存储读写控制单元进行读取控制，并输出到视频叠加单元。
视频叠加单元实现背景与前景视频的叠加并输出。视频叠加单元使用的叠加算法可以是Alpha混叠、前景覆盖叠加等，本实施实例中使用Alpha混叠实现该叠加算法。
存储读写控制单元根据外部存储物理器件的不同使用不同的读写控制代码实现，本实施实例中外部存储器件是DDR3，因此该存储读写控制单元使用DDR3控制器IP实现多个虚拟帧缓存的读写控制。
经过对本实施实例的运行测试，确认该叠加帧缓存调度器功能有效、性能优异，可将视频叠加延时缩短至18毫秒以内，并且可有效避免画面撕裂等问题。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：包括背景视频缓存单元、写入帧缓存调度单元、存储读写控制单元、背景视频检测单元、读出帧预测调度单元、前景视频检测单元、前景视频缓存单元和视频叠加单元；
所述背景视频缓存单元输入端接收输入的背景视频信号，输出端与写入帧缓存调度单元的输入端相连；背景视频缓存单元实现对外部输入背景视频数据的一级缓存，并将缓存之后的连续视频流信号输出到写入帧缓存调度单元中；
所述写入帧缓存调度单元输出端通过存储读写总线与存储读写控制单元相连，实现输入背景视频写入外部存储的多帧缓存调度；
所述背景视频检测单元输入端接收输入的背景视频信号，通过检测背景视频行场同步信号，实时获取背景视频已写入到帧缓存的行数信息；
所述前景视频检测单元输入端接收输入的前景视频信号，通过检测前景视频行场同步信号，实时获取前景视频用于视频叠加的行数信息；
所述读出帧预测调度单元输入端通过视频行数信号线与写入帧缓存调度单元、背景视频检测单元、前景视频检测单元的状态输出端相连，接收背景视频和前景视频的写入状态，以及当前写入视频帧缓存编号信息；并根据背景视频的写入状态、当前写入视频帧缓存编号信息解算当前需要读取的帧缓存编号；
所述读出帧预测调度单元输入端还通过总线与存储读写控制单元相连，实现对解算得到当前需要读取的帧缓存数据进行读取控制；
所述的读出帧预测调度单元输出端通过连续视频流信号与视频叠加单元相连，输出读取的背景视频帧缓存数据到视频叠加单元；
所述前景视频缓存单元输入端接收输入的前景视频信号，实现对输入前景视频的一级缓存，并将缓存之后的连续视频流信号输出到视频叠加单元；
所述视频叠加单元实现背景与前景视频的叠加并输出。
2.根据权利要求1所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：该帧缓存调度器的逻辑架构基于FPGA实现。
3.根据权利要求1所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：所述写入帧缓存调度单元使用的调度算法是三帧缓存轮转写入算法：在外部存储中虚拟例化三个帧缓存区域并编号为1、2、3，将写入帧缓存调度单元将背景视频按照1-2-3-1的顺序循环写入到外部存储中。
4.根据权利要求3所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：所述读出帧预测调度单元根据当前时刻背景视频的输入行位置x’、写入帧缓存调度单元反馈的当前写入视频帧缓存编号信息u，通过以下过程解算当前需要读取的帧缓存编号v：
设置读写冲突阈值x，如果x’>x时，读取帧编号v＝u；如果x’≤x，读取帧编号使用如下公式获得
Figure FDA0002239921180000021
5.根据权利要求1所述一种基于预测的低延时视频叠加帧缓存调度器，其特征在于：视频叠加单元使用的叠加算法为Alpha混叠算法或前景覆盖叠加算法。
CN201910996598.7A 2019-10-19 2019-10-19 一种基于预测的低延时视频叠加帧缓存调度器 Active CN110855907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910996598.7A CN110855907B (zh) 2019-10-19 2019-10-19 一种基于预测的低延时视频叠加帧缓存调度器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910996598.7A CN110855907B (zh) 2019-10-19 2019-10-19 一种基于预测的低延时视频叠加帧缓存调度器

Publications (2)

Publication Number Publication Date
CN110855907A true CN110855907A (zh) 2020-02-28
CN110855907B CN110855907B (zh) 2022-01-04

Family

ID=69597681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910996598.7A Active CN110855907B (zh) 2019-10-19 2019-10-19 一种基于预测的低延时视频叠加帧缓存调度器

Country Status (1)

Country Link
CN (1) CN110855907B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235518A (zh) * 2020-10-14 2021-01-15 天津津航计算技术研究所 一种数字视频图像融合叠加方法
CN112843677A (zh) * 2021-02-08 2021-05-28 脸萌有限公司 一种***延时确定方法、装置、设备和存储介质
CN114115720A (zh) * 2021-10-07 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的高帧率低延迟图形生成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2683155A1 (en) * 2012-07-07 2014-01-08 PIXarithmic GmbH System and Method for Processing Video and/or Audio Signals
CN104660918A (zh) * 2015-03-11 2015-05-27 南京航空航天大学 一种机载视频实时混合显示***
CN109587500A (zh) * 2018-11-26 2019-04-05 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的动态可重配置视频缩放器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2683155A1 (en) * 2012-07-07 2014-01-08 PIXarithmic GmbH System and Method for Processing Video and/or Audio Signals
CN104660918A (zh) * 2015-03-11 2015-05-27 南京航空航天大学 一种机载视频实时混合显示***
CN109587500A (zh) * 2018-11-26 2019-04-05 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的动态可重配置视频缩放器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235518A (zh) * 2020-10-14 2021-01-15 天津津航计算技术研究所 一种数字视频图像融合叠加方法
CN112843677A (zh) * 2021-02-08 2021-05-28 脸萌有限公司 一种***延时确定方法、装置、设备和存储介质
CN112843677B (zh) * 2021-02-08 2023-07-11 脸萌有限公司 一种***延时确定方法、装置、设备和存储介质
CN114115720A (zh) * 2021-10-07 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的高帧率低延迟图形生成装置
CN114115720B (zh) * 2021-10-07 2024-04-09 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的高帧率低延迟图形生成装置

Also Published As

Publication number Publication date
CN110855907B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN110855907B (zh) 一种基于预测的低延时视频叠加帧缓存调度器
EP3491489B1 (en) Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system
US10360832B2 (en) Post-rendering image transformation using parallel image transformation pipelines
US11270492B2 (en) Graphics processing systems
CN102117594B (zh) 用于对齐帧数据的技术
EP2893529B1 (en) Method and device for selective display refresh
US6078339A (en) Mutual exclusion of drawing engine execution on a graphics device
US7394465B2 (en) Displaying an image using memory control unit
US11127110B2 (en) Data processing systems
JP7504565B2 (ja) データ処理システム
CN111064906A (zh) 国产处理器和国产fpga多路4k高清视频综合显示方法
US20190033961A1 (en) Graphics processing systems
US11004427B2 (en) Method of and data processing system for providing an output surface
JP2004280125A (ja) ビデオ／グラフィックメモリシステム
US10672367B2 (en) Providing data to a display in data processing systems
CA2855819C (en) Graphics processing apparatus, display apparatus for an aircraft cockpit, and method for displaying graphical data
WO2021124729A1 (ja) 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム
US10332489B2 (en) Data processing system for display underrun recovery
KR20130021988A (ko) 차량용 카메라를 통해 획득한 영상의 오버레이 처리 장치 및 그 방법
CN112422769A (zh) 一种实现字符和视频同步记录控制的平视显示器
JP4978529B2 (ja) 画像処理装置、画像処理システム及び車両用ヘッドアップディスプレイシステム
JP4655473B2 (ja) 車両周囲画像変換装置
US7999815B1 (en) Active raster composition and error checking in hardware
US11830234B2 (en) Method and apparatus of processing image
US8134567B1 (en) Active raster composition and error checking in hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant