CN107948546A - 一种低延迟视频混合装置 - Google Patents

一种低延迟视频混合装置 Download PDF

Info

Publication number
CN107948546A
CN107948546A CN201711096984.8A CN201711096984A CN107948546A CN 107948546 A CN107948546 A CN 107948546A CN 201711096984 A CN201711096984 A CN 201711096984A CN 107948546 A CN107948546 A CN 107948546A
Authority
CN
China
Prior art keywords
video
low latency
module
frame
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711096984.8A
Other languages
English (en)
Other versions
CN107948546B (zh
Inventor
郭凡
李少光
康健斌
廖科
周坚锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aeronautical Radio Electronics Research Institute
Original Assignee
China Aeronautical Radio Electronics Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aeronautical Radio Electronics Research Institute filed Critical China Aeronautical Radio Electronics Research Institute
Priority to CN201711096984.8A priority Critical patent/CN107948546B/zh
Publication of CN107948546A publication Critical patent/CN107948546A/zh
Application granted granted Critical
Publication of CN107948546B publication Critical patent/CN107948546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元，视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；视频混合处理单元将主视频和同步后的从视频进行融合输出；所述视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。本发明通过对视频进行2帧缓存和视频速率预测的视频混合方案，可以使视频延时最少降低至传统方法的二分之一。

Description

一种低延迟视频混合装置
技术领域
本发明涉及视频处理和微电子领域的处理电路，涉及一种将多种视频混合处理的装置。
背景技术
在视频处理中，经常会涉及到多路视频进行混合处理，如将操作界面与摄像头视频混合呈现给使用者，便于操作和观察。在使用可编程器件进行多路视频混合处理时，传统方法是将输入视频采集成图像数据使用三帧缓存方法缓存及缩放、混合处理后输出。该方法禁止对三帧缓存中的任何一帧进行同时存入和读出操作，能有效保证视频的完整性，很好的适应不同步的多路输入视频的混合，但该方法的缺点也很明显，视频混合的延迟较大，消耗的存储资源多。本发明提供了一种延时更低、消耗存储资源更少的视频处理方法，尤其适合多路视频无法保证同步，且对延时较为敏感的应用场合。
发明内容
本发明目的在于提供一种低延迟视频混合装置，通过对视频进行2帧缓存和视频速率预测的视频混合方案，可以使视频延时最少降低至传统方法的二分之一。
本发明的发明目的通过以下技术方案实现：
一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元；
视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；
各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；
视频混合处理单元将主视频和同步后的从视频进行融合输出；
视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。
优选地，低延迟视频处理同步单元包含视频相位跟踪预测模块、访问冲突预测及缓存选择模块、视频采集模块、视频数据预处理模块、帧存访问控制器模块、视频数据处理模块和视频同步输出模块；
视频相位跟踪预测模块用于检测从视频和同步时序信号的速率差和相位差；
访问冲突预测及缓存选择模块用于在从视频和同步时序信号的速率一致时，控制帧存访问控制器的读指针和写指针在同一帧存上移动；当从视频的速率比同步时序信号的速率快时，控制帧存访问控制器的写读针和读指针在二个帧存上交替移动，当写指针与读指针在同一帧存上时，判别写指针是否会出现访问冲突，如果会出现访问冲突，则写指针不移动；当从视频的速率比同步时序信号的速率慢时，控制帧存访问控制器的写读针和读指针在二个帧存上交替移动，当写指针与读指针在同一帧存上时，判别读指针是否会出现访问，如果会出现访问冲突，则读指针不移动；
视频采集模块根据帧存控制器上写指针的位置将视频写入帧存；
视频同步输出模块以相位差作为延时从帧存控制器上读指针的位置将视频从帧存读出。
附图说明
图1为低延迟视频混合装置的结构示意图；
图2为低延迟视频处理同步单元的结构示意图；
图3为视频传输速率及输入视频与主同步视频间的相位差示意图；
图4为访问冲突预测及缓存选择模块的处理流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细。
本实施例以由FPGA芯片和存储器组成的低延迟视频混合装置为例进行说明。在FPGA芯片中设置视频输入接口、若干个低延迟视频处理同步单元和视频混合处理单元，将存储器作为视频缓存模块。
视频输入接口从输入的多路视频中选定一路延时要求最严苛的视频作为主视频，其余几路视频作为从视频。视频输入接口将主视频的速率作为同步时序信号送往低延迟视频处理同步单元，低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步后在视频混合处理单元完成所有视频的混合后输出。低延迟视频处理同步单元针对视频缓存处理时数据写入和读取都是顺序进行的特点，该单元通过视频相位跟踪预测进行缓冲区管理控制，当预测到同一帧缓存写入和读出数据不会发生冲突时，就控制直接从正在写入的帧缓存读出进行处理，该方法对比传统三帧缓存方法，视频处理和时序同步的延迟低约一个场周期，最大总延能降低到传统三帧缓存方法的约二分之一。
如图2所示，低延迟视频处理同步单元具有视频相位跟踪预测模块、访问冲突预测及缓存选择模块、视频采集模块、视频数据预处理模块、帧存访问控制器、视频数据处理模块、视频同步输出模块等部分组成。
视频相位跟踪预测模块用于持续检测从视频信号和同步视频信号的速率差和相位差。视频相位跟踪预测模块的输入信号有从视频信号(din[23:0]、hs_in、vs_in、pclk_in、de_in)、同步时序信号(sync_hs、sync_vs、sync_de、sync_pclk)、视频相位预测跟踪部件时钟(mclk)。视频传输速率及输入视频与主同步视频间的相位差如图3所示。
其中Vnum_i是vs_in的周期，Vnum_sync是sync_vs的周期，单位是视频相位预测跟踪部件时钟(mclk)，Vnum_i和Vnum_o值越大则速率越慢，值越小则速率越快。D_io_num是视频间场周期的时间差，D_io_num为正表示主视频快，从视频慢；D_io_num为负表示主视频慢，从视频快。D_io_num绝对值越大表明从视频和主视频的速率差越大。Dnum则表示输入视频和主同步视频之间的相位差，Dnum为正表示输入视频相位落后于主同步视频，Dnum为负表示输入视频相位领先于主同步视频，绝对值越大，相位差越大。
访问冲突预测及缓存选择模块持续预测在同一帧缓冲区上进行采集视频写入操作与输出视频读取操作会否冲突，当完成一帧采集或者一帧输出时根据预测结果选择能把总延时控制到最小且不会产生冲突的帧缓冲区进行操作。访问冲突根据视频信号速率、相位、处理延迟进行综合判断。
访问冲突预测及缓存选择处理流程如图4所示：
当从视频与主视频传输速率相同，此时从视频与输出视频间的相位差是固定值，帧存控制器只使用一个帧缓存即可，实现输出视频对输入视频进行延时输出，延迟时间为从视频与主视频间的相位差。
当从视频传输速率较快，帧存访问控制器使用双帧缓存，分别采用交替访问帧缓存的方式写入从视频数据，读取输出视频数据。其中读取输出视频数据采用固定的乒乓操作交替读取两个帧缓存。在输入视频帧起始处，判断即将乒乓操作使用的帧缓存是否为输出视频当前使用的帧缓存，根据从视频与主视频的速率、相位差、当前处理延迟，计算完成当前帧写入的时钟周期数C_in和完成当前帧输出的时钟周期数C_out间的相位差，当C_in小于C_out时，表示预测结果为会出现访问冲突，不作切换，直接选择上一个场周期使用的写入帧缓冲，此时正在输入的视频内容的总延迟达到最大，约为一帧视频传输时间，从下一帧开始，延迟将调整到最低延迟状态。
当主视频传输速率较快，帧存访问控制器使用双帧缓存，分别采用交替访问帧缓存的方式写入输入视频数据，读取输出视频数据。其中写入输入视频数据采用固定的乒乓操作交替读取两个帧缓存。读取输出视频数据时，在输出视频帧起始处，判断即将乒乓操作使用的帧缓存是否为视频输入当前使用的帧缓存，如果是输入视频当前使用的帧缓存，根据输入视频与同步视频的速率、相位差、当前处理延迟，计算完成当前帧写入的时钟周期数C_in和完成当前帧输出的时钟周期数C_out间的相位差，当C_in大于C_out时，表示预测结果为会出现访问冲突，则输出视频对原帧缓存进行重复读取，保证输出的视频数据为同一帧视频数据。此时输出视频与输入视频最大延时约为一帧视频传输时间，从下一帧开始，延迟将调整到最低延迟状态。
视频采集用于将视频流转换为顺序的存储器访问操作。视频数据预处理用于有缩小应用的场合，进行缩小预处理，避免输出时缩小潜在的带宽不足风险。视频数据处理用于有增强、放大等应用的场合，从帧缓存中读取数据进行视频数据处理后输出同步视频。

Claims (2)

1.一种低延迟视频混合装置，包含视频输入接口、若干个低延迟视频处理同步单元、视频缓存模块和视频混合处理单元，其特征在于：
所述视频输入接口选择一路输入视频作为主视频，其它视频作为从视频，将接收到的主视频的同步时序信号分别输入各个低延迟视频处理同步单元；
各个低延迟视频处理同步单元根据同步时序信号将从视频通过在视频缓存模块的读写实现从视频与主视频的同步；
所述视频混合处理单元将主视频和同步后的从视频进行融合输出；
所述视频缓存模块为每个低延迟视频处理同步单元分配不超过2个帧存。
2.根据权利要求1所述一种低延迟视频混合装置，其特征在于所述低延迟视频处理同步单元包含视频相位跟踪预测模块、访问冲突预测及缓存选择模块、视频采集模块、视频数据预处理模块、帧存访问控制器模块、视频数据处理模块和视频同步输出模块；
视频相位跟踪预测模块用于检测从视频和同步时序信号的速率差和相位差；
访问冲突预测及缓存选择模块用于在从视频和同步时序信号的速率一致时，控制帧存访问控制器的读指针和写指针在同一帧存上移动；当从视频的速率比同步时序信号的速率快时，控制帧存访问控制器的写读针和读指针在二个帧存上交替移动，当写指针与读指针在同一帧存上时，判别写指针是否会出现访问冲突，如果会出现访问冲突，则写指针不移动；当从视频的速率比同步时序信号的速率慢时，控制帧存访问控制器的写读针和读指针在二个帧存上交替移动，当写指针与读指针在同一帧存上时，判别读指针是否会出现访问冲突，如果会出现访问冲突，则读指针不移动；
所述视频采集模块根据帧存控制器上写指针的位置将视频写入帧存；
所述视频同步输出模块以相位差作为延时从帧存控制器上读指针的位置将视频从帧存读出。
CN201711096984.8A 2017-11-09 2017-11-09 一种低延迟视频混合装置 Active CN107948546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711096984.8A CN107948546B (zh) 2017-11-09 2017-11-09 一种低延迟视频混合装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711096984.8A CN107948546B (zh) 2017-11-09 2017-11-09 一种低延迟视频混合装置

Publications (2)

Publication Number Publication Date
CN107948546A true CN107948546A (zh) 2018-04-20
CN107948546B CN107948546B (zh) 2020-07-31

Family

ID=61934672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711096984.8A Active CN107948546B (zh) 2017-11-09 2017-11-09 一种低延迟视频混合装置

Country Status (1)

Country Link
CN (1) CN107948546B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570441A (zh) * 2019-09-16 2019-12-13 广州波视信息科技股份有限公司 一种超高清低延时视频控制方法及***
CN110855909A (zh) * 2019-11-14 2020-02-28 广州魅视电子科技有限公司 视频信号无缝低延时切换方法及***
CN111277770A (zh) * 2020-01-21 2020-06-12 中国航空无线电电子研究所 基于fpga的通用化机载视频处理***
CN112511861A (zh) * 2020-12-03 2021-03-16 威创集团股份有限公司 一种低延时视频传输方法及其***、储存介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1607935A2 (en) * 2004-06-08 2005-12-21 Semiconductor Energy Laboratory Co., Ltd. Simultaneous reading and writing of video memory, and electroluminescent display device
CN101043289A (zh) * 2006-06-16 2007-09-26 华为技术有限公司 一种解除存储器读写冲突的方法和装置
CN200990651Y (zh) * 2006-12-28 2007-12-12 康佳集团股份有限公司 一种视频分割放大器
CN102625110A (zh) * 2012-03-30 2012-08-01 天津天地伟业物联网技术有限公司 视频数据的缓存***及缓存方法
CN102740124A (zh) * 2011-03-31 2012-10-17 英特赛尔美国股份有限公司 视频多路复用
CN107277595A (zh) * 2017-07-28 2017-10-20 京东方科技集团股份有限公司 一种多路视频同步方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1607935A2 (en) * 2004-06-08 2005-12-21 Semiconductor Energy Laboratory Co., Ltd. Simultaneous reading and writing of video memory, and electroluminescent display device
CN101043289A (zh) * 2006-06-16 2007-09-26 华为技术有限公司 一种解除存储器读写冲突的方法和装置
CN200990651Y (zh) * 2006-12-28 2007-12-12 康佳集团股份有限公司 一种视频分割放大器
CN102740124A (zh) * 2011-03-31 2012-10-17 英特赛尔美国股份有限公司 视频多路复用
CN102625110A (zh) * 2012-03-30 2012-08-01 天津天地伟业物联网技术有限公司 视频数据的缓存***及缓存方法
CN107277595A (zh) * 2017-07-28 2017-10-20 京东方科技集团股份有限公司 一种多路视频同步方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANNA HAC ET AL: "Buffer Control Scheme in Multimedia Synchronization", 《1997 IEEE INTERNATIONAL PERFORMANCE，COMPUTING AND COMMUNICATIONS CONFERENCE》 *
赵震甲: "使用FIFO完成数据传输与同步（中)", 《中国集成电路》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570441A (zh) * 2019-09-16 2019-12-13 广州波视信息科技股份有限公司 一种超高清低延时视频控制方法及***
CN110855909A (zh) * 2019-11-14 2020-02-28 广州魅视电子科技有限公司 视频信号无缝低延时切换方法及***
CN110855909B (zh) * 2019-11-14 2020-07-03 广州魅视电子科技有限公司 视频信号无缝低延时切换方法
CN111277770A (zh) * 2020-01-21 2020-06-12 中国航空无线电电子研究所 基于fpga的通用化机载视频处理***
CN112511861A (zh) * 2020-12-03 2021-03-16 威创集团股份有限公司 一种低延时视频传输方法及其***、储存介质
CN112511861B (zh) * 2020-12-03 2022-05-03 威创集团股份有限公司 一种低延时视频传输方法及其***、储存介质
WO2022116353A1 (zh) * 2020-12-03 2022-06-09 威创集团股份有限公司 一种低延时视频传输方法及其***、储存介质

Also Published As

Publication number Publication date
CN107948546B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN107948546A (zh) 一种低延迟视频混合装置
CN105872432B (zh) 快速自适应帧率变换的装置与方法
CN104202552B (zh) 通过桥接芯片实现两种模式mipi信号的方法和装置
CN107636631A (zh) 图像处理装置和图像处理方法
CN111768738B (zh) 一种amoled显示驱动芯片降低刷新率节省功耗的电路设计方法
CN104702860B (zh) 基于fpga的视频图像切换***
CN109992234A (zh) 图像数据读取方法、装置、电子设备及可读存储介质
CN102402409B (zh) 一种刷屏方法和装置
CN109587421B (zh) 一种hd-sdi/3g-sdi收发及实时画中画切换输出处理方法
CN104333739A (zh) 拼墙***回显装置和方法
CN103294836A (zh) 基于pcie的雷达数据采集显控***及其方法
CN108536615A (zh) 一种乒乓缓存控制器及其设计方法
JPS5892160A (ja) サンプリング周波数変換装置
CN104717444A (zh) 多视频格式向VESA协议1920X1440分辨率75Hz帧率视频的自动转换方法
CN103065598A (zh) 一种防止液晶显示器花屏的控制方法
CN104244100A (zh) 进度条控制方法和装置
CN104469241B (zh) 一种实现视频帧率变换的装置
CN109873998A (zh) 基于多层次引导滤波的红外视频增强***
CN104731586A (zh) 一种地铁列车lcd屏可编辑界面的设计方法
CN103076990A (zh) 一种基于fifo缓存结构的数据回放装置
CN105204799A (zh) 一种多通道深存储逻辑分析仪显示刷新率的提高方法
CN110288939B (zh) 基于控制串行传输的led显示屏恒流驱动芯片
CN103685961B (zh) 一种利用单片sram实现视频数据同步实时处理的***
CN105719616B (zh) 一种竖屏驱动***及竖屏驱动方法
CN101866634B (zh) 显示码流的显示***和控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant