CN105872432A - 快速自适应帧率变换的装置与方法 - Google Patents
快速自适应帧率变换的装置与方法 Download PDFInfo
- Publication number
- CN105872432A CN105872432A CN201610255020.2A CN201610255020A CN105872432A CN 105872432 A CN105872432 A CN 105872432A CN 201610255020 A CN201610255020 A CN 201610255020A CN 105872432 A CN105872432 A CN 105872432A
- Authority
- CN
- China
- Prior art keywords
- data
- bank
- row
- write
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 102100021568 B-cell scaffold protein with ankyrin repeats Human genes 0.000 claims description 27
- 101000971155 Homo sapiens B-cell scaffold protein with ankyrin repeats Proteins 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Input (AREA)
Abstract
本发明涉及图像处理和显示领域，为提出一种快速自适应帧率变换的显示装置，能够满足多种视频输入与显示设备的需求，在实时视频***中针对***要求，快速完成自适应的帧率变换功能，通用性较强。同时在数据高速缓存过程中，可以自适应对数据丢失或溢出进行有效处理，有效提升数据传输精度。本发明，快速自适应帧率变换的装置,结构是，视频输入控制单元利用交替存储的方式将数据分别存入第一行缓存单元与第二行缓存单元；窗选控制单元分别将第一行缓存单元与第二行缓存单元中的行缓存数据筛选调整出相同大小的有效行数据；这以后将有效行数据传递到先入先出存储器FIFO中。本发明主要应用于图像处理和显示场合。
Description
技术领域
本发明涉及图像处理和显示领域，属于实时视频的缓存处理与显示范畴。具体讲,涉及快速自适应帧率变换的装置与方法。
背景技术
随着工业应用需求的发展，多种视频图像采集和显示设备以及各种视频格式层出不穷。由于其相互之间本身并不能完全兼容，所以需要不同方法能够将其进行相互转换。帧率变换作为一种有效的手段，可以将不同采集设备在不同帧率下的视频流提升到满足多种显示设备需求，越来越受到人们重视。
帧率提升算法按照是否进行运动估计以及相应的运动补偿可以分为两大类。第一类是运动补偿帧率提升算法，该算法主要包含运动估计(Motion Estimation,ME)和运动补偿(MotionCompensation,MC)两个部分，主要考虑帧间运动信息来内插帧。1993年De Hann提出了三维递归搜索块匹配算法以增加运动估计的准确性。2002年Blume等人提出了图像分割技术并对不同区域分别采用不同的估计或补偿方法以提升内插帧质量。2004年Dane和Truoug提出基于可变尺寸搜索窗运动估计并采用全搜索块匹配算法的帧率变换算法。2009年Lei Zhang等人提出基于加权处理的运动估计帧率提升算法。这类包含运动估计等复杂算法的帧率变换方法虽然可以在一定程度上解决运动物体产生的模糊抖动现象，但是操作计算复杂度较高，且算法性能与复杂度成正比，带来了硬件成本上的巨大挑战。另一类是非运动补偿帧率提升算法，这种依靠场复制或者场平均策略来进行帧率提升的手段在硬件实施上更为广泛，其优势主要在于实现简单，运算速度快，硬件成本与设计成本低。然而这种简单策略一般是基于固定的输入输出帧率比值，确定固定的输入输出速度比值，例如从每秒30帧到每秒60帧的帧率提升，首先向存储器中缓存一帧图像，然后进行写一行读两行的交替读写，即保证每次读数据量是写数据流的两倍，从而保证总体帧率提升两倍的要求。利用大型缓存资源对视频帧进行固定多次复制输出的方法尽管可以实现帧率变换的功能，但是这种方法缺乏可扩展性，只能满足固定的输入与输出设备之间的帧率数值与比例。如何在节省电路资源，且保证视频的质量与效果的前提下，快速高效自适应的进行帧率变换，可以自动调节帧率变换比例的方法还存在许多挑战。
另一方面，随着半导体传感技术的快速发展，使用高帧率，大面阵CCD相机来获取高质量、高分辨率的图像数据越来越广泛，因而导致了硬件传输的数据量大大提高，且精度要求越来越严格。这对图像的高速缓存提出了挑战，必须采用合理的高速图像缓存筛选控制机制，来对硬件传输上可能出现的错误进行筛选判断与纠正。从采集图像数据开始，经过数据缓存，最后由VGA等显示设备实时显示。这一过程常常采用乒乓存储技术。乒乓操作是常用于对数据流控制的处理方法，常常应用于流水线式算法，完成数据的无缝缓冲与处理。然而如何在缓存操作过程中，同时将硬件传输过程中的数据丢失或溢出进行有效处理，仍然具有一定的难度。
发明内容
为克服现有技术的不足，本发明旨在提出一种快速自适应帧率变换的显示装置，能够满足多种视频输入与显示设备的需求，在实时视频***中针对***要求，快速完成自适应的帧率变换功能，通用性较强。同时在数据高速缓存过程中，可以自适应对数据丢失或溢出进行有效处理，有效提升数据传输精度。此方法适合实时视频***中的硬件实现，具有通用性较强的特点，在满足功能与精度要求的前提下，既节省了电路设计开发的时间与精力，又节约了宝贵的硬件资源并降低了功耗。本发明采用的技术方案是，快速自适应帧率变换的装置,结构是，视频输入控制单元利用交替存储的方式将数据分别存入第一行缓存单元与第二行缓存单元；窗选控制单元分别将第一行缓存单元与第二行缓存单元中的行缓存数据筛选调整出相同大小的有效行数据；这以后将有效行数据传递到先入先出存储器FIFO中，当FIFO中的数据量超过阈值a时，向存储地址计算与管理单元发送写数据请求，存储地址计算与管理单元响应该写数据请求，开始数据传输并将数据存入片外存储器中，在片外存储器中总计开辟三个BANK的存储空间用于进行帧缓存，通过轮换存储使得读、写BANK地址差距始终在1以上；另一先入先出存储器FIFO在其内部数据量小于阈值b时，将向存储地址计算与管理单元发送读数据请求，得到响应后从片外存储器中读出缓存像素数据，所述另一先入先出存储器FIFO与输出驱动模块相连，由视频输出驱动单元按照一定的视频制式输出视频数据。
视频输入控制单元将数据写入第一行缓存单元与第二行缓存单元使用的是乒乓缓存方式，即首先视频输入控制单元向第一行缓存单元缓存一行数据，然后当数据从第一行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时向第二行缓存单元缓存第二行数据；同理当数据从第二行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时再向先入先出存储器FIFO缓存第三行数据，以此类推。
快速自适应帧率变换的方法，利用视频输入控制单元采取乒乓缓存方式将数据写入第一行缓存单元与第二行缓存单元，即首先视频输入控制单元向第一行缓存单元缓存一行数据，然后当数据从第一行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时向第二行缓存单元缓存第二行数据；同理当数据从第二行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时再向先入先出存储器FIFO缓存第三行数据，以此类推；当FIFO中的数据量超过阈值a时，向存储地址计算与管理单元发送写数据请求，存储地址计算与管理单元响应该写数据请求，开始数据传输并将数据存入片外存储器中，在片外存储器中总计开辟三个BANK的存储空间用于进行帧缓存，通过轮换存储使得读、写BANK地址差距始终在1以上；另一先入先出存储器FIFO在其内部数据量小于阈值b时，将向存储地址计算与管理单元发送读数据请求，得到响应后从片外存储器中读出缓存像素数据，所述另一先入先出存储器FIFO与输出驱动模块相连，由视频输出驱动单元按照一定的视频制式输出视频数据。
向兵乓结构的第一、第二行缓存单元两个行缓存RAM写入数据量根据视频输入设备的同步信号以及参考信号来确定，在水平方向上，在读出行缓存RAM中的数据时，通过对RAM读地址的控制，保证读出数据量的一致性，即控制RAM的读地址最多读到固定阈值，舍弃后面多余的垃圾数据，从而形成窗口截取固定一致的有效行数据；在竖直方向上，控制在向行缓存RAM中写入数据时总要求写入固定的总行数，即要求每一次场同步信号后，只保留前面固定有效的行同步与行参考信号内的数据，通过行计数来实现，将每次场同步脉冲信号作为计数器的复位端，而将每一次行同步脉冲信号作为累加使能，只有总行数计数器在有效范围内才会将数据写入行缓存RAM。
数据经过窗选控制单元后，再经过先入先出存储器FIFO输入到片外存储器进行缓存，在片外存储器内开辟三个存储空间BANK0，BANK1，BANK2，填充区域为根据视频图像大小所确定的有效数据缓存区间，在每个BANK的左上方区域的存储规划方式适用于多种图像分辨率大小，并且只需要修改相应的地址计算与切换方法；第一帧数据首先存入BANK0中，当第一帧视频数据完全写完，即写BANK地址跳到BANK1中时，开始响应另一先入先出存储器FIFO的读请求，并从BANK0中读出图像数据，读完BANK0一帧时，判断当前是否已经将BANK1写完而开始写BANK2，即判断当前写BANK地址若到BANK2，则说明BANK1已经完全写完，可以开始从BANK1中读取新的一帧视频数据，否则若另一先入先出存储器FIFO有读数据请求，则再重复读取一遍当前BANK0中的数据，以此类推，这以后重复进行以上判断过程并进行循环读写。
在帧率变换过程中，为了保证视频数据流的正确与稳定，需要分别对读写BANK的地址指针进行严格控制，读BANK地址需要根据当前写地址的指针与读地址指针的相对位置来判断是否进行切换新地址，当写读BANK的指针位置相差1以上，即不包括1，严格大于1，则说明已经有一帧新的数据准备好，读BANK可以进行切换；首先需要判断读写BANK地址指针的先后问题，若写BANK在读BANK后，则说明写BANK已经比读BANK多循环了一圈，此时判断读写BANK指针位置时，应该对写BANK进行加3操作后，再将写读指针做差，结果大于1则说明当前读写BANK地址指针差一个BANK以上，可以对读BANK指针进行切换，即加1操作，从而从片外存储器读取新的一帧数据到另一先入先出存储器FIFO中；若写BANK在读BANK前，则可以直接将两者做差，结果大于1则同样说明当前读写BANK地址指针差一个BANK以上，可以对读BANK指针进行切换，即加1操作；反之，如果以上做差计算结果不大于1，则读BANK地址指针保持当前不变，即从片外存储器中重复读取当前帧数据到另一先入先出存储器FIFO中；
对写BANK地址指针同样进行严格的切换控制，即需要保证下一次写BANK地址要切换到的BANK区间已经被读完，即当前写完BANK0的时刻，需要判断BANK1是否已经被读完，如果读完则将写BANK指针切换到BANK1中将新数据写入BANK1，否则写指针保持不变，新数据重复写入BANK0。
本发明的特点及有益效果是：
本发明设计一种快速自适应帧率变换的装置与方法。本方案中帧率提升具有相位识别功能，具有一定的自适应性，即在一定范围内的输入输出帧率比区间内，可以根据当前读写数据量判断是否对需要当前帧进行复制，并可基于窗选功能自适应调节视频图像大小，保证输出稳定，对视频传输过程中的数据丢失或溢出进行有效处理，从而具有更高的适用性。此方式简单易行，不需要过多的缓存单元，也不需要复杂的控制流信号。避免了投入过多的设计精力，且电路简单，资源占用率低，十分适用于实时视频处理及显示***在硬件上的快速实现。
附图说明
图1快速自适应快速帧率变换的装置。
图2行缓存交替存储结构及窗选控制。
图3帧率变换过程片外存储器内读指针切换。
图4帧率变换过程片外存储器内写指针切换。
图5帧率变换过程指针计算。
具体实施方式
本发明提出的快速自适应帧率变换的显示装置：如图1所示，101为视频输入控制单元，行缓存单元1(RAM 1)102与行缓存单元2(RAM 1)103为行缓存存储，利用交替存储的方式,通过窗选控制单元104，分别将行缓存单元1 102与行缓存单元2 103中的行缓存数据筛选调整出相同大小的行数据。这以后将有效行数据传递到FIFO1(先入先出)105中，当FIFO1 105中的数据量超过阈值a时(阈值a可以根据视频图像大小自定义配置，一般可配置为输入视频图像大小的一行)，向存储地址计算与管理单元106发送写数据请求，存储地址计算与管理单元106响应该写数据请求后，开始数据传输并将数据存入片外存储器107中，在片外存储器107中总计开辟三个BANK的存储空间用于进行帧缓存，通过轮换存储使得读、写BANK地址差距始终在1以上，保证视频数据的正确与稳定。数据经过存储器缓存后，FIFO2108在其内部数据量小于阈值b时(阈值b可以根据视频图像大小自定义配置，一般可配置为输出视频图像的一行)，将向存储地址计算与管理单元发送读数据请求，得到响应后从存储器中读出缓存像素数据，FIFO2 108之间与输出驱动模块相连，最后由视频输出驱动单元109按照一定的视频制式输出视频数据。
如图1，视频输入控制单元101将数据写入行缓存单元1 102与行缓存单元2 103使用的是乒乓缓存方式，即首先视频输入控制单元101向行缓存单元1 102缓存一行数据，然后当数据从行缓存单元1 102读出到FIFO1 105的同时，视频输入控制单元101此时向行缓存单元2 103缓存第二行数据。同理当数据从行缓存单元2 103读出到FIFO1 105的同时，视频输入控制单元101此时再向行缓存单元1 102缓存第三行数据，以此类推。
如图2(a)所示，兵乓结构的两个行缓存RAM写入数据量主要根据视频输入设备的同步信号以及参考信号来确定，但是由于硬件传输上存在不稳定性以及误差性，所以每行的数据量以及写入总行数都可能会出现数据量不匹配的情况，则会对后面的视频处理及显示造成巨大影响。在水平方向上，如图2(b)所示本方案在读出行缓存RAM中的数据时，通过对RAM读地址的控制，保证读出数据量的一致性，即控制RAM的读地址最多读到固定阈值，舍弃后面多余的垃圾数据，从而形成窗口截取固定一致的有效行数据。在竖直方向上，本方案控制在向行缓存RAM中写入数据时总要求写入固定的总行数，即要求每一次场同步信号后，只保留前面固定有效的行同步与行参考信号内的数据，通过行计数来实现，将每次场同步脉冲信号作为计数器的复位端，而将每一次行同步脉冲信号作为累加使能，只有总行数计数器在有效范围内才会将数据写入行缓存RAM。通过以上两方向的控制，保证从视频输入控制单元获取的数据经过窗选自适应控制成为固定且稳定的有效大小的视频数据。
数据经过窗选控制单元104后，再经过FIFO1 105输入到片外存储器107进行缓存。为了完成帧率提升相位锁定功能，如图3和图5所示，在片外存储器内开辟三个存储空间BANK0，BANK1，BANK2。填充区域为根据视频图像大小所确定的有效数据缓存区间，在每个BANK的左上方区域的存储规划方式可以适用于多种图像分辨率大小，并且只需要修改相应的地址计算与切换方法即可。第一帧数据首先存入BANK0中，当第一帧视频数据完全写完，即写BANK地址跳到BANK1中时，开始响应FIFO2 108的读请求，并从BANK0中读出图像数据，读完BANK0一帧时，判断当前是否已经将BANK1写完而开始写BANK2，即判断当前写BANK地址若到BANK2，则说明BANK1已经完全写完，可以开始从BANK1中读取新的一帧视频数据，否则若FIFO2 108有读数据请求，则再重复读取一遍当前BANK0中的数据，以此类推，这以后重复进行以上判断过程并进行循环读写。
在帧率变换过程中，为了保证视频数据流的正确与稳定，需要分别对读写BANK的地址指针进行严格控制。读BANK地址需要根据当前写地址的指针与读地址指针的相对位置来判断是否进行切换新地址。当写读BANK的指针位置相差1以上(不包括1，严格大于1)，则说明已经有一帧新的数据准备好，读BANK可以进行切换。首先需要判断读写BANK地址指针的先后问题，若写BANK在读BANK后，则说明写BANK已经比读BANK多循环了一圈，此时判断读写BANK指针位置时，应该对写BANK进行加3操作后，再将写读指针做差，结果大于1则说明当前读写BANK地址指针差一个BANK以上，可以对读BANK指针进行切换(即加1操作)，从而从片外存储器107读取新的一帧数据到FIFO2 108中。若写BANK在读BANK前，则可以直接将两者做差，结果大于1则同样说明当前读写BANK地址指针差一个BANK以上，可以对读BANK指针进行切换(即加1操作)。反之，如果以上做差计算结果不大于1，则读BANK地址指针保持当前不变，即从片外存储器107中重复读取当前帧数据到FIFO2 108中。
另一方面对于写BANK地址指针，如果仅仅支持帧率提升操作，保证读出帧率始终高于写入帧率，那么写BANK地址在每写完一帧之后都可以直接进行加1操作，重复进行0-1-2-0-1-2-0-1-2的循环。为了提高自适应性与通用性，在帧率变换过程中可以支持更多的输入输出帧率比，甚至降低帧率，本方案对写BANK地址指针同样进行严格的切换控制，如图4和图5所示。即需要保证下一次写BANK地址要切换到的BANK区间已经被读完。例如当前写完BANK0的时刻，需要判断BANK1是否已经被读完，如果读完则将写BANK指针切换到BANK1中将新数据写入BANK1，否则写指针保持不变，新数据重复写入BANK0。
本方法可以支持多种制式的视频输入，包括但不限于的一种视频制式为720*576@50Mpbs，即分辨率为720*576，帧率为50帧每秒。视频输入控制单元的时钟频率为27MHz。片外存储器选择DDR，时钟为133MHz，输入输出数据宽度为128bit。又由于DDR上升沿与下降沿都可以进行读写，因此实际的频率达到266MHz。最终输出显示器要求帧率60Hz，即帧率为60帧每秒。因为每帧图像的行像素个数为720个，因此行缓存1102，行缓存2 103，FIFO1 105和FIFO2 108的深度都选择为1024，以方便留出一定的多余空间，基于满空的阈值信号来控制数据传输过程。另外由于行缓存1102，行缓存2 103与视频输入设备直接相连，由于视频输入控制单元的输出数据宽度为16bit，因此行缓存1102，行缓存2 103，FIFO1 105的输入数据宽度同样选择为16bit。而为了能够快速将一行像素信息从FIFO1 105经过DDR 204再传输到FIFO2 108中，将FIFO1 105的输出数据宽度选择与FIFO2108的输入数据宽度也定义为与DDR一致的128bit。窗选控制单元104的输入输出数据宽度与视频输入控制单元一致，而FIFO2108的输出输出宽度与视频输出驱动单元109相同。对于时钟频率，行缓存1102和行缓存2 103的输入时钟频率与视频输入控制单元的输出频率相同，为27MHz。输出时钟频率与窗口控制单元和视频输出驱动单元频率相同，为65MHz。而FIFO1 105的输入时钟频率与FIFO2 108的输出时钟频率也一致为65MHz。FIFO1 105的输出时钟频率与FIFO2 108的输入频率由于与DDR相连，采用与DDR一致的266MHz。
视频图像首先从视频输入控制单元101输出，首先第一行像素信息缓存在行缓存1 102中，写入的数据量由视频输入控制单元的同步与参考信号决定。当第一行数据从视频输入控制单元中输出完毕后，视频输入设备进入消隐区。此时行缓存1 102写完一行信号有效，通知窗选控制单元104开始接收数据，并筛选固定大小。而行缓存2 103随后开始接收第二行视频输入设备传输的数据。当窗选控制单元104接收完第一行数据并传递给FIFO1 105后，判断第二行数据在行缓存2 103中是否写完，若写完则开始从其中接收新一行数据，否则等待。行缓存1 102和行缓存2 103重复循环以上乒乓存储过程。
在帧率提升部分，当FIFO1 105中的数据量超过阈值a时，向存储地址计算与管理单元106发送写数据请求，存储地址计算与管理单元106响应该写数据请求后，开始数据传输并将数据存入片外存储设备107中，在片外存储设备107中总计开辟三个BANK空间用于进行帧缓存第一帧数据首先存入BANK0中，当第一帧视频数据完全写完，即写BANK地址跳到BANK1中时，开始响应FIFO2 108的读请求，并从BANK0中读出图像数据，读完BANK0一帧时，判断当前是否已经将BANK1写完而开始写BANK2，即判断当前写BANK地址若到BANK2，则说明BANK1已经完全写完，可以开始从BANK1中读取新的一帧视频数据，否则若FIFO2 108有读数据请求，则再重复读取一遍当前BANK0中的数据，以此类推，这以后重复进行以上判断过程并进行循环读写。而后FIFO2 108的数据传输到视频输出驱动单元，统一时序从而连续实时的处理并显示视频信息。
Claims (7)
1.一种快速自适应帧率变换的装置，其特征是，结构是，视频输入控制单元利用交替存储的方式将数据分别存入第一行缓存单元与第二行缓存单元；窗选控制单元分别将第一行缓存单元与第二行缓存单元中的行缓存数据筛选调整出相同大小的有效行数据；这以后将有效行数据传递到先入先出存储器FIFO中，当FIFO中的数据量超过阈值a时，向存储地址计算与管理单元发送写数据请求，存储地址计算与管理单元响应该写数据请求，开始数据传输并将数据存入片外存储器中，在片外存储器中总计开辟三个BANK的存储空间用于进行帧缓存，通过轮换存储使得读、写BANK地址差距始终在1以上；另一先入先出存储器FIFO在其内部数据量小于阈值b时，将向存储地址计算与管理单元发送读数据请求，得到响应后从片外存储器中读出缓存像素数据，所述另一先入先出存储器FIFO与输出驱动模块相连，由视频输出驱动单元按照一定的视频制式输出视频数据。
2.如权利要求1所述的快速自适应帧率变换的装置，其特征是，视频输入控制单元将数据写入第一行缓存单元与第二行缓存单元使用的是乒乓缓存方式，即首先视频输入控制单元向第一行缓存单元缓存一行数据，然后当数据从第一行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时向第二行缓存单元缓存第二行数据；同理当数据从第二行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时再向先入先出存储器FIFO缓存第三行数据，以此类推。
3.一种快速自适应帧率变换的方法，其特征是，利用视频输入控制单元采取乒乓缓存方式将数据写入第一行缓存单元与第二行缓存单元，即首先视频输入控制单元向第一行缓存单元缓存一行数据，然后当数据从第一行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时向第二行缓存单元缓存第二行数据；同理当数据从第二行缓存单元读出到先入先出存储器FIFO的同时，视频输入控制单元此时再向先入先出存储器FIFO缓存第三行数据，以此类推；当FIFO中的数据量超过阈值a时，向存储地址计算与管理单元发送写数据请求，存储地址计算与管理单元响应该写数据请求，开始数据传输并将数据存入片外存储器中，在片外存储器中总计开辟三个BANK的存储空间用于进行帧缓存，通过轮换存储使得读、写BANK地址差距始终在1以上；另一先入先出存储器FIFO在其内部数据量小于阈值b时，将向存储地址计算与管理单元发送读数据请求，得到响应后从片外存储器中读出缓存像素数据，所述另一先入先出存储器FIFO与输出驱动模块相连，由视频输出驱动单元按照一定的视频制式输出视频数据。
4.如权利要求3所述的快速自适应帧率变换的方法，其特征是，向兵乓结构的第一、第二行缓存单元两个行缓存RAM写入数据量根据视频输入设备的同步信号以及参考信号来确定，在水平方向上，在读出行缓存RAM中的数据时，通过对RAM读地址的控制，保证读出数据量的一致性，即控制RAM的读地址最多读到固定阈值，舍弃后面多余的垃圾数据，从而形成窗口截取固定一致的有效行数据；在竖直方向上，控制在向行缓存RAM中写入数据时总要求写入固定的总行数，即要求每一次场同步信号后，只保留前面固定有效的行同步与行参考信号内的数据，通过行计数来实现，将每次场同步脉冲信号作为计数器的复位端，而将每一次行同步脉冲信号作为累加使能，只有总行数计数器在有效范围内才会将数据写入行缓存RAM。
5.如权利要求4所述的快速自适应帧率变换的方法，其特征是，数据经过窗选控制单元后，再经过先入先出存储器FIFO输入到片外存储器进行缓存，在片外存储器内开辟三个存储空间BANK0，BANK1，BANK2，填充区域为根据视频图像大小所确定的有效数据缓存区间，在每个BANK的左上方区域的存储规划方式适用于多种图像分辨率大小，并且只需要修改相应的地址计算与切换方法；第一帧数据首先存入BANK0中，当第一帧视频数据完全写完，即写BANK地址跳到BANK1中时，开始响应另一先入先出存储器FIFO的读请求，并从BANK0中读出图像数据，读完BANK0一帧时，判断当前是否已经将BANK1写完而开始写BANK2，即判断当前写BANK地址若到BANK2，则说明BANK1已经完全写完，可以开始从BANK1中读取新的一帧视频数据，否则若另一先入先出存储器FIFO有读数据请求，则再重复读取一遍当前BANK0中的数据，以此类推，这以后重复进行以上判断过程并进行循环读写。
6.如权利要求5所述的快速自适应帧率变换的方法，其特征是，在帧率变换过程中，为了保证视频数据流的正确与稳定，需要分别对读写BANK的地址指针进行严格控制，读BANK地址需要根据当前写地址的指针与读地址指针的相对位置来判断是否进行切换新地址，当写读BANK的指针位置相差1以上，即不包括1，严格大于1，则说明已经有一帧新的数据准备好，读BANK可以进行切换；首先需要判断读写BANK地址指针的先后问题，若写BANK在读BANK后，则说明写BANK已经比读BANK多循环了一圈，此时判断读写BANK指针位置时，应该对写BANK进行加3操作后，再将写读指针做差，结果大于1则说明当前读写BANK地址指针差一个BANK以上，可以对读BANK指针进行切换，即加1操作，从而从片外存储器读取新的一帧数据到另一先入先出存储器FIFO中；若写BANK在读BANK前，则可以直接将两者做差，结果大于1则同样说明当前读写BANK地址指针差一个BANK以上，可以对读BANK指针进行切换，即加1操作；反之，如果以上做差计算结果不大于1，则读BANK地址指针保持当前不变，即从片外存储器中重复读取当前帧数据到另一先入先出存储器FIFO中。
7.如权利要求6所述的快速自适应帧率变换的方法，其特征是，对写BANK地址指针同样进行严格的切换控制，即需要保证下一次写BANK地址要切换到的BANK区间已经被读完，即当前写完BANK0的时刻，需要判断BANK1是否已经被读完，如果读完则将写BANK指针切换到BANK1中将新数据写入BANK1，否则写指针保持不变，新数据重复写入BANK0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610255020.2A CN105872432B (zh) | 2016-04-21 | 2016-04-21 | 快速自适应帧率变换的装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610255020.2A CN105872432B (zh) | 2016-04-21 | 2016-04-21 | 快速自适应帧率变换的装置与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105872432A true CN105872432A (zh) | 2016-08-17 |
| CN105872432B CN105872432B (zh) | 2019-04-23 |
Family
ID=56632657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610255020.2A Expired - Fee Related CN105872432B (zh) | 2016-04-21 | 2016-04-21 | 快速自适应帧率变换的装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105872432B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106601160A (zh) * | 2016-12-14 | 2017-04-26 | 昆山龙腾光电有限公司 | 刷新率转化装置、方法及显示装置 |
| CN108153679A (zh) * | 2016-12-05 | 2018-06-12 | 腾讯科技（深圳）有限公司 | 一种数据加载、数据处理的方法、装置及设备 |
| CN108234818A (zh) * | 2017-12-13 | 2018-06-29 | 苏州长风航空电子有限公司 | 一种视频帧存轮寻操作算法的实现方法 |
| CN110214448A (zh) * | 2017-01-31 | 2019-09-06 | 索尼公司 | 信息处理装置和方法 |
| CN110390626A (zh) * | 2019-07-02 | 2019-10-29 | 深兰科技（上海）有限公司 | 一种卷积神经网络的图像处理方法及装置 |
| CN111031233A (zh) * | 2019-11-13 | 2020-04-17 | 安凯(广州)微电子技术有限公司 | 一种数字图像处理帧率控制方法及装置 |
| CN111145078A (zh) * | 2019-12-27 | 2020-05-12 | 深圳云天励飞技术有限公司 | 图像预处理的装置及方法 |
| CN113126858A (zh) * | 2019-12-31 | 2021-07-16 | 深圳开阳电子股份有限公司 | 一种图像旋转数据处理装置及显示终端 |
| CN113377049A (zh) * | 2021-06-11 | 2021-09-10 | 西安应用光学研究所 | 基于fpga低延迟视频图像缓存的ddr控制方法 |
| CN113850929A (zh) * | 2021-09-18 | 2021-12-28 | 广州文远知行科技有限公司 | 一种标注数据流处理的展示方法、装置、设备和介质 |
| CN113986798A (zh) * | 2021-11-11 | 2022-01-28 | 合肥阿拉贝塔电子科技有限公司 | 一种基于usb总线透明传输的同步串口卡及频率自适应方法 |
| WO2022022106A1 (zh) * | 2020-07-30 | 2022-02-03 | 京东方科技集团股份有限公司 | 图像数据处理装置、方法及显示装置 |
| CN114125403A (zh) * | 2022-01-24 | 2022-03-01 | 广东欧谱曼迪科技有限公司 | 内窥镜显示方法、装置、电子设备及fpga |
| CN114189712A (zh) * | 2021-12-10 | 2022-03-15 | 眸芯科技（上海）有限公司 | 视频监控中支持解码帧率控制的虚拟vdp装置及应用 |
| CN114221818A (zh) * | 2021-12-21 | 2022-03-22 | 深圳铸泰科技有限公司 | 基于交换树上报五元组的方法、***、终端及存储介质 |
| CN114449183A (zh) * | 2020-11-02 | 2022-05-06 | 瑞昱半导体股份有限公司 | 影像处理芯片与影像处理方法 |
| WO2022116353A1 (zh) * | 2020-12-03 | 2022-06-09 | 威创集团股份有限公司 | 一种低延时视频传输方法及其***、储存介质 |
| CN115766677A (zh) * | 2023-01-09 | 2023-03-07 | 深圳曦华科技有限公司 | 针对视频模式的帧率转换方法及装置 |
| CN115955539A (zh) * | 2023-03-15 | 2023-04-11 | 广州美凯信息技术股份有限公司 | 基于fpga的视频帧率动态转换方法、装置及存储介质 |
| CN116033205A (zh) * | 2022-12-30 | 2023-04-28 | 芯动微电子科技(武汉)有限公司 | 可支持高刷新率视频源实时切换的显示控制方法及*** |
| CN116112627A (zh) * | 2023-04-07 | 2023-05-12 | 合肥六角形半导体有限公司 | 一种视频帧率自适应变换的方法和电路 |
| CN117911235A (zh) * | 2024-03-19 | 2024-04-19 | 湖北芯擎科技有限公司 | 一种图像采集低延时缓存方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050166249A1 (en) * | 2004-01-26 | 2005-07-28 | Wiatt Kettle | Fitting video feed to a display device |
| CN102176204A (zh) * | 2011-01-26 | 2011-09-07 | 北京邮电大学 | 一种输入和输出数据的方法和设备 |
| US20110216240A1 (en) * | 2010-03-05 | 2011-09-08 | Canon Kabushiki Kaisha | Frame rate conversion processing apparatus, frame rate conversion processing method, and storage medium |
| CN103268210A (zh) * | 2013-05-31 | 2013-08-28 | 深圳市开立科技有限公司 | 一种基于fpga的信息传输***及方法 |
| CN103716508A (zh) * | 2013-12-17 | 2014-04-09 | 重庆凯泽科技有限公司 | 一种基于dsp的视频图像处理*** |
| CN104363385A (zh) * | 2014-10-29 | 2015-02-18 | 复旦大学 | 一种图像融合的基于行的硬件实现方法 |
| CN104717470A (zh) * | 2015-03-19 | 2015-06-17 | 天津大学 | 基于双路摄像头视频拼接的缓存与显示的装置与方法 |
-
2016
- 2016-04-21 CN CN201610255020.2A patent/CN105872432B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050166249A1 (en) * | 2004-01-26 | 2005-07-28 | Wiatt Kettle | Fitting video feed to a display device |
| US20110216240A1 (en) * | 2010-03-05 | 2011-09-08 | Canon Kabushiki Kaisha | Frame rate conversion processing apparatus, frame rate conversion processing method, and storage medium |
| CN102176204A (zh) * | 2011-01-26 | 2011-09-07 | 北京邮电大学 | 一种输入和输出数据的方法和设备 |
| CN103268210A (zh) * | 2013-05-31 | 2013-08-28 | 深圳市开立科技有限公司 | 一种基于fpga的信息传输***及方法 |
| CN103716508A (zh) * | 2013-12-17 | 2014-04-09 | 重庆凯泽科技有限公司 | 一种基于dsp的视频图像处理*** |
| CN104363385A (zh) * | 2014-10-29 | 2015-02-18 | 复旦大学 | 一种图像融合的基于行的硬件实现方法 |
| CN104717470A (zh) * | 2015-03-19 | 2015-06-17 | 天津大学 | 基于双路摄像头视频拼接的缓存与显示的装置与方法 |
Non-Patent Citations (1)
| Title |
|---|
| 徐艳: "《基于可重构处理器的视觉处理子***的研究与设计》", 《天津大学硕士学位论文》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153679A (zh) * | 2016-12-05 | 2018-06-12 | 腾讯科技（深圳）有限公司 | 一种数据加载、数据处理的方法、装置及设备 |
| CN106601160B (zh) * | 2016-12-14 | 2020-04-14 | 昆山龙腾光电股份有限公司 | 刷新率转化装置、方法及显示装置 |
| CN106601160A (zh) * | 2016-12-14 | 2017-04-26 | 昆山龙腾光电有限公司 | 刷新率转化装置、方法及显示装置 |
| CN110214448A (zh) * | 2017-01-31 | 2019-09-06 | 索尼公司 | 信息处理装置和方法 |
| CN108234818B (zh) * | 2017-12-13 | 2020-10-20 | 苏州长风航空电子有限公司 | 一种视频帧存轮寻操作算法的实现方法 |
| CN108234818A (zh) * | 2017-12-13 | 2018-06-29 | 苏州长风航空电子有限公司 | 一种视频帧存轮寻操作算法的实现方法 |
| CN110390626A (zh) * | 2019-07-02 | 2019-10-29 | 深兰科技（上海）有限公司 | 一种卷积神经网络的图像处理方法及装置 |
| CN111031233A (zh) * | 2019-11-13 | 2020-04-17 | 安凯(广州)微电子技术有限公司 | 一种数字图像处理帧率控制方法及装置 |
| CN111145078A (zh) * | 2019-12-27 | 2020-05-12 | 深圳云天励飞技术有限公司 | 图像预处理的装置及方法 |
| CN111145078B (zh) * | 2019-12-27 | 2024-03-08 | 深圳云天励飞技术股份有限公司 | 图像预处理的装置及方法 |
| CN113126858A (zh) * | 2019-12-31 | 2021-07-16 | 深圳开阳电子股份有限公司 | 一种图像旋转数据处理装置及显示终端 |
| WO2022022106A1 (zh) * | 2020-07-30 | 2022-02-03 | 京东方科技集团股份有限公司 | 图像数据处理装置、方法及显示装置 |
| CN114449183B (zh) * | 2020-11-02 | 2024-03-15 | 瑞昱半导体股份有限公司 | 影像处理芯片与影像处理方法 |
| CN114449183A (zh) * | 2020-11-02 | 2022-05-06 | 瑞昱半导体股份有限公司 | 影像处理芯片与影像处理方法 |
| WO2022116353A1 (zh) * | 2020-12-03 | 2022-06-09 | 威创集团股份有限公司 | 一种低延时视频传输方法及其***、储存介质 |
| CN113377049A (zh) * | 2021-06-11 | 2021-09-10 | 西安应用光学研究所 | 基于fpga低延迟视频图像缓存的ddr控制方法 |
| CN113850929A (zh) * | 2021-09-18 | 2021-12-28 | 广州文远知行科技有限公司 | 一种标注数据流处理的展示方法、装置、设备和介质 |
| CN113986798A (zh) * | 2021-11-11 | 2022-01-28 | 合肥阿拉贝塔电子科技有限公司 | 一种基于usb总线透明传输的同步串口卡及频率自适应方法 |
| CN113986798B (zh) * | 2021-11-11 | 2024-03-08 | 合肥阿拉贝塔电子科技有限公司 | 一种基于usb总线透明传输的同步串口卡及频率自适应方法 |
| CN114189712A (zh) * | 2021-12-10 | 2022-03-15 | 眸芯科技（上海）有限公司 | 视频监控中支持解码帧率控制的虚拟vdp装置及应用 |
| CN114189712B (zh) * | 2021-12-10 | 2024-01-16 | 眸芯科技（上海）有限公司 | 视频监控中支持解码帧率控制的虚拟vdp装置及应用 |
| CN114221818A (zh) * | 2021-12-21 | 2022-03-22 | 深圳铸泰科技有限公司 | 基于交换树上报五元组的方法、***、终端及存储介质 |
| CN114125403A (zh) * | 2022-01-24 | 2022-03-01 | 广东欧谱曼迪科技有限公司 | 内窥镜显示方法、装置、电子设备及fpga |
| CN116033205B (zh) * | 2022-12-30 | 2023-08-15 | 芯动微电子科技(武汉)有限公司 | 可支持高刷新率视频源实时切换的显示控制方法及*** |
| CN116033205A (zh) * | 2022-12-30 | 2023-04-28 | 芯动微电子科技(武汉)有限公司 | 可支持高刷新率视频源实时切换的显示控制方法及*** |
| CN115766677A (zh) * | 2023-01-09 | 2023-03-07 | 深圳曦华科技有限公司 | 针对视频模式的帧率转换方法及装置 |
| CN115955539B (zh) * | 2023-03-15 | 2023-08-18 | 广州美凯信息技术股份有限公司 | 基于fpga的视频帧率动态转换方法、装置及存储介质 |
| CN115955539A (zh) * | 2023-03-15 | 2023-04-11 | 广州美凯信息技术股份有限公司 | 基于fpga的视频帧率动态转换方法、装置及存储介质 |
| CN116112627A (zh) * | 2023-04-07 | 2023-05-12 | 合肥六角形半导体有限公司 | 一种视频帧率自适应变换的方法和电路 |
| CN117911235A (zh) * | 2024-03-19 | 2024-04-19 | 湖北芯擎科技有限公司 | 一种图像采集低延时缓存方法及*** |
| CN117911235B (zh) * | 2024-03-19 | 2024-06-11 | 湖北芯擎科技有限公司 | 一种图像采集低延时缓存方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105872432B (zh) | 2019-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105872432A (zh) | 快速自适应帧率变换的装置与方法 | |
| CN108681984B (zh) | 一种3*3卷积算法的加速电路 | |
| US8749667B2 (en) | System and method for maintaining maximum input rate while up-scaling an image vertically | |
| CN102270444B (zh) | 视频处理芯片数据流控制及帧缓存装置 | |
| CN107493448A (zh) | 图像处理***、图像显示方法及显示装置 | |
| US8384825B2 (en) | Video image transfer device and display system including the device | |
| CN103281548B (zh) | 一种实时高清深度估计*** | |
| CN102457701B (zh) | 图像显示处理方法及装置 | |
| CN103841359A (zh) | 一种视频多画面合成方法、装置和*** | |
| CN101667407B (zh) | 一种带宽自适应的图像数据访问方法、***及显示控制装置 | |
| CN102625086B (zh) | 一种用于高清数字矩阵的ddr2存储方法和*** | |
| CN107948546A (zh) | 一种低延迟视频混合装置 | |
| CN104469241B (zh) | 一种实现视频帧率变换的装置 | |
| CN104717470B (zh) | 基于双路摄像头视频拼接的缓存与显示的装置与方法 | |
| KR20140091058A (ko) | 비디오 분석 및 인코딩을 위한 복수의 비디오 채널의 캡쳐 | |
| CN104268098A (zh) | 一种用于超高清视频帧率上变换的片上缓存*** | |
| US20060109198A1 (en) | Method and apparatus for using picture-in-picture data as an independent display | |
| CN102868855A (zh) | 一种数码变焦方法和装置 | |
| CN102833541B (zh) | 用于mpeg-2视频解码的sdram控制*** | |
| CN111757034A (zh) | 一种基于fpga的视频同步显示方法、装置和存储介质 | |
| CN113630565B (zh) | 具备机内实时图像处理功能的scmos成像电路及方法 | |
| CN115955589A (zh) | 基于mipi的优化视频拼接方法、***和存储介质 | |
| CN101556789B (zh) | 一种图像缩放控制***及方法 | |
| CN101640773A (zh) | 子画面视频信号的缩放方法、装置及具有该装置的电视机 | |
| CN117472801B (zh) | 显存带宽优化方法、装置、***及bmc*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190423 Termination date: 20210421 |