CN115002304B - 一种视频图像分辨率自适应转换装置 - Google Patents
一种视频图像分辨率自适应转换装置 Download PDFInfo
- Publication number
- CN115002304B CN115002304B CN202210380813.2A CN202210380813A CN115002304B CN 115002304 B CN115002304 B CN 115002304B CN 202210380813 A CN202210380813 A CN 202210380813A CN 115002304 B CN115002304 B CN 115002304B
- Authority
- CN
- China
- Prior art keywords
- ddr3
- module
- bram
- write control
- control module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 239000013078 crystal Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 6
- 230000003139 buffering effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频图像分辨率自适应转换装置，该装置包括：摄像头解码模块、DDR3存储读写控制模块、BRAM存储读写控制模块、Scaler算法处理模块、视频流输出模块以及时钟模块。本发明为了解决使用CMOS摄像头时，实时视频流的分辨率与终端显示器的分辨率自适应转换困难的问题。本发明提供CMOS摄像头DVP接口、CMOS摄像头MIPI接口、VGA视频输出接口、HDMI视频输出接口、1080P高清视频流显示、DDR3大容量视频数据帧储存，适合集中式接入使用，为CMOS摄像头视频流的分辨率实时调整，和多路视频流同屏显示提供了一种全新的解决方案。
Description
技术领域
本发明涉及图像视频采集技术、图像编解码技术、数字图像处理分析等领域。尤其是一种用于多终端显示屏场景中，实时适应、缩放视频流的显示分辨率和调整显示方位的视频图像处理装置，以达到最优显示效果。
技术背景
视频图像是人类观察和感知世界最直接的手段，视频图像的处理技术在如今各个领域内，如工业生产、公共交通、航空航天、临床医疗等，都有相当广泛的应用。视频图像的处理技术极大地提升了图片、影像的表现力，尤其是人们利用图像插值算法对图片进行放大与缩小，进而获取了图片、影像中更丰富的细节信息。
传统的基于计算机的视频图像处理技术利用CPU作为中央处理器，借助计算机软件、操作***来搭建数字图像处理***。人们借助计算机语言C、C++等完成程序开发，可以完成与底层硬件的交互实现图像处理。目前为止，大部分场景下图像处理算法都是通过这类***实现的。尽管计算机CPU的性能越来越强，处理速度也变得越来越快，但还是受到本质上单指令、单数据的串行处理模式的原理限制，并且计算机还需要跑操作***，因此它的应用领域有很大限制，对于实时性要求高的场景并不适用。
近年来，随着图像采集、视频处理等技术的飞速进步和发展，图像的分辨率、存储大小、处理速度都越来越高，而对图像处理***的硬件体积的要求却越来越小，处理实时性也要求越来越高。这给传统的基于计算机软件的图像处理平台带来更严重的挑战。因此，必须跳出传统的基于计算机软件平台的处理方式，寻求另一种可以满足新要求的处理平台与方式。
发明内容
本发明的目的是为了解决在多种终端显示屏场景下，使用CMOS摄像头时，实时视频流的分辨率与终端显示器的分辨率自适应最优化的问题而提出的而提出的一种视频图像分辨率自适应转换装置，该装置能够很好地实现在多种应用场景中，如飞机驾驶舱多屏显示、手机摄像一屏多显、工厂生产线多屏监控、公共交通多方位实时监控等等，并根据需求实时、高效地将视频流的分辨率放大、缩小任意倍数，并稳定、清晰地显示在终端显示屏的任意目标位置。
实现本发明目的的具体技术方案是：
一种视频图像分辨率自适应转换装置，特点是该装置包括摄像头解码模块、DDR3存储读写控制模块、BRAM存储读写控制模块、Scaler算法处理模块、视频流输出模块以及时钟模块，所述摄像头解码模块与DDR3存储读写控制模块及时钟模块相连；所述DDR3存储读写控制模块与摄像头解码模块、BRAM存储读写控制模块及时钟模块相连；所述BRAM存储读写控制模块与DDR3存储读写控制模块、Scaler算法处理模块、视频流输出模块及时钟模块相连；所述Scaler算法处理模块与BRAM存储读写控制模块及时钟模块相连；所述视频流输出模块与BRAM存储读写控制模块及时钟模块相连；所述时钟模块与摄像头解码模块、DDR3存储读写控制模块、BRAM存储读写控制模块、Scaler算法处理模块及视频流输出模块相连；其中，所述摄像头解码模块包括CMOS摄像头、FPGA芯片上的DVP接口或MIPI接口；所述DDR3存储读写控制模块包括DDR3芯片、FPGA芯片内的DDR3输入FIFO及FPGA芯片内的DDR3输出FIFO；所述BRAM存储读写控制模块包括FPGA芯片内的BRAM及FPGA芯片内的BRAM输出FIFO；所述Scaler算法处理模块包括FPGA芯片内的Scaler算法电路及矩阵按键；所述视频流输出模块包括显示屏及FPGA芯片上的VGA接口或HDMI接口；所述时钟模块包括晶体振荡器及FPGA芯片内的锁相环；其中，DVP接口或MIPI接口、DDR3输入FIFO、DDR3输出FIFO、BRAM、BRAM输出FIFO、Scaler算法电路、VGA接口或HDMI接口与锁相环均是FPGA芯片内部的电路。
所述摄像头解码模块的DVP接口或MIPI接口与CMOS摄像头、锁相环及DDR3输入FIFO相连接。
所述DDR3存储读写控制模块的DDR3输入FIFO与DDR3芯片、DVP接口或MIPI接口及锁相环相连接；DDR3芯片与DDR3输入FIFO及DDR3输出FIFO相连接；DDR3输出FIFO与DDR3芯片、BRAM及锁相环相连接；DDR3存储读写控制模块提供高速帧缓存。
所述BRAM存储读写控制模块的BRAM与DDR3输出FIFO、Scaler算法电路及锁相环相连接；BRAM输出FIFO与Scaler算法电路、VGA接口或HDMI接口及锁相环相连接；BRAM存储读写控制模块实现三行像素点的二级缓存，为Scaler算法处理模块提供精准的原始像素点。
所述Scaler算法处理模块的Scaler算法电路与矩阵按键、BRAM、BRAM输出FIFO、锁相环相连接；该模块中的Scaler算法电路实现本发明创新的Scaler算法，进行图像的插值。
所述视频流输出模块的VGA接口或HDMI接口与显示屏、BRAM输出FIFO及锁相环相连接。
所述时钟模块的锁相环与晶体振荡器、DVP接口或MIPI接口、DDR3输入FIFO、DDR3输出FIFO、BRAM、BRAM输出FIFO、Scaler算法电路及VGA接口或HDMI接口相连接。
与现有技术相比，本发明的有益效果是：
(1)通过FPGA作为主要的视频图像数据处理芯片，能够通过并行的方式执行任务，具有更短的处理时间，更强的任务响应性。并且可以非常便捷地自定义FPGA的内部硬件模块，并且复用这些硬件模块。
(2)本发明创新性地优化了双线性插值算法，将传统算法中的乘法、除法所涉及的浮点运算，全部优化为无符号整型的乘法运算，使得算法创新性地与FPGA的运算模式相适应，保证算法最好效果的同时，极大地发挥了FPGA处理数据的高速性，同时也消耗了更少的FPGA内部逻辑单元。
(3)本发明采用读写速度快、储存容量大的DDR3芯片作为缓存芯片，提高了视频图像数据缓存的容量，大大提升了视频图像数据的获取能力，能够缓存更加密集、更加完整的视频图像帧，并及时对其进行有效信息提取。整体功能中的视频图像数据吞吐能力极强。
(4)本发明采用了图片信息获取、储存控制、显示控制一体式的解决方案，通过单独的模块即可完成将视频图片信息从CMOS摄像头中提取，视频图像帧的储存控制，终端显示屏显示控制的过程。简化了方案的拓扑结构以及实现途径。
附图说明
图1为本发明装置结构框图；
图2为本发明工作流程图。
具体实施方式
以下结合附图及实施例，对本发明做详细描述。
参阅图1，本发明包括摄像头解码模块1、DDR3存储读写控制模块2、BRAM存储读写控制模块3、Scaler算法处理模块4、视频流输出模块5及时钟模块6；所述摄像头解码模块1与DDR3存储读写控制模块2及时钟模块6相连，其作用为接收并解码CMOS摄像头的视频流数据；所述DDR3存储读写控制模块2与摄像头解码模块1、BRAM存储读写控制模块3及时钟模块6相连，其作用为对输入视频流进行帧缓存，并且为后续算法提供像素点信息，保证视频流传输过程中的完整性，无数据丢失；所述BRAM存储读写控制模块3与DDR3存储读写控制模块2、Scaler算法处理模块4、视频流输出模块5及时钟模块6相连，其作用为高速乒乓缓存三行视频数据，保证Scaler算法处理模块4能随时高速读取需要计算的像素点；所述Scaler算法处理模块4与BRAM存储读写控制模块3及时钟模块6相连，其作用为读取用户通过按键输入的参数，完成核心Scaler算法，并实时调整目标显示分辨率；所述视频流输出模块5与BRAM存储读写控制模块3及时钟模块6相连，其作用为读取终端显示设备的DDC并显示算法处理完的图像；所述时钟模块6与摄像头解码模块1、DDR3存储读写控制模块2、BRAM存储读写控制模块3、Scaler算法处理模块4及视频流输出模块5相连，其作用为向各个模块提供参考时钟。
所述摄像头解码模块1包括FPGA芯片上的DVP接口或HDMI接口12及CMOS摄像头11，DVP接口或HDMI接口12连接CMOS摄像头11。所述摄像头解码模块1完成对CMOS摄像头输入视频流的解码和数据拼接整合，得到具有RGB565数据格式和行场同步信号的标准RGB视频流时序。
所述DDR3存储读写控制模块2包括DDR3芯片22、FPGA芯片内的DDR3输入FIFO 21及FPGA芯片内的DDR3输出FIFO 23，DDR3输入FIFO 21与DDR3芯片22相连接，DDR3输出FIFO 23与DDR3芯片21相连接。该模块驱动DDR3芯片，保证DDR3芯片在读写时，地址总线、数据总线信号的时序精准无误。将DDR3芯片的内部空间划分为256份，每一份的大小为32Mbits空间，每一份用于存储1帧画面。
所述BRAM存储读写控制模块3包括FPGA芯片内的BRAM 31、FPGA芯片内的BRAM输出FIFO 32。该模块控制从DDR3存储读写控制模块中读取3行像素缓存到BRAM中，BRAM共缓存3行像素数据，为Scaler算法处理模块4提供乒乓读取功能。同时该模块控制从Scaler算法处理模块4中读取待输出的像素值，存入BRAM输出FIFO 32中。
所述Scaler算法处理模块4包括FPGA芯片内的Scaler算法电路41及矩阵按键42，Scaler算法电路41与矩阵按键42相连接。该模块读取用户通过按键输入的参数，并实时调整画面在显示屏上的分辨率和显示方位。Scaler算法电路41采用双线性插值算法。将从BRAM存储读写控制模块3中读取的四个像素点进行线性加权求和，求出目标像素点的值，并写入BRAM输出FIFO 32中，供视频流输出模块5读取显示。
所述视频流输出模块5包括显示屏51、FPGA芯片上的VGA接口或FPGA芯片上的HDMI接口52，显示屏51与VGA接口或HDMI接口52相连接。该模块读取终端显示屏的DDC，确定显示屏的最佳显示分辨率。从BRAM输出FIFO 32中读取算法处理完的像素点，并按照显示屏的行场同步时序输出相应坐标点的像素值，形成稳定显示的画面。
本发明的核心算法在于Scaler算法电路41所采用的双线性插值算法。Scaler算法电路41实时读取矩阵按键42，得到用户输入的参数：显示起始横坐标X0、显示起始纵坐标Y0、显示长度L、显示宽度H。当BRAM输出FIFO 32中的数据量少于一半时，BRAM输出FIFO 32对Scaler算法电路41发出计算请求。Scaler算法电路41收到计算请求后，开始执行算法，先根据显示屏坐标的映射公式：(x，y)→(x*A，y*B)，得到待求坐标点(x0，y0)映射后的坐标点(x0*A，y0*B)。其中，A与B分别为视频源分辨率的长与宽。之后根据视频源坐标的映射公式：(u，v)→(u*L，v*H)，找到满足以下不等式组的(u0，v0)：
之后，Scaler算法电路41依次从BRAM 31中读取坐标为(u0，v0)、(u0，v0+1)、(u0+1，v0)和(u0+1，v0+1)的四个像素值：P(u0，v0)、P(u0，v0+1)、P(u0+1，v0)和P(u0+1，v0+1)，再根据双线性插值公式：
P(x0，y0)＝[P(u0，v0)+P(u0，v0+1)+P(u0+1，v0)+P(u0+1，v0+1)]/4计算得到目标点的像素值P(x0，y0)，最后将该像素值存入BRAM输出FIFO 32中，并更新待求坐标点为(x0+1，y0)。
本发明的工作过程如下：
FPGA开发平台上电后，进行初始化，读取终端显示设备的DDC，用户通过按键设置目标显示分辨率与方位。摄像头解码模块1、DDR3存储读写控制模块2、BRAM存储读写控制模块3、Scaler算法处理模块4、视频流输出模块5及时钟模块6开始正常工作。
当CMOS摄像头11采集到视频图像后，把视频流传给DVP接口或HDMI接口12。摄像头解码模块1对DVP格式或HDMI格式视频流进行解码，将其转换为RGB565色彩信号与行场同步时序信号HS、VS，同时根据行场同步信号计算出RGB色彩有效信号DE与RGB色彩对应的显示坐标点x、y，一并发送给DDR3存储读写控制模块2中的DDR3输入FIFO 21。
DDR3存储读写控制模块2接收到RGB565、HS、VS、DE、x与y信号后，将RGB565数据存入异步DDR3输入FIFO 21中进行缓存。DDR3输入FIFO 21的写时钟频率为24MHz，读时钟频率为100Mhz，存储空间为8kbits，可以存储512个16位的RGB565数据。同时DDR3输入FIFO 21还对输入数据进行位宽转变，在输入端每1个时钟周期向FIFO内写入1个16位的RGB565数据，在输出端每1个时钟周期一次性读出16个数据，拼接成1个256位的数据，传给DDR3芯片22，DDR3芯片22一次写入或读出256位数据。
DDR3存储读写控制模块2继续完成对DDR3芯片22的读写状态操控，整个DDR3状态机工作在100MHz频率下，DDR3芯片22的读写吞吐量高达3.2GBps。将DDR3芯片22的内部总空间1GBytes，划分为256片，每一片的大小为4MBytes空间，每一份用于存储1帧画面。DDR3状态机的跳转过程如下：DDR3芯片22先从DDR3输入FIFO 21中读取完整的一帧画面，存储到第一片地址空间中，之后从第一片地址空间中按顺序读出数据存储到DDR3输出FIFO 23中，直到DDR3输出FIFO 23中的数据量达到一半，完成状态机初始化，状态机进入空闲模式。之后每当DDR3输出FIFO 23中的数据少于一半时，DDR3芯片22立刻进入读取模式，从上次读完之后的地址开始，读取一半DDR3输出FIFO 23的数据量，存入DDR3输出FIFO 23中。当DDR3输入FIFO 21中又有新的数据可以读取后，DDR3芯片22进入写数据模式，从DDR3输入FIFO 21中读出新的数据，接着上次写入的地址，或者上次刚好写完一帧完整图像，则跳转到下一片地址空间，继续写入新的数据。由于DDR3芯片22不能同时读写，因此状态机设计中，读状态优先级高于写状态，读地址永远落后于写地址一片地址空间。
DDR3存储读写控制模块2中的DDR3输出FIFO 23用于缓存DDR3芯片22中读取出的数据。DDR3输出FIFO 23的读写时钟频率均为100Mhz，存储空间为8kbits，可以存储32个256位的DDR3芯片22输出数据。同时DDR3输出FIFO 23还对数据进行位宽转变，在输入端每1个时钟周期DDR3向FIFO内写入1个256位的DDR3数据，在输出端按照由高位到低位的顺序拆分256位DDR3数据，每1个时钟周期读出1个16位RGB565数据，供给后续BRAM存储读写控制模块3。
BRAM存储读写控制模块3中的BRAM 31大小为37.5kbits，用于存储恰好3行RGB565数据。该模块先从DDR3输出FIFO 23中读取2行RGB565数据存入BRAM 31前2行中，完成对BRAM的初始化。由于Scaler算法处理模块4同时需要读取两行数据，因此在Scaler算法处理模块4读取第1、2行数据时，BRAM 31完成对第3行数据的填充；在Scaler算法处理模块4读取第2、3行数据时，BRAM 31完成对第1行数据的填充；在Scaler算法处理模块4读取第3、1行数据时，BRAM 31完成对第2行数据的填充，以此实现3行数据存取的乒乓操作。
Scaler算法处理模块4实现本发明的核心算法双线性插值算法。该模块首先通过矩阵按键42读取用户输入的参数：L、H、X0、Y0。由于输入图像的分辨率为800*480，当目标输出图像的分辨率为L*H，需要求坐标为(x,y)的像素值时，需要用到(x*800/L,y*480/H)、(x*800/L+1,y*480/H)、(x*800/L,y*480/H+1)、(x*800/L+1,y*480/H+1)四个原始坐标点的像素值进行加权求平均，因此Scaler算法处理模块4以400Mhz的工作频率，每次从BRAM 31的两行有效数据中取出4个需要的坐标点，进行加权求平均，计算出目标点的像素值，输出到BRAM输出FIFO 32中。
最后，视频流输出模块5从BRAM输出FIFO 32中读取算法处理完的像素点，并按照显示屏51的行场同步时序，通过VGA或HDMI接口52输出相应坐标点的像素值，形成稳定显示的画面。
实施例
参阅图1，本实施例包括：摄像头解码模块1、DDR3存储读写控制模块2、BRAM存储读写控制模块3、Scaler算法处理模块4、视频流输出模块5、时钟模块6。其中，DVP接口或MIPI接口12、DDR3输入FIFO21、DDR3输出FIFO23、BRAM31、BRAM输出FIFO32、Scaler算法电路41、VGA或HDMI接口52与锁相环62均是使用FPGA芯片7内部逻辑资源设计的电路。
摄像头解码模块1与DDR3存储读写控制模块2及时钟模块6相连。
DDR3存储读写控制模块2与摄像头解码模块1、BRAM存储读写控制模块3及时钟模块6相连。
BRAM存储读写控制模块3与DDR3存储读写控制模块2、Scaler算法处理模块4、视频流输出模块5及时钟模块6相连。
Scaler算法处理模块4与BRAM存储读写控制模块3及时钟模块6相连。
视频流输出模块5与BRAM存储读写控制模块3及时钟模块6相连。
时钟模块6与摄像头解码模块1、DDR3存储读写控制模块2、BRAM存储读写控制模块3、Scaler算法处理模块4及视频流输出模块5相连。
本实施例的摄像头解码模块1包括DVP接口或MIPI接口12连接CMOS摄像头11。摄像头解码模块1完成对CMOS摄像头11输入视频流的解码和数据拼接整合，得到具有RGB565数据格式和行场同步信号的标准RGB视频流时序。
本发实施例的DDR3存储读写控制模块2包括DDR3输入FIFO21、DDR3芯片22、DDR3输出FIFO23。DDR3芯片22与DDR3输入FIFO21及DDR3输出FIFO23连接。将DDR3芯片22的内部空间划分为256份，每一份的大小为32Mbits空间，每一份用于存储1帧画面。
本实施例的BRAM存储读写控制模块3包括BRAM31、BRAM输出缓存FIFO32。BRAM存储读写控制模块3从DDR3输出FIFO23中读取三行像素缓存到BRAM31中，BRAM31共缓存三行像素数据，为Scaler算法处理模块4提供乒乓读取功能。同时BRAM存储读写控制模块3从Scaler算法电路41中读取待输出的像素值，写入BRAM输出FIFO32中。
本实施例的Scaler算法处理模块4包括Scaler算法电路41及矩阵按键42。Scaler算法电路41实时扫描矩阵按键42的键值，获取用户输入参数。同时采用双线性插值算法，将从BRAM31中读取的四个像素点进行线性加权求和，求出目标像素点的值，并写入BRAM输出FIFO32中，供视频流输出模块5读取显示。
本实施例的视频流输出模块5包括VGA或HDMI接口52及显示屏51，显示屏51与VGA或HDMI接口52相连。视频流输出模块5从BRAM输出FIFO32中读取算法处理完的像素点，并按照目标显示屏51的行场同步时序输出相应坐标点的像素值，形成稳定显示的画面。
本实施例的时钟模块6包括晶体振荡器61及锁相环62。锁相环62对晶体振荡器61提供的100M差分时钟源进行分频和倍频，为其余各模块供给参考时钟源。
参阅图2，本实施例是这样工作的：
装置上电后，进行初始化，摄像头解码模块1、DDR3存储读写控制模块2、BRAM存储读写控制模块3、Scaler算法处理模块4、视频流输出模块5、时钟模块6开始正常工作。锁相环62开始对晶体振荡器61提供的100M差分时钟源进行分频和倍频，为其余各模块供给参考时钟源。视频流输出模块5读取显示屏51的DDC，并由用户通过矩阵按键42设置目标显示分辨率与方位。
当CMOS摄像头11采集到视频图像后，把视频流传给DVP接口或MIPI接口12。摄像头解码模块1完成对DVP格式或HDMI格式视频流的解码后，将解码得到的RGB565视频流发送给DDR3存储读写控制模块2中的DDR3输入FIFO21。
DDR3存储读写控制模块2接收到RGB565视频流后，将RGB565数据存入DDR3输入FIFO21中进行缓存。同时DDR3输入FIFO21对输入数据进行位宽转变，16bits转256bits，之后传给DDR3芯片22。DDR3存储读写控制模块2中的DDR3输出FIFO23从DDR3芯片22中读取出的数据。同时DDR3输出FIFO 23对数据进行位宽转变，256bits转为16bits，供给后续BRAM存储读写控制模块3。
BRAM存储读写控制模块3从DDR3输出FIFO 23中读取2行RGB565数据存入BRAM31前2行中，完成对BRAM31的初始化。由于Scaler算法处理模块4同时需要读取两行数据，因此在Scaler算法处理模块4读取第1、2行数据时，BRAM31完成对第3行数据的填充；在Scaler算法处理模块4读取第2、3行数据时，BRAM31完成对第1行数据的填充；在Scaler算法处理模块4读取第3、1行数据时，BRAM31完成对第2行数据的填充，以此实现3行数据存取的乒乓操作。
Scaler算法处理模块4实现本实施例的核心算法双线性插值算法。Scaler算法电路41实时扫描矩阵按键42的键值，获取用户输入参数。Scaler算法电路41每次从BRAM31的两行有效数据中取出4个需要的坐标点，根据用户输入参数的需求，进行加权求平均，计算出目标点的像素值，写入BRAM存储读写控制模块3中的BRAM输出FIFO32里。
最后，视频流输出模块5从BRAM输出FIFO32中读取算法处理完的像素点，并按照显示屏51的行场同步时序，通过VGA或HDMI接口52输出相应坐标点的像素值，形成稳定显示的画面。
至此，本实施例完成了实时视频流的分辨率与终端显示器的分辨率自适应调整的功能，能够实时、高效地将视频流的分辨率放大、缩小任意倍数，并稳定、清晰地显示在终端显示屏的任意目标位置。
Claims (6)
1.一种视频图像分辨率自适应转换装置，其特征在于：该装置包括摄像头解码模块、DDR3存储读写控制模块、BRAM存储读写控制模块、Scaler算法处理模块、视频流输出模块以及时钟模块，所述摄像头解码模块与DDR3存储读写控制模块及时钟模块相连；所述DDR3存储读写控制模块与摄像头解码模块、BRAM存储读写控制模块及时钟模块相连；所述BRAM存储读写控制模块与DDR3存储读写控制模块、Scaler算法处理模块、视频流输出模块及时钟模块相连；所述Scaler算法处理模块与BRAM存储读写控制模块及时钟模块相连；所述视频流输出模块与BRAM存储读写控制模块及时钟模块相连；所述时钟模块与摄像头解码模块、DDR3存储读写控制模块、BRAM存储读写控制模块、Scaler算法处理模块及视频流输出模块相连；其中，所述摄像头解码模块包括CMOS摄像头、FPGA芯片上的DVP接口或MIPI接口；所述DDR3存储读写控制模块包括DDR3芯片、FPGA芯片内的DDR3输入FIFO及FPGA芯片内的DDR3输出FIFO；所述BRAM存储读写控制模块包括FPGA芯片内的BRAM及FPGA芯片内的BRAM输出FIFO；所述Scaler算法处理模块包括FPGA芯片内的Scaler算法电路及矩阵按键；所述视频流输出模块包括显示屏及FPGA芯片上的VGA接口或HDMI接口；所述时钟模块包括晶体振荡器及FPGA芯片内的锁相环；其中，DVP接口或MIPI接口、DDR3输入FIFO、DDR3输出FIFO、BRAM、BRAM输出FIFO、Scaler算法电路、VGA接口或HDMI接口与锁相环均是FPGA芯片内部的电路；
所述Scaler算法处理模块的Scaler算法电路与矩阵按键、BRAM、BRAM输出FIFO、锁相环相连接；所述Scaler算法电路实现Scaler算法，进行图像的插值；
Scaler算法电路实时读取矩阵按键，得到用户输入的参数：显示起始横坐标X0、显示起始纵坐标Y0、显示长度L、显示宽度H；当BRAM输出FIFO中的数据量少于一半时，BRAM输出FIFO对Scaler算法电路发出计算请求；Scaler算法电路收到计算请求后，开始执行算法，先根据显示屏坐标的映射公式：(x，y)→(x*A，y*B)，得到待求坐标点(x0，y0)映射后的坐标点(x0*A，y0*B)；其中，A与B分别为视频源分辨率的长与宽；之后根据视频源坐标的映射公式：(u，v)→(u*L，v*H)，找到满足以下不等式组的(u0，v0)：
之后，Scaler算法电路依次从BRAM中读取坐标为(u0，v0)、(u0，v0+1)、(u0+1，v0)和(u0+1，v0+1)的四个像素值：P(u0，v0)、P(u0，v0+1)、P(u0+1，v0)和P(u0+1，v0+1)，再根据双线性插值公式：
P(x0，y0)＝[P(u0，v0)+P(u0，v0+1)+P(u0+1，v0)+P(u0+1，v0+1)]/4
计算得到目标点的像素值P(x0，y0)，最后将该像素值存入BRAM输出FIFO中，并更新待求坐标点为(x0+1，y0)。
2.根据权利要求1所述的一种视频图像分辨率自适应转换装置，其特征在于：所述摄像头解码模块的DVP接口或MIPI接口与CMOS摄像头、锁相环及DDR3输入FIFO相连接。
3.根据权利要求1所述的一种视频图像分辨率自适应转换装置，其特征在于：所述DDR3存储读写控制模块的DDR3输入FIFO与DDR3芯片、DVP接口或MIPI接口及锁相环相连接；DDR3芯片与DDR3输入FIFO及DDR3输出FIFO相连接；DDR3输出FIFO与DDR3芯片、BRAM及锁相环相连接；DDR3存储读写控制模块提供高速帧缓存。
4.根据权利要求1所述的一种视频图像分辨率自适应转换装置，其特征在于：所述BRAM存储读写控制模块的BRAM与DDR3输出FIFO、Scaler算法电路及锁相环相连接；BRAM输出FIFO与Scaler算法电路、VGA接口或HDMI接口及锁相环相连接；BRAM存储读写控制模块实现三行像素点的二级缓存，为Scaler算法处理模块提供精准的原始像素点。
5.根据权利要求1所述的一种视频图像分辨率自适应转换装置，其特征在于：所述视频流输出模块的VGA接口或HDMI接口与显示屏、BRAM输出FIFO及锁相环相连接。
6.根据权利要求1所述的一种视频图像分辨率自适应转换装置，其特征在于：所述时钟模块的锁相环与晶体振荡器、DVP接口或MIPI接口、DDR3输入FIFO、DDR3输出FIFO、BRAM、BRAM输出FIFO、Scaler算法电路及VGA接口或HDMI接口相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380813.2A CN115002304B (zh) | 2022-04-12 | 2022-04-12 | 一种视频图像分辨率自适应转换装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380813.2A CN115002304B (zh) | 2022-04-12 | 2022-04-12 | 一种视频图像分辨率自适应转换装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115002304A CN115002304A (zh) | 2022-09-02 |
| CN115002304B true CN115002304B (zh) | 2024-03-22 |
Family
ID=83023957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210380813.2A Active CN115002304B (zh) | 2022-04-12 | 2022-04-12 | 一种视频图像分辨率自适应转换装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115002304B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116320248B (zh) * | 2023-05-18 | 2023-08-29 | 深圳曦华科技有限公司 | 存储芯片共享***、方法、相关装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010090113A (ko) * | 2000-03-23 | 2001-10-18 | 김효근 | 2차원의 고해상도 영상 획득 방법 및 장치 |
| CN104717485A (zh) * | 2015-03-26 | 2015-06-17 | 金陵科技学院 | 一种基于fpga的vga接口裸眼3d显示*** |
| CN105049826A (zh) * | 2015-07-23 | 2015-11-11 | 南京大学 | 基于fpga的实时立体视频融合转换方法 |
| WO2018076402A1 (zh) * | 2016-10-26 | 2018-05-03 | 昆山软龙格自动化技术有限公司 | 多帧缓存双摄同测测试卡 |
| CN109587421A (zh) * | 2018-12-10 | 2019-04-05 | 南京威翔科技有限公司 | 一种hd-sdi/3g-sdi收发及实时画中画切换输出处理方法 |
| WO2019103240A1 (ko) * | 2017-11-21 | 2019-05-31 | (주)루먼텍 | Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108924621B (zh) * | 2018-07-12 | 2019-10-29 | 深圳创维－Rgb电子有限公司 | 显示方法、装置以及电视机、存储介质 |
-
2022
- 2022-04-12 CN CN202210380813.2A patent/CN115002304B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010090113A (ko) * | 2000-03-23 | 2001-10-18 | 김효근 | 2차원의 고해상도 영상 획득 방법 및 장치 |
| CN104717485A (zh) * | 2015-03-26 | 2015-06-17 | 金陵科技学院 | 一种基于fpga的vga接口裸眼3d显示*** |
| CN105049826A (zh) * | 2015-07-23 | 2015-11-11 | 南京大学 | 基于fpga的实时立体视频融合转换方法 |
| WO2018076402A1 (zh) * | 2016-10-26 | 2018-05-03 | 昆山软龙格自动化技术有限公司 | 多帧缓存双摄同测测试卡 |
| WO2019103240A1 (ko) * | 2017-11-21 | 2019-05-31 | (주)루먼텍 | Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법 |
| CN109587421A (zh) * | 2018-12-10 | 2019-04-05 | 南京威翔科技有限公司 | 一种hd-sdi/3g-sdi收发及实时画中画切换输出处理方法 |
Non-Patent Citations (10)
| Title |
|---|
| A novel control method for horizontal and vertical scaler in the arbitrary resolution LCD panel;Yuan-Hao Huang;IEEE;全文 * |
| Development and Optimization of the Tb3+/Ce3+ co-doped Gd2O3 Scintillation Glass Fiber Faceplate for Cold Neutron Microscope;Li Deyuan;IEEE;全文 * |
| 基于FPGA 的ARM 图像扩展显示;黄俊;《计算机技术与应用》;131-137 * |
| 基于ＦＰＧＡ的视频格式转换***设计;刘一清;中国有线电视;31-35 * |
| 基于FPGA的视频源无缝切换***设计;周家耀;张俊杰;李正璇;;电子测量技术(第15期);全文 * |
| 基于FPGA的非VESA标准视频信号转换显示***的设计;赵钱;章鹏;曹允;窦亮;;光电子技术(第04期);全文 * |
| 基于双线性插值算法的缩放IP核设计;邹学瑜;刘昌禄;胡敬营;;计算技术与自动化(第01期);全文 * |
| 李蒙胜.高斯－拉普拉斯金字塔法重建多分辨率锥束ＣＴ 三维图像.核电子学与探测技术.2022,50-56. * |
| 视频缩放在FPGA中的应用和实现;张梁;王景存;梅镖;;电子技术应用(第06期);全文 * |
| 高速CMOS图像存储与实时显示***设计;马林;李锦明;张虎威;侯天喜;降帅;;电子技术应用(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115002304A (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8619085B2 (en) | Method and system for compressing tile lists used for 3D rendering | |
| CN104616243B (zh) | 一种高效的gpu三维视频融合绘制方法 | |
| CN101000755B (zh) | 多屏显示拼接控制器 | |
| US9471955B2 (en) | Multiple display pipelines driving a divided display | |
| US20110221743A1 (en) | Method And System For Controlling A 3D Processor Using A Control List In Memory | |
| CN110996170B (zh) | 视频文件播放方法及相关设备 | |
| KR20090092840A (ko) | 비디오 처리 | |
| KR20070041507A (ko) | 이미지 프레임들의 시퀀스를 디스플레이하기 위한 방법 및시스템 | |
| CN112862659B (zh) | 借助于合成器生成一系列帧方法和装置 | |
| US20090225224A1 (en) | System and method for processing a television picture-out-picture | |
| CN115002304B (zh) | 一种视频图像分辨率自适应转换装置 | |
| US10672367B2 (en) | Providing data to a display in data processing systems | |
| CN114302092A (zh) | 独显插帧电路、方法、装置、芯片、电子设备及介质 | |
| CN114613306A (zh) | 显示控制芯片、显示面板及相关设备、方法和装置 | |
| CN200983644Y (zh) | 多屏显示拼接控制装置 | |
| KR20070063580A (ko) | 비디오 처리 | |
| Berekovic et al. | Architecture of a coprocessor module for image compositing | |
| EP1141892A1 (en) | Method and apparatus for stretch blitting using a 3d pipeline | |
| JP2003348447A (ja) | 画像出力装置 | |
| JP2012028997A (ja) | 画像処理装置およびカメラ | |
| US8704834B2 (en) | Synchronization of video input data streams and video output data streams | |
| CN115511709A (zh) | 一种自适应的超分辨率图像采样*** | |
| JP4735572B2 (ja) | 画像データ符号化装置、画像データ復号化装置、画像処理装置及び電子機器 | |
| JP5157419B2 (ja) | 画像処理装置、画像処理方法及び電子機器 | |
| JP2005322233A (ja) | 大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |