CN107659800A - 一种dmd高帧频高分辨率同步动态显示*** - Google Patents
一种dmd高帧频高分辨率同步动态显示*** Download PDFInfo
- Publication number
- CN107659800A CN107659800A CN201710692977.8A CN201710692977A CN107659800A CN 107659800 A CN107659800 A CN 107659800A CN 201710692977 A CN201710692977 A CN 201710692977A CN 107659800 A CN107659800 A CN 107659800A
- Authority
- CN
- China
- Prior art keywords
- dmd
- frame frequency
- data
- view data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明涉及一种DMD高帧频高分辨率同步动态显示***,包括:上位机、接口模块、控制模块、数字微镜器件;所述上位机连接所述接口模块,用于发送特定帧频的图像数据;所述接口模块连接所述控制模块,用于接收所述特定帧频的图像数据,并对所述图像数据进行解码;所述控制模块连接所述数字微镜器件,用于对解码后的图像数据进行灰度调制和格式转换处理,以满足所述数字微镜器件的显示帧频和显示格式,并将处理后的图像数据加载到所述数字微镜器件;所述数字微镜器件用于显示所述处理后的图像数据。本发明能够实现高帧率、实时传输、高分辨率显示,弥补了国内在半实物仿真领域缺少能够利用DMD对高帧频、高灰度等级图像进行实时显示的缺陷。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种DMD高帧频高分辨率同 步动态显示***。
背景技术
数字微镜投影***是一种基于微机电结构的反射式光空间调制器,它 的核心器件是TI公司生产的DMD(Digital Micromirror Device数字微镜器 件)。DMD是一个由微反射镜组成的微镜阵列,每个微镜代表一个像素, 通过控制微镜的翻转来通断光源向外的辐射。该器件目前广泛应用于采用 DLP技术的投影仪中,在可见光投影方面发展较为迅速。通过更换DMD 微镜的透射窗口也可以用于红外投影领域,无论应用于哪个光辐射波段, DMD微镜的控制原理都是一样的,并且国内在DMD的购买上也没有太多 限制,这给其在军事领域的应用开始提供了极大的便利。相比于其它红外 场景生成***,DMD具有图像分辨率高、均匀性好、几何形变小、帧频高、 能量集中等优点。
上海技术物理研究所、哈尔滨工业大学、兵器211所等研究单位都在 对DMD进行换窗的基础上研制出了相应的红外图像投影***。其中哈工大 的康为民等人于2008年研制的DMD红外动态景象模拟器分辨率为 800×600,灰度等级8bit,帧频为60Hz,温度分辨等级为0.1℃,图像无闪 烁(参看“康为民,李延彬,高伟志.数字微镜阵列红外动态景象模拟器的研 制[J].红外与激光工程,2008,(05):753-756”);哈工大的任国涛研制的基于 DMD的可见光成像制导仿真***,帧频可达60Hz(参看“任国焘.基于DMD的可见光成像制导仿真***设计[D].哈尔滨工业大学,2016.”)。西北 工业大学的张凯、马骏等人于2011年研制的基于DMD的红外动态目标模 拟器分辨率为1024×768,图像同样为灰度等级8bit,帧频10-100连续可调 (参看“张凯,马骏,孙嗣良.红外动态目标模拟器驱动及控制***设计[J]. 激光与红外,2011,(01):58-62.”、“梁勇,赵晓蓓,马骏,李少毅,孙力.基于DMD 的红外场景仿真器硬件***设计[J].红外技术,2011,(12):683-686.”)。兵器 211所研制的红外投影***分辨率为1024×768,帧频达到了100Hz。中国 空空导弹研究院张二磊、祁鸣等人研制的基于DMD的红外场景模拟器帧频 同样为100Hz,能量对比度达到了91:1(参看“张二磊,祁鸣.基于DMD的 动态红外场景生成***[J].电子科技,2011,(07):140-143.”)。
然而,现有技术的方案存在以下缺点:1、现有的DMD进行高灰度图 像显示的帧频不高。简单的对DMD微镜进行开关操作只能表达出一幅二值 图像,要想单片DMD能够显示出灰度图像,就需要对DMD进行灰度调制。 传统的灰度调制算法,在8bit等高灰度图像的显示过程中,帧频很难提升 150Hz以上,不能满足高帧率的要求。2、DMD的图像显示缺乏实时性。目前国内在基于DMD的场景模拟器的研制中,对超过200Hz帧频的高帧 频、高灰度图像进行投影显示的过程中,其图像数据多是预先经过转换缓 存起来,并不是从上位机同步传输的,DMD投射的红外场景并不是对上位 机所模拟场景的实时显示。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种能够实现高 帧率、实时传输显示的DMD高帧频高分辨率同步动态显示***。
为了实现上述发明目的,本发明采用的技术方案是:
一种DMD高帧频高分辨率同步动态显示***,包括:上位机、接口模 块、控制模块、数字微镜器件;
所述上位机连接所述接口模块,用于发送特定帧频的图像数据;
所述接口模块连接所述控制模块,用于接收所述特定帧频的图像数据, 并对所述图像数据进行解码;
所述控制模块连接所述数字微镜器件,用于对解码后的图像数据进行 灰度调制和格式转换处理,以满足所述数字微镜器件的显示帧频和显示格 式,并将处理后的图像数据加载到所述数字微镜器件;
所述数字微镜器件用于显示所述处理后的图像数据。
进一步地,所述控制模块包括控制处理器、DMD驱动单元、存储单元;
所述控制处理器用于对所述解码后的图像数据进行灰度调制,将调制 后的灰度值图像转换为位平面图像;
所述DMD驱动单元连接所述控制处理器,用于将所述位平面图像加载 到所述数字微镜器件;
所述存储单元连接所述控制处理器,用于存储所述解码后的图像数据、 所述多灰度值图像数据、所述位平面图像数据中的至少一种。
进一步地,所述灰度调制算法为PWM算法。
进一步地,所述存储单元包括至少两个子空间,每个所述子空间包括 多个位平面空间,其中,所述位平面空间数根据像素数据的位宽确定。
进一步地,还包括显示器,所述显示器连接所述接口模块;
所述控制模块还用于对所述解码后的图像数据进行降帧处理,将所述 降帧处理的图像数据通过所述接口模块发送到显示器;
所述显示器用于显示所述降帧处理的图像数据。
进一步地,所述控制处理器为FPGA。
进一步地,所述存储单元为DDR2 SDRAM高速存储器。
进一步地,所述接口模块包括DVI接口和HDMI接口。
本发明实施例,弥补了国内在半实物仿真领域缺少能够利用DMD对高 帧频、高灰度等级图像进行实时显示的缺陷。首先对传统的PWM算法进行 了优化,使得DMD能够显示8bit灰度图像的帧频达到200Hz以上。然后 提出了基于DDR2 SDRAM的分块存储的数据缓存方式,解决了DMD在进 行高帧频动态图的像格式转换和灰度调制过程中的数据缓存问题。最终实 现了DMD实时显示XGA分辨率、8bit灰度图像,帧频高达200Hz的设计 目标。
附图说明
图1为本发明的DMD高帧频高分辨率同步动态显示***模块框图。
图2为本发明的控制模块的模块框图。
图3为本发明一个具体实施方式中的DMD高帧频高分辨率同步动态显 示***硬件结构图。
图4为本发明实施例中的DMD连续加载过程中的时间关系图。
图5为本发明实施例中的传统PWM算法时序关系图。
图6为本发明实施例中的清零复位法的操作流程图。
图7为本发明实施例中的清零复位法时序关系图。
图8为“像素包”格式转换为“位平面”格式的格式转换示意图。
图9为本发明的分块存储的DDR2 SDRAM的存储空间划分示意图。
图10为本发明的分块缓存的数据流向示意图。
图11为本发明的并串转换示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理 解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实 现的技术均属于本发明的范围。
实施例一
本实施例以图像灰度等级8bit,显示帧频200Hz为例进行说明。
图1为本发明的DMD高帧频高分辨率同步动态显示***模块框图,包 括:上位机1、接口模块2、控制模块3、数字微镜器件4;
所述上位机1连接所述接口模块2,用于发送特定帧频的图像数据;
所述接口模块2连接所述控制模块3,用于接收所述特定帧频的图像数 据,并对所述图像数据进行解码;
所述控制模块3连接所述数字微镜器件4,用于对解码后的图像数据进 行灰度调制和格式转换处理,以满足所述数字微镜器件4的显示帧频和显 示格式,并将处理后的图像数据加载到所述数字微镜器件4;
所述数字微镜器件4用于显示所述处理后的图像数据。
参看图2,所述控制模块3包括控制处理器31、DMD驱动单元32、存 储单元33;
所述控制处理器31用于对所述解码后的图像数据进行灰度调制,将调 制后的灰度值图像转换为位平面图像;
所述DMD驱动单元32连接所述控制处理器31,用于将所述位平面图 像加载到所述数字微镜器4件;
所述存储单元33连接所述控制处理器31,用于存储所述解码后的图像 数据、所述多灰度值图像数据、所述位平面图像数据中的至少一种。
所述存储单元包括至少两个子空间,每个所述子空间包括多个位平面 空间,其中,所述位平面空间数根据像素数据的位宽确定。其中,像素数 据即为待存储的图像灰度值的位宽。在本实施例中以图像灰度等级8bit为 例,因此位平面空间数即为8个。
首先介绍本发明的硬件组成。本发明硬件部分按照功能划分,可分为 数据传输和***控制两个模块。数据传输的内容主要包含图像信号和与其 同步的控制信号,数据通道存在于上位机、DMD以及显示器与控制核心 FPGA之间,***控制部分主要负责实现DMD灰度调制算法以及控制DMD 进行准确显示。本实施例中,本发明硬件***框图如图3所示。
控制模块的核心控制处理器为FPGA(Field-Programmable Gate Array 现场可编程门阵列);接口模块具有HDMI(High Definition Multimedia Interface高清晰度多媒体接口)和DVI(Digital Visual Interface数字视频接 口)dual link两种数据传输接口,用于满足不同的数据传输需求。
具体的,接口模块主要负责接收上位机的高频实时图像,并向显示器 输出一路经过降帧的低频图像。本发明的上位机传输的实时图像帧频高达 200Hz,以上位机NVIDIA显卡输出的VESA(Video Electronics Standards Association视频电子标准协会)时序进行计算,像素时钟为250MHz,即 使通过手动自定义时序来降低像素时钟,单考虑到时序的稳定性,像素时 钟也不会低于200MHz。因此接口必须支持超过200MHz像素时钟的图像的 传输。目前计算机的视频输出接口中,最常见的是DVI和HDMI,这两者 都是高带宽纯数字接口,并且各有特点。为了满足不同的应用需求,本发 明在接口模块的视频输入端设计了DVI和HDMI两种接口,用于接收上位 机图像。为了便于调试以及监视***的工作情况,本发明还设计了一路 HDMI输出接口,将其连接至显示器。
本发明的DMD高帧频高分辨率同步动态显示***在数据的输入端设 计了满足高带宽图像实时传输需求的高速视频传输接口模块。其中DVI双 链路接口和HDMI接口传输RGB 8bit图像的像素时钟最高可达300MHz, 支持传输XGA分辨率图像帧频可达200Hz以上。为了便于调试和监视*** 工作状况,接口板还添加了HDMI输出接口,连接至显示器。
根据上述设计方案,接口模块上设计了两路HDMI接口,一路作为输 入另一路作为输出。其中HDMI的输入芯片选用的是ADI公司的ADV7619, 该芯片支持HDMI1.4版本,图像颜色深度最高可达36bit。物理结构上, ADV7619同时支持两个接口输入,输出图像颜色深度24bit情况下,像素 时钟最高可达300MHz。ADV7619与FPGA之间数据传输,如果想要使像 素时钟达到300MHz,其数据传输时序与DVI双链路类似,同样采用奇数 和偶数像素分开传输的方式。这种方式虽然会导致数据总线位宽增加,占 用更多芯片IO(Input/Output输入/输出)管脚,但是数据的传输速率会降 低,有助于提升数据传输的稳定性。
对于HDMI输出芯片的选择,本发明采用了Silicon Image公司的 SiI9136-3,该芯片支持HDMI1.4版本,图像颜色深度最高支持48bit,像素 时钟同样最高支持300MHz。在RGB格式,24bit颜色深度情况下,这两款 芯片的数据格式都是R[23:16]、G[15:8]、B[7:0]。将RGB通道赋成相同的 值,那么显示器上就会出现灰度图像。以8bit灰度图像为例,在图像输入 的时候可以选用24bit通道的任意8bit作为有效数据输入位,在监视输出的 时候,可以将8bit数据分别给RGB三个通道赋值,输出给显示器。
在调试和工作过程中,需要用显示器监视算法输出结果。由于当前市 场上的显示器显示图像的最高帧频大多低于100Hz,而本***图像帧频为 200Hz,所以在监视图像输出的时候需要对图像进行降帧。为了简化逻辑, 本发明对图像进行了整数倍的降帧,将图像帧频降到50Hz。
经过降帧的图像,还是以VESA时序标准进行输出,由FPGA输出至 HDMI发送芯片SiI9136-3,在SiI9136-3内部,将FPGA发送来的数据编码 成适合接口高速传输的TMDS(Transition-minimized differential signaling最 小化传输差分信号)格式,送至显示器。在ADV7619和SiI9136-3工作之 前,还需要FPGA通过I2C(Inter-Integrated Circuit)总线(由时钟SCL 和数据总线SDA构成)对芯片进行配置,使其处于当前所需的工作模式。
具体的,控制模块是整个***的控制核心,主要负责DMD灰度调制算 法和视频图像降帧算法的实现以及DMD的显示驱动等工作。控制模块的核 心控制处理器为Xilinx公司的一款Virtex-5LX系列(XC5VLX50)FPGA, 外挂一个金士顿公司的DDR2 SDRAM(KTL-TP667/2G)高速存储器。控 制模块通过板对板高速接口(QTE-060-01)与接口模块相连,进行数据通 信。
上位机将图像由显卡以TMDS格式送至DVI和HDMI接口,图像数据 被DVI和HDMI解码芯片解码后通过QTE-060-01接口送至控制核心板的 FPGA。FPGA根据接收到的数据结合DDR2 SDRAM完成DMD灰度调制 和降帧算法的运算,并分别驱动DMD和HDMI编码芯片将算法结果输出 显示。
DMD的驱动指令被送至DMD芯片组中的DMD控制器DLPC410,由 DLPC410结合DMD驱动器DAD2000共同控制DMD进行显示。经过降帧 的图像数据按照VESA标准通过QTE-060-01接口被送至接口板的HDMI 编码芯片SII9136-3,SII9136-3在对图像数据进行编码后以TMDS格式送至 显示器进行显示。
对于DMD灰度显示算法,灰度是表示图像的一个重要指标,灰度等级 越高,图像层次越丰富,画面越柔和。对于一幅黑白图像而言,灰度等级 体现的是像素点由白到黑之间的亮度层次。人的视觉***对亮度强弱的判 断由多种因素决定,除了发光物体本身的亮度强弱之外,还与发光物体的 发光时间和发光面积有关。对于快速闪烁的发光体,人眼和探测器都会产 生一定的“视觉暂留”效应。利用这种“视觉暂留”效应,可以通过改变 发光体的点亮时间,达到产生不同灰度图像的目的,从而实现图像的灰度 调制。在一定距离外,对于非常弱小的发光体,通过改变点亮发光体的面 积,也可以达到改变视觉灰度的效果。DMD的两种工作状态“开”和“关”, 只代表了像素值的“0”和“1”,投影出来得到的是一幅二值图像,其灰 度位宽只有1bit。要想让DMD显示多bit灰度等级,需要对DMD进行灰 度调制。DMD主要基于时间和空间两方面进行灰度调制,所以其灰度调制 方式也主要可以分为空间灰度调制和时间灰度调制两类。
空间灰度调制优点是控制简单,单帧图像中,微镜不需要翻转,图像 的帧频可以达到很高。但是它又有不可避免的缺陷,首先像素单元分割成 的“子像素”个数有限,导致它不能显示较高的灰度。其次,它扩大像素 单元面积来提升灰度等级,导致图像的分辨率下降,在保持高分辨率的前 提下,现有规格DMD很难提升太多灰度等级。因此本发明采用时间灰度调 制。
具体的,本发明采用PWM(Pulse Width Modulation脉冲宽度调制) 算法进行灰度调制。
一般的,在本发明的技术领域中,分辨率大于1024×768,帧频1bit 32000hz以上,8bit实时同步可达到200hz以上,不实时同步可达到400hz 以上可以认为是高帧频、高分辨率。本发明的图像灰度要求为8bit,显示帧 频为200Hz,传统的PWM算法很难达到本发明的帧频要求,因此本发明提 供一种PWM优化算法。
由于限制DMD帧频的主要因素是DMD的数据加载和“复位”所消耗 的时间。而选用的DMD数据传输时钟最大为400Mhz,DMD完成一次完 整的数据更新,最少需要30.72us,接收“微镜定时脉冲”进行复位需要5us, 复位后还需要8us的微镜稳定时间,复位期间和微镜稳定时间内都不能加载 新的数据。图4所示为DMD连续加载过程中的时间关系。由图可知一个帧 显示的最小时间是30.72us+8us=38.72us。
如果采用传统PWM算法来显示8bit灰度的图像,需要将原图像分成8 个“位平面”,对DMD进行8次数据加载和“复位”,为了保证图像显示 的连续性,需要在当前位平面的显示时间内完成下一个位平面的数据加载 工作。所以“基本位平面”的显示时间t应当满足t≥38.72us。为了计算 8bit图像的极限帧频,这里假设t=38.72us。
DMD首先进行位平面0数据的加载,数据加载完毕后向DMD发送“微 镜定时脉冲”,使微镜复位并进入“微镜稳定时间”,等待微镜稳定后开 始位平面1数据的加载,这期间DMD显示的是位平面0的数据。位平面1 数据加载完成之后,位平面0的显示时间刚好结束,立刻向DMD发送“微 镜定时脉冲”使微镜复位,复位结束后进入位平面1的显示时间,这个时 间按照PWM算法原理,应当是2t((30.72us×2)us),这个时间足够完成 位平面2数据的加载。位平面1显示时间结束后,位平面2的数据加载早 已完成,立刻向DMD发送“微镜定时脉冲”使微镜复位,进入位平面2 的显示时间。以此类推在上一个位平面显示时间内完成下一个位平面的数 据加载工作,这样才能保证图像显示的连续性。传统PWM算法时序关系具 体如图5所示。
等待位平面7显示完成后,一幅8bit灰度图像的PWM调制才算结束。 整个过程,消耗时间tp1等于所有的位平面显示时间td和复位时间tr之和。其 计算方法为:
tp1=tr+td
=(5×8+255×38.72)us
=9913.6us
可得帧频为:
fp1=1/tp1=100.9Hz
通过分析可以得出,传统的PWM算法,8bit灰度图像帧频的显示极限 是100.9Hz,难以满足本发明的设计需求。所以必须在PWM算法的基础上 进行优化。
本发明采用清零复位法对PWM算法进行优化。
在全局复位的模式下,设定基本位平面的显示时间为t=18us,利用“块 清零”操作对整个DMD清零需要消耗0.64us。每次复位后需要等待8us的 微镜稳定时间,在此期间DMD不能进行数据更新。只有当位平面的显示时 间大于38.72us时,才能满足在当前位平面显示期间完成下一个位平面数据 的加载工作。否则,在位平面显示时间结束时,将微镜数据清零、复位, 使微镜处于关闭状态,图像显示处于消隐区。从位平面2开始,位平面显 示时间都会大于38.72us,所以只需在前两个位平面显示的时候进行“块清 零”操作。清零复位法的操作流程如图6所示。
图7所示为清零复位法的时序关系。首先向DMD加载位平面0的数据, 然后在其显示了17.36us时,向DMD所有块发送“块清零”操作,0.64us 后清零操作完成,接着向DMD发送“微镜定时脉冲”使其复位,此时DMD 位平面0的显示结束,DMD处于BLANK状态,显示全黑。微镜清零复位 后等待8us的微镜稳定时间,然向DMD加载位平面1的数据,同样耗时 30.72us,数据加载完毕后使DMD复位,DMD将会显示位平面1,位平面 1显示了35.36us后,同样对DMD所有块进行“块清零”操作。在DMD 的第二个BLANK区间内加载位平面2的数据,位平面2的显示时间是72us, 显示时间大于38.72us,所以后面的位平面显示过程中,不必再进行“块清零”操作。
清零复位法下,显示8bit图像所消耗的最小时间tp3计算式为:
tp3=tr+td
=(5×8+255×18+43.72×2)us
=4717.44us
帧频为:
fp3=1/tp3=211.9Hz
通过计算可得,采用复位清零法后,DMD显示8bit图像的帧频达到了 211.9Hz,满足设计需求。复位清零法,虽然会在低两位的数据显示过程中 出现短暂的BLANK区间,但是BLANK时间很短,占有效显示时间的3.5%, 所以对图像灰度精度的影响并不是很大,可以忽略不计。因此发明采用复 位清零法来作为DMD的8bit灰度调制算法。为了匹配上位机200Hz的图 像帧频,本发明在实现的过程中将基本位平面的显示时间设为19.11us。图 像显示时间tp4计算公式为:
tp4=tr+td
=(5×8+255×19.11+43.72×2)us
=5000.49us
极限帧频为:
fp4=1/tp4=200.0Hz
现有的PWM算法基本位平显示时间过长,限制了DMD显示高灰度图 像的帧频,本发明利用DMD的清零复位操作,对传统的PWM算法进行了 优化,将基本位平面时间降低到19.11us,使得图像帧频达到200Hz以上, 满足***的设计需求。
由于基于PWM算法的DMD的显示原理要求数据加载是以位平面的形 式,将一帧图像分成若干个位平面依次显示,位平面的个数决定了图像的 灰度等级。由于输入和输出图像的数据格式不同,这就需要在DMD显示之 前对接收到的上位机的图像进行格式转换,把基于VESA标准的“像素包” 格式的图像信号转换为适用于DMD显示的“位平面”格式的图像信号。
图8所示为格式转换的示意图。左侧为一个像素灰度值位宽为8bit,遵 循VESA时序的“像素包”格式的图像,经过格式转换得到8个位平面。 位平面0就相当于由原图像所有像素的最低位组合在一起所形成的一幅二 值图像,其它位平面本质上也是与原图像对应的“位”所组成的二值图像。
对图像进行格式转换就相当于对图像数据进行了一次重组,那么在数 据重组的过程中不可避免的就是需要对数据进行缓存。FPGA内部存在一定 的Block RAM,具有操作方便,可控性强,逻辑简单,读写稳定等特点, 非常适合做高速数据的缓存。但是Block RAM毕竟是FPGA的内嵌资源, 存储空间有限。如前所述,本发明的***在FPGA外部还有一块DDR2 SDRAM,它的容量足够,读写速率也很快,但是受限于FPGA硬核资源, 只挂载了一片DDR2 SDRAM,而且读写操作相对复杂,再加上PWM算法 的特殊性,使用外部存储器实现起来也有一定的难度。
本***要求实时处理的图像数据量为XGA@200Hz,图像灰度值位宽 8bit。对于接受到的上位机图像数据,首先要做的就是将其存储起来。在数 据的存储方式的实现上,一种处理办法是整体存储,直接将其存到一起, 需要输出的时候,按位的读取每个数据,这样对整个存储空间反复读取8 次可以得到8个对应的位平面。另一种办法是分块存储,首先对其进行拆 分,然后分开存储。每个位平面存到一个单独的存储空间。
采用整体存储时,由于DDR2 SDRAM数据总线的位宽为64bit,而像 素数据的位宽为8bit,如果存储器每次只存入8bit数据,会造成工作中数据 总线存在空闲的带宽浪费。为了充分利用存储器的传输带宽,在数据存储 之前,本发明对像素数据进行了串并转换,也就是数据合并。将连续的8 个像素合并为一个64bit数据,每8个像素进行一次写入,这样一帧图像一 共有98304个数据。在DMD进行数据加载的时候,需要得到的是位平面格 式的数据,而DDR2 SDRAM的读操作针对的是地址,每读取一个地址数 据都会得到一个DQ[63:0]。DQ[63:0]一共64bit数据,但是***并不是全部 都需要,所以必须进行数据选择。例如进行位平面0加载的时候,读到的DQ[63:0]中只有DQ[0]、DQ[8]、DQ[16]、DQ[24]、DQ[32]、DQ[40]、DQ[48]、 DQ[56]属于位平面0的前8个像素,其余的都是其他7个位平面的数据。 对于其他的位平面加载也存在相同情况。在一个完整的PWM算法时间内, 需要对整帧图像的存储空间读取8次,分别得到8个位平面。
由于在存储器读取过程中,每次得到的数据中存在56bit的无效数据, 这就造成了数据传输带宽的极大浪费,实际上数据传输带宽的有效利用率 只有12.5%。在该中操作方式下,若要满足DMD加载需求,需要DDR2 SDRAM的传输速率为98304÷30.72us=3.2GHz,这已经超出了DDR2 SDRAM的传输速率上限,即便目前最高等级的DDR4 SDRAM的数据传输速率也很难满足需求。所以整体存储虽然逻辑简单,但是在数据读取的时 候对DDR2 SDRAM传输带宽利用率过低。
为了解决上述方案数据传输带宽利用率过低的问题,本发明还提出了 数据分块存储的方式。采用分块存储的方式,需要在数据存储之前对数据 按位进行拆分,并在DDR2SDRAM内部对拆分后的数据分开存放。同样 为了充分利用DDR2 SDRAM的读写带宽,在数据写入之前,对于拆分后 的数据,同样需要进行串并转换,将连续的64个1bit数据合并成一个64bit 数据进行存读操作。为了保证数据处理的连续性,本发明采用乒乓存储的 方式,将整个存储器分成两个子空间,数据在向子空间1写入的过程中, 读取子空间2的上一帧数据,反过来数据向子空间2写入的过程中,读取 子空间1的上一帧数据,两个子空间交替读写保证数据处理的连续性。每 个子空间内部在又分成8个位平面空间。一个位平面包含1024×768×1bit 的数据,位平面空间的一个存储单元可以存放64bit数据,所以一个位平面 空间至少包含12288个存储单元。图9所示为分块存储情况下DDR2 SDRAM的存储空间划分。
DDR2 SDRAM数据传输的高峰同样是DMD数据加载的过程中,采用 分块存储的方式,由于将原始数据进行了分割重组,使得在DMD数据加载 的时候每次读取DDR2 SDRAM得到的全是有效数据,只需要读取12288 个地址就可以得到一个完整的位平面。这个过程中DDR2 SDRAM的数据 传输速率为12288÷30.72us=400MHz。这个速率小于DDR2 SDRAM数 据传输上限,所以分块存储的方式虽然实现起来逻辑复杂但是可以极大的 减小DDR2 SDRAM数据传输的带宽压力,因而本发明采用了分块存储来 作为PWM算法中的数据缓存的方式。其数据流向框图如图10所示。
首先对接收到的上位机传来的8bit数据的每一位分别进行串并转换, 这个过程可以用RAM实现。由于一个RAM的转换比最多可到1:32,所以 本发明使用了两级FIFO级联的方式,每级RAM的转换比分别为1:16和 1:4,两级级联的转换比为1:64。经过串并转换的数据应该送入DDR2 SDRAM,首先乒乓操作选择单元会对子空间进行选择,选择空闲的子空间将数据存进去,被选中的子空间内的8个位平面空间会被逐个访问,分8 次将第一次串并转换得到的8个64bit数据依次存入对应的位平面空间。当 前帧数据存入DDR2 SDRAM的同时,另一个子空间也在配合DMD加载进 行位平面的输出,输出端同样也有一个乒乓操作选择单元,它会选择已经 更新完数据并停止输入的子空间进行输出,每次输出一个位平面空间的数 据送给DMD,在一帧图像的8个位平面加载时间内,从位平面空间0到位 平面空间7依次读完。
在DDR2 SDRAM的使用上,本发明采用了FPGA内置的MIG3.61 DDR2控制器,使用DDR2内核控制器能够使***在控制DDR2 SDRAM工 作的过程中省去SDRAM读写过程中预充电、刷新等复杂的逻辑操作,只 需要按照用户接口的读写时序进行读写即可。
在进行数据输入输出时,DMD加载速率最高可达800MHz,在该速率 下DMD加载一个位平面耗时30.72us。这个时间是DMD数据更新的极限, 如果DMD加载速率达不到800MHz,那么DMD的数据加载时间将会延长, 也就是增加了DMD加载所消耗的时间,这将会降低DMD的显示帧频。同 时由PWM算法可知,DMD加载时间延长也会使清零复位过程中消隐时间 增加,从而影响DMD高灰度显示的精度。
本发明利用复制多个处理模块来降低FPGA的运行速度的方式,使总 的数据处理速率不会降低。本发明在图像数据和控制信号的输出之前做了 并串转换,转换比例为4:1。DMD数据加载过程中的两路位宽16bit的LVDS 总线,在FPGA内部进行运算的过程中对应的是两个位宽64bit的数据信号 DATA_B[63:0]和DATA_B[63:0]。经过并串转换后,FPGA内部只需要 200MHz的运行速度就可以满足数据800MHz的数据输出。具体参看图11 所示的并串转换的示意图。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对 其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通 技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修 改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种DMD高帧频高分辨率同步动态显示***,其特征在于,包括:上位机、接口模块、控制模块、数字微镜器件;
所述上位机连接所述接口模块,用于发送特定帧频的图像数据;
所述接口模块连接所述控制模块,用于接收所述特定帧频的图像数据,并对所述图像数据进行解码;
所述控制模块连接所述数字微镜器件,用于对解码后的图像数据进行灰度调制和格式转换处理,以满足所述数字微镜器件的显示帧频和显示格式,并将处理后的图像数据加载到所述数字微镜器件;
所述数字微镜器件用于显示所述处理后的图像数据。
2.根据权利要求1所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述控制模块包括控制处理器、DMD驱动单元、存储单元;
所述控制处理器用于对所述解码后的图像数据进行灰度调制,将调制后的灰度值图像转换为位平面图像;
所述DMD驱动单元连接所述控制处理器,用于将所述位平面图像加载到所述数字微镜器件;
所述存储单元连接所述控制处理器,用于存储所述解码后的图像数据、所述多灰度值图像数据、所述位平面图像数据中的至少一种。
3.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述灰度调制算法为PWM算法。
4.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述存储单元包括至少两个子空间,每个所述子空间包括多个位平面空间,其中,所述位平面空间数根据像素数据的位宽确定。
5.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,
还包括显示器,所述显示器连接所述接口模块;
所述控制模块还用于对所述解码后的图像数据进行降帧处理,将所述降帧处理的图像数据通过所述接口模块发送到显示器;
所述显示器用于显示所述降帧处理的图像数据。
6.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述控制处理器为FPGA。
7.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述存储单元为DDR2SDRAM高速存储器。
8.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述接口模块包括DVI接口和HDMI接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710692977.8A CN107659800A (zh) | 2017-08-14 | 2017-08-14 | 一种dmd高帧频高分辨率同步动态显示*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710692977.8A CN107659800A (zh) | 2017-08-14 | 2017-08-14 | 一种dmd高帧频高分辨率同步动态显示*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107659800A true CN107659800A (zh) | 2018-02-02 |
Family
ID=61128340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710692977.8A Pending CN107659800A (zh) | 2017-08-14 | 2017-08-14 | 一种dmd高帧频高分辨率同步动态显示*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107659800A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109246363A (zh) * | 2018-07-18 | 2019-01-18 | 中国科学院国家空间科学中心 | 一种dmd***及其存取方法 |
CN110262990A (zh) * | 2019-07-03 | 2019-09-20 | 延锋伟世通汽车电子有限公司 | Lvds视频源模块及其使用方法 |
CN110706633A (zh) * | 2019-09-30 | 2020-01-17 | 哈尔滨新光光电科技股份有限公司 | 一种dmd高灰度级图像显示方法及装置 |
CN110853566A (zh) * | 2019-11-29 | 2020-02-28 | 京东方科技集团股份有限公司 | 一种硅基驱动背板的驱动方法及显示装置 |
CN111770244A (zh) * | 2020-07-30 | 2020-10-13 | 哈尔滨方聚科技发展有限公司 | 一种非调制式dmd空间光调制器成像方法 |
CN113050385A (zh) * | 2021-03-04 | 2021-06-29 | 苏州大学 | 一种dmd光刻机中灰度图像数据存储方法 |
CN114710651A (zh) * | 2022-03-28 | 2022-07-05 | 青岛海信激光显示股份有限公司 | 图像显示方法、装置及存储介质 |
WO2023169162A1 (zh) * | 2022-03-09 | 2023-09-14 | 青岛海信激光显示股份有限公司 | 图像显示方法、装置、激光投影设备及存储介质 |
CN117714655A (zh) * | 2024-02-06 | 2024-03-15 | 长春理工大学 | 一种基于四进制脉宽调制的超高帧率投影方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101217672A (zh) * | 2008-01-09 | 2008-07-09 | 浙江大学 | 一种高帧频真彩色高分辨投影显示方法 |
CN104301701A (zh) * | 2014-11-12 | 2015-01-21 | 四川大学 | 一种随机翻转数字微镜(dmd)阵列*** |
CN104535194A (zh) * | 2015-01-15 | 2015-04-22 | 厦门理工学院 | 一种基于dmd的红外探测器的仿真装置及方法 |
CN106886132A (zh) * | 2017-04-25 | 2017-06-23 | 电子科技大学 | 一种基于dmd的扫描式光刻机灰度图像曝光方法 |
-
2017
- 2017-08-14 CN CN201710692977.8A patent/CN107659800A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101217672A (zh) * | 2008-01-09 | 2008-07-09 | 浙江大学 | 一种高帧频真彩色高分辨投影显示方法 |
CN104301701A (zh) * | 2014-11-12 | 2015-01-21 | 四川大学 | 一种随机翻转数字微镜(dmd)阵列*** |
CN104535194A (zh) * | 2015-01-15 | 2015-04-22 | 厦门理工学院 | 一种基于dmd的红外探测器的仿真装置及方法 |
CN106886132A (zh) * | 2017-04-25 | 2017-06-23 | 电子科技大学 | 一种基于dmd的扫描式光刻机灰度图像曝光方法 |
Non-Patent Citations (3)
Title |
---|
周浩: "基于FPGA的高帧频DMD驱动技术研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 * |
张宁: "基于DMD的大动态范围中波红外仿真***研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 * |
范延滨,等: "《嵌入式***原理与开发》", 31 March 2010 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109246363A (zh) * | 2018-07-18 | 2019-01-18 | 中国科学院国家空间科学中心 | 一种dmd***及其存取方法 |
CN110262990A (zh) * | 2019-07-03 | 2019-09-20 | 延锋伟世通汽车电子有限公司 | Lvds视频源模块及其使用方法 |
CN110706633A (zh) * | 2019-09-30 | 2020-01-17 | 哈尔滨新光光电科技股份有限公司 | 一种dmd高灰度级图像显示方法及装置 |
CN110853566B (zh) * | 2019-11-29 | 2023-06-13 | 京东方科技集团股份有限公司 | 一种硅基驱动背板的驱动方法及显示装置 |
CN110853566A (zh) * | 2019-11-29 | 2020-02-28 | 京东方科技集团股份有限公司 | 一种硅基驱动背板的驱动方法及显示装置 |
CN111770244A (zh) * | 2020-07-30 | 2020-10-13 | 哈尔滨方聚科技发展有限公司 | 一种非调制式dmd空间光调制器成像方法 |
CN111770244B (zh) * | 2020-07-30 | 2022-10-04 | 哈尔滨方聚科技发展有限公司 | 一种非调制式dmd空间光调制器成像方法 |
CN113050385A (zh) * | 2021-03-04 | 2021-06-29 | 苏州大学 | 一种dmd光刻机中灰度图像数据存储方法 |
WO2023169162A1 (zh) * | 2022-03-09 | 2023-09-14 | 青岛海信激光显示股份有限公司 | 图像显示方法、装置、激光投影设备及存储介质 |
CN114710651A (zh) * | 2022-03-28 | 2022-07-05 | 青岛海信激光显示股份有限公司 | 图像显示方法、装置及存储介质 |
CN114710651B (zh) * | 2022-03-28 | 2024-04-05 | 青岛海信激光显示股份有限公司 | 图像显示方法、装置及存储介质 |
CN117714655A (zh) * | 2024-02-06 | 2024-03-15 | 长春理工大学 | 一种基于四进制脉宽调制的超高帧率投影方法和装置 |
CN117714655B (zh) * | 2024-02-06 | 2024-04-09 | 长春理工大学 | 一种基于四进制脉宽调制的超高帧率投影方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107659800A (zh) | 一种dmd高帧频高分辨率同步动态显示*** | |
CN109036295B (zh) | 图像显示处理方法及装置、显示装置及存储介质 | |
CN100362562C (zh) | 基于fpga的数字osd控制器 | |
CN105185284A (zh) | 可变刷新率***中的动态帧重复 | |
TWI424418B (zh) | 色序顯示器與相關省電方法 | |
CN110379368A (zh) | 脉宽和电压混合调制的驱动方法、驱动装置及显示装置 | |
CN102222469B (zh) | Led灯柱的动态成像装置及其在隧道广告中的应用 | |
CN105761681B (zh) | 屏幕的窗口显示方法及装置 | |
CN104717485A (zh) | 一种基于fpga的vga接口裸眼3d显示*** | |
CN202102690U (zh) | 全彩色的大屏幕显示控制器 | |
CN201037989Y (zh) | 同步全彩led显示控制装置 | |
CN110383161A (zh) | 显示装置 | |
CN105989802A (zh) | 可编程逻辑器件及其亚像素下采样方法和相关应用 | |
CN109599070A (zh) | 液晶显示装置及其控制方法 | |
CN116057496B (zh) | 用于在led面板上显示图像时的数据传输的装置和方法 | |
CN109637438A (zh) | 一种显示控制参数的更新方法、驱动芯片 | |
CN106328045B (zh) | 可编程逻辑器件及其亚像素下采样方法和数据编码电路 | |
CN102520901B (zh) | 一种裸眼3d显示的数据采集与存储方法、***及其装置 | |
CN100584035C (zh) | 基于压缩传输数据的多个显示器动态视频显示方法 | |
TW202143022A (zh) | 用於更新顯示在顯示器裝置上的影像的系統及方法 | |
CN104853489A (zh) | 发光二极管驱动电路及驱动*** | |
CN202205428U (zh) | 一种隧道广告 | |
CN110751924A (zh) | 分屏控制的Micro-LED显示屏 | |
CN117153112A (zh) | 一种区域调光显示器的驱动方法、装置 | |
CN105405398B (zh) | 一种白平衡可调的amoled显示驱动 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180202 |