CN107659800A - 一种dmd高帧频高分辨率同步动态显示*** - Google Patents

一种dmd高帧频高分辨率同步动态显示*** Download PDF

Info

Publication number
CN107659800A
CN107659800A CN201710692977.8A CN201710692977A CN107659800A CN 107659800 A CN107659800 A CN 107659800A CN 201710692977 A CN201710692977 A CN 201710692977A CN 107659800 A CN107659800 A CN 107659800A
Authority
CN
China
Prior art keywords
dmd
frame frequency
data
view data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710692977.8A
Other languages
English (en)
Inventor
黄曦
郭博宁
董维科
张建奇
宋振清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710692977.8A priority Critical patent/CN107659800A/zh
Publication of CN107659800A publication Critical patent/CN107659800A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明涉及一种DMD高帧频高分辨率同步动态显示***,包括:上位机、接口模块、控制模块、数字微镜器件;所述上位机连接所述接口模块,用于发送特定帧频的图像数据;所述接口模块连接所述控制模块,用于接收所述特定帧频的图像数据,并对所述图像数据进行解码;所述控制模块连接所述数字微镜器件,用于对解码后的图像数据进行灰度调制和格式转换处理,以满足所述数字微镜器件的显示帧频和显示格式,并将处理后的图像数据加载到所述数字微镜器件;所述数字微镜器件用于显示所述处理后的图像数据。本发明能够实现高帧率、实时传输、高分辨率显示,弥补了国内在半实物仿真领域缺少能够利用DMD对高帧频、高灰度等级图像进行实时显示的缺陷。

Description

一种DMD高帧频高分辨率同步动态显示***
技术领域
本发明属于图像处理技术领域,具体涉及一种DMD高帧频高分辨率同 步动态显示***。
背景技术
数字微镜投影***是一种基于微机电结构的反射式光空间调制器,它 的核心器件是TI公司生产的DMD(Digital Micromirror Device数字微镜器 件)。DMD是一个由微反射镜组成的微镜阵列,每个微镜代表一个像素, 通过控制微镜的翻转来通断光源向外的辐射。该器件目前广泛应用于采用 DLP技术的投影仪中,在可见光投影方面发展较为迅速。通过更换DMD 微镜的透射窗口也可以用于红外投影领域,无论应用于哪个光辐射波段, DMD微镜的控制原理都是一样的,并且国内在DMD的购买上也没有太多 限制,这给其在军事领域的应用开始提供了极大的便利。相比于其它红外 场景生成***,DMD具有图像分辨率高、均匀性好、几何形变小、帧频高、 能量集中等优点。
上海技术物理研究所、哈尔滨工业大学、兵器211所等研究单位都在 对DMD进行换窗的基础上研制出了相应的红外图像投影***。其中哈工大 的康为民等人于2008年研制的DMD红外动态景象模拟器分辨率为 800×600,灰度等级8bit,帧频为60Hz,温度分辨等级为0.1℃,图像无闪 烁(参看“康为民,李延彬,高伟志.数字微镜阵列红外动态景象模拟器的研 制[J].红外与激光工程,2008,(05):753-756”);哈工大的任国涛研制的基于 DMD的可见光成像制导仿真***,帧频可达60Hz(参看“任国焘.基于DMD的可见光成像制导仿真***设计[D].哈尔滨工业大学,2016.”)。西北 工业大学的张凯、马骏等人于2011年研制的基于DMD的红外动态目标模 拟器分辨率为1024×768,图像同样为灰度等级8bit,帧频10-100连续可调 (参看“张凯,马骏,孙嗣良.红外动态目标模拟器驱动及控制***设计[J]. 激光与红外,2011,(01):58-62.”、“梁勇,赵晓蓓,马骏,李少毅,孙力.基于DMD 的红外场景仿真器硬件***设计[J].红外技术,2011,(12):683-686.”)。兵器 211所研制的红外投影***分辨率为1024×768,帧频达到了100Hz。中国 空空导弹研究院张二磊、祁鸣等人研制的基于DMD的红外场景模拟器帧频 同样为100Hz,能量对比度达到了91:1(参看“张二磊,祁鸣.基于DMD的 动态红外场景生成***[J].电子科技,2011,(07):140-143.”)。
然而,现有技术的方案存在以下缺点:1、现有的DMD进行高灰度图 像显示的帧频不高。简单的对DMD微镜进行开关操作只能表达出一幅二值 图像,要想单片DMD能够显示出灰度图像,就需要对DMD进行灰度调制。 传统的灰度调制算法,在8bit等高灰度图像的显示过程中,帧频很难提升 150Hz以上,不能满足高帧率的要求。2、DMD的图像显示缺乏实时性。目前国内在基于DMD的场景模拟器的研制中,对超过200Hz帧频的高帧 频、高灰度图像进行投影显示的过程中,其图像数据多是预先经过转换缓 存起来,并不是从上位机同步传输的,DMD投射的红外场景并不是对上位 机所模拟场景的实时显示。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种能够实现高 帧率、实时传输显示的DMD高帧频高分辨率同步动态显示***。
为了实现上述发明目的,本发明采用的技术方案是:
一种DMD高帧频高分辨率同步动态显示***,包括:上位机、接口模 块、控制模块、数字微镜器件;
所述上位机连接所述接口模块,用于发送特定帧频的图像数据;
所述接口模块连接所述控制模块,用于接收所述特定帧频的图像数据, 并对所述图像数据进行解码;
所述控制模块连接所述数字微镜器件,用于对解码后的图像数据进行 灰度调制和格式转换处理,以满足所述数字微镜器件的显示帧频和显示格 式,并将处理后的图像数据加载到所述数字微镜器件;
所述数字微镜器件用于显示所述处理后的图像数据。
进一步地,所述控制模块包括控制处理器、DMD驱动单元、存储单元;
所述控制处理器用于对所述解码后的图像数据进行灰度调制,将调制 后的灰度值图像转换为位平面图像;
所述DMD驱动单元连接所述控制处理器,用于将所述位平面图像加载 到所述数字微镜器件;
所述存储单元连接所述控制处理器,用于存储所述解码后的图像数据、 所述多灰度值图像数据、所述位平面图像数据中的至少一种。
进一步地,所述灰度调制算法为PWM算法。
进一步地,所述存储单元包括至少两个子空间,每个所述子空间包括 多个位平面空间,其中,所述位平面空间数根据像素数据的位宽确定。
进一步地,还包括显示器,所述显示器连接所述接口模块;
所述控制模块还用于对所述解码后的图像数据进行降帧处理,将所述 降帧处理的图像数据通过所述接口模块发送到显示器;
所述显示器用于显示所述降帧处理的图像数据。
进一步地,所述控制处理器为FPGA。
进一步地,所述存储单元为DDR2 SDRAM高速存储器。
进一步地,所述接口模块包括DVI接口和HDMI接口。
本发明实施例,弥补了国内在半实物仿真领域缺少能够利用DMD对高 帧频、高灰度等级图像进行实时显示的缺陷。首先对传统的PWM算法进行 了优化,使得DMD能够显示8bit灰度图像的帧频达到200Hz以上。然后 提出了基于DDR2 SDRAM的分块存储的数据缓存方式,解决了DMD在进 行高帧频动态图的像格式转换和灰度调制过程中的数据缓存问题。最终实 现了DMD实时显示XGA分辨率、8bit灰度图像,帧频高达200Hz的设计 目标。
附图说明
图1为本发明的DMD高帧频高分辨率同步动态显示***模块框图。
图2为本发明的控制模块的模块框图。
图3为本发明一个具体实施方式中的DMD高帧频高分辨率同步动态显 示***硬件结构图。
图4为本发明实施例中的DMD连续加载过程中的时间关系图。
图5为本发明实施例中的传统PWM算法时序关系图。
图6为本发明实施例中的清零复位法的操作流程图。
图7为本发明实施例中的清零复位法时序关系图。
图8为“像素包”格式转换为“位平面”格式的格式转换示意图。
图9为本发明的分块存储的DDR2 SDRAM的存储空间划分示意图。
图10为本发明的分块缓存的数据流向示意图。
图11为本发明的并串转换示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理 解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实 现的技术均属于本发明的范围。
实施例一
本实施例以图像灰度等级8bit,显示帧频200Hz为例进行说明。
图1为本发明的DMD高帧频高分辨率同步动态显示***模块框图,包 括:上位机1、接口模块2、控制模块3、数字微镜器件4;
所述上位机1连接所述接口模块2,用于发送特定帧频的图像数据;
所述接口模块2连接所述控制模块3,用于接收所述特定帧频的图像数 据,并对所述图像数据进行解码;
所述控制模块3连接所述数字微镜器件4,用于对解码后的图像数据进 行灰度调制和格式转换处理,以满足所述数字微镜器件4的显示帧频和显 示格式,并将处理后的图像数据加载到所述数字微镜器件4;
所述数字微镜器件4用于显示所述处理后的图像数据。
参看图2,所述控制模块3包括控制处理器31、DMD驱动单元32、存 储单元33;
所述控制处理器31用于对所述解码后的图像数据进行灰度调制,将调 制后的灰度值图像转换为位平面图像;
所述DMD驱动单元32连接所述控制处理器31,用于将所述位平面图 像加载到所述数字微镜器4件;
所述存储单元33连接所述控制处理器31,用于存储所述解码后的图像 数据、所述多灰度值图像数据、所述位平面图像数据中的至少一种。
所述存储单元包括至少两个子空间,每个所述子空间包括多个位平面 空间,其中,所述位平面空间数根据像素数据的位宽确定。其中,像素数 据即为待存储的图像灰度值的位宽。在本实施例中以图像灰度等级8bit为 例,因此位平面空间数即为8个。
首先介绍本发明的硬件组成。本发明硬件部分按照功能划分,可分为 数据传输和***控制两个模块。数据传输的内容主要包含图像信号和与其 同步的控制信号,数据通道存在于上位机、DMD以及显示器与控制核心 FPGA之间,***控制部分主要负责实现DMD灰度调制算法以及控制DMD 进行准确显示。本实施例中,本发明硬件***框图如图3所示。
控制模块的核心控制处理器为FPGA(Field-Programmable Gate Array 现场可编程门阵列);接口模块具有HDMI(High Definition Multimedia Interface高清晰度多媒体接口)和DVI(Digital Visual Interface数字视频接 口)dual link两种数据传输接口,用于满足不同的数据传输需求。
具体的,接口模块主要负责接收上位机的高频实时图像,并向显示器 输出一路经过降帧的低频图像。本发明的上位机传输的实时图像帧频高达 200Hz,以上位机NVIDIA显卡输出的VESA(Video Electronics Standards Association视频电子标准协会)时序进行计算,像素时钟为250MHz,即 使通过手动自定义时序来降低像素时钟,单考虑到时序的稳定性,像素时 钟也不会低于200MHz。因此接口必须支持超过200MHz像素时钟的图像的 传输。目前计算机的视频输出接口中,最常见的是DVI和HDMI,这两者 都是高带宽纯数字接口,并且各有特点。为了满足不同的应用需求,本发 明在接口模块的视频输入端设计了DVI和HDMI两种接口,用于接收上位 机图像。为了便于调试以及监视***的工作情况,本发明还设计了一路 HDMI输出接口,将其连接至显示器。
本发明的DMD高帧频高分辨率同步动态显示***在数据的输入端设 计了满足高带宽图像实时传输需求的高速视频传输接口模块。其中DVI双 链路接口和HDMI接口传输RGB 8bit图像的像素时钟最高可达300MHz, 支持传输XGA分辨率图像帧频可达200Hz以上。为了便于调试和监视*** 工作状况,接口板还添加了HDMI输出接口,连接至显示器。
根据上述设计方案,接口模块上设计了两路HDMI接口,一路作为输 入另一路作为输出。其中HDMI的输入芯片选用的是ADI公司的ADV7619, 该芯片支持HDMI1.4版本,图像颜色深度最高可达36bit。物理结构上, ADV7619同时支持两个接口输入,输出图像颜色深度24bit情况下,像素 时钟最高可达300MHz。ADV7619与FPGA之间数据传输,如果想要使像 素时钟达到300MHz,其数据传输时序与DVI双链路类似,同样采用奇数 和偶数像素分开传输的方式。这种方式虽然会导致数据总线位宽增加,占 用更多芯片IO(Input/Output输入/输出)管脚,但是数据的传输速率会降 低,有助于提升数据传输的稳定性。
对于HDMI输出芯片的选择,本发明采用了Silicon Image公司的 SiI9136-3,该芯片支持HDMI1.4版本,图像颜色深度最高支持48bit,像素 时钟同样最高支持300MHz。在RGB格式,24bit颜色深度情况下,这两款 芯片的数据格式都是R[23:16]、G[15:8]、B[7:0]。将RGB通道赋成相同的 值,那么显示器上就会出现灰度图像。以8bit灰度图像为例,在图像输入 的时候可以选用24bit通道的任意8bit作为有效数据输入位,在监视输出的 时候,可以将8bit数据分别给RGB三个通道赋值,输出给显示器。
在调试和工作过程中,需要用显示器监视算法输出结果。由于当前市 场上的显示器显示图像的最高帧频大多低于100Hz,而本***图像帧频为 200Hz,所以在监视图像输出的时候需要对图像进行降帧。为了简化逻辑, 本发明对图像进行了整数倍的降帧,将图像帧频降到50Hz。
经过降帧的图像,还是以VESA时序标准进行输出,由FPGA输出至 HDMI发送芯片SiI9136-3,在SiI9136-3内部,将FPGA发送来的数据编码 成适合接口高速传输的TMDS(Transition-minimized differential signaling最 小化传输差分信号)格式,送至显示器。在ADV7619和SiI9136-3工作之 前,还需要FPGA通过I2C(Inter-Integrated Circuit)总线(由时钟SCL 和数据总线SDA构成)对芯片进行配置,使其处于当前所需的工作模式。
具体的,控制模块是整个***的控制核心,主要负责DMD灰度调制算 法和视频图像降帧算法的实现以及DMD的显示驱动等工作。控制模块的核 心控制处理器为Xilinx公司的一款Virtex-5LX系列(XC5VLX50)FPGA, 外挂一个金士顿公司的DDR2 SDRAM(KTL-TP667/2G)高速存储器。控 制模块通过板对板高速接口(QTE-060-01)与接口模块相连,进行数据通 信。
上位机将图像由显卡以TMDS格式送至DVI和HDMI接口,图像数据 被DVI和HDMI解码芯片解码后通过QTE-060-01接口送至控制核心板的 FPGA。FPGA根据接收到的数据结合DDR2 SDRAM完成DMD灰度调制 和降帧算法的运算,并分别驱动DMD和HDMI编码芯片将算法结果输出 显示。
DMD的驱动指令被送至DMD芯片组中的DMD控制器DLPC410,由 DLPC410结合DMD驱动器DAD2000共同控制DMD进行显示。经过降帧 的图像数据按照VESA标准通过QTE-060-01接口被送至接口板的HDMI 编码芯片SII9136-3,SII9136-3在对图像数据进行编码后以TMDS格式送至 显示器进行显示。
对于DMD灰度显示算法,灰度是表示图像的一个重要指标,灰度等级 越高,图像层次越丰富,画面越柔和。对于一幅黑白图像而言,灰度等级 体现的是像素点由白到黑之间的亮度层次。人的视觉***对亮度强弱的判 断由多种因素决定,除了发光物体本身的亮度强弱之外,还与发光物体的 发光时间和发光面积有关。对于快速闪烁的发光体,人眼和探测器都会产 生一定的“视觉暂留”效应。利用这种“视觉暂留”效应,可以通过改变 发光体的点亮时间,达到产生不同灰度图像的目的,从而实现图像的灰度 调制。在一定距离外,对于非常弱小的发光体,通过改变点亮发光体的面 积,也可以达到改变视觉灰度的效果。DMD的两种工作状态“开”和“关”, 只代表了像素值的“0”和“1”,投影出来得到的是一幅二值图像,其灰 度位宽只有1bit。要想让DMD显示多bit灰度等级,需要对DMD进行灰 度调制。DMD主要基于时间和空间两方面进行灰度调制,所以其灰度调制 方式也主要可以分为空间灰度调制和时间灰度调制两类。
空间灰度调制优点是控制简单,单帧图像中,微镜不需要翻转,图像 的帧频可以达到很高。但是它又有不可避免的缺陷,首先像素单元分割成 的“子像素”个数有限,导致它不能显示较高的灰度。其次,它扩大像素 单元面积来提升灰度等级,导致图像的分辨率下降,在保持高分辨率的前 提下,现有规格DMD很难提升太多灰度等级。因此本发明采用时间灰度调 制。
具体的,本发明采用PWM(Pulse Width Modulation脉冲宽度调制) 算法进行灰度调制。
一般的,在本发明的技术领域中,分辨率大于1024×768,帧频1bit 32000hz以上,8bit实时同步可达到200hz以上,不实时同步可达到400hz 以上可以认为是高帧频、高分辨率。本发明的图像灰度要求为8bit,显示帧 频为200Hz,传统的PWM算法很难达到本发明的帧频要求,因此本发明提 供一种PWM优化算法。
由于限制DMD帧频的主要因素是DMD的数据加载和“复位”所消耗 的时间。而选用的DMD数据传输时钟最大为400Mhz,DMD完成一次完 整的数据更新,最少需要30.72us,接收“微镜定时脉冲”进行复位需要5us, 复位后还需要8us的微镜稳定时间,复位期间和微镜稳定时间内都不能加载 新的数据。图4所示为DMD连续加载过程中的时间关系。由图可知一个帧 显示的最小时间是30.72us+8us=38.72us。
如果采用传统PWM算法来显示8bit灰度的图像,需要将原图像分成8 个“位平面”,对DMD进行8次数据加载和“复位”,为了保证图像显示 的连续性,需要在当前位平面的显示时间内完成下一个位平面的数据加载 工作。所以“基本位平面”的显示时间t应当满足t≥38.72us。为了计算 8bit图像的极限帧频,这里假设t=38.72us。
DMD首先进行位平面0数据的加载,数据加载完毕后向DMD发送“微 镜定时脉冲”,使微镜复位并进入“微镜稳定时间”,等待微镜稳定后开 始位平面1数据的加载,这期间DMD显示的是位平面0的数据。位平面1 数据加载完成之后,位平面0的显示时间刚好结束,立刻向DMD发送“微 镜定时脉冲”使微镜复位,复位结束后进入位平面1的显示时间,这个时 间按照PWM算法原理,应当是2t((30.72us×2)us),这个时间足够完成 位平面2数据的加载。位平面1显示时间结束后,位平面2的数据加载早 已完成,立刻向DMD发送“微镜定时脉冲”使微镜复位,进入位平面2 的显示时间。以此类推在上一个位平面显示时间内完成下一个位平面的数 据加载工作,这样才能保证图像显示的连续性。传统PWM算法时序关系具 体如图5所示。
等待位平面7显示完成后,一幅8bit灰度图像的PWM调制才算结束。 整个过程,消耗时间tp1等于所有的位平面显示时间td和复位时间tr之和。其 计算方法为:
tp1=tr+td
=(5×8+255×38.72)us
=9913.6us
可得帧频为:
fp1=1/tp1=100.9Hz
通过分析可以得出,传统的PWM算法,8bit灰度图像帧频的显示极限 是100.9Hz,难以满足本发明的设计需求。所以必须在PWM算法的基础上 进行优化。
本发明采用清零复位法对PWM算法进行优化。
在全局复位的模式下,设定基本位平面的显示时间为t=18us,利用“块 清零”操作对整个DMD清零需要消耗0.64us。每次复位后需要等待8us的 微镜稳定时间,在此期间DMD不能进行数据更新。只有当位平面的显示时 间大于38.72us时,才能满足在当前位平面显示期间完成下一个位平面数据 的加载工作。否则,在位平面显示时间结束时,将微镜数据清零、复位, 使微镜处于关闭状态,图像显示处于消隐区。从位平面2开始,位平面显 示时间都会大于38.72us,所以只需在前两个位平面显示的时候进行“块清 零”操作。清零复位法的操作流程如图6所示。
图7所示为清零复位法的时序关系。首先向DMD加载位平面0的数据, 然后在其显示了17.36us时,向DMD所有块发送“块清零”操作,0.64us 后清零操作完成,接着向DMD发送“微镜定时脉冲”使其复位,此时DMD 位平面0的显示结束,DMD处于BLANK状态,显示全黑。微镜清零复位 后等待8us的微镜稳定时间,然向DMD加载位平面1的数据,同样耗时 30.72us,数据加载完毕后使DMD复位,DMD将会显示位平面1,位平面 1显示了35.36us后,同样对DMD所有块进行“块清零”操作。在DMD 的第二个BLANK区间内加载位平面2的数据,位平面2的显示时间是72us, 显示时间大于38.72us,所以后面的位平面显示过程中,不必再进行“块清零”操作。
清零复位法下,显示8bit图像所消耗的最小时间tp3计算式为:
tp3=tr+td
=(5×8+255×18+43.72×2)us
=4717.44us
帧频为:
fp3=1/tp3=211.9Hz
通过计算可得,采用复位清零法后,DMD显示8bit图像的帧频达到了 211.9Hz,满足设计需求。复位清零法,虽然会在低两位的数据显示过程中 出现短暂的BLANK区间,但是BLANK时间很短,占有效显示时间的3.5%, 所以对图像灰度精度的影响并不是很大,可以忽略不计。因此发明采用复 位清零法来作为DMD的8bit灰度调制算法。为了匹配上位机200Hz的图 像帧频,本发明在实现的过程中将基本位平面的显示时间设为19.11us。图 像显示时间tp4计算公式为:
tp4=tr+td
=(5×8+255×19.11+43.72×2)us
=5000.49us
极限帧频为:
fp4=1/tp4=200.0Hz
现有的PWM算法基本位平显示时间过长,限制了DMD显示高灰度图 像的帧频,本发明利用DMD的清零复位操作,对传统的PWM算法进行了 优化,将基本位平面时间降低到19.11us,使得图像帧频达到200Hz以上, 满足***的设计需求。
由于基于PWM算法的DMD的显示原理要求数据加载是以位平面的形 式,将一帧图像分成若干个位平面依次显示,位平面的个数决定了图像的 灰度等级。由于输入和输出图像的数据格式不同,这就需要在DMD显示之 前对接收到的上位机的图像进行格式转换,把基于VESA标准的“像素包” 格式的图像信号转换为适用于DMD显示的“位平面”格式的图像信号。
图8所示为格式转换的示意图。左侧为一个像素灰度值位宽为8bit,遵 循VESA时序的“像素包”格式的图像,经过格式转换得到8个位平面。 位平面0就相当于由原图像所有像素的最低位组合在一起所形成的一幅二 值图像,其它位平面本质上也是与原图像对应的“位”所组成的二值图像。
对图像进行格式转换就相当于对图像数据进行了一次重组,那么在数 据重组的过程中不可避免的就是需要对数据进行缓存。FPGA内部存在一定 的Block RAM,具有操作方便,可控性强,逻辑简单,读写稳定等特点, 非常适合做高速数据的缓存。但是Block RAM毕竟是FPGA的内嵌资源, 存储空间有限。如前所述,本发明的***在FPGA外部还有一块DDR2 SDRAM,它的容量足够,读写速率也很快,但是受限于FPGA硬核资源, 只挂载了一片DDR2 SDRAM,而且读写操作相对复杂,再加上PWM算法 的特殊性,使用外部存储器实现起来也有一定的难度。
本***要求实时处理的图像数据量为XGA@200Hz,图像灰度值位宽 8bit。对于接受到的上位机图像数据,首先要做的就是将其存储起来。在数 据的存储方式的实现上,一种处理办法是整体存储,直接将其存到一起, 需要输出的时候,按位的读取每个数据,这样对整个存储空间反复读取8 次可以得到8个对应的位平面。另一种办法是分块存储,首先对其进行拆 分,然后分开存储。每个位平面存到一个单独的存储空间。
采用整体存储时,由于DDR2 SDRAM数据总线的位宽为64bit,而像 素数据的位宽为8bit,如果存储器每次只存入8bit数据,会造成工作中数据 总线存在空闲的带宽浪费。为了充分利用存储器的传输带宽,在数据存储 之前,本发明对像素数据进行了串并转换,也就是数据合并。将连续的8 个像素合并为一个64bit数据,每8个像素进行一次写入,这样一帧图像一 共有98304个数据。在DMD进行数据加载的时候,需要得到的是位平面格 式的数据,而DDR2 SDRAM的读操作针对的是地址,每读取一个地址数 据都会得到一个DQ[63:0]。DQ[63:0]一共64bit数据,但是***并不是全部 都需要,所以必须进行数据选择。例如进行位平面0加载的时候,读到的DQ[63:0]中只有DQ[0]、DQ[8]、DQ[16]、DQ[24]、DQ[32]、DQ[40]、DQ[48]、 DQ[56]属于位平面0的前8个像素,其余的都是其他7个位平面的数据。 对于其他的位平面加载也存在相同情况。在一个完整的PWM算法时间内, 需要对整帧图像的存储空间读取8次,分别得到8个位平面。
由于在存储器读取过程中,每次得到的数据中存在56bit的无效数据, 这就造成了数据传输带宽的极大浪费,实际上数据传输带宽的有效利用率 只有12.5%。在该中操作方式下,若要满足DMD加载需求,需要DDR2 SDRAM的传输速率为98304÷30.72us=3.2GHz,这已经超出了DDR2 SDRAM的传输速率上限,即便目前最高等级的DDR4 SDRAM的数据传输速率也很难满足需求。所以整体存储虽然逻辑简单,但是在数据读取的时 候对DDR2 SDRAM传输带宽利用率过低。
为了解决上述方案数据传输带宽利用率过低的问题,本发明还提出了 数据分块存储的方式。采用分块存储的方式,需要在数据存储之前对数据 按位进行拆分,并在DDR2SDRAM内部对拆分后的数据分开存放。同样 为了充分利用DDR2 SDRAM的读写带宽,在数据写入之前,对于拆分后 的数据,同样需要进行串并转换,将连续的64个1bit数据合并成一个64bit 数据进行存读操作。为了保证数据处理的连续性,本发明采用乒乓存储的 方式,将整个存储器分成两个子空间,数据在向子空间1写入的过程中, 读取子空间2的上一帧数据,反过来数据向子空间2写入的过程中,读取 子空间1的上一帧数据,两个子空间交替读写保证数据处理的连续性。每 个子空间内部在又分成8个位平面空间。一个位平面包含1024×768×1bit 的数据,位平面空间的一个存储单元可以存放64bit数据,所以一个位平面 空间至少包含12288个存储单元。图9所示为分块存储情况下DDR2 SDRAM的存储空间划分。
DDR2 SDRAM数据传输的高峰同样是DMD数据加载的过程中,采用 分块存储的方式,由于将原始数据进行了分割重组,使得在DMD数据加载 的时候每次读取DDR2 SDRAM得到的全是有效数据,只需要读取12288 个地址就可以得到一个完整的位平面。这个过程中DDR2 SDRAM的数据 传输速率为12288÷30.72us=400MHz。这个速率小于DDR2 SDRAM数 据传输上限,所以分块存储的方式虽然实现起来逻辑复杂但是可以极大的 减小DDR2 SDRAM数据传输的带宽压力,因而本发明采用了分块存储来 作为PWM算法中的数据缓存的方式。其数据流向框图如图10所示。
首先对接收到的上位机传来的8bit数据的每一位分别进行串并转换, 这个过程可以用RAM实现。由于一个RAM的转换比最多可到1:32,所以 本发明使用了两级FIFO级联的方式,每级RAM的转换比分别为1:16和 1:4,两级级联的转换比为1:64。经过串并转换的数据应该送入DDR2 SDRAM,首先乒乓操作选择单元会对子空间进行选择,选择空闲的子空间将数据存进去,被选中的子空间内的8个位平面空间会被逐个访问,分8 次将第一次串并转换得到的8个64bit数据依次存入对应的位平面空间。当 前帧数据存入DDR2 SDRAM的同时,另一个子空间也在配合DMD加载进 行位平面的输出,输出端同样也有一个乒乓操作选择单元,它会选择已经 更新完数据并停止输入的子空间进行输出,每次输出一个位平面空间的数 据送给DMD,在一帧图像的8个位平面加载时间内,从位平面空间0到位 平面空间7依次读完。
在DDR2 SDRAM的使用上,本发明采用了FPGA内置的MIG3.61 DDR2控制器,使用DDR2内核控制器能够使***在控制DDR2 SDRAM工 作的过程中省去SDRAM读写过程中预充电、刷新等复杂的逻辑操作,只 需要按照用户接口的读写时序进行读写即可。
在进行数据输入输出时,DMD加载速率最高可达800MHz,在该速率 下DMD加载一个位平面耗时30.72us。这个时间是DMD数据更新的极限, 如果DMD加载速率达不到800MHz,那么DMD的数据加载时间将会延长, 也就是增加了DMD加载所消耗的时间,这将会降低DMD的显示帧频。同 时由PWM算法可知,DMD加载时间延长也会使清零复位过程中消隐时间 增加,从而影响DMD高灰度显示的精度。
本发明利用复制多个处理模块来降低FPGA的运行速度的方式,使总 的数据处理速率不会降低。本发明在图像数据和控制信号的输出之前做了 并串转换,转换比例为4:1。DMD数据加载过程中的两路位宽16bit的LVDS 总线,在FPGA内部进行运算的过程中对应的是两个位宽64bit的数据信号 DATA_B[63:0]和DATA_B[63:0]。经过并串转换后,FPGA内部只需要 200MHz的运行速度就可以满足数据800MHz的数据输出。具体参看图11 所示的并串转换的示意图。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对 其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通 技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修 改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种DMD高帧频高分辨率同步动态显示***,其特征在于,包括:上位机、接口模块、控制模块、数字微镜器件;
所述上位机连接所述接口模块,用于发送特定帧频的图像数据;
所述接口模块连接所述控制模块,用于接收所述特定帧频的图像数据,并对所述图像数据进行解码;
所述控制模块连接所述数字微镜器件,用于对解码后的图像数据进行灰度调制和格式转换处理,以满足所述数字微镜器件的显示帧频和显示格式,并将处理后的图像数据加载到所述数字微镜器件;
所述数字微镜器件用于显示所述处理后的图像数据。
2.根据权利要求1所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述控制模块包括控制处理器、DMD驱动单元、存储单元;
所述控制处理器用于对所述解码后的图像数据进行灰度调制,将调制后的灰度值图像转换为位平面图像;
所述DMD驱动单元连接所述控制处理器,用于将所述位平面图像加载到所述数字微镜器件;
所述存储单元连接所述控制处理器,用于存储所述解码后的图像数据、所述多灰度值图像数据、所述位平面图像数据中的至少一种。
3.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述灰度调制算法为PWM算法。
4.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述存储单元包括至少两个子空间,每个所述子空间包括多个位平面空间,其中,所述位平面空间数根据像素数据的位宽确定。
5.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,
还包括显示器,所述显示器连接所述接口模块;
所述控制模块还用于对所述解码后的图像数据进行降帧处理,将所述降帧处理的图像数据通过所述接口模块发送到显示器;
所述显示器用于显示所述降帧处理的图像数据。
6.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述控制处理器为FPGA。
7.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述存储单元为DDR2SDRAM高速存储器。
8.根据权利要求2所述的DMD高帧频高分辨率同步动态显示***,其特征在于,所述接口模块包括DVI接口和HDMI接口。
CN201710692977.8A 2017-08-14 2017-08-14 一种dmd高帧频高分辨率同步动态显示*** Pending CN107659800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710692977.8A CN107659800A (zh) 2017-08-14 2017-08-14 一种dmd高帧频高分辨率同步动态显示***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710692977.8A CN107659800A (zh) 2017-08-14 2017-08-14 一种dmd高帧频高分辨率同步动态显示***

Publications (1)

Publication Number Publication Date
CN107659800A true CN107659800A (zh) 2018-02-02

Family

ID=61128340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710692977.8A Pending CN107659800A (zh) 2017-08-14 2017-08-14 一种dmd高帧频高分辨率同步动态显示***

Country Status (1)

Country Link
CN (1) CN107659800A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246363A (zh) * 2018-07-18 2019-01-18 中国科学院国家空间科学中心 一种dmd***及其存取方法
CN110262990A (zh) * 2019-07-03 2019-09-20 延锋伟世通汽车电子有限公司 Lvds视频源模块及其使用方法
CN110706633A (zh) * 2019-09-30 2020-01-17 哈尔滨新光光电科技股份有限公司 一种dmd高灰度级图像显示方法及装置
CN110853566A (zh) * 2019-11-29 2020-02-28 京东方科技集团股份有限公司 一种硅基驱动背板的驱动方法及显示装置
CN111770244A (zh) * 2020-07-30 2020-10-13 哈尔滨方聚科技发展有限公司 一种非调制式dmd空间光调制器成像方法
CN113050385A (zh) * 2021-03-04 2021-06-29 苏州大学 一种dmd光刻机中灰度图像数据存储方法
CN114710651A (zh) * 2022-03-28 2022-07-05 青岛海信激光显示股份有限公司 图像显示方法、装置及存储介质
WO2023169162A1 (zh) * 2022-03-09 2023-09-14 青岛海信激光显示股份有限公司 图像显示方法、装置、激光投影设备及存储介质
CN117714655A (zh) * 2024-02-06 2024-03-15 长春理工大学 一种基于四进制脉宽调制的超高帧率投影方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217672A (zh) * 2008-01-09 2008-07-09 浙江大学 一种高帧频真彩色高分辨投影显示方法
CN104301701A (zh) * 2014-11-12 2015-01-21 四川大学 一种随机翻转数字微镜(dmd)阵列***
CN104535194A (zh) * 2015-01-15 2015-04-22 厦门理工学院 一种基于dmd的红外探测器的仿真装置及方法
CN106886132A (zh) * 2017-04-25 2017-06-23 电子科技大学 一种基于dmd的扫描式光刻机灰度图像曝光方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217672A (zh) * 2008-01-09 2008-07-09 浙江大学 一种高帧频真彩色高分辨投影显示方法
CN104301701A (zh) * 2014-11-12 2015-01-21 四川大学 一种随机翻转数字微镜(dmd)阵列***
CN104535194A (zh) * 2015-01-15 2015-04-22 厦门理工学院 一种基于dmd的红外探测器的仿真装置及方法
CN106886132A (zh) * 2017-04-25 2017-06-23 电子科技大学 一种基于dmd的扫描式光刻机灰度图像曝光方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周浩: "基于FPGA的高帧频DMD驱动技术研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 *
张宁: "基于DMD的大动态范围中波红外仿真***研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 *
范延滨,等: "《嵌入式***原理与开发》", 31 March 2010 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246363A (zh) * 2018-07-18 2019-01-18 中国科学院国家空间科学中心 一种dmd***及其存取方法
CN110262990A (zh) * 2019-07-03 2019-09-20 延锋伟世通汽车电子有限公司 Lvds视频源模块及其使用方法
CN110706633A (zh) * 2019-09-30 2020-01-17 哈尔滨新光光电科技股份有限公司 一种dmd高灰度级图像显示方法及装置
CN110853566B (zh) * 2019-11-29 2023-06-13 京东方科技集团股份有限公司 一种硅基驱动背板的驱动方法及显示装置
CN110853566A (zh) * 2019-11-29 2020-02-28 京东方科技集团股份有限公司 一种硅基驱动背板的驱动方法及显示装置
CN111770244A (zh) * 2020-07-30 2020-10-13 哈尔滨方聚科技发展有限公司 一种非调制式dmd空间光调制器成像方法
CN111770244B (zh) * 2020-07-30 2022-10-04 哈尔滨方聚科技发展有限公司 一种非调制式dmd空间光调制器成像方法
CN113050385A (zh) * 2021-03-04 2021-06-29 苏州大学 一种dmd光刻机中灰度图像数据存储方法
WO2023169162A1 (zh) * 2022-03-09 2023-09-14 青岛海信激光显示股份有限公司 图像显示方法、装置、激光投影设备及存储介质
CN114710651A (zh) * 2022-03-28 2022-07-05 青岛海信激光显示股份有限公司 图像显示方法、装置及存储介质
CN114710651B (zh) * 2022-03-28 2024-04-05 青岛海信激光显示股份有限公司 图像显示方法、装置及存储介质
CN117714655A (zh) * 2024-02-06 2024-03-15 长春理工大学 一种基于四进制脉宽调制的超高帧率投影方法和装置
CN117714655B (zh) * 2024-02-06 2024-04-09 长春理工大学 一种基于四进制脉宽调制的超高帧率投影方法和装置

Similar Documents

Publication Publication Date Title
CN107659800A (zh) 一种dmd高帧频高分辨率同步动态显示***
CN109036295B (zh) 图像显示处理方法及装置、显示装置及存储介质
CN100362562C (zh) 基于fpga的数字osd控制器
CN105185284A (zh) 可变刷新率***中的动态帧重复
TWI424418B (zh) 色序顯示器與相關省電方法
CN110379368A (zh) 脉宽和电压混合调制的驱动方法、驱动装置及显示装置
CN102222469B (zh) Led灯柱的动态成像装置及其在隧道广告中的应用
CN105761681B (zh) 屏幕的窗口显示方法及装置
CN104717485A (zh) 一种基于fpga的vga接口裸眼3d显示***
CN202102690U (zh) 全彩色的大屏幕显示控制器
CN201037989Y (zh) 同步全彩led显示控制装置
CN110383161A (zh) 显示装置
CN105989802A (zh) 可编程逻辑器件及其亚像素下采样方法和相关应用
CN109599070A (zh) 液晶显示装置及其控制方法
CN116057496B (zh) 用于在led面板上显示图像时的数据传输的装置和方法
CN109637438A (zh) 一种显示控制参数的更新方法、驱动芯片
CN106328045B (zh) 可编程逻辑器件及其亚像素下采样方法和数据编码电路
CN102520901B (zh) 一种裸眼3d显示的数据采集与存储方法、***及其装置
CN100584035C (zh) 基于压缩传输数据的多个显示器动态视频显示方法
TW202143022A (zh) 用於更新顯示在顯示器裝置上的影像的系統及方法
CN104853489A (zh) 发光二极管驱动电路及驱动***
CN202205428U (zh) 一种隧道广告
CN110751924A (zh) 分屏控制的Micro-LED显示屏
CN117153112A (zh) 一种区域调光显示器的驱动方法、装置
CN105405398B (zh) 一种白平衡可调的amoled显示驱动

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180202