CN117459713B - 基于dmd的dvs等效帧频检测方法 - Google Patents

基于dmd的dvs等效帧频检测方法 Download PDF

Info

Publication number
CN117459713B
CN117459713B CN202311780319.6A CN202311780319A CN117459713B CN 117459713 B CN117459713 B CN 117459713B CN 202311780319 A CN202311780319 A CN 202311780319A CN 117459713 B CN117459713 B CN 117459713B
Authority
CN
China
Prior art keywords
dmd
light
dvs
equivalent frame
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311780319.6A
Other languages
English (en)
Other versions
CN117459713A (zh
Inventor
韩诚山
吕恒毅
赵宇宸
冯阳
张以撒
孙铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202311780319.6A priority Critical patent/CN117459713B/zh
Publication of CN117459713A publication Critical patent/CN117459713A/zh
Application granted granted Critical
Publication of CN117459713B publication Critical patent/CN117459713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707Pixels for event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

本发明涉及动态视觉传感器技术领域,具体提供一种基于DMD的DVS等效帧频检测方法,利用恒定光强的光线照射DMD,利用DMD高时间分辨率的特点,将DMD的出射光以固定的光强变化频率投射到DVS图像传感器中,实现DVS图像传感器在全画幅0至15KHz范围内任意固定频率下的等效帧频测试,满足DVS超高等效帧频的测试需求。本发明只需要对恒定光线进行一次反射和接收,能有效地减少信号因光源截止频率而损失的问题,并且不需要通过控制***同时触发DMD与DVS,简化了操作方式。

Description

基于DMD的DVS等效帧频检测方法
技术领域
本发明涉及动态视觉传感器技术领域,具体提供一种基于DMD的DVS等效帧频检测方法。
背景技术
DVS(Dynamic Vision Sensor动态视觉传感器)是一种对光强变化产生响应的传感器,当光强变化超过一定阈值时即可以输出一个事件。DVS采用异步数据流输出,与传统“帧”和“曝光”的成像模式不同,在等效帧频测试过程中难以像传统高速相机采用同步信号控制传感器,在单位时间内输出固定数量图像的方式。同时,若使用变化电压控制的LED光源,则会受限于电压上升或下降时间,无法实现超高帧频的测试,并且光源高频闪烁产生的光信号稳定性较差,不能很好地验证DVS高时间分辨率的特性。传统的光源进行频率闪烁变化时,由于存在一定的光强上升时间,即由暗到完全亮的所产生的时间,会引起频率的误差,而当频率较高的时候,若闪烁时间小于等于光强上升时间时,光源还没有完全稳定时就变暗了,导致DVS接收的光亮度不足,即会产生丢帧的现象,降低了验证的准确性。
因此,如何精准量化DVS的等效帧频是DVS图像传感器性能指标测试中的一项重要工作。
发明内容
本发明为解决上述问题,提供了一种基于DMD的DVS等效帧频检测方法,通过控制DMD上微镜单元的摆动,改变出射光线的角度,使DVS靶面上的光以固定的光强频率变化,实现DVS等效帧频测试。
本发明提供的基于DMD的DVS等效帧频检测方法,包括以下步骤:
S1:利用恒定光强的光线照射DMD,通过调节DMD的驱动信号,使经过DMD反射后的光线以固定的光强变化频率投射到DVS中;
S2:DVS记录DMD反射光线的事件流信息,其中,i表示不同的事件信息,p表示对应事件的极性,包括光线亮度由高到低和由低到高,/>表示对应事件的位置坐标,/>表示对应事件的时间戳;
S3:将事件流信息进行可视化,将作为颜色信息,在三维空间绘制/>的散点图;
S4:统计固定时间间隔内散点图中的事件数,计算相邻事件数峰值之间的时间间隔,统计时间间隔的众数,众数的倒数即为DVS的等效帧频。
优选的,利用LED光源提供恒定光强的光线;设置匀光片和准直透镜对光线进行匀光和准直;设置滤光片对光线进行滤光;设置TIR棱镜将光线照射在DMD上,并消除杂散光。
优选的,DMD包括多个可翻转不同角度的微反射镜单元,通过调节DMD的驱动信号,使被DMD反射的光线以不同角度出射。
优选的,通过调节DMD的驱动信号,使光线经过TIR棱镜垂直出射至DVS中,DVS对该光线进行成像,或者光线经TIR棱镜折射到DVS外部,DVS不对该光线进行成像。
优选的,通过调节DMD的驱动信号,经过DMD反射后,光线光强变化频率为0至15KHz。
优选的,通过对比DVS的等效帧频和DMD反射光线的光强变化频率,评价DVS的等效帧频性能。
与现有技术相比,本发明能够取得如下有益效果:
本发明采用DMD(数字微镜器件)提供固定的光强变化频率的光线,满足了DVS超高等效帧频的测试需求,避免了传统方法中光源自身进行频闪而带来的光信号稳定性差的问题。本发明不仅可以测试DVS的全帧等效帧率,而且可通过DMD调制进入DVS中的光强范围,进而测试DVS的开窗等效帧频;并且测试过程中只需要对恒定光线进行一次反射和接收,能有效地减少信号光线因光源截止频率而损失的问题,此外,DMD与DVS无需进行同步触发控制,简化了操作方式,易于更换被测DVS。
附图说明
图1是根据本发明实施例提供的基于DMD的DVS等效帧频检测的光路图;
图2是根据本发明实施例提供的可视化散点图;
图3是根据本发明实施例提供的DVS事件统计图。
其中的附图标记包括:
LED光源1、匀光及准直单元2、滤光片3、TIR棱镜4、DMD5、投影镜头6、DVS7。
具体实施方式
在下文中,将参考附图描述本发明的实施例。在下面的描述中,相同的模块使用相同的附图标记表示。在相同的附图标记的情况下,它们的名称和功能也相同。因此,将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
本发明实施例提供了一种基于DMD的DVS等效帧频检测方法,主要包括以下步骤:
S1:如图1所示,首先需要进行测试***的硬件搭建,测试***具体包括:LED光源1、匀光及准直单元2、滤光片3、TIR棱镜4、DMD5、投影镜头6和DVS7,其中,LED光源1用于生成稳定光强的光,也可将LED光源替换为其他能够生成稳定光强的光源。由于LED光源生成的光是点光源,需要将其调整为平行光,因此在传输光路上设置有匀光及准直单元2,LED光源1设置在匀光及准直单元2的焦点位置上。匀光及准直单元2由匀光片和准直透镜构成,匀光片使光线均匀射入,准直透镜将点光源准直成平行光。
作为一种优选的实施例,也可利用平行光管代替LED光源1和匀光及准直单元2,通过平行光管直接产生强度稳定的平行光。
在平行光的传输光路上,设置有滤光片3,滤光片3具有选择性地透过一定范围内的特定波长光线,并吸收或者衰减其他波长光线。滤光片3是通过在滤光片的基材中加入特殊染料或在表面蒸镀光学膜制成,其中,特殊染料或光学膜具有特定的光学性质,可以选择性地吸收或反射特定波长范围的光线,以精确选择小范围波段光波通过。在本实施例中,滤光片3可透过420nm~800nm的可见光谱段。
经过滤光后的光线被TIR棱镜4改变方向,入射至DMD5的表面,再被DMD5反射进入TIR棱镜4。TIR棱镜4在测试***中主要起到转向和消除杂光的作用。
具体的,TIR棱镜4将光线照射在DMD5的表面上,DMD5对光线进行调制。DMD5包括多个可翻转的微反射镜单元,每一个微反射镜单元都是一个独立的个体,并且可以翻转不同的角度(正或者负),通过微镜单元可以使入射的光线呈现不同的角度射出,通过控制微镜单元摆动控制出射光线的角度,进而改变照射在DVS7上的光强,具体在DVS7处反映为对应的数字图像像素的亮暗程度。在DMD5的调制过程中,对DMD5的驱动信号进行调节,当DMD5处于“开”状态时,光线经过TIR棱镜4垂直出射,经过投影镜头6照射到被测的DVS7上。当DMD5处于“关”状态时,DMD5反射的光线经过TIR棱镜4折射出去,不通过投影镜头6输出,因此,DVS7不对该光线成像。
通过DMD5的调控,将光线以固定的光强变化频率投射到DVS中,在DVS7中可以看到DMD5的按照特定频率闪烁。由于DMD5的精度高,可以很好地输出更高频的信号,通过调节驱动信号可以使DMD5按照0至15KHz之间的任意固定频率进行摆动,实现了DVS7在全画幅0至15KHz范围内任意固定频率下的等效帧频测试,满足DVS7超高等效帧频的测试需求。在本实施例中,不需要控制***同步控制DMD5与DVS7,可通过异步信号进行异步控制。
作为一种优选的实施例,改变投影镜头6的位置,将投影测试的方法,改为拍摄测试的方法,给DVS7增加拍摄镜头,利用DVS7和拍摄镜头对DMD5进行直接拍摄。
S2:DVS7对DMD5反射光线的定频闪烁进行成像,由DVS7记录测试过程中的光强交替变化的视频文件。将视频文件进行解码成csv格式文件,获得事件流信息,其中,DVS7的每次光强相应记为一个时间,i为事件编号,用于表示不同的事件信息;p表示对应事件的极性,包括0和1,0表示光线亮度由高到低,1表示光线亮度由低到高;/>表示对应事件的位置坐标,对应每帧视频文件中的像素位置;/>表示对应事件的时间戳。
S3:如图2所示,将事件流信息进行可视化,以/>为坐标点,/>为颜色信息,在三维空间坐标系中绘制事件流信息的散点图,即事件可视化拟合图像。
S4:以固定时间间隔将散点图分为多组,并对每组中的事件个数进行统计,并依据统计结果绘制如图3所示的单位时间戳事件数统计图,统计图中每个事件数量尖峰的时间戳,并计算相邻事件数峰值之间的时间间隔,统计时间间隔的众数,计算该众数的倒数即为DVS7的等效帧频。需要注意的是,峰值事件数量应当大于低谷事件数量的5倍,且持续时间小于50us。在处理较为简单的事件流数据时,也可简化时间统计和等效帧频计算的过程。除此之外,还可以将计算获得的DVS7的等效帧频与DMD5反射光线的光强变化频率进行对比,根据差值评价DVS7的等效帧频性能。
作为一种优选的实施例,在统计过程中,可能会存在时间间隔极小的两个时间戳,可以将两个时间戳计算平均值并取整作为新的时间戳。
作为一种优选的实施例,可以对DMD5的驱动信号进行调控,使其反射出的光线具有更高的闪烁频率,以测试DVS7在更高频率下的等效帧频,当DVS7无法响应时,这时达到了DVS7的截止频率。通过多次测试可以完成DVS7全画幅0至15KHz范围内任意固定频率下的等效帧频测试。
作为一种优选的实施例,通过设置感兴趣区域,对DVS7的部分像素进行帧频测试,以满足DVS7的开窗测试应用需求。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种基于DMD的DVS等效帧频检测方法,其特征在于,包括以下步骤:
S1:利用恒定光强的光线照射DMD,通过调节DMD的驱动信号,使经过DMD反射后的光线以固定的光强变化频率投射到DVS中;
S2:DVS记录DMD反射光线的事件流信息,其中,i表示不同的事件信息,p表示对应事件的极性,包括光线亮度由高到低和由低到高,/>表示对应事件的位置坐标,/>表示对应事件的时间戳;
S3:将事件流信息进行可视化,将作为颜色信息,在三维空间绘制/>的散点图;
S4:统计固定时间间隔内散点图中的事件数,计算相邻事件数峰值之间的时间间隔,统计时间间隔的众数,众数的倒数即为DVS的等效帧频。
2.如权利要求1所述的基于DMD的DVS等效帧频检测方法,其特征在于,利用LED光源提供恒定光强的光线;设置匀光片和准直透镜对光线进行匀光和准直;设置滤光片对光线进行滤光;设置TIR棱镜将光线照射在DMD上,并消除杂散光。
3.如权利要求2所述的基于DMD的DVS等效帧频检测方法,其特征在于,DMD包括多个可翻转不同角度的微反射镜单元,通过调节DMD的驱动信号,使被DMD反射的光线以不同角度出射。
4.如权利要求3所述的基于DMD的DVS等效帧频检测方法,其特征在于,通过调节DMD的驱动信号,使光线经过TIR棱镜垂直出射至DVS中,DVS对该光线进行成像,或者光线经TIR棱镜折射到DVS外部,DVS不对该光线进行成像。
5.如权利要求1所述的基于DMD的DVS等效帧频检测方法,其特征在于,通过调节DMD的驱动信号,经过DMD反射后,光线光强变化频率为0至15KHz。
6.如权利要求1所述的基于DMD的DVS等效帧频检测方法,其特征在于,通过对比DVS的等效帧频和DMD反射光线的光强变化频率,评价DVS的等效帧频性能。
CN202311780319.6A 2023-12-22 2023-12-22 基于dmd的dvs等效帧频检测方法 Active CN117459713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311780319.6A CN117459713B (zh) 2023-12-22 2023-12-22 基于dmd的dvs等效帧频检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311780319.6A CN117459713B (zh) 2023-12-22 2023-12-22 基于dmd的dvs等效帧频检测方法

Publications (2)

Publication Number Publication Date
CN117459713A CN117459713A (zh) 2024-01-26
CN117459713B true CN117459713B (zh) 2024-02-23

Family

ID=89580256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311780319.6A Active CN117459713B (zh) 2023-12-22 2023-12-22 基于dmd的dvs等效帧频检测方法

Country Status (1)

Country Link
CN (1) CN117459713B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129461A (ko) * 2009-06-01 2010-12-09 엘지이노텍 주식회사 프로젝션 시스템
CN102175376A (zh) * 2011-01-27 2011-09-07 哈尔滨工业大学 多光束激光外差测量微冲量的装置及方法
CN112019835A (zh) * 2020-08-08 2020-12-01 欧菲微电子技术有限公司 动态视觉传感器模组的帧率验证装置、方法及存储介质
EP3907466A1 (de) * 2020-05-05 2021-11-10 Sick Ag 3d-sensor und verfahren zur erfassung von dreidimensionalen bilddaten eines objekts
CN116310982A (zh) * 2023-03-17 2023-06-23 北京理工大学 一种基于事件相机的通过散射介质目标分类方法
CN116471392A (zh) * 2023-05-05 2023-07-21 中国科学院上海技术物理研究所 匹配光电积分时间的dmd高帧频显示***及方法
CN116962904A (zh) * 2023-06-02 2023-10-27 昆明物理研究所 基于事件模式与灰度模式融合输出的动态视觉读出电路

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127167B2 (en) * 2001-07-05 2006-10-24 Broadcom Corporation System for spectrum allocation in ethernet-based fiber optic TDMA networks
JP4606502B2 (ja) * 2008-08-07 2011-01-05 三菱電機株式会社 画像表示装置および方法
ITVI20120104A1 (it) * 2012-05-03 2013-11-04 St Microelectronics Srl Metodo e apparato per generare in tempo reale uno storyboard visuale
US10966188B2 (en) * 2018-06-07 2021-03-30 Apple Inc. Full bandwidth uplink transmission for unlicensed narrowband internet of things
US11451735B2 (en) * 2018-11-20 2022-09-20 Teledyne Flir, Llc High dynamic range micromirror imaging array systems and methods
US20200322681A1 (en) * 2019-04-08 2020-10-08 Edge Networks, Inc. Congestion Aware Hybrid File Transfer
EP4164210A4 (en) * 2020-06-04 2023-11-15 Sony Group Corporation SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND DETECTION SENSOR
US11450103B2 (en) * 2020-10-05 2022-09-20 Crazing Lab, Inc. Vision based light detection and ranging system using dynamic vision sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129461A (ko) * 2009-06-01 2010-12-09 엘지이노텍 주식회사 프로젝션 시스템
CN102175376A (zh) * 2011-01-27 2011-09-07 哈尔滨工业大学 多光束激光外差测量微冲量的装置及方法
EP3907466A1 (de) * 2020-05-05 2021-11-10 Sick Ag 3d-sensor und verfahren zur erfassung von dreidimensionalen bilddaten eines objekts
CN112019835A (zh) * 2020-08-08 2020-12-01 欧菲微电子技术有限公司 动态视觉传感器模组的帧率验证装置、方法及存储介质
CN116310982A (zh) * 2023-03-17 2023-06-23 北京理工大学 一种基于事件相机的通过散射介质目标分类方法
CN116471392A (zh) * 2023-05-05 2023-07-21 中国科学院上海技术物理研究所 匹配光电积分时间的dmd高帧频显示***及方法
CN116962904A (zh) * 2023-06-02 2023-10-27 昆明物理研究所 基于事件模式与灰度模式融合输出的动态视觉读出电路

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Digital Sliding Mode Control via a Novel Reaching Law and Application in Shipborne Electro-Optical Systems;J. Zhang, Y. Liu, F. Zhang, S. Gao and C. Han;IEEE Access;20190923;全文 *
DMD动态红外景像投影技术;陈二柱;红外;20040210(第02期);全文 *
FPGA based Frame Packing Decoder for Diamond DMD;YiQing Liu and Ben Yu;011 International Conference on Multimedia Technology;20110825;全文 *
TLD视频目标***快速匹配的研究;邢藏菊;温兰兰;何苏勤;;小型微型计算机***;20150515(第05期);全文 *
动态视觉传感器事件流处理方法研究;冯阳;中国博士学位论文全文数据库;20210815;全文 *
基于FPGA的相移结构光轮廓测量技术与***研究;郝煜亚;中国硕士学位论文全文库;20230115;全文 *
孙武,韩诚山,吕恒毅等.推扫式多光谱遥感相机动态范围拓展方法.中国光学.2019,全文. *

Also Published As

Publication number Publication date
CN117459713A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US6692126B1 (en) Method and apparatus for measuring a corneal profile of an eye
CN105573024B (zh) 一种4k投影机
CN105675633B (zh) 一种x射线分幅相机的标定装置
CN103913935B (zh) 用于立体投影装置的光源***
US10704984B2 (en) Compact modular transfer function evaluation system
CN105632384A (zh) 一种投影显示***及方法
US7960677B2 (en) Projection apparatus and distance measurement method wherein the distance is acquired during a period of predetermined color components being emitted (As amended)
US7508590B2 (en) Optical system for a digital light projection system including 3-channel and 4-channel LED array light engines
CN206095585U (zh) 光检测***及光检测装置
TW201224511A (en) Calibration method and apparatus for optical imaging lens system with double optical traces
CN108593261A (zh) 激光电影放映机散斑检测***及方法
CN117459713B (zh) 基于dmd的dvs等效帧频检测方法
CN107894690A (zh) 一种结构光三维测量中的投影***
CN103838088A (zh) 一种调焦调平装置及调焦调平方法
CN106643798B (zh) 一种可见光目标模拟***
CN114441141B (zh) 一种激光投影仪空间散斑对比度测量方法及装置
CN105043305A (zh) 一种量子关联自准直仪及测角方法
CN208091675U (zh) 激光电影放映机散斑检测***
EP1435832A2 (en) Method and apparatus for measuring a corneal profile of an eye
CN107124600A (zh) 一种基于dmd红外投影设备及其定量输出方法
CN114719766A (zh) 一种基于非相干光源频闪多条纹调制装置
CN106352984A (zh) 光谱偏振图像投影装置及其投影方法
CN110389020B (zh) 空间光调制器的检测方法
EP1613072A1 (en) Method and device for improving contrast in a projection system
CN111473959A (zh) 一种用于模拟目标与背景的小型化成像***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant