CN114928699A - 一种基于彩色数字相机的超快成像方法 - Google Patents
一种基于彩色数字相机的超快成像方法 Download PDFInfo
- Publication number
- CN114928699A CN114928699A CN202210462633.9A CN202210462633A CN114928699A CN 114928699 A CN114928699 A CN 114928699A CN 202210462633 A CN202210462633 A CN 202210462633A CN 114928699 A CN114928699 A CN 114928699A
- Authority
- CN
- China
- Prior art keywords
- color
- imaging
- digital camera
- primary
- ultrafast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开一种基于彩色数字相机的超快成像方法,包括步骤如下:控制超连续谱光源输出波长范围覆盖彩色数字相机所有颜色通道的单个超连续谱超短脉冲;对超连续谱超短脉冲进行分光,获得波长范围分别处于相机各颜色通道波长范围内的各路基色超短脉冲;对各路基色超短脉冲进行延迟时间控制;对各路基色超短脉冲进行合束,获得多基色超短脉冲串;超短脉冲串作为成像主动照明光源照射成像目标;照射目标通过成像光路成像在彩色数字相机图像传感器上;控制相机单次曝光拍摄;对相机拍摄的图像进行各颜色通道灰度图像获取,得到与各基色超短脉冲照明瞬时场景相对应的、按时序排列的多个超快成像帧,实现多帧超快成像。
Description
技术领域
本发明涉及超快成像技术领域,更具体的,涉及一种基于彩色数字相机的超快成像方法。
背景技术
超快成像一般指对超快瞬态过程进行成像的技术,其发展源于高速摄影技术,是高速摄影在时间尺度上进一步拓展到皮秒(ps)甚至飞秒(fs)量级的技术进化。早期的高速摄影一般通过高速机械快门控制相机成像过程曝光时间来实现。由于宏观物体机械运动速度的限制,机械快门开关速度达到10-5s量级后就遇到了技术瓶颈。随上世纪中叶电子及光电技术的突破性发展,基于电子、电磁、电光、或磁光等技术的各类新型快门技术的涌现使高速摄影快门响应速度获得迅速发展。上世纪四十年代麻省理工学院的埃杰顿(HaroldEdgerton)教授基于磁光技术的法拉第盒发展了一种称为Rapatronic相机的超高速相机,其曝光时间可短至10-8s(10ns)。使用Rapatronic相机并控制快门曝光时间在2×10-6s,人类首次实现对******瞬态过程的清晰成像。又如近三十年来,随着大规模集成电路技术的成熟,相机中图像传感器(CCD及CMOS芯片)成像迅速取代传统胶片成像,也令相机快门控制变得更为便捷。通过芯片电路控制成像芯片像素的开启或关闭,便可实现传统机械快门对成像曝光过程的控制。这种通过成像芯片控制相机曝光时间的方式称为电子快门,其具有低廉成本的同时还可获得高的快门响应速度(曝光时间可小至10-5s量级)。目前,基于高速CMOS的专业高速相机可获得短至10-7s量级的快门曝光时间,而基于像增强CCD或CMOS(ICCD或ICMOS)的专业高速相机可获得短至10-10s量级的快门曝光时间。近年,结合条纹相机和图像数字编码技术的压缩超快成像(CUP)可获得短至10-12s量级的曝光时间,实现对光脉冲空间传播瞬态过程的直接成像。最近,基于CUP进一步发展出的T-CUP已可获得0.58ps的时间分辨率(由条纹相机极限时间分辨率决定)。另外,基于超短激光脉冲诱导光克尔效应所实现的光克尔快门,超快成像可实现短至10-13s量级的曝光时间。上述高速摄影及超快成像技术均是基于快门技术实现对相机曝光时间的控制。就技术形式而言,这是一种被动曝光时间控制技术。
除了被动曝光时间控制技术,主动曝光时间控制技术也被广泛应用于高速摄影及超快成像技术领域。上世纪五十年代同样是埃杰顿教授发明了基于电子闪光灯技术的高速摄影技术,其拍摄的牛奶滴落杯中所形成的皇冠状结构,精彩呈现了流体动态变化过程被凝固的奇妙瞬间。对于高速成像,埃杰顿认为控制照明被摄者的光线,比控制快门方便:当时利用充有水银蒸汽和其它气体的闪光灯,已可实现短至10-6s的闪光,且亮度超过阳光。正是基于这种闪光灯技术,埃杰顿实现了对子弹穿越苹果等微秒(μs)时间尺度瞬态过程的高清晰成像;而埃杰顿控制照明被摄者光线来获得高速高清晰成像的思路,也为后续超快成像的一个重要技术路径——利用超短激光脉冲照明被拍摄物体,奠定基础。近几十年,随着超短激光脉冲技术的发展,基于超短激光脉冲照明的主动曝光时间控制超快成像技术获得了长足发展,因其时间分辨率决定于超短脉冲的时间宽度(脉宽):随激光脉宽由早期的μs尺度发展到近期的fs尺度,基于激光脉冲照明的超快成像时间分辨率也由10-6s发展到了10-13s量级。另一方面,结合基于激光脉冲照明的超快成像技术,纹影成像技术亦可获得超高的时间分辨率,这为流体中高速运动物体的动力学特征的瞬态成像表征提供了强大技术支撑。
对超快成像技术而言,除上述单次曝光时间分辨率这个核心技术参数之外,能否实现高帧率的多帧成像也是具有重要意义的问题。特别是对单次触发事件的超快成像,其动力学特征的演化需通过对同一事件不同时延的多帧成像来观察。事实上,超快成像过程中实现对同一事件的高帧率多帧成像,往往比只提高单帧成像时间分辨率具有更高技术挑战性和复杂性。具体地,对于被动曝光控制的超快成像,最直接的多帧成像可通过控制快门在特定时延下的重复开关来实现。因此,对于单快门曝光的多帧高速摄影,其极限帧率受快门重复开关的极限能力所决定。一般而言,单快门重复开关的极限时延受制于整个快门***高速运行时的机械或电子特性,该时延往往远大于快门的曝光时间。比如,目前基于电子快门技术的民用相机可获得10-5s的曝光时间,但其极限帧率受制于成像芯片与信息存储***间的传输带宽,只能达到约1000帧/秒(fps);而对于机械快门,受限于宏观机械部件高速运动的稳定性,其极限帧率会远低于电子快门。当然,一些专业高速相机通过使用相机内存进行信息缓存及减小画面像素尺寸的方式,可极大提高极限帧率到106fps量级,但这种高帧率的获得需以大幅提高相机制造成本及牺牲图像分辨率为代价。
实际上,当高速摄影过程中单快门帧率无法满足探测帧率需求时,可通过设置特定快门时延的多相机(快门)并行拍摄方式获得比单快门帧率高得多的成像帧率。比如,美国军方使用Rapatronic相机对******过程进行成像时,就通过10台快门开启时延设定为10-5s的Rapatronic相机并行拍摄获得******过程中帧率为105fps的连续10幅瞬态画面。但是,这种多相机并行的方式获得高帧率的方法是以设备成本线性增加为前提的。近年来,随着压缩超快成像(CUP)技术的出现,基于被动曝光技术的高帧率超快成像获得了新的发展。这种结合图像数字编码技术和压缩感知图像处理技术的超快成像方法突破了传统高帧率技术依赖于硬件设备发展的局限,通过图像处理前沿算法的引入获得超快成像帧率和帧数的显著提升。初代CUP单触发成像已可获得1011fps的帧率和350的帧数;而进一步的T-CUP单触发成像帧率已提升至1013fps,而帧数也可超过300。但是这种多帧超快成像技术硬件上依赖于条纹相机,设备成本较为高昂。虽然改进型CUP可通过使用超快电光偏转器代替条纹相机在一定程度上降低设备成本,但其指标与基于条纹相机的技术相比仍有差距。另一方面,虽然基于超短激光脉冲诱导的光克尔快门可实现短至10-13s量级的曝光时间,但这种方法要获得高帧率的多帧成像技术上相对较为复杂。理论上,该方法每多加一帧成像需多加一路时延脉冲,而不同帧如何在探测***中区分更是存在技术上的困难。简而言之,对于基于被动曝光控制的多帧超快成像,如何发展一种较为通用的技术方案,大幅降低设备成本,是一个亟待解决的技术问题。
对于基于主动曝光控制的超快成像,早期的多帧高速摄影主要通过闪光灯的重复闪光来实现。例如,利用可产生高重频光脉冲的频闪光源并控制频闪与快门同步,埃杰顿教授拍摄了牛奶滴落杯中形成皇冠状结构瞬态过程的多帧图像,其最高帧率超过104fps。类似地,基于超短脉冲主动照明的超快成像可通过具有特定时延多个脉冲的重复照射来实现多帧获取。但是,由于超短脉冲极短的脉宽,此时要获得帧间隔接近脉宽的多帧成像,需解决如下的两个问题:(1)特性相近的、具有精确时延的多个超短脉冲(等高脉冲串)如何获得?(2)不同照明脉冲所形成的成像帧如何区分记录?对于问题(1),可通过对输入脉冲进行多路等光强分光及独立延迟控制来实现。但是,若不对各路延迟脉冲进行特定调制或操作,不同延迟脉冲照明形成的成像帧将会叠加在一起,易产生信息交叠而导致无法清晰分辨每一成像帧,并不能满足很多实际超快探测的要求。因此,在实际超快成像技术中,研究人员需重点考虑问题(2)。在高速摄影中,因帧率不是特别高,可通过控制频闪与快门同步实现对应每一照明脉冲的帧画面拍摄。但在超快成像中,因帧率特别高,快门重复开关频率往往难以达到主动照明超短脉冲所具有的极高重频。事实上,若快门重复开关频率能提高到这样的要求,就可直接实现被动曝光控制的超快成像,而不需要再通过主动曝光控制来实现超快成像。因此,对于主动曝光控制的超快成像,高帧率多成像帧的区分拍摄一般通过对照明脉冲串进行调制来实现。这种调制可通过操纵光脉冲的某种固有物理量(偏振、波长等),获得特定编码来完成。对于只有两帧的情形,可通过让两照明脉冲具有相互垂直偏振来实现两帧区分;对于多帧的情形,则可通过对照明脉冲的波长进行调控,使不同时延脉冲具有不同波长,再通过成像过程的光谱区分实现多帧区分。如连续定时全光学映射摄影(STAMP)技术,通过宽谱脉冲产生色散的方案实现不同时延脉冲的波长区分,其帧率可达到4.4×1012fps。在STAMP技术中,图像采集端用一种专用空间映射设备把特定时延的不同波长脉冲进行空间分离,以便在图像传感器不同区域形成不同时延帧的图像。这种专用帧分离设备模块的使用导致STAMP这类分波长主动曝光多帧超快成像技术的设备方案较为复杂,制造成本较高的同时也不易于与标准成像***匹配,因此难以被广泛推广。
对于多帧超快成像,除成像时间分辨率和帧率这些核心技术参数,成像空间分辨率也是需重点关注的技术参数。现代光学高分辨成像一般通过不同性能指标的光学显微镜来满足针对不同分辨率应用场景的需求。但是,目前的多帧超快成像技术无法直接与各种成熟的显微成像技术匹配,因此无法继承显微成像领域长期发展获得的一些技术优势,特别是在成像分辨率和质量方面的优势。目前的多帧超快成像***在空间分辨率上仍显著低于主流显微镜的极限,这与其无法直接基于标准显微成像***组建有重要关联:由于技术的特殊性和复杂性,无法利用高数值孔径物镜来实现高空间分辨成像,同时也未能结合科勒照明技术(光学显微镜采用科勒照明实现均匀照明可获优异显微分辨能力及成像质量)。
另一方面,现代各种光学成像设备普遍通过数字相机的图像传感器来实现图像的数字化采集。然而,目前的多帧超快成像***并不能直接通过标准配置的数字相机来实现多帧超快成像,而必须通过相机前端设备对不同帧信息进行空间分离后才能实现。如上述STAMP技术中的空间映射设备通过光栅色散来实现对应不同波长延迟帧的空间分离;CUP技术中利用条纹相机实现不同延迟帧的空间偏移,并通过图像数字编码技术来实现空间偏移帧的重构。相机前端的这类专用设备不但大幅提高了多帧超快成像***的设备成本,也限制了其极限时空分辨率的提升。如STAMP技术中用于帧空间分离的色散光栅导致了成像色散的提高,有损成像时空分辨率;CUP技术中条纹相机的工作依赖于光电子的偏转,其在高密度下产生的库仑相互作用易导致图像畸变,阻碍成像时空分辨率提升。
综上所述,对于各类主动或被动曝光的多帧超快成像方法,如何发展一种可与标准成像***匹配的、基于数字相机直接成像的、具有较高应用通用性的技术方案,在大幅降低设备复杂性和建造成本的同时又能提供进一步提升各项核心技术指标的技术空间,是目前超快成像领域亟待解决的一个核心技术问题。
发明内容
本发明为了解决以上现有技术存在不足与缺陷的问题,提供了一种基于彩色数字相机的超快成像方法。
为实现上述本发明目的,采用的技术方案如下:
一种基于彩色数字相机的超快成像方法,所述的方法包括步骤如下:
S1:控制超连续谱光源输出波长范围覆盖彩色数字相机所有颜色通道的单个超连续谱超短脉冲;
S2:对超连续谱超短脉冲进行分光,获得波长范围分别处于彩色数字相机各颜色通道波长范围内的各路基色超短脉冲;
S3:对各路基色超短脉冲进行脉冲间的延迟时间控制,实现对后续多帧超快成像过程成像帧率的控制;
S4:对各路基色超短脉冲进行合束,实现各路基色超短脉冲在空间上的共束传播,获得一束脉冲间具有特定时延的多基色超短脉冲串;
S5:多基色超短脉冲串作为成像主动照明光源照射成像目标,实现对成像目标的多基色超短脉冲串主动曝光时间控制;
S6:多基色超短脉冲串照射的成像目标由成像光路成像在彩色数字相机图像传感器上;
S7:控制彩色数字相机快门单次曝光一定时间,实现对成像在图像传感器上的超短脉冲串照明瞬时场景的拍摄;
S8:对彩色数字相机拍摄的图像进行各颜色通道灰度图像获取,得到与各基色超短脉冲照明瞬时场景相对应的、按时序排列的多个超快成像帧,实现多帧超快成像。
优选地,步骤S1,采用同步控制***发出触发信号控制所述的超连续谱光源输出单个超连续谱超短脉冲,并发出具有一定时间提前量的触发信号到彩色数字相机,以控制相机快门的开启及后续关闭。
进一步地,步骤S2,采用分束二向色镜组对超连续谱超短脉冲进行分光,获得与彩色数字相机各颜色通道波段相对应的各路基色超短脉冲;所述的各路基色超短脉冲分别通过带通滤光片进行中心波长选择和频谱宽度控制,使波长范围分别处于彩色数字相机各颜色通道波长范围内,降低各路基色间颜色串扰的同时实现对各路基色超短脉冲时间宽度的调控;所述的各路基色超短脉冲分别通过连续可调中性滤光片进行能量控制,获得一定的各基色脉冲能量比例,使后续多基色脉冲串照射的成像目标在彩色数字相机上成像时具有近似白平衡的效果。
再进一步地,步骤S3,采用延迟线组或延迟光纤组对各路基色超短脉冲进行脉冲间的延迟时间控制。
再进一步地,步骤S4,采用合束二向色镜组或光纤合束器对各路基色超短脉冲进行合束。
再进一步地,步骤S5,采用直接照明或科勒照明方式照射成像目标,实现对成像目标的多基色超短脉冲串主动曝光时间控制。
再进一步地,步骤S6,采用光学显微镜成像光路或相机镜头成像光路把多基色超短脉冲串照射的成像目标清晰成像在彩色数字相机图像传感器上。
再进一步地,步骤S7,基于同步控制***所发出到彩色数字相机的、具有一定时间提前量的触发信号,控制彩色数字相机快门单次曝光一段能完整覆盖超短脉冲串照明全程的时间,实现对成像在图像传感器上的超短脉冲串照明瞬时场景的拍摄。
再进一步地,步骤S8,通过彩色数字相机内部直接的颜色通道分离输出,或外部后续的颜色通道分离处理,实现对彩色数字相机所拍摄图像的各颜色通道灰度图像获取。
再进一步地,所述的彩色数字相机类型包括多光谱相机和高光谱相机,也即所述的彩色数字相机的颜色通道数目范围为三基色的情形、或高于三基色的情形;所述的彩色数字相机的颜色通道波长范围为可见光波段、或可见光波段到红外波段、或紫外波段到可见光波段、或紫外波段到红外波段。
本发明的有益效果如下:
本发明是产生多个具有特定时延的、与彩色数字相机各颜色通道(基色)波段相对应的基色超短脉冲,并利用该基色超短脉冲串作为成像主动照明光源照射成像目标,然后通过彩色数字相机拍摄照射成像目标经成像光路在相机图像传感器上所成的像,并通过颜色通道分离处理获得与各基色超短脉冲照明瞬时场景相对应的多个超快成像帧,实现多帧超快成像。相对于现有基于波长调控技术的主动照明多帧超快成像技术,本发明不需要通过额外的帧空间分离模块来实现对不同波长帧的物理分离,而是直接基于通用彩色数字相机成像拍摄过程本身就具有颜色(波长)空间分离功能来实现对不同波长成像帧的物理分离及图像采集。也即,本发明方法最核心的技术创新点在于巧妙地复用了彩色数字相机图像传感器的多基色空间分离功能:通过产生与彩色数字相机各成像基色波段相对应的各时延超短脉冲作为主动照明光源照射成像目标,便可在瞬态图像拍摄过程中直接利用彩色数字相机的基色空间分离功能,实现分波长主动照明多帧超快成像中不同波长超快成像帧的空间分离。
本发明是一种通用性高的多帧超快成像方法,其可与多种常规光学成像方法兼容,显著降低多帧超快成像***设备复杂性和建造成本的同时,还可充分利用常规光学成像方法长期发展起来的技术优势,提升多帧超快成像***技术指标。具体地,在主动曝光超快成像***中,对超短脉冲照明光源进行不同波段分光是一种实现多帧分离的常见方法,如STAMP技术。但目前这类技术需通过一个帧分离模块来实现不同颜色帧的空间分离采集,既增加了***复杂性,也导致无法直接与常规成像***匹配(无法直接基于其建立或升级而成)并充分利用其技术优势,从而限制了技术发展的空间,如极限空间分辨率的提升。针对这个问题,本发明方法利用常规彩色数字相机,如基于拜耳(Bayer)式或棱镜式分光技术的相机本身具有多基色空间分光能力的技术特性来实现多基色帧的空间分离,避免了专用帧空间分离模块的使用,便于基于常规成像***建立多帧超快成像***,显著降低设备复杂性和成本的同时获得与常规成像***良好的兼容性——继承其技术优势和性能指标。比如,基于本发明方法建立的多帧超快显微成像***,其主体基于现有光学显微镜及配套彩色数字相机,外部产生的多基色超短脉冲串从显微镜照明光源处导入,便可实现基本的多帧超快成像。本***的搭建不会对显微镜光路产生影响,其成像极限空间分辨率可达到或接近原显微镜极限。
除了有利于极限空间分辨率的提升,本发明通过超连续谱分光获得多基色超短脉冲串作为主动照明光源,有利于充分利用超连续谱的带宽优势,提高超快成像的时间分辨率。具体地,根据脉冲时间带宽积关系,越宽频谱宽度对应越窄极限脉宽。对于主动曝光超快成像,其极限时间分辨率由照明脉冲脉宽,也即频谱宽度所决定。另一方面,在主动曝光多帧超快成像中,对照明脉冲进行多波段分光是实现多帧分离的常用方法,如STAMP技术。实际上,这种分光处理会严重影响超快成像的极限时间分辨率:要实现N帧成像,原脉冲光谱将被等分为N份,每一份最大谱宽只能为原光谱1/N,因此由时间带宽积关系可知***极限可分辨时间将变为原脉冲脉宽的N倍,显著低于原脉冲时间分辨极限。针对该问题,本发明采用超短脉冲诱导的超连续谱取代原超短脉冲作为光源,进行与彩色数字相机各基色波段相对应的分光。首先,超连续谱具有超宽频谱,可与彩色数字相机所有基色覆盖的整个波段匹配,经特定波段分光可获与相机各基色波段对应的多路超短脉冲。其次,超连续谱具有比原超短脉冲宽得多的谱宽,即使经多波段分光,仍可获比原超短脉冲更宽谱宽,也即更高极限时间分辨率,突破目前波长分光技术在极限时间分辨率方面的限制。最后,对于彩色数字相机主流的三基色技术,每个基色波段约有100nm谱宽,因此理论上每个基色超短脉冲极限脉宽接近10fs,也即本发明的多帧超快成像可获接近10fs的极限时间分辨率,显著优于目前的波长分光多帧超快成像方法。
本发明可实现模块化组建,且各模块具有较高技术通用性。因此,本发明具有高的设置灵活性和可移植性,可适应较宽的超快成像应用场景,在一定程度上可解决一般多帧超快成像***由于专用性强所带来的可移植性弱的问题。具体地,本发明方法的多波长帧空间分离基于常规彩色数字相机技术,显著降低了多帧超快成像***的复杂性和专用性,使其可通过以下模块组建:1)超连续谱光源及同步控制模块;2)多基色超短脉冲产生及操纵模块;3)多基色脉冲照明及目标成像模块;4)彩色数字相机拍摄及颜色通道分离模块。上述模块均可通过成熟的技术方案实现,具有高的技术可行性和通用性,以及高的设置灵活性和应用可移植性。比如,1)的超连续谱可通过超短脉冲在各种白光非线性介质(电介质、气体、或光纤等)中传播来产生;2)的多基色脉冲时延操纵可通过延迟线或延迟光纤组来实现,脉宽操纵可通过带通滤光片组来实现;3)的多基色脉冲照明可通过科勒照明或直接照明方式实现,而目标成像可由光学显微镜(微观成像)或光学镜头(宏观成像)来实现;4)的彩色数字相机拍摄可通过拜耳式(各基色通过拜耳滤色片实现空间分离)或棱镜式(各基色通过棱镜分光实现空间分离)彩色相机来实现,而颜色通道分离可采用硬件(物理通道分离)或软件(图像信息处理)方式实现。因此,本发明方法设置灵活,可移植到不同超快成像应用场景,在通用性方面相较现有多帧超快成像方法有较显著优势。
附图说明
图1是实施例1、2所述的超快成像方法的步骤流程图。
图2是实施例1所述的超快成像***的示意图。
图3是实施例2所述的超快成像***的示意图。
图中,1-1–同步控制***;1-2–超连续谱光源;2-1–第一分束二向色镜;2-2–第二分束二向色镜;3-1、3-2、3-3–带通滤光片;4-1、4-2、4-3–中性滤光片;5-1、5-2、5-3–延迟线;6–高反镜;7–会聚透镜;8-1、8-2、8-3–延迟光纤;9-1–第一合束二向色镜;9-2–第二合束二向色镜;10–光纤适配器;11–3合1光纤合束器;12–消色差透镜;13–散射片;14–会聚透镜;15–半透半反镜;16–显微物镜;17–成像目标;18–成像透镜;19–相机镜头;20-1–棱镜式彩色数字相机;20-2–拜耳式彩色数字相机;21–分光棱镜;22-1–黑白图像传感器;22-2–拜耳阵列彩色图像传感器;23–相机图像信息处理模块;24-1、24-2、24-3–相机对各颜色通道灰度图像进行直接分离输出;25–相机内各基色灰度图像合成RGB彩色图像的处理;26–相机对RGB彩色图像进行输出;27–RGB彩色图像;28–相机外对RGB图像进行颜色通道分离处理;29-1–相机内对RAW RGB格式图像进行插值处理;29-2–相机外对RAW RGB格式图像进行插值处理;29-3–相机外对各颜色通道RAW格式图像进行插值处理;30–相机对RAW RGB格式图像进行直接输出;31–RAW RGB格式图像;32-1、32-2、32-3–各颜色通道RAW格式图像;33-1、33-2、33-3–各颜色通道灰度图像(各基色超快成像帧);34–根据超短脉冲串时序对各超快成像帧按事件发生的先后顺序进行排列;35–按时序排列的超快成像帧序列。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1、2所示,一种基于彩色数字相机的超快成像方法,所述的方法包括步骤如下:
S1:采用同步控制***1-1发出触发信号控制所述的超连续谱光源1-2输出波长范围覆盖彩色数字相机20所有颜色通道的单个超连续谱超短脉冲,并发出具有一定时间提前量的触发信号到彩色数字相机20,以控制相机快门的开启及后续关闭。
所述的超连续谱光源1-2基于高能量飞秒激光脉冲辐照白光介质方法输出波长范围覆盖彩色数字相机20所有颜色通道的、单脉冲能量为1mJ、脉冲宽度接近2ps的超连续谱超短脉冲。该脉冲具有较显著时间啁啾,可进一步通过光栅或啁啾镜等色散补偿操作压缩脉宽;同时也具有较低相干性,利于减弱相干光照明的散斑效应,提高超快成像的空间分辨率及质量。
在超快成像***运行过程中,采用同步控制***1-1发出触发信号控制超连续谱光源1-2输出单个超连续谱超短脉冲,并发出具有一定时间提前量的触发信号到彩色数字相机20,以控制相机快门的开启及后续关闭。另外,同步控制***1-1预留有触发信号端口供待探测单次触发事件的触发时间控制;单次触发事件需高精度时延触发时,可通过对超连续谱光源1-2输出超短脉冲分光采样后进行时延控制及高速光电转换获得;泵浦超连续谱光源1-2的高能量飞秒脉冲经分光及时延控制后可直接作为单次触发事件的激发源。
S2:采用分束二向色镜组2对超连续谱超短脉冲进行分光,获得与彩色数字相机20各颜色通道波段相对应的各路宽谱基色超短脉冲;所述的各路基色超短脉冲分别通过带通滤光片3进行中心波长选择和频谱宽度控制,使波长范围分别处于彩色数字相机各颜色通道波长范围内,降低各路基色间颜色串扰的同时实现对各路基色超短脉冲时间宽度的调控;所述的各路基色超短脉冲分别通过连续可调中性滤光片4进行能量控制,获得合适的各基色脉冲能量比例,使后续多基色脉冲串照射的成像目标在彩色数字相机上成像时具有近似白平衡的效果。
在本实施例中,通过分束二向色镜组2对可见光波段超连续谱超短脉冲进行分光,获得与彩色数字相机20-1红(R)、绿(G)、蓝(B)三个颜色通道波长相对应的三路基色脉冲光。其中,所述的分束二向色镜组包括第一分束二向色镜2-1、设置在第一分束二向色镜2-1后方的第二分束二向色镜2-2;所述的第一分束二向色镜2-1,用于反射可见光波段超连续谱的蓝光波段(波长区间390-490nm),透射其余波段;所述的第二分束二向色镜2-2,用于反射其余波段中的绿光波段(波长区间490-580nm),透射红光波段(波长区间580-690nm)。
本实施例可通过改变分束二向色镜组2两片二向色镜的透反波长配置,实现红、绿、蓝三基色分光顺序的调整;本实施例也可采用RGB分束棱镜实现分光,所述的RGB分束棱镜把入射超连续谱直接按彩色数字相机20-1的三个基色波段分别沿不同方向出射,实现更紧凑的RGB三基色脉冲分光。
通过上述分光操作,可得到频谱宽度(谱宽)相近的、与彩色数字相机20-1三个基色波段相匹配的三路基色脉冲光,为进一步开展针对各路基色脉冲谱宽(脉宽)和能量的精确调节提供先决条件:所述的各路基色超短脉冲分别通过带通滤光片3进行中心波长选择和谱宽控制;所述的各路基色超短脉冲分别通过连续可调中性滤光片4进行能量控制。
具体地,由于超连续谱光源1-2输出的宽带超连续谱具有较为显著的时间啁啾,通过分束二向色镜组2分光后的红、绿、蓝三路基色脉冲也具有较显著的时间啁啾。因此,通过对红、绿、蓝三路基色脉冲光中心波长及谱宽的调节,可实现对红、绿、蓝三路基色脉冲脉宽的压缩,获得百fs量级、脉宽相近的红、绿、蓝三路基色超短脉冲。例如,红、绿、蓝三路基色脉冲光分别通过650nm(R路3-3)、540nm(G路3-2)、450nm(B路3-1)中心波长的10nm带宽带通滤光片3,可得到半高全宽(FWHM)脉宽约200fs的三路基色脉冲。需注意的是,因变换极限超短脉冲的时间带宽积为常数,RGB三基色的谱宽过窄反而会导致三基色脉冲的脉宽展宽(本实施例中,采用3nm带宽带通滤光片3可观察到三基色脉冲的展宽现象)。此外,RGB三基色的谱宽过窄也会导致各基色脉冲能量的显著降低。另外,对于本实施例中具有显著啁啾(远离变换极限)的宽带超连续谱脉冲而言,RGB三基色脉冲的谱宽降低会导致脉冲光的相干性提高,这对于降低激光散斑影响、提高成像质量而言是不利的。
另一方面,将三路基色脉冲光的中心波长设置在红、绿、蓝三个波段接近中心的位置,并设置相对较小的谱宽,可显著降低超快成像探测时彩色数字相机20三个颜色通道的颜色串扰,提高各颜色通道成像的信噪比及灵敏度。这是因为对于彩色数字相机20三个颜色通道各自的波长响应曲线,在某一基色波段中心波长区域,对应基色光有最高的响应灵敏度,且颜色通道只对对应基色光有响应,对其它两路基色光没有响应。相对地,在两基色波段近邻波长区域,两基色光的波长响应曲线一般具有一定交叠,使两颜色通道中任一通道均对两路基色光响应,进而引起颜色串扰,也即成像帧间串扰,导致成像对比度降低。
此外,对于多帧主动曝光超快成像技术,不同帧的照明脉冲应在成像目标处实现特定的辐照光强,以使拍摄到的多个成像帧具有一致的、合适的基准亮度。本实施例中红、绿、蓝三路基色超短脉冲能量应分别调整到合适数值(满足特定比例),以实现多基色脉冲串照射的成像目标在彩色数字相机上成像时具有近似白平衡效果。具体地,将红、绿、蓝三路基色超短脉冲分别通过一片连续可调中性滤光片4;先通过彩色数字相机对拍摄目标的成像亮度状态,判断实现良好单帧成像所需基准成像亮度(照明亮度不足情况下,以能量最小一路基色脉冲照明时的成像亮度作为基准成像亮度),再精确调节各路(或另两路)的连续可调中性滤光片4,使各基色脉冲分别辐照成像目标17时都能获得基准成像亮度,实现对红、绿、蓝三路基色超短脉冲能量比例的精确控制。
S3:采用延迟线组5对各路基色超短脉冲进行脉冲间的延迟时间控制,使各路超短脉冲间获得特定的精确时延,以实现对后续多帧超快成像过程成像帧率的精确控制。
对多帧超快成像而言,不同帧之间的时延是需要精确控制的参量。本实施例中,采用延迟线组5对红、绿、蓝三路基色超短脉冲间的时延进行精密控制。其中,红、绿、蓝三路基色光路均配有一条高精度延迟线(位移精度1μm,可实现高于10fs精度时延调节),通过精确调节每两路基色超短脉冲的时延,便可获得三路基色超短脉冲间的精确时延。延迟线组5减少其中一路也可完成三路脉冲间时延的精确调节。需注意的是,要使多帧超快成像所采集多帧瞬时画面在时间上可分辨,***设置的最小时延应与三基色脉冲的脉宽相匹配。具体地,对于高斯包络脉冲,两相邻脉冲峰值时延应大于两脉冲半高全宽脉宽才能实现两脉冲在时域分离。例如,对于10nm滤光片所得的200fs脉宽脉冲,脉冲间时延大于200fs才能确保采集到的超快成像帧在时域分离。另一方面,***所能设置最大时延由延迟线长度决定。例如,本实施例所使用延迟线行程为5cm。考虑光路折返,延迟光路可获最大10cm延迟光程,对应时延为333ps。另外,光路设置时每一路延迟线入射光与出射光传播方向均应与延迟线运动方向平行,确保时延调节后出射光传播方向不变。
S4:采用合束二向色镜组9对各路基色超短脉冲进行合束,实现各路基色超短脉冲在空间上的共束传播,获得一束脉冲间具有特定时延的多基色超短脉冲串。
在本实施例中,采用合束二向色镜组9对各路基色超短脉冲进行合束,实现各路基色超短脉冲在空间上的准直共束传播。要实现红、绿、蓝三基色超短脉冲的共束传播,应使三路基色脉冲光束的空间位置及传播方向均一致,且在较远传播距离(如整个成像***的传播距离)能保持良好合束状态。事实上,光束合束是分束的逆过程,因此可类似步骤S2的分束过程,采用配置相同的合束二向色镜组9实现对三路基色超短脉冲的准直合束。其中,所述的合束二向色镜组包括第一合束二向色镜9-1、第二合束二向色镜9-2;所述的第一合束二向色镜9-1(与第二分束二相色镜2-2参数一致)反射绿光波段(波长区间490-580nm),透射红光波段(波长区间580-690nm);所述的第二合束二向色镜9-2(与第一分束二相色镜2-1参数一致)反射蓝光波段(波长区间390-490nm),透射其余波段。首先,红光路通过高反镜6(安装在高精度光学调节架上)反射方向的精密调节,确定合束光束的传播方向。然后,绿光路通过第一合束二向色镜9-1(安装在高精度光学调节架上)的反射实现与红光路的准直合束。其中,先精密调节第一合束二向色镜9-1空间位置,使红光光束与绿光光束在二向色镜出射端重合,再利用第一合束二向色镜9-1的镜架精密调节绿光光束的传播方向,使其与红光光束在远端合束,也即使两路光束的空间位置与传播方向均一致(两步调节可循环开展,以达到良好准直合束效果)。最后,蓝光路通过第二合束二向色镜9-2(安装在高精度光学调节架上)的反射实现与红、绿光路的准直合束。类似地,在该步骤调节过程中,先精密调节第二合束二向色镜9-2空间位置,使蓝光光束与红、绿光光束在二向色镜出射端重合,再利用第二合束二向色镜9-2的镜架精密调节蓝光光束的传播方向,使其与红、绿光束在远端合束,也即使三路光束的空间位置与传播方向均一致(同样,两步调节可循环开展,以达到良好三路光准直合束效果)。通过上述合束操作,可实现具有特定时延红、绿、蓝三基色超短脉冲的准直共束传播,即三基色超短脉冲串。
S5:多基色超短脉冲串作为成像主动照明光源,采用科勒照明方式照射成像目标17,实现对成像目标17的多基色超短脉冲串主动曝光时间控制。
在本实施例中,多基色脉冲照明及目标成像模块基于常规光学显微镜实现,其具有同轴落射照明***。其中,三基色超短脉冲串作为成像主动照明光源入射常规光学显微镜的科勒照明***照射成像目标,实现对成像目标的多基色超短脉冲串主动曝光时间控制。一般地,光学显微镜照明光源都具有特定发散特性,而非准直光源。因此,先调整准直的三基色超短脉冲光束为发散光束,并设置发散原点在原光源附近,便可替代显微镜原光源入射照明***,实现与显微镜成像***良好耦合。具体地,准直三基色超短脉冲光束经消色差透镜12会聚,在焦点后成为发散光束并作为显微镜照明光源入射成像照明***的会聚透镜14(在一些光学显微镜中,该会聚透镜的功能由更复杂的会聚透镜组实现),再经半透半反镜15反射后沿显微镜主光轴传播,然后经后孔径入射显微物镜16,通过物镜最终辐照成像目标17,实现对成像目标17的三基色超短脉冲主动照明。其中,消色差透镜12的焦距由显微镜成像照明***特性及样品照明技术要求决定。若需要高的照明亮度,可选择相对大的焦距,即获得相对小的照明光数值孔径。本实施例中,实现这种照明条件的消色差透镜12焦距选择为6.5cm。在这种条件下,高照明亮度会相对局域在显微成像视场的中心区域。相对地,要实现在视场中更均匀分布的、更宽的照明亮度分布,可选择相对较小的焦距,即获得相对大的照明光数值孔径。本实施例中,实现这种照明条件的消色差透镜组12(用10X长工作距离显微物镜实现)的焦距选择为1.7cm。在这种条件下,视场中照明亮度分布更宽及更均匀,散斑减弱的同时显微成像分辨率获提高,但亮度会降低。另一方面,消色差透镜12的纵向放置位置由光会聚焦点位置所决定,而会聚焦点位置由显微镜照明***的原光源位置所决定,或由实现良好科勒照明的光源位置条件所决定。此外,为提高照明光的非相干性(提高成像空间分辨率及降低激光散斑对成像质量的影响),可在三基色脉冲光束会聚处(即消色差透镜12焦点处)附近放置薄光学散射片13(具有面散射,而非体散射特性,以降低散射过程对三基色脉冲脉宽和能量的影响),使三基色脉冲光束透过散射片13后实现相干性的降低。
上述成像照明设置可实现近似科勒照明的条件,使超快显微成像***获得优异的主动照明效果,充分利用显微物镜16的极限光学分辨能力。本实施例所述的三基色超短脉冲串导入显微镜照明***的方法具有通用性,适用于各种常规光学显微镜的照明***——除适用于上述同轴落射照明***,也适用于其它落射照明***,还适用于透射照明***。
S6:采用光学显微镜成像光路把多基色超短脉冲串照射的成像目标17清晰成像在彩色数字相机20图像传感器22上。
本实施例的显微镜成像***为无限远校正光学***,通过显微物镜16和成像透镜18所构成的光学显微镜成像光路实现三基色超短脉冲串照射的成像目标17在彩色数字相机图像传感器上的清晰显微成像。在成像过程中,具有特定时延的同轴落射三基色超短脉冲依次照射位于显微物镜16焦平面上的成像目标17,其反射及散射光被显微物镜16收集后沿成像光路光轴反向传播,最后通过成像透镜18会聚实现在彩色数字相机20-1成像传感器22-1(成像透镜成像面)上的清晰显微成像。由于整个显微成像***具有良好的消色差特性,且三基色脉冲具有共轴特性,成像目标17被三基色脉冲分别照射后各基色脉冲对应的成像面具有近似一致的特性。如本实施例所示,本发明方法的光学成像过程可与常规光学成像设备兼容,因此可直接基于常规光学成像设备搭建,如基于各种形式的光学显微镜,各种类型光学成像镜头,甚至于光学望远镜。
S7:基于同步控制***1-1所发出到彩色数字相机20的、具有一定时间提前量的触发信号,控制彩色数字相机20快门单次曝光一段能完整覆盖超短脉冲串照明全程的时间,实现对成像在图像传感器22上的超短脉冲串照明瞬时场景的拍摄。
本实施例所述的彩色数字相机为棱镜式彩色数字相机20-1,其图像传感器为黑白图像传感器22-1,数目为三个(3CCD或3CMOS)。采用棱镜式彩色数字相机20-1单次曝光一定时间,分别拍摄各基色超短脉冲照射成像目标17所形成的灰度图像。具体地,基于同步控制***1-1所发出到彩色数字相机的、具有一定时间提前量的触发信号,控制棱镜式彩色数字相机20-1快门开启,使各基色路像平面上的黑白图像传感器22-1单次曝光一段能完整覆盖各基色脉冲照明全程的时间,实现对成像在各黑白图像传感器22-1上的基色超短脉冲照射成像目标17所形成瞬时场景的拍摄。其中,处于显微成像光路像平面上的棱镜式彩色数字相机20-1的分光棱镜21可实现红、绿、蓝三路基色光的分束,使三路基色脉冲照射成像目标17所形成的瞬时显微场景分别成像在对应基色路的黑白图像传感器22-1上。也即,各基色路黑白图像传感器22-1上所捕捉到的瞬态图像就是多帧超快成像中单次触发事件对应不同主动曝光时刻的瞬态成像帧。在本发明多帧超快成像方法中,最为核心的技术就是各时延超短照明脉冲的波长范围被分别设置在彩色数字相机20各颜色通道的波长范围之内——多个记录不同瞬时场景的超快成像帧通过各基色超短脉冲的波长进行编码,且编码波长与彩色数字相机各颜色通道相对应,因此本身具有多基色空间分离能力的彩色数字相机可直接实现对这些共束多基色超快成像帧的空间分离(波长解码)。本实施例中,棱镜式彩色数字相机20-1的分光棱镜21实现对三个颜色通道的空间分离,也即实现多帧超快成像***对不同瞬时超快成像帧的空间分离,进而可通过对应黑白图像传感器22-1实现对各超快成像帧的直接图像采集。
在本实施例中,用于成像采集的棱镜式彩色数字相机20-1的快门开启时刻由同步控制***1-1所发出的外部触发信号控制,以确保棱镜式彩色数字相机20-1进行瞬态成像帧拍摄时能捕捉到照明脉冲串照射全程。在照明脉冲串照射成像目标17之前,棱镜式彩色数字相机20-1的快门就应先完全开启(即使是电子快门,快门从触发到像素全开状态也需一定时间,且滚动快门完全开启时间要长于全局快门),然后保持开启一段覆盖脉冲串照射全程的时间,待照明脉冲串照射完成像目标17后再关闭。要确保超快成像***上述运行时序的正常,可通过设置同步控制***1-1向棱镜式彩色数字相机20-1发出触发信号的时刻早于向超连续谱光源1-2发出触发信号的时刻一段足够时长来满足(对于目前的滚动快门技术数字相机,30ms为典型要求值;对于目前的全局快门技术数字相机,1ms已足够)。这样,基于同步控制***1-1输出到棱镜式彩色数字相机20-1的触发信号,棱镜式彩色数字相机20-1的电子快门***控制像平面上的三路黑白图像传感器22-1开启工作并曝光足够时长(需大于上述触发提前时长加脉冲串时长),实现对各基色成像帧的完整采集。但若相机曝光时间过长,环境光对成像的不利影响将加剧,导致成像帧中静态背景亮度过高,显著降低瞬态画面对比度。
本实施例的棱镜式彩色数字相机20-1通过棱镜21分光技术,对每一路基色光的成像信息分别通过一个黑白图像传感器22-1记录,形成三幅同视场、同视角的、与各颜色通道对应的图像。相对于基于拜耳滤色片阵列分光(CFA,4×4色彩滤波阵列,由8个绿色、4个蓝色和4个红色像素组成)的单图像传感器彩色成像技术,基于棱镜分光的三图像传感器彩色成像技术其各颜色通道间的光谱响应曲线更易获得高的隔离度,也即相邻基色区间的颜色串扰会更弱——棱镜分光通过光学硬膜实现不同波段的透反分光,相比拜耳阵列透射式滤色片通过各基色光阻剂(软高分子染料)实现波长依赖吸收分光,更易获得具有较陡峭带边的RGB带通波段。因此,对本发明方法而言,相对于基于拜耳滤色片阵列的单传感器彩色数字相机,基于棱镜的多传感器彩色数字相机实现多帧超快成像有利于获得相邻波段成像帧间更低的颜色串扰,从而得到更优的成像质量。另外,理论上拜耳滤色片阵列RGB分光中R通道和B通道的极限光能利用率只能达到25%,G通道的极限光能利用率只能达到50%。而棱镜RGB分光的各通道极限光能利用率均能达到100%。因此,相对于拜耳阵列分光技术,使用棱镜分光技术的彩色数字相机可显著提高照明脉冲的能量利用率,获得更高的成像亮度。此外,基于拜耳滤色片阵列的彩色数字相机在原始成像过程中每个像素只能产生红、绿、蓝三色当中一种颜色的准确值,另两种颜色的值需通过相机图像信息处理模块23(ISP)执行空间色彩插值算法估算获得,因此可能会产生色彩噪声,如摩尔纹、拉链效应、伪色等现象的产生,降低彩色成像质量。而基于棱镜分光技术的彩色数字相机在原始成像过程中每个像素的红、绿、蓝三种颜色的准确值都被记录下来,不需插值获得。基于棱镜分光技术的彩色数字相机在彩色成像方面的质量优势对实现各瞬态基色成像帧的无损或低噪声还原也是有明确技术意义的。
S8:通过棱镜式彩色数字相机20-1内部对各颜色通道灰度图像的直接分离输出24,或外部后续对其所输出RGB彩色图像的颜色通道分离处理28,实现对彩色数字相机所拍摄图像的各颜色通道灰度图像33获取,得到与各基色超短脉冲照明瞬时场景相对应的、按时序排列的多个超快成像帧35,实现多帧超快成像。
本实施例中,在棱镜式彩色数字相机20-1各路黑白图像传感器22-1采集完相应的超快成像帧后,棱镜式彩色数字相机20-1通常可通过两种方式输出采集到的图像信息:
1)相机内部直接通过三路信号通道分离输出24三路黑白图像传感器22-1所拍摄的红、绿、蓝颜色通道灰度图像33,也即直接实现对三个超快成像帧33的同步分离输出。
2)相机先通过内部图像信息处理模块23(ISP)对三路黑白图像传感器22-1所拍摄的各颜色通道灰度图像33进行RGB彩色图像合成处理25,然后再输出26该帧由三基色超短脉冲依次照射成像目标17的瞬时场景所叠加而成的RGB彩色图像27。
接着,对棱镜式彩色数字相机20-1输出的图像进行后续处理,获得与三个基色超短脉冲照明瞬时场景相对应的三个基色超快成像帧33,再对各超快成像帧按事件发生的先后顺序进行排列34,获得按时序排列的超快成像帧序列35,呈现单次触发事件的超快瞬态演化过程。如上所述,基于棱镜技术的彩色数字相机20-1可通过两种常见方式输出采集到的图像。因此,为获得按事件发生的时间先后顺序排列的多帧超快瞬态图像,应根据彩色数字相机图像输出的方式对输出的图像进行相应处理:
1)对于相机直接同步分离输出24三个基色超快成像帧33(各基色超快成像帧33已在相机内部通过硬件方式实现直接的颜色通道分离)的情形,在获得相机输出的、与三个基色超短脉冲照明瞬时场景相对应的三个超快成像帧33后,可直接基于各基色超短脉冲主动曝光过程的时延关系,对各超快成像帧33按事件发生的先后顺序进行排列34。
2)对于相机输出26单帧RGB彩色图像27(各颜色通道灰度图像33已在相机内部合成RGB格式彩色图像27,也即三个基色超快成像帧33被叠加在同一RGB彩色图像27中)的情形,需先对相机输出的该帧RGB彩色图像27进行相机外RGB彩色图像的颜色通道分离处理28,获得与三个基色超短脉冲照明瞬时场景相对应的三个超快成像帧33,再基于各基色超短脉冲主动曝光过程的时延关系,对各超快成像帧33按事件发生的先后顺序进行排列34。
本实施例通过这两种方式对彩色数字相机输出的图像进行后续处理,获得按事件发生先后顺序排列的超快成像帧序列35,本发明基于彩色数字相机的多帧超快成像方法便可最终实现对单次触发事件的超快瞬态演化过程的高时间和高空间分辨呈现。其中,本发明多帧超快成像***的时间分辨率由基色脉冲脉宽所决定。例如,若充分利用三基色颜色通道约100nm的极限谱宽,三基色超短脉冲将获得约10fs的极限脉宽,也即多帧超快成像***将获得约10fs的极限时间分辨率。另外,本发明多帧超快成像***的成像帧率(FPS)由各基色超短脉冲间时延(Δt)决定(FPS=1/Δt)。例如,对于上述10fs极限脉宽的脉冲,当脉冲间具有相等的、10fs的Δt时,脉冲间的瞬态成像帧在时域上处于临界可分辨情形,此时***的FPS将高达1014fps。另一方面,本发明多帧超快成像***的空间分辨率主要由负责目标成像的光学显微镜的成像空间分辨率决定。例如,当***的光学显微镜使用数值孔径为0.95的物镜时,在可见光波段其理论空间分辨率可达约0.3μm。对于目前的多帧超快成像技术而言,上述时间和空间分辨率指标均处于领域最前沿。
对于本实施例中基于棱镜分光技术的三传感器(3CCD或3CMOS)彩色数字相机,其每个颜色通道均配置有一片黑白图像传感器用于采集RGB彩色图像中每个像素对应基色的分量值。相对地,基于拜耳滤色片分光技术的单传感器彩色数字相机,各颜色通道利用同一片传感器基于拜耳阵列进行像素(空间)离散采样,再通过插值处理获得每个像素完整的三基色分量值。对本发明的多帧超快成像技术而言,基于棱镜分光技术的彩色数字相机可为本发明方法提供技术流程上更高的便捷性:基于棱镜分光技术的彩色数字相机能直接实现纯硬件(传感器)层面上的对各基色超快成像帧的分离输出(不依赖于图像信息处理),而基于拜耳滤色片分光技术的彩色数字相机一般需通过额外的图像信息处理来实现对各基色超快成像帧的像素插值或分离输出。因此,考虑这种技术上的便捷性,以及前面提到的更低颜色串扰、更高光能利用率以及无插值色彩噪声等显著优势,采用棱镜分光技术的彩色数字相机作为本发明方法的成像相机是优选的技术方案。
另外,当所使用的彩色数字相机并非基于棱镜式RGB三传感器技术,而是基于其它RGB三传感器(层)彩色成像技术,如具有锐利色彩表现的RGB三层感光式传感器技术FoveonX3,上述基于棱镜式彩色数字相机20-1的多帧超快成像方法的实施方案仍然是适用的。类似地,基于Foveon X3彩色成像技术,可在红、绿、蓝三层图像传感器图像采集的硬件过程实现三个基色超快成像帧的直接分离采集及输出,而不必依赖于额外的图像信息处理,因此同样具有本实施例所具有的高处理效率、高成像质量和高多帧隔离度等优点。
实施例2
如图1、3所示,本实施例步骤S1、S2与实施例1对应步骤的技术细节相同,在此不再详细累述。本实施例步骤S3~S8具体如下:
S3:采用延迟光纤组8对各路基色超短脉冲进行脉冲间的延迟时间控制,使各路超短脉冲间获得特定的精确时延,以实现对后续多帧超快成像过程成像帧率的精确控制。
对多帧超快成像而言,不同帧之间的时延是需要精确控制的参量。本实施例中,红、绿、蓝三路基色超短脉冲间的时延通过三路基色超短脉冲传播不同长度的延迟光纤8来实现。其中,红、绿、蓝三路基色光路均配有一条长度预先设定的延迟光纤8。不同于具有高位移精度但相对较小极限光程的延迟线,延迟光纤可实现相对较大的延迟时间,如米(m)量级的延迟光程,同时又能节省光路空间。通过设置三条延迟光纤8具有不同的精确长度,便可获得三路基色超短脉冲间的精确时延。例如,设置三条延迟石英光纤长度分别为1、2和3m,考虑脉冲间光程差=1m×石英纤芯折射率以及可见光波段石英折射率约为1.46,便可计算得到三路基色超短脉冲间具有约4.87ns的时延。具体地,准直的三路基色超短脉冲通过会聚透镜7实现会聚后居中准直耦合进延迟光纤8,且精确设置会聚透镜7位置使三路光耦合进光纤端面时具有相等光程。其中,为实现良好耦合,会聚光焦斑直径应小于光纤纤芯直径,且会聚光的数值孔径应小于光纤的数值孔径。在本实施例中,会聚透镜的焦距选择为4cm;由于三路基色超短脉冲具有较高的峰值功率,为避免其对光纤造成强光损伤,或诱导强的非线性效应,延迟光纤选择为具有200μm大纤芯直径的多模石英光纤。
除了可获得大的脉冲时延及实现紧凑光路设置这些优点,通过使用延迟光纤8来获得时延的方法还具有易实现标准化时延设置的好处:以预先设定的基准长度(如0.01m)系列特定倍数为长度标准制作一系列标准延迟光纤8(如0.1、0.11、0.12、0.15、0.2、0.5、1、2、5、10m),通过这些标准延迟光纤8灵活地搭配连接使用(光纤间通过标准的光纤适配器10连接),就可便捷地实现脉冲间大量不同的、以特定时延(上述0.01m基准长度石英光纤光程对应时延为48.7ps)为单位的标准化时延配置方案。值得注意的是,由于光纤存在色散(如典型的材料色散和模式色散),具有一定带宽的超短脉冲在光纤中传输其脉宽往往会被展宽(与传输介质在对应波段的色散系数符号和脉冲的啁啾特性决定),且展宽的程度与光纤长度呈正相关关系。所以,相对于光在空气中传播(空气色散系数远低于固体透明介质色散系数)产生时延的延迟线,光在固体透明介质中传播产生时延的延迟光纤更适用于对时间分辨率要求不高(ps到ns量级时间分辨)且脉冲间时延较大的多帧超快成像场合。另一方面,由于光纤色散导致的脉冲展宽(脉冲时间相干性减弱),以及多模光纤导致的横模模式混合(脉冲空间相干性减弱),在光纤中传播的超短脉冲的相干性会降低,这对于超快成像中的散斑抑制以及成像质量的提高是有益的。
S4:采用3合1光纤合束器11对各路基色超短脉冲进行合束,实现各路基色超短脉冲在空间上的共束传播,获得一束脉冲间具有特定时延的多基色超短脉冲串。
在本实施例中,在三路基色延迟光纤8中传播的各基色超短脉冲光束通过一个3合1(3×1)光纤合束器11实现具有特定时延的三路基色超短脉冲的空间合束。具体地,三路时延光纤首先分别通过光纤适配器10与3合1光纤合束器11的三个输入端相连接,这样在延迟光纤8中传播的三路基色超短脉冲便可直接传输进3合1光纤合束器11,实现三路脉冲光的合束,成为在3合1光纤合束器11的合束光纤中传播的三基色超短脉冲串。然后三基色超短脉冲串通过3合1光纤合束器11合束光纤的输出端出射,成为具有一定发散角(由光纤数值孔径决定)的自由空间传播三基色超短脉冲串光束。通过3合1光纤合束器11可直接实现光纤中传播的多路基色时延脉冲光束的良好合束,而不像空间传播多基色光束需进行多维度的空间位置及方向精密调节以实现良好合束,因此在技术上更为便捷。这也是使用光纤进行脉冲时延的另一个优势。即使不使用3合1光纤合束器11,而是直接把三路末段去掉涂覆层的延迟光纤8出口齐平、准直密堆放置在一起,在三路基色脉冲光束出射光纤并发散传输一段显著大于光纤直径的距离后,也能形成良好的三路光合束状态。
S5:多基色超短脉冲串作为成像主动照明光源,采用直接照明方式照射成像目标17,实现对成像目标17的多基色超短脉冲串主动曝光时间控制。
在本实施例中,三基色超短脉冲串作为超快成像主动照明光源直接照射成像目标17。另外,本实施例的超快成像***设置为相机镜头19成像模式,其典型成像距离(m量级)远大于光学显微镜的典型工作距离(mm量级)。也即,作为成像***的照明光源,三基色超短脉冲串在照射到成像目标17之前需传输相对较长的距离。因此,光纤输出的、具有特定发散角的三基色超短脉冲串光束需先变换为准直或近准直光束,以便经较长距离传输后仍有较高的辐照光强,且具有近似平面的辐照光场时空分布。具体地,3合1光纤合束器11出射的发散三基色超短脉冲串通过一个离光纤输出端面1倍焦距的消色差照明会聚透镜14实现准直。准直后的三基色超短脉冲串光束的直径由消色差透镜14的焦距及多模光纤的数值孔径决定:在光纤数值孔径确定的条件下,可通过增大消色差透镜14的焦距来得到更大的准直光束直径。但需注意的是,准直光束直径增大会令照明光强降低。另外,根据实际的成像目标17照明要求,也可进一步调整消色差透镜14的轴向位置来获得发散或会聚的照明光束,从而实现不同的远场照明条件。例如,若需要高的照明亮度,可使消色差透镜14轴向位置远离光纤输出端,使照明光束处于满足照明亮度要求的会聚状态。需注意的是,对于准直照明条件,光束具有平面型的光场时空分布;而对于发散或会聚照明条件,且非处于会聚焦点处时,光束具有球面或近球面型的光场时空分布。在本实施例中,放置在1倍焦距处的消色差透镜14的焦距为10cm,获得的准直光束的直径约为4cm。另外,为提高照明光的非相干性(降低照射表面的激光散斑效应,减弱成像随机噪声,提高成像空间分辨率和质量),可在3合1光纤合束器11的合束光纤出射端放置透射式薄光学散射片13(具有面散射特性,降低散射对脉冲脉宽和能量的影响),使三基色脉冲光束透过散射片13后相干性得到降低。
在本实施例中,准直后的三基色超短脉冲串光束作为成像照明***的光源,对成像目标17进行直接直射照明,实现对成像目标17的多基色超短脉冲串主动曝光时间控制。不同于实施例1光学显微镜的同轴照明***,本实施例照明***的照明光斑具有相对较大的尺寸,可实现对相对宏观的超快瞬态过程成像。另外,这种直射照明方式不受限于***的成像光路,因此可实现更为灵活的照明设置。例如,相对于成像目标17的运动方向,成像照明角度可根据照明需要灵活设置:若设置成与成像目标17运动方向垂直的情形,可类似纹影成像技术获得对具有流体特性的超快动力学过程的多帧超快成像;若设置成与成像目标17运动方向呈一定夹角的情形,可获得成像目标17在三维空间运动的、具有立体视角的多帧超快瞬态图像。此外,在这种直射照明方式下,成像镜头19光轴方向与照明光波矢方向的关系也可根据实际需要灵活调整。因此,在本实施例的成像和照明条件下,成像镜头19光轴方向、照明光波矢方向、成像目标17运动方向三者的关系均可灵活设置,使本多帧超快成像方法在各种应用领域和使用场景下均有较高适用性和可移植性。
S6:采用相机镜头19把多基色超短脉冲串照射的成像目标17清晰成像在彩色数字相机20图像传感器22上。
在本实施例中,超快成像***的成像模块采用相机常规光学成像所使用的相机镜头19成像模式(工业和民用场景中最为普遍的光学成像形式)。也即,超快成像***的成像光路由一个单独的、具有良好消色差特性的可变焦相机镜头19构成。在具体成像过程中,具有特定时延的准直三基色超短脉冲依次照射成像目标17(可通过切换至连续光源照明,调节镜头变焦位置以获得最优成像质量来实现对成像目标17的良好对焦),其透射及散射光被变焦成像镜头19所收集后沿成像光路光轴传播,最终在彩色数字相机20-2图像传感器22-2上(在成像镜头像方焦平面附近)成像。由于该变焦成像镜头19具有良好的消色差特性,且三个基色脉冲具有共轴特性,成像目标17被三个基色脉冲分别照射后各基色脉冲对应的成像面具有近似一致的特性。本发明方法的光学成像过程可与常规光学成像设备兼容,因此可直接基于常规光学成像设备搭建,如各种形式的光学镜头、显微镜,甚至于望远镜。
S7:基于同步控制***1-1所发出到彩色数字相机20的、具有一定时间提前量的触发信号,控制彩色数字相机20快门单次曝光一段能完整覆盖超短脉冲串照明全程的时间,实现对成像在图像传感器22上的超短脉冲串照明瞬时场景的拍摄。
本实施例所述的彩色数字相机为拜耳式彩色数字相机20-2,其单图像传感器(CCD或CMOS)为拜耳阵列彩色图像传感器22-2。在本实施例中,基于同步控制***1-1输出到相机的触发信号,拜耳式彩色数字相机20-2的快门***控制像平面上的拜耳阵列彩色图像传感器22-2曝光特定时长,采集三个基色超短脉冲依次辐照成像目标17所叠加形成的单帧瞬态彩色图像。其中,本实施例用拜耳式单传感器彩色数字相机20-2实现对各基色超短脉冲照射成像目标17所形成的瞬态场景的成像记录。具体地,处于成像光路末端的彩色图像传感器22-2的拜耳滤色片阵列可实现红、绿、蓝三路基色光的空间分离,使三路基色脉冲辐照成像目标17所形成的瞬时场景分别成像在与拜耳滤色片各颜色通道对应的传感器区域上。也即,拜耳阵列彩色图像传感器22-2上拜耳滤色片各颜色通道所捕捉到的瞬态图像就是多帧超快成像中单次触发事件对应不同主动曝光时刻的超快成像帧。在本发明的多帧超快成像方法中,最为核心的技术就是各时延超短照明脉冲的波长范围被分别设置在彩色数字相机各颜色通道的波长范围之内,因此本身具有多基色空间分离能力的拜耳阵列彩色图像传感器22-2可直接实现对这些共束多基色超快成像帧的空间分离。也即,多个记录不同瞬时场景的超快成像帧通过各基色超短脉冲的波长进行编码,且编码波长与拜耳阵列彩色图像传感器22-2各颜色通道波长相对应。对本实施例而言,拜耳阵列彩色图像传感器22-2的拜耳滤色片实现了相机对三个颜色通道的空间分离,也即实现了多帧超快成像***对不同瞬时超快成像帧的物理空间分离(波长解码),进而可通过后续图像信息处理(信息空间分离)实现对各超快成像帧的图像采集。
在本实施例中,用于成像采集的拜耳式彩色数字相机20-2的快门开启时刻由同步控制***1-1所发出的外部触发信号控制,以确保拜耳式彩色数字相机20-2进行瞬态成像帧拍摄时能捕捉到照明脉冲串照射全程。在照明脉冲串照射成像目标17之前,拜耳式彩色数字相机20-2的快门就应先完全开启,然后保持开启一段覆盖脉冲串照射全程的时间,待照明脉冲串照射完成像目标17后再关闭。要确保超快成像***上述运行时序的正常,可通过设置同步控制***1-1向拜耳式彩色数字相机20-2发出触发信号的时刻早于向超连续谱光源1-2发出触发信号的时刻一段足够时长来满足(对于目前的滚动快门技术数字相机,30ms为典型要求值;对于目前的全局快门技术数字相机,1ms已足够)。这样,基于同步控制***1-1输出到拜耳式彩色数字相机20-2的触发信号,拜耳式彩色数字相机20-2的电子快门***控制像平面上的拜耳阵列彩色图像传感器22-2开启工作并曝光足够时长(需大于上述触发提前时长加脉冲串时长),实现对三个瞬态场景叠加形成的单帧彩色图像的完整采集(相机快门曝光过程中三个基色脉冲依次照射成像目标17并交叠成像在拜耳阵列彩色图像传感器22-2上)。需注意的是,若相机曝光时间过长,环境光对成像的不利影响将加剧,导致成像帧中静态背景亮度过高,显著降低瞬态画面对比度。
本实施例的彩色数字相机通过拜耳滤色片分光技术,在同一片拜耳阵列彩色图像传感器22-2上实现RGB三基色的空间分离采集。这是当前彩色数字相机最为广泛应用的彩色成像技术方案,具有比其它彩色成像技术方案(如棱镜式分光技术的多传感器方案)更为低廉的制造成本,同时也可实现更为紧凑的相机空间设计,有利于缩小基于彩色数字相机的光学成像***的空间尺寸。因此,即使在实际应用中在色彩还原等方面与其它多片(层)传感器技术相比有一定的劣势,拜耳式彩色数字相机仍占据了市场的绝对主导。对于本发明的基于彩色数字相机的多帧超快成像***而言,所使用的彩色数字相机的优缺点会被***继承。虽然拜耳式彩色数字相机可导致插值色彩噪声(超快成像帧灰度噪声)、更高的颜色串扰(超快成像帧间串扰)、更低光能利用率(超短脉冲照明效率)以及额外的颜色通道(超快成像帧)分离处理流程,但其显而易见的制造成本优势、高度的技术成熟性和可延续性以及显著的空间表现优势可极大弥补上述技术劣势,在需要高经济性和紧凑空间表现的多帧超快成像应用场合替代多传感器技术的彩色数字相机。
S8:通过拜耳式彩色数字相机20-2外部后续对其所输出RGB图像的颜色通道分离处理28,实现对彩色数字相机所拍摄图像的各颜色通道灰度图像33获取,得到与各基色超短脉冲照明瞬时场景相对应的、按时序排列的多个超快成像帧35,实现多帧超快成像。
在拜耳阵列彩色图像传感器22-2采集完超快成像单帧彩色图像后,拜耳式彩色数字相机20-2通常可通过两种方式输出采集到的图像信息:
1)相机内部的图像信息处理模块23(ISP)对拜耳阵列彩色图像传感器22-2所采集的RAW RGB格式图像31进行插值处理29-1,然后再输出26该帧由三基色超短脉冲依次照射成像目标17的瞬时场景所叠加而成的RGB彩色图像27(RGB色彩空间彩色图像具有RGB格式像素形式,其每一像素均包含RGB三个基色分量的值,通过特定图片存储格式输出,如TIFF、PNG、BMP等)。
2)不经RAW RGB格式图像插值处理,相机直接输出30单帧RAW RGB格式图像31(RAWRGB格式图像是彩色图像传感器将采集的光信号转化为数字信号的原始数据,其每个像素只有一种颜色的数据;对于拜耳阵列彩色图像传感器,当RAW RGB格式按照拜耳阵列排列时,RAW RGB格式也称为拜耳RGB格式,其为光线透过拜耳滤色片阵列直接得到的数据,是最常见一种RAW RGB格式)。
接着,对拜耳式彩色数字相机20-2输出的单帧图像进行各颜色通道分离处理28,获得与三个基色超短脉冲照明瞬时场景相对应的三个基色超快成像帧33,再对各超快成像帧按事件发生的先后顺序进行排列34,获得按时序排列的超快成像帧序列35,呈现单次触发事件的超快瞬态演化过程。具体地,在拜耳式彩色数字相机20-2所拍摄的超快成像帧中,三个基色脉冲分别照射成像目标17的瞬态场景被叠加在同一彩色成像帧中。也即,虽然拜耳式彩色数字相机实现了RGB三个颜色通道的物理空间分离,但其并未实现RGB三个颜色通道的信息空间分离。因此,要真正实现对多个超快成像帧的保存和呈现,需对拜耳式彩色数字相机20-2所拍摄的成像单帧进行各颜色通道分离处理28,获取各基色脉冲单独照射成像目标17所形成的超快成像帧33。如上所述,拜耳式彩色数字相机20-2通常可通过两种方式输出采集到的图像信息。对于两种输出方式,后续获取各基色超快成像帧并按时序排列的图像处理过程也不同。
1)对于相机输出26RGB彩色图像27的情形,通过对单帧RGB彩色图像27进行数字图像信息处理,即对其RGB颜色通道进行分离处理28,便可获得与各基色超短脉冲照射成像目标17的瞬时场景相对应的各超快成像帧33,然后再基于各基色超短脉冲主动曝光过程的时延关系,对各超快成像帧按事件发生的先后顺序进行排列34。
2)对于相机输出30RAW RGB格式图像31的情形,可通过两种方式实现对图像RGB颜色通道的分离处理。一是先对RAW RGB格式图像31进行RGB颜色通道分离处理28,获得各颜色通道的RAW格式图像32后再通过对各颜色通道RAW格式图像32进行插值处理29-3,获得各超快成像帧33;二是先对RAW RGB格式图像31进行插值处理29-2,获得RGB彩色图像27后再通过RGB颜色通道分离处理28,获得各超快成像帧33。通过上述两种方式,均可实现对叠加在RAW RGB格式图像31中的三个基色超快成像帧33的还原。然后,再基于各基色超短脉冲主动曝光过程的时延关系,对各超快成像帧按事件发生的先后顺序进行排列34。
本实施例通过上述两种处理过程均可获得按时序排列的超快成像帧序列35,从而实现对具有较宏观尺寸的单次触发事件的多个超快瞬态演化时刻的清晰呈现,也即实现对该瞬态过程的多帧超快成像。
另外,当所使用的彩色数字相机并非基于拜耳滤色片阵列技术,而是基于其它滤色片阵列技术,上述基于拜耳式彩色数字相机的多帧超快成像方法的实施方案仍然是适用的。例如,基于下列新型滤色片阵列技术的彩色数字相机均可通过本实施例的方案实现多帧超快成像:改变三基色滤色片排列方式的X-Trans阵列(可减弱摩尔纹);加入了青色波段滤色片的RGBE阵列,加入了白色波段滤色片的RGBW阵列;加入红外波段滤色片的RGB-IR(弱光情况下降噪);远超三基色的多光谱滤色片阵列(MSFA)。
上述实施例1和实施例2,除了对超快成像***所拍摄输出的多帧超快瞬态图像进行软件层面的图像信息处理、按时序排列编辑保存及后续视频播放或连续图像帧呈现,对于具有RGB颜色分量视频信号输出接口(如配有D-Sub或VGA视频传输接口)的彩色数字相机还可直接把三路基色图像帧分别输出到三个监视器,通过纯硬件的方式实现多帧超快成像中所有成像帧的实时同步显示及存储记录。进一步,对具有任意彩***传输接口的彩色数字相机,只要对其输出彩***信号进行适当的转换,获得RGB颜色空间中各基色分量信号,均可实现多帧超快成像中所有成像帧的实时同步显示及存储记录。
上述的实施例均是针对彩色数字相机的像素颜色基于红、绿、蓝三个颜色通道(三基色)混合的情形,如基于拜耳滤色片阵列技术或棱镜式3传感器技术的彩色相机。这种三基色方案与色度学中的三基色原理直接对应,理论完善,技术成熟,且具有结构紧凑及低成本的优势,是目前商用彩色数字相机的主流技术方案。但本发明方法所提出的超快成像方法的应用场景并不只局限于这种RGB三基色成像的情形——就彩色数字相机成像的颜色通道数目而言,本方法具有普遍的技术适用性。典型地,对于一些专业成像应用领域,基于传统标准RGB三基色的数字相机的光谱成像能力远达不到其进行专业光谱采集的技术需求,从而发展出了多光谱相机和高光谱相机这些在多光谱和高光谱成像领域具有重要应用价值的新型相机。例如,将实施例2图像传感器22-2的拜耳滤色片阵列扩展为多光谱滤色片阵列(MSFA),彩色数字相机20-2在一次拍摄中便可获得多光谱甚至高光谱的图像(称为快照马赛克成像)。对于这种多光谱成像的情形,本发明方法不仅同样适用,更是可显著提高多帧超快成像的帧数:只需产生与多光谱滤波器阵列各颜色通道相匹配的、具有特定时延的共束超短脉冲串,便可类似三基色的情形,利用超短脉冲串照射成像目标17,并通过基于多光谱相机的标准成像***成像,采集脉冲串主动曝光成像目标17所叠加形成的一帧彩色图像,最后对所拍摄的彩色图像进行各颜色通道分离28,获得与各颜色通道照明瞬时场景相对应的、按时序排列的多个超快成像帧35。简而言之,本发明方法可直接推广到颜色通道数目远高于三基色的多光谱或高光谱成像领域,实现基于多光谱或高光谱相机的多帧超快成像。
另外,上述实施例的光源均基于超连续谱超短脉冲,其具有较显著时间啁啾和较低时间、空间相干性的特性,有利于降低超短脉冲照明成像过程中的散斑效应,提高超快成像的空间分辨率及成像质量。但值得注意的是,这种低相干宽谱超短脉冲难以获得时间-带宽变换极限的脉宽,从而也导致超快成像***无法获得谱宽所对应的极限时间分辨率。本发明的多帧超快成像方法并非只局限于这种低相干宽谱超短脉冲作为光源的情形——高相干宽谱超短脉冲光源也同样适用于本多帧超快成像方法。一般而言,高相干超短脉冲光源可获得接近变换极限的脉宽,因此可显著提高***的时间分辨极限。在这种高相干超短脉冲光源条件下,如充分利用RGB三基色每个颜色通道接近100nm的谱宽,超快成像***的极限时间分辨率可优于10fs(考虑高斯分布的光谱包络)。但是,在这种高相干光的照明条件下,成像过程会出现相对显著的光学散斑效应,导致成像空间分辨率和质量的降低。另外,对于高相干宽谱超短脉冲,要保持接近变换极限脉宽长距离传输较为困难,因为传输介质的色散会导致脉冲展宽,而传输介质的非线性特性也会导致脉冲在时间、空间和频谱等特性上发生变化,特别是在光纤中传输时(大模场空心光纤或光子晶体光纤有利于降低这些效应)。因此,在这种条件下,超快成像***的光路设置要求会显著提高。简而言之,选择使用何种相干程度宽谱超短脉冲作为本多帧超快成像***的照明光源,应综合考虑实际探测对时间和空间分辨率的要求,权衡时空分辨和成像质量两方面因素,不能顾此失彼。
虽然上述实施例的超短脉冲脉宽设置在100fs到10ps的时间尺度,所获得的超快成像***成像时间分辨率也处于该时间量级,本多帧超快成像方法所涉及的超快成像***时间分辨率范围并不只局限于该范围。如上面论述的100nm谱宽高相干脉冲的情形,超快成像***的极限时间分辨率可小于10fs。事实上,fs到ns、甚至μs或ms时间尺度的光脉冲都可应用于本发明的多帧超快成像***,获得相应时间尺度的超快成像***时间分辨率。也即,本发明基于彩色数字相机的超快成像方法对各种照明脉冲具有广泛适用性,不受限于脉冲脉宽特性。
此外,本发明中的彩色数字相机指基于数字图像传感器22进行成像记录的彩色相机,也即彩色数字相机中的“数字”特指相机的图像采集过程是通过数字图像传感器22成像的方式完成,而非指相机的图像或视频信号输出方式——本发明中的彩色数字相机的输出信号可为数字信号或模拟信号。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于彩色数字相机的超快成像方法,其特征在于:所述的方法包括步骤如下:
S1:控制超连续谱光源输出波长范围覆盖彩色数字相机所有颜色通道的单个超连续谱超短脉冲;
S2:对超连续谱超短脉冲进行分光,获得波长范围分别处于彩色数字相机各颜色通道波长范围内的各路基色超短脉冲;
S3:对各路基色超短脉冲进行脉冲间的延迟时间控制,实现对后续多帧超快成像过程成像帧率的控制;
S4:对各路基色超短脉冲进行合束,实现各路基色超短脉冲在空间上的共束传播,获得一束脉冲间具有特定时延的多基色超短脉冲串;
S5:多基色超短脉冲串作为成像主动照明光源照射成像目标,实现对成像目标的多基色超短脉冲串主动曝光时间控制;
S6:多基色超短脉冲串照射的成像目标由成像光路成像在彩色数字相机图像传感器上;
S7:控制彩色数字相机快门单次曝光一定时间,实现对成像在图像传感器上的超短脉冲串照明瞬时场景的拍摄;
S8:对彩色数字相机拍摄的图像进行各颜色通道灰度图像获取,得到与各基色超短脉冲照明瞬时场景相对应的、按时序排列的多个超快成像帧,实现多帧超快成像。
2.根据权利要求1所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S1,采用同步控制***发出触发信号控制所述的超连续谱光源输出波长范围覆盖彩色数字相机所有颜色通道的单个超连续谱超短脉冲,并发出具有一定时间提前量的触发信号到彩色数字相机,以控制相机快门的开启及后续关闭。
3.根据权利要求2所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S2,采用分束二向色镜组对超连续谱超短脉冲进行分光,获得与彩色数字相机各颜色通道波段相对应的各路基色超短脉冲;所述的各路基色超短脉冲分别通过带通滤光片进行中心波长选择和频谱宽度控制,使波长范围分别处于彩色数字相机各颜色通道波长范围内,降低各路基色间颜色串扰的同时实现对各路基色超短脉冲时间宽度的调控;所述的各路基色超短脉冲分别通过连续可调中性滤光片进行能量控制,获得一定的各基色脉冲能量比例,使后续多基色脉冲串照射的成像目标在彩色数字相机上成像时具有近似白平衡的效果。
4.根据权利要求3所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S3,采用延迟线组或延迟光纤组对各路基色超短脉冲进行脉冲间的延迟时间控制。
5.根据权利要求4所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S4,采用合束二向色镜组或光纤合束器对各路基色超短脉冲进行合束。
6.根据权利要求5所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S5,采用直接照明或科勒照明方式照射成像目标,实现对成像目标的多基色超短脉冲串主动曝光时间控制。
7.根据权利要求6所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S6,采用光学显微镜成像光路或相机镜头成像光路把多基色超短脉冲串照射的成像目标成像在彩色数字相机图像传感器上。
8.根据权利要求7所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S7,基于同步控制***所发出到彩色数字相机的、具有一定时间提前量的触发信号,控制彩色数字相机快门单次曝光一段能完整覆盖超短脉冲串照明全程的时间,实现对成像在图像传感器上的超短脉冲串照明瞬时场景的拍摄。
9.根据权利要求8所述的基于彩色数字相机的超快成像方法,其特征在于:步骤S8,通过彩色数字相机内部直接的颜色通道分离输出,或外部后续的颜色通道分离处理,实现对彩色数字相机所拍摄图像的各颜色通道灰度图像获取。
10.根据权利要求9所述的基于彩色数字相机的超快成像方法,其特征在于:所述的彩色数字相机类型包括多光谱相机和高光谱相机,也即所述的彩色数字相机的颜色通道数目范围为三基色的情形、或高于三基色的情形;所述的彩色数字相机的颜色通道波长范围为可见光波段、或可见光波段到红外波段、或紫外波段到可见光波段、或紫外波段到红外波段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210462633.9A CN114928699B (zh) | 2022-04-28 | 2022-04-28 | 一种基于彩色数字相机的超快成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210462633.9A CN114928699B (zh) | 2022-04-28 | 2022-04-28 | 一种基于彩色数字相机的超快成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114928699A true CN114928699A (zh) | 2022-08-19 |
CN114928699B CN114928699B (zh) | 2023-08-01 |
Family
ID=82807576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210462633.9A Active CN114928699B (zh) | 2022-04-28 | 2022-04-28 | 一种基于彩色数字相机的超快成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114928699B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117615229A (zh) * | 2023-11-22 | 2024-02-27 | 西湖大学 | 提高高速彩***空间分辨率的压缩时间成像***及方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1924690A (zh) * | 2005-08-29 | 2007-03-07 | 安华高科技Ecbuip(新加坡)私人有限公司 | 利用脉冲调制产生闪光的成像设备和方法 |
JP2011013104A (ja) * | 2009-07-02 | 2011-01-20 | Honda Motor Co Ltd | 三次元形状測定装置 |
CN103219638A (zh) * | 2013-03-18 | 2013-07-24 | 深圳大学 | 一种超连续谱光源及相干反斯托克斯拉曼散射成像*** |
JP2015041784A (ja) * | 2013-08-20 | 2015-03-02 | 国立大学法人 東京大学 | 高速撮影システム及び方法 |
CN105959658A (zh) * | 2016-05-30 | 2016-09-21 | 西北核技术研究所 | 基于三色激光照明的普通彩色相机超高速成像***及方法 |
CN109632729A (zh) * | 2019-01-18 | 2019-04-16 | 北京理工大学 | 基于波长分光法的超快连续成像方法 |
CN109799671A (zh) * | 2019-03-05 | 2019-05-24 | 北京理工大学 | 基于超连续谱的多频脉冲超快激光连续成像装置及方法 |
CN110132851A (zh) * | 2019-06-20 | 2019-08-16 | 合肥工业大学 | 一种基于飞秒单脉冲干涉的瞬时二维光声波测量方法 |
WO2020256983A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
CN112413421A (zh) * | 2020-10-10 | 2021-02-26 | 北京工业大学 | 基于白光超连续谱激光的激光照明装置 |
CN112965260A (zh) * | 2021-02-07 | 2021-06-15 | 中山大学 | 一种基于rgb三基色的超短脉冲白光的产生方法 |
CN113624453A (zh) * | 2021-07-30 | 2021-11-09 | 重庆大学 | 基于超快显微成像的大口径光学元件高速检测*** |
-
2022
- 2022-04-28 CN CN202210462633.9A patent/CN114928699B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1924690A (zh) * | 2005-08-29 | 2007-03-07 | 安华高科技Ecbuip(新加坡)私人有限公司 | 利用脉冲调制产生闪光的成像设备和方法 |
JP2011013104A (ja) * | 2009-07-02 | 2011-01-20 | Honda Motor Co Ltd | 三次元形状測定装置 |
CN103219638A (zh) * | 2013-03-18 | 2013-07-24 | 深圳大学 | 一种超连续谱光源及相干反斯托克斯拉曼散射成像*** |
JP2015041784A (ja) * | 2013-08-20 | 2015-03-02 | 国立大学法人 東京大学 | 高速撮影システム及び方法 |
CN105959658A (zh) * | 2016-05-30 | 2016-09-21 | 西北核技术研究所 | 基于三色激光照明的普通彩色相机超高速成像***及方法 |
CN109632729A (zh) * | 2019-01-18 | 2019-04-16 | 北京理工大学 | 基于波长分光法的超快连续成像方法 |
CN109799671A (zh) * | 2019-03-05 | 2019-05-24 | 北京理工大学 | 基于超连续谱的多频脉冲超快激光连续成像装置及方法 |
CN110132851A (zh) * | 2019-06-20 | 2019-08-16 | 合肥工业大学 | 一种基于飞秒单脉冲干涉的瞬时二维光声波测量方法 |
WO2020256983A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
CN112413421A (zh) * | 2020-10-10 | 2021-02-26 | 北京工业大学 | 基于白光超连续谱激光的激光照明装置 |
CN112965260A (zh) * | 2021-02-07 | 2021-06-15 | 中山大学 | 一种基于rgb三基色的超短脉冲白光的产生方法 |
CN113624453A (zh) * | 2021-07-30 | 2021-11-09 | 重庆大学 | 基于超快显微成像的大口径光学元件高速检测*** |
Non-Patent Citations (2)
Title |
---|
侯比学等: "透过高散射介质成像的超短脉冲激光电子学全息***", 《中国激光》 * |
侯比学等: "透过高散射介质成像的超短脉冲激光电子学全息***", 《中国激光》, no. 08, 25 August 1999 (1999-08-25), pages 729 - 733 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117615229A (zh) * | 2023-11-22 | 2024-02-27 | 西湖大学 | 提高高速彩***空间分辨率的压缩时间成像***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114928699B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7001021B2 (en) | Device for projecting a stereo color image | |
JP6939000B2 (ja) | 撮像装置及び撮像方法 | |
US10721411B2 (en) | Smart photonic imaging method and apparatus | |
US9389120B2 (en) | Spectral detector or laser scanning microscope having variable filtration using spatial color separation | |
CN105981377A (zh) | 摄像装置、内窥镜装置以及显微镜装置 | |
JP2009260411A (ja) | 撮像装置 | |
JP6120280B2 (ja) | 高速撮影システム及び方法 | |
NL2018494B1 (en) | Method and apparatus using a medical imaging head for fluorescent imaging | |
US3610818A (en) | Color television camera with a device for additional illumination of signal converting plates of camera tubes | |
US9706094B2 (en) | Hyperchromatic lens for recording time-resolved phenomena | |
CN103018173B (zh) | 结构光照明层析显微成像*** | |
TW201706697A (zh) | 雷射投影光源 | |
CN103345115A (zh) | 一种超高速同轴分幅相干成像光路的成像方法 | |
CN114928699B (zh) | 一种基于彩色数字相机的超快成像方法 | |
JP2004045266A (ja) | 3次元情報検出方法及び装置 | |
JP2018514802A (ja) | 単一カメラを使用して遠隔物体を2つ以上のスペクトルチャネルで同時に画像化する為の多波長ビームスプリッタシステム | |
US6967720B2 (en) | Multi-screen spectroscopic imaging device | |
USRE34411E (en) | Electronic image pickup device for endoscopes | |
CN105388620A (zh) | 一种基于六基色颜色管理的激光立体投影显示*** | |
US9374563B2 (en) | Multispectral imaging camera | |
US20120081664A1 (en) | Opthalmology photographing apparatus | |
US20060257141A1 (en) | Camera, image processing apparatus, image data processing method, and program | |
US6030080A (en) | Device and method for filming a dimly illuminated object | |
CN106468848B (zh) | 激光投影光源 | |
CN109357762A (zh) | 一种快照式局部高分辨光谱成像仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |