CN107786818B - 一种基于多色滤光的瞬态成像动态范围扩展方法 - Google Patents
一种基于多色滤光的瞬态成像动态范围扩展方法 Download PDFInfo
- Publication number
- CN107786818B CN107786818B CN201711084295.5A CN201711084295A CN107786818B CN 107786818 B CN107786818 B CN 107786818B CN 201711084295 A CN201711084295 A CN 201711084295A CN 107786818 B CN107786818 B CN 107786818B
- Authority
- CN
- China
- Prior art keywords
- image
- filtering
- sub
- multicolor
- transient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
本发明提出一种基于多色滤光的瞬态成像动态范围扩展方法,能够适用于瞬态过程图像诊断,***结构简明,实现成本低。该方法所采用的图像传感器为彩色图像传感器,或者为覆盖有多色镀膜或多色透镜的灰度图像传感器;包括以下步骤:利用高速相机中像增强器的高时间分辨快门功能,将瞬态现象的某一时刻场景定格;利用像增强器荧光屏余辉所具有的发光光谱特征,通过多色滤光获取到衰减系数不同的的多幅子图像,其中衰减系数较小的子图像能够获取亮度较低的场景图像,衰减系数较大的子图像能够获取亮度较高的场景图像;通过子图像插值计算获得高分辨率的高动态范围瞬态图像。
Description
技术领域
本发明涉及一种瞬态成像动态范围扩展方法,具体涉及一种能够应用于瞬态过程时间分辨图像诊断的瞬态成像动态范围扩展方法。
背景技术
基于图像传感器和像增强器的高速相机在瞬态物理过程研究领域中应用广泛。目前常用的图像传感器主要有两种:CCD图像传感器和CMOS图像传感器。在瞬态物理过程研究中,由于对时间分辨要求极高,高速相机一般采用像增强器构成ICCD或ICMOS相机,其中像增强器通常具有102~105的光增益,可以补偿光学耦合过程中的能量损失,起到光增益的作用,同时像增强器的开门时间相对于CCD或CMOS传感器的电子快门或高速机械快门装置要快2~3个数量级以上。因此,可以将像增强器作为光快门选通器件,对高速瞬态过程进行高时间分辨成像。在爆轰效应、高速碰撞和等离子体实验等瞬态物理研究领域中,所要诊断测试的目标往往具有非常高的动态范围,在利用高速相机进行成像时曝光时间过长,较亮的区域会出现饱和,曝光时间过短,较暗的区域则不能够分辨,在这种应用条件下需要对瞬态成像***的动态范围进行扩展。
目前,成像***动态范围扩展的方法有很多种,其中双帧曝光甚至多帧曝光图像融合技术是一种发展较早、应用比较广泛的动态扩展方法。它的原理是:对同一场景进行两次或者多次曝光拍摄,分别获取不同曝光条件下的图像信息,然后通过图像融合实现动态扩展。但是这种方法只对静态场景或相对静态场景有效,亦即在多次曝光拍摄时,目标场景不变或变化极小;而对于瞬态过程来说,难以在极短的时间内进行多次曝光成像,在进行多次拍摄的过程中目标状态已经发生了变化,因此进行图像融合已经没有了意义。另外一种实现方法是采用多台相机,通过预设不同的光圈值或曝光时间,采用分光镜使多台相机能够获取同一时刻的目标图像,从而能够进行图像融合。但是这种方法的缺点是***过于复杂,价格昂贵,而且光学对准带来的多幅图像之间的误差也会对最终的图像融合结果带来影响。
发明内容
本发明提出一种基于多色滤光的瞬态成像动态范围扩展方法,能够适用于瞬态过程图像诊断,***结构简明,实现成本低。
本发明的技术解决方案为:
基于多色滤光的瞬态成像动态范围扩展方法,所采用的图像传感器为彩色图像传感器,或者为覆盖有多色镀膜或多色透镜的灰度图像传感器;包括以下步骤:
利用高速相机中像增强器的高时间分辨快门功能,将瞬态现象的某一时刻场景定格;
利用像增强器荧光屏余辉所具有的发光光谱特征,通过多色滤光获取到衰减系数不同的的多幅子图像,其中衰减系数较小的子图像能够获取亮度较低的场景图像,衰减系数较大的子图像能够获取亮度较高的场景图像;
基于以上方案,本发明的具体实现步骤如下:
1】选取图像传感器和像增强器,并进行光学耦合;
2】对耦合后得到的成像***,在不同光照强度下进行灰度值标定,获取不同光强下不同颜色滤光像素对应的图像灰度值;
3】通过标定数据(即上述不同颜色滤光像素对应的图像灰度值),计算得到不同颜色滤光像素的光照强度线性度曲线;
4】在瞬态现象发生过程中,触发像增强器开关进行曝光,使用图像传感器进行瞬态过程图像记录;
5】对获取的瞬态过程图像,根据不同颜色滤光像素位置分离出多色滤光对应的子图像;
6】根据标定得到的光照强度线性度曲线,利用子图像进行插值计算得到高分辨率高动态范围图像。
进一步的,子图像的分离要求每个颜色滤光的所有像素构成该颜色滤光子图像,不同子图像的相应像素对应的相面空间位置相近。
进一步的,多色滤光的空间分布要求在图像传感器的像素阵列上紧密交错分布,以提高子图像插值计算后高分辨率高动态范围图像的质量。
步骤6】中所述插值计算优选非饱和加权插值算法。例如:以相邻的九个像素为计算窗口,对于本像素及周围八个像素的灰度值,若像素灰度没有超过饱和非线性阈值,则根据像素所对应的线性响应曲线(即前述标定得到的光照强度线性度曲线),对其灰度值进行加权,计算出新的灰度值,然后将九个像素的加权灰度值进行求和并取平均;若某个像素灰度值超过饱和非线性阈值,则丢弃该像素值,以未超过饱和非线性阈值的像素为计算依据;计算窗口按照Z字形进行滑动计算每一个像素,获得高分辨率高动态范围图像。
当然,多色滤光的选择要求在像增强器光阴极的发光光谱范围内进行不同透过率的滤光,像增强器余辉经过不同颜色滤光后的强度有明显差异。
本发明的有益效果:
1.本发明利用像增强器余辉的发光光谱特征,采用多色滤光的方法对像增强器余辉图像进行不同衰减系数的滤光,能够获取目标场景同一时刻、不同强度衰减系数的多幅目标子图像,通过子图像插值计算进行动态范围扩展,该方法适用于瞬态过程成像。
2.本发明在应用过程中高动态范围图像的获取和计算过程与像增强器的开门时间和增益倍数无关,方法应用范围很广。
3.本发明仅需要一台ICCD或ICMOS相机,通过设置采用彩色传感器或多色滤光镀膜或多色透镜即可实现,***结构简明,实现成本低。
附图及说明
图1是像增强器与图像传感器耦合结构示意图。
图2是像增强器余辉发光光谱曲线示意图。
图3是颜色透镜透过率曲线示意图。
图4是一种彩色图像传感器颜色透镜分布示意图。
图5是多色子图像的插值计算的示意图。
具体实施方式
本发明提出的一种基于多色滤光的瞬态成像动态范围扩展方法,具体实现步骤如下:
步骤1:根据像增强器的余辉发光光谱特征,合理选择彩色图像传感器或者多色滤光镀膜或透镜,使得像增强器余辉图像在不同颜色滤光后,强度衰减系数有较大差别,如图2-图4所示;
步骤2:CCD或CMOS图像传感器与像增强器进行耦合,组成ICCD或ICMOS相机,传感器与像增强器的耦合结构如图1所示;图中,1为像增强器,2为耦合器,3为图像传感器;
步骤3:对耦合后的成像***,设置像增强器的开门时间和增益电压,在不同光照强度下进行图像获取,根据不同颜色滤光对应像素的位置,获取不同颜色滤光对应的子图像;
步骤4:根据获取到的不同颜色滤光子图像的灰度值,标定不同颜色滤光像素从本底到饱和的线性响应曲线;
步骤5:在瞬态现象发生过程中触发像增强器开关,使像增强器进行曝光,图像传感器对经过多色滤光后的像增强器余辉图像进行获取;
步骤6:将获取到的多色滤光图像,根据多色滤光像素对应分布,分离出多色滤光对应的子图像;
步骤7:基于获取到的多色滤光子图像和标定获得的多色滤光的线性响应曲线,插值计算高分辨率高动态范围图像。
多幅子图像的插值计算有很多常规的算法,由于不同子图像的线性响应曲线不同,最简单的是非饱和加权插值。如图5所示,该算法首先根据本像素及周围八个或四个像素的灰度值,若像素灰度没有超过饱和非线性阈值,则根据像素所对应的线性响应曲线,对其灰度值进行加权,计算出新的灰度值;然后将相应的九个或五个像素的加权灰度值进行求和并取平均;若某个像素灰度值超过饱和非线性阈值,则丢弃该像素值,以未超过饱和非线性阈值的像素为计算依据。
本发明利用像增强器的高时间分辨快门功能,将瞬态现象的某一时刻场景定格,并利用其余辉的发光光谱特征,通过多色滤光获取到衰减系数不同的的多幅子图像,其中衰减系数较小的子图像能够获取亮度较低的场景图像,衰减系数较大的子图像能够获取亮度较高的场景图像,通过子图像插值计算的方法获得高分辨率的高动态范围瞬态图像,该方法可有效提升瞬态成像***的整机动态范围,使得***的光响应线性动态范围极大提升。
Claims (4)
1.一种基于多色滤光的瞬态成像动态范围扩展方法,其特征在于:所采用的图像传感器为彩色图像传感器,或者为覆盖有多色镀膜或多色透镜的灰度图像传感器,能够获取不同颜色滤光像素对应的图像灰度值;该方法利用高速相机中像增强器的高时间分辨快门功能,将瞬态现象的某一时刻场景定格;利用像增强器荧光屏余辉所具有的发光光谱特征,通过多色滤光获取到衰减系数不同的、目标场景同一时刻的多幅子图像,所述多幅子图像分别对应于图像传感器的不同颜色滤光像素位置,其中衰减系数较小的子图像能够获取亮度较低的场景图像,衰减系数较大的子图像能够获取亮度较高的场景图像;多色滤光的空间分布要求在图像传感器的像素阵列上紧密交错分布,以提高子图像插值计算后高分辨率高动态范围图像的质量;
该方法具体包括以下步骤:
1】选取图像传感器和像增强器,并进行光学耦合;
2】对耦合后得到的成像***,在不同光照强度下进行灰度值标定,获取不同光强下不同颜色滤光像素对应的图像灰度值;
3】通过所述不同颜色滤光像素对应的图像灰度值,计算得到不同颜色滤光像素的光照强度线性度曲线;
4】在瞬态现象发生过程中,触发像增强器开关进行曝光,使用图像传感器进行瞬态过程图像记录;
5】对获取的瞬态过程图像,根据不同颜色滤光像素位置分离出多色滤光对应的子图像;
6】根据标定得到的所述光照强度线性度曲线,利用子图像进行插值计算得到高分辨率高动态范围瞬态图像。
2.根据权利要求1所述的基于多色滤光的瞬态成像动态范围扩展方法,其特征在于:子图像的分离要求每个颜色滤光的所有像素构成该颜色滤光子图像,不同子图像的相应像素对应的像面空间位置相近。
3.根据权利要求1所述的基于多色滤光的瞬态成像动态范围扩展方法,其特征在于:步骤6】中所述插值计算是采用非饱和加权插值算法。
4.根据权利要求3所述的基于多色滤光的瞬态成像动态范围扩展方法,其特征在于:所述非饱和加权插值算法为:以相邻的九个像素为计算窗口,对于本像素及周围八个像素的灰度值,若像素灰度没有超过饱和非线性阈值,则根据像素所对应的光照强度线性度曲线,对其灰度值进行加权,计算出新的灰度值,然后将九个像素的加权灰度值进行求和并取平均;若某个像素灰度值超过饱和非线性阈值,则丢弃该像素值,以未超过饱和非线性阈值的像素为计算依据;计算窗口按照Z字形进行滑动计算每一个像素,获得高分辨率高动态范围图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711084295.5A CN107786818B (zh) | 2017-11-07 | 2017-11-07 | 一种基于多色滤光的瞬态成像动态范围扩展方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711084295.5A CN107786818B (zh) | 2017-11-07 | 2017-11-07 | 一种基于多色滤光的瞬态成像动态范围扩展方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107786818A CN107786818A (zh) | 2018-03-09 |
CN107786818B true CN107786818B (zh) | 2020-06-26 |
Family
ID=61433021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711084295.5A Active CN107786818B (zh) | 2017-11-07 | 2017-11-07 | 一种基于多色滤光的瞬态成像动态范围扩展方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107786818B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113616138B (zh) * | 2021-08-03 | 2024-05-03 | 北京双翼麒电子有限公司 | 一种多光谱内窥镜图像处理*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101766032A (zh) * | 2007-09-14 | 2010-06-30 | 株式会社理光 | 成像装置和成像方法 |
CN105578005A (zh) * | 2015-12-18 | 2016-05-11 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
CN105611198A (zh) * | 2015-12-18 | 2016-05-25 | 广东欧珀移动通信有限公司 | 图像传感器及具有其的终端 |
CN107155073A (zh) * | 2017-05-04 | 2017-09-12 | 西北核技术研究所 | 基于图像传感器多帧曝光的瞬态成像动态范围扩展方法 |
-
2017
- 2017-11-07 CN CN201711084295.5A patent/CN107786818B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101766032A (zh) * | 2007-09-14 | 2010-06-30 | 株式会社理光 | 成像装置和成像方法 |
CN105578005A (zh) * | 2015-12-18 | 2016-05-11 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
CN105611198A (zh) * | 2015-12-18 | 2016-05-25 | 广东欧珀移动通信有限公司 | 图像传感器及具有其的终端 |
CN107155073A (zh) * | 2017-05-04 | 2017-09-12 | 西北核技术研究所 | 基于图像传感器多帧曝光的瞬态成像动态范围扩展方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107786818A (zh) | 2018-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8542288B2 (en) | Camera system and imaging method using multiple lens and aperture units | |
US10136107B2 (en) | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels | |
US8724921B2 (en) | Method of capturing high dynamic range images with objects in the scene | |
US20160044257A1 (en) | Systems and Methods for Measuring Scene Information While Capturing Images Using Array Cameras | |
US8629919B2 (en) | Image capture with identification of illuminant | |
TW201918995A (zh) | 多工高動態範圍影像 | |
CN104796577B (zh) | 基于emccd和单色ccd的彩色夜视成像装置及方法 | |
CN107734231B (zh) | 一种基于滤光的成像***动态范围扩展方法 | |
JP5699482B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
DE60218585T2 (de) | Verfahren und Gerät zur Verbesserung der Bildqualität in digitalen Kameras | |
US20130063622A1 (en) | Image sensor and method of capturing an image | |
US20160029000A1 (en) | Image Recording System with a Rapidly Vibrating Global Shutter CMOS Sensor | |
JP2022537117A (ja) | 画素パラメータの画素単位の符号化を用いて画像ダイナミックレンジを拡張するための方法およびシステム | |
DE102010030108A1 (de) | Farbbildsensor | |
CN107786818B (zh) | 一种基于多色滤光的瞬态成像动态范围扩展方法 | |
CN107864317B (zh) | 一种基于衰减掩膜的瞬态成像动态范围扩展方法 | |
JP2020068524A (ja) | 画像処理 | |
CN106550199B (zh) | 多层高动态范围传感器 | |
Haneishi et al. | Image acquisition technique for high dynamic range scenes using a multiband camera | |
CN116664460A (zh) | 一种红外夜视融合方法 | |
CN109937382A (zh) | 成像装置和成像方法 | |
CN112399164A (zh) | 一种低照度条件下含有近红外彩色图像颜色复原方法 | |
Görmer et al. | Multi-exposure image acquisition for automotive high dynamic range imaging | |
JP2010278711A (ja) | マルチバンド画像撮像装置およびマルチバンド画像撮像方法 | |
Sohaib et al. | Exposure adjustment for hyperspectral cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |