CN104483752A - 一种反射式数字成像***的设计方法 - Google Patents

一种反射式数字成像***的设计方法 Download PDF

Info

Publication number
CN104483752A
CN104483752A CN201410814461.2A CN201410814461A CN104483752A CN 104483752 A CN104483752 A CN 104483752A CN 201410814461 A CN201410814461 A CN 201410814461A CN 104483752 A CN104483752 A CN 104483752A
Authority
CN
China
Prior art keywords
optical
aberration
digital
imaging system
design
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410814461.2A
Other languages
English (en)
Other versions
CN104483752B (zh
Inventor
谭政
方煜
张金刚
相里斌
吕群波
付强
杜述松
白杨
丛林骁
孙建颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Opto Electronics of CAS
Original Assignee
Academy of Opto Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Opto Electronics of CAS filed Critical Academy of Opto Electronics of CAS
Priority to CN201410814461.2A priority Critical patent/CN104483752B/zh
Publication of CN104483752A publication Critical patent/CN104483752A/zh
Application granted granted Critical
Publication of CN104483752B publication Critical patent/CN104483752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种反射式数字成像***的设计方法,实现步骤如下:反射式数字成像***的光学像差有离焦、畸变、像散、慧差、场曲、球差、场曲,本发明把光学设计和数字处理一起来进行优化来校正这些像差,对不易于用数字处理补偿的像差留给光学设计校正,对易于用数字处理补偿的像差用图像处理算法校正。通过***综合设计指标把光学成像***和数字处理***相结合,通过成像目标先验模型对数字成像***设计参数加以约束,形成反馈迭代式优化设计,降低了反射式光学***的复杂度。

Description

一种反射式数字成像***的设计方法
技术领域
本发明涉及一种反射式数字成像***设计方法。
背景技术
随着电子技术和材料工艺的飞速发展,反射式成像***经已经由卤化银胶片成像式发展为数字成像,并因其适用于长焦距、大口径、波长无选择性的优点,被广泛的应用于气象观测,资源调查,环境监测,海洋遥感,空间摄影测量,侦察和预警,行星恒星等空间物理现象观测,空间目标搜索等领域,如图1所示,成像***的光学***通常由主镜、次镜、校正镜组组成,显然校正镜的加入使得传统的纯反射式***变为了折反射式***,目标通过光学***成像在CCD或COMS探测器上形成数字图像,人们再针对应用需求利用图像处理算法对数字图像进行或多或少的修正,而数字图像处理对于传统的反射式数字成像***来说并非是必要的组成部分,这样,在数字处理迅猛发展的今天,就一定意义上失去了所谓“数字”成像的特点,并没有完全的挖掘出数字成像的全部优点。
反射式光学***一般不考虑色差的影响,光学***主要针对离焦、畸变、像散、慧差、场曲、球差等单色光学像差进行校正,传统的设计方法主要分为两个步骤:第一步,用基于光线追迹的方法对光程差函数(或者波像差)进行优化来设计光学***。光程差函数(或者波像差)是光学***优化设计首要考虑的因素,其可以通过离焦、畸变、像散、慧差、场曲、球差来表示,光学***设计就是要平衡这些像差,使镜头出瞳光程差函数平方的均值最小,但是各种像差级次繁多,远远多于***设计参数数量,导致每种像差都会有一定残留,影响图像清晰度。第二步,在光学***设计完毕后,需要根据需求对光学***的成像结果进行数字处理来提高图像的视觉效果即成像清晰度,处理算法主要包括提高信噪比和提高对比度。总的来说传统的设计方法是一种顺序队列式的设计,光学设计和数字处理设计相互独立,其缺点主要表现在:
(1)光学***设计的优劣成为决定成像质量的唯一环节,导致光学***的结构十分复杂。为了“完美”校正像差,反射式***通常都采用非球面,而非球面由于各点曲率半径都不相同给加工带了很大困难,同时它的检测也不能用传统的球面检测方法,需要专门的辅助设备,这必然都带来加工周期、成本的增加。另外,校正镜组的引入削弱了反射式***对成像波长无选择性的优势,降低了***适用场合。
(2)数字处理提高图像的清晰度主要包括提高信噪比和提高对比度,图像信噪比表征了成像***噪声程度,目标对比度表征了成像***的调制传递函数MTF影响。图像数字处理中,平滑滤波可以提高图像信噪比,锐化滤波可以提高对比度,然而提高信噪比和提高对比度相互制约、难以兼顾,图像平滑必然降低对比度,图像锐化引入卷积算法必然会使噪声放大或引入新的噪声。
(3)光学设计和数字处理设计相互独立、不成体系。光学设计不考虑数字处理的需求,数字处理也不考虑光学设计指标对算法的影响,这使光学器件约束导致的光学设计的缺陷,和处理算法约束导致的数字处理设计的缺陷,两者在最终的数字图像上只能是相加或者放大,而无法相互抵消。
总之,传统设计中,即便光学***和数字处理算法都已经设计的“非常好”,但是,一个“最优”的光学***和一个“最优”的数字处理算法的组合并非意味着一个“最优”的数字成像***,这样的组合只能实现成像***的局部最优而非全局最优。因此,需要对传统的设计方法进行改进,使光学***设计和数字信号处理有机结合,为简化光学***提供一种解决途径。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种反射式数字成像***设计方法,通过数字图像处理算法校正光学像差,从而放宽对光学***的严格要求,降低反射式数字成像***的复杂度。
本发明技术解决方案:一种反射式数字成像***的设计方法,其特征在于实现步骤如下:
(1)分析像差对成像清晰度损失的影响
在反射式光学***由于光学设计、光学材料、光学加工装调等限制引起的光学像差有:离焦、畸变、像散、慧差、场曲、球差。根据波像差理论和泽尼克多项式,能够得到当光学***仅含有一种单色像差时的点扩散函数,对离焦、畸变、像散、慧差、球差、场曲的点扩散函数分别做傅里叶变换再取模值即可得到每种像差的调制传递函数,而调制传递函数能够更直观的表示出各个单色像差对成像清晰度的影响,如图2所示,表示当光学***仅含有一种单色像差时的调制传递函数曲线,且每种像差引起的波相差值均相等。
从图2中也可以看出不同像差对成像清晰度的影响也是不同的,根据图像恢复的理论可知,如果图像的调制传递函数下降过于快速,或者过零点频率较低,或者零点较多都会给图像复原带来更大的难度,特别是在过零点图像的信息基本完全损失,难以恢复。因此对于不同的像差,用数字处理来补偿的难度是不一样的,由简到难为:
畸变<慧差<像散≤场曲<离焦≤球差
在设计光学***时,就可以根据研发成本和应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像差留给数字处理***来补偿,利用数字处理***分担了光学***的部分压力,从而放宽了对光学***的严格要求,例如,光学***就不再需要加入校正镜组来修正因为视场扩大带来的像散修正问题,或者主镜和次镜的不再需要引入非球面来增加结构变量达到优化其余各单色像差,这会大大降低光学***的复杂度,可以用低成本的光学***实现高质量的数字图像。
(2)建立成像目标的先验模型
成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,主要包括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息。
(21)物理先验信息:由目标发出的光线中的所有光子都被探测器所接收,也就是说,像差引起的点扩散函数的矩阵所有行相加为1,即目标光线强度在像平面上的投影能量上是无损失的,数学上可以表示为Hjn×1=jm×1,其中H表示像差点扩散函数在探测器上的投影矩阵,j为一个所有元素和为1的矩阵;
(22)噪声先验信息:噪声是一个随机过程,噪声灰度值是一个随机向量,按照其统计特性可分为:高斯噪声、Gamma噪声、泊松噪声、瑞利噪声。在空间域,噪声灰度值是随机跳变的;在频率域,噪声信息在高频段,具体可以参考现有技术得以理解,在此不做赘述。(Rafael C.Gonzalez and Richard E.Woods.Digital image Processing.3rd Edition.Prentice Hall PTR,2007.);
(23)纹理先验信息:纹理是引起人类视觉***感知理解的最重要因素,是由许多周期性的相互接近、相互编织的模式和灰度(颜色)在空间以一定形式变化而产生的图案。纹理是自然图像的固有特征,它往往反映了目标内部的精细结构以及具有不规则性和相似性的振荡行为。纹理保持模型主要有Mumford-Shah模型、全变分模型等。具体可以参考现有技术得以理解,在此不做赘述。(D.Mumford and J.Shah.Optimal approximations bypiecewise smooth functions and associated variational problems.Comm.Pure Appl.Math.,42:577-685,1989.);
(24)成像过程先验信息:目标在光学***中的成像结果可以认为是一个与像差有关的随机统计量,即光学***成像结果可以表示成条件概率:P{T9=Y|T0=t0,T1=t1,...,T8=t8},其中,T0—T6表示离焦、畸变、像散、慧差、场曲、球差、色差等光学像差,T7表示为探测器造成的清晰度下降,T8表示为噪声引起的清晰度下降,下标0-9表示了清晰度状态的转移,如果光学像差、探测器、噪声是相互独立的,则光学***的成像结果可以用Markov随机场来表示。具体可以参考现有技术得以理解,在此不做赘述。(Anand Rangarajan and Rama Chellappa.Markov random field models inimage processing.MIT Press.564-567,1995.);
(25)以上(21)—(24)构成成像目标的先验信息模型,用以对光学成像***设计和数字处理***设计提供先验约束,成像目标先验模型设计参数集合可以表示为ΩTarget
(3)建立光学成像***模型
光学成像***模型包括光学子***模型和探测器子***模型。
(31)根据图2可知用数字处理的方法补偿光学像差的难度由小到大排序为:
畸变<慧差<像散≤场曲<离焦≤球差
因此可以需根据研发周期和设计成本等因素来选择通过光学设计校正哪些不易于数字补偿的像差;
(32)目标场景x经光学***调制的结果yoptic可以表示成空间变化的卷积积分:
yoptic=∫x(t-τ)hoptic(t,τ)dτ      (21)
其中,t表示图像的空间位置,τ为卷积松弛变量,hoptic表示由像差引起的光学***点扩散函数;
(33)hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,可就是说光学***的像差可以表示为真实波前和理想波前的光程差:
hoptic(t,τ)=|∫A(p)expj[OPD(p,t)+2πτp]dp|2  (22)
其中,p表示光学***出瞳平面的二维坐标,A(p)表示出瞳的幅值,光学子***的优化就是改变光学参数使光学子***出瞳OPD函数平方均值最小。这些参数包括入射光波段范围、光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔等,用ΩOptic来表示这些设计参数组成的集合;
(34)探测器子***相当于对光学子***的调制结果进行采样的一个带通滤波器,通常探测器由矩形像元构成,其传递函数可以表示为:
其中,ωs为探测器采样频率;为探测器方形像元的相对宽度,与填充因子有关,当填充因子为100%时,填充因子小于100%时,探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子效率等,用ΩSensor来表示这些设计参数组成的集合;
(35)将光学子***的传递函数和探测器子***的传递函数联合起来,结合目标场景的先验信息,建立光学成像***传递函数模型:
H ( Ω Optic , Ω Sensor | Ω T arg et ) = h optic | Ω T arg et * h sensor | Ω T arg et - - - ( 24 )
利用成像目标先验信息获得的***噪声N(ΩTarget)即可建立光学成像***成像模型:
Y=H(ΩOpticSensorTarget)X+N(ΩTarget)  (25)
(4)建立数字处理***模型
数字处理***由平滑滤波器和锐化滤波器构成,用于补偿光学成像***的遗留像差。
(41)平滑滤波器用于降低图像的噪声,一般来讲,对大小为M1×M2的图像f(x,y)经过一个大小为m1×m2的掩模进行平滑滤波后得到的图像为:
g ( x , y ) = Σ s = - a a Σ u = - b b ψ ( s , u ) f ( x + s , y + u ) Σ s = - a a Σ u = - b b ψ ( s , u ) - - - ( 26 )
平滑滤波器的基本构成都由上式发展而来,在具体实现方法上有所不同,可以是线性也可以是非线性的,可以在空域对图像进行操作也可以在频域对图像进行操作。如中值滤波器、阿尔法均值滤波器等;
(42)锐化滤波器用于提高图像的对比度,通常来讲,锐化滤波均与图像的梯度有关,对于图像f来说,其梯度可以定义为一阶微分:
G x G y = ∂ f ∂ x ∂ f ∂ y = f ( x + 1 , y ) - f ( x , y ) ) f ( x , y + 1 ) - f ( x , y ) --- ( 27 )
也可以定义为二阶微分:
G x G y = ∂ 2 f ∂ x 2 ∂ 2 f ∂ y 2 = f ( x + 1 , y ) + f ( x - 1 , y ) - 2 f ( x , y ) ) f ( x , y + 1 ) + f ( x , y - 1 ) - 2 f ( x , y ) --- ( 28 )
上式中,Gx、Gy分别表示图像在水平方向x的梯度和竖直方向y的梯度,f(x,y)表示在坐标(x,y)处的灰度值;
现代的锐化滤波器基本都由图像梯度发展而来,在具体实现方法上有所不同,可以是线性也可以是非线性的,可以在空域对图像进行操作也可以在频域对图像进行操作,如高频提升滤波器、高斯型高通滤波器等;
(43)在数字图像处理中平滑滤波和锐化滤波是相互矛盾的,平滑滤波必然会造成图像的对比度损失,锐化滤波必然会造成图像的信噪比损失,因此,数字处理设计时必须同时考虑这两种损失,以使像差修正效果达到最优,例如逆滤波器、维纳滤波器等;
(44)用ΩDigital来表示平滑滤波器和锐化滤波器参数组成的集合,用表示补偿像差后的数字图像,用W(ΩDigitalTarget)表示结合目标先验信息的数字处理***调制传递函数,则数字处理***调制模型为:
X ^ = W ( Ω Digital | Ω T arg et ) Y - - - ( 29 )
(5)建立***综合设计指标模型
***综合设计指标模型是联接光学成像子***和数字处理子***的桥梁,通过***综合设计指标使这两部分设计内容能够相互联系,把光学***和数字处理作为整体进行设计和优化,实现数字成像***的***级最优。
(51)使用理想成像结果与像差数字补偿后的图像差的均方值最小作为***综合设计设计的性能指标,即:
J=min E(eTe)=min E[Tr(eeT)]      (30)
其中,符号“E”表示数学期望,符号“Tr”表示矩阵的迹;
(52)根据光学成像***成像模型和数字处理***调制模型,有:
X ^ = WY = W ( HX + N ) - - - ( 31 )
将(31)式代入(30)式,有:
J=min E{Tr[(X-WY)(X-WY)T]}
=minE{Tr[XXT-W(HXXT+NXT)-(XXTHT+XNT)WT      (32)
+W(ΗXXTHT+ΝXTHT+ΗXNT+ΝΝT)WT]}
(53)一般来讲,可以假设噪声均值为0,且噪声与成像结果不相关,则:
E(XNT)=E(NXT)=0      (33)
则(32)式变为:
J=Tr[E(XXT)-E(WHXXT)-E(XXTHTWT)
                                  (34)
+E(WHXXTHTWT)+E(WNNTWT)]
上式中,XXT和NNT分别为成像场景与噪声的自相关函数,令RX=XXT,RN=NNT,则:
J=min Tr(RX-2WHRX+WHRXHTWT+WRNW)      (35)
上式中既包含了光学成像***模型H,也包含了数字处理***模型W;并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平滑的平衡;
(54)根据维纳滤波理论,有:
W=RXHT(HRXHT+RN)-1      (36)
根据步骤(2)中物理先验信息,H定义为Hjn×1=jm×1,其中j为一个所有元素和为1的矩阵。再引入拉格朗日乘子ξ,则(35)式变为:
J=minTr(RX-2WHRX+WHRXHTWT+WRNW)+ξ(Hjn×1-jm×1)      (37)
上式对H求导有:
∂ J ∂ H = - 2 W T R X T + 2 W T W R X + ξ T j 1 × n = 0 - - - ( 38 )
可得:
H = 1 2 ( W T W ) - 1 ( 2 W T R X - ξ T j 1 × n ) R X - 1 - - - ( 39 )
再根据Hjn×1=jm×1,令有:
ξ T = 2 ζ ( W T j n × 1 - W T W j m × 1 ) - - - ( 40 )
将(40)式子代入(39)式,有:
H = 1 2 ( W T W ) - 1 W T ( R X - 1 ζ j n × n + 1 ζ W j m × n ) R X - 1 - - - ( 41 )
根据步骤(3)可知,光学成像***传递函数H由光学子***传递函数hoptic和探测器子***传递函数hsensor组成,而hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,探测器参数ΩSensor也是已知的,因此,可以获得光学成像***传递函数初值H1,应用(36)式可获得H1对应的数字处理***传递函数W1,再将W1代入(41)式可获得迭代一次以后的光学成像***传递函数H2,再重复上述迭代步骤,直至***满足(35)式的约束条件,假设共迭代了k次,得到全局最优的光学成像***传递函数Hk和数字处理***传递函数Wk,再根据(43)式得到数字处理校正像差后的图像。
本发明原理:反射式数字成像***主要由反射式光学成像***和数字处理***组成,为了描述光学***设计与数字处理***设计之间的联系,首先要分析各个光学像差对成像清晰度的影响。在反射式光学***由主镜、次镜、校正镜组构成,由于光学设计、光学材料、光学加工装调等限制引起的光学像差有:离焦、畸变、像散、慧差、场曲、球差。根据波像差理论和泽尼克多项式,能够得到当光学***仅含有一种单色像差时的点扩散函数,对离焦、畸变、像散、慧差、球差、场曲的点扩散函数做傅里叶变换再取模值即可得到每种像差的调制传递函数,而调制传递函数能够更直观的表示出各个单色像差对成像清晰度的影响。
如图2所示,表示当光学***仅含有一种单色像差时的调制传递函数曲线,且每种像差引起的波相差值均相等。从图中也可以看出不同像差对成像清晰度的影响也是不同的,有的像差的调制传递函数下降较快速,有的像差的调制传递函数下降较缓慢,有的像差调制传递函数过零点较多,有的像差的调制传递函数过零点较少,这些特性都与图像清晰度的损失密切相关。根据图像恢复的理论可知,如果图像的调制传递函数下降过于快速,或者过零点频率较低,或者零点较多都会给图像复原带来更大的难度,特别是在过零点图像的信息基本完全损失,难以恢复。再结合图2可知,对于不同的像差,用数字处理来补偿的难度是不一样的,例如,畸变的调制传递函数下降最缓慢且过零点频率最高,因此其对清晰度的影响是最小的;而相比于球差来说,慧差由于其调制传递函数过零点相对较少且第一个过零点频率较高,因此,利用数字处理的方式修正慧差比修正球差更容易,慧差修正后的结果也较球差修正后的结果较好。
用数字处理补偿光学像差的由简到难为:畸变<慧差<像散≤场曲<离焦≤球差,在设计光学***时,就可以根据研发成本和应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像差留给数字处理***来补偿,这就是本发明设计的核心思想。在传统设计中,仅是在成本和需求的约束下,对所有像差一起做平衡来满足设计要求,并没有考虑数字处理对像差的补偿作用,而在本发明中,利用数字处理***分担了光学***的部分压力,从而放宽了对光学***的严格要求,例如,光学***就不再需要加入校正镜组来修正因为视场扩大带来的像散修正问题,或者主镜和次镜的不再需要引入非球面来增加结构变量达到优化其余各单色像差,这会大大降低光学***的复杂度,可以用低成本的光学***实现高质量的数字图像。
本发明与现有技术相比的优点在于:在本发明中,反射式数字成像***的成像质量由光学成像***和数字处理***一起决定,光学成像***仅作为成像***的一个中间环节,并非传统设计中成像质量的决定环节,这样就放宽了对光学***像差修正的严格要求,,把光学***和数字处理作为整体进行设计和优化,实现数字成像***的***级最优,从而充分体现了“数字成像”的特点。
附图说明
图1为反射式光学成像***结构示意图;
图2为不同像差的调制传递函数;
图3为简化后的反射式光学成像***结构示意图;
图4为本发明原理框图;
图5为本发明光学***模型与数字处理模型迭代示意图。
具体实施方式
本发明的技术关键点在于:通过分析利用数字处理补偿离焦、畸变、像散、慧差、场曲、球差、场曲引起的成像清晰度损失的难易程度,把不易于用数字处理补偿的像差留给光学设计校正,把易于用数字处理补偿的像差用图像处理算法校正,并通过对成像目标先验信息、光学成像***、数字处理***、***综合设计指标的建模实现反射数字成像***的设计,放宽了对光学***的严格限制,降低光学***的复杂度,同时又实现了光学设计和数字处理的全局最优。
如图4所示,本发明具体实现为:
(1)像差选定
如图2所示,用数字处理来校正光学像差的难度由简到难为:
畸变<慧差<像散≤场曲<离焦≤球差
在设计光学***时,就可以根据研发成本和应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像差留给数字处理***来补偿,利用数字处理***分担了光学***的部分压力,从而放宽了对光学***的严格要求,例如,光学***就不再需要加入校正镜组来修正因为视场扩大带来的像散修正问题,或者主镜和次镜的不再需要引入非球面来增加结构变量达到优化其余各单色像差,这会大大降低光学***的复杂度,可以用低成本的光学***实现高质量的数字图像。
(1)建立成像目标的先验模型
成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,主要包括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息。物理先验信息根据物理理论获得,如目标的功率谱密度函数;噪声先验信息根据噪声分布规律获得,高斯噪声、Gamma噪声等;纹理先验信息根据目标反应在数字图像中的自然景物的像素值变化规律获得,反映了目标特征纹理的保持;成像过程先验信息是把数字图像的产生看做为一个Markov随机场,把图像清晰度的降低看做为由像差、探测器采样、噪声引起的随机过程。先验模型可以综合以上四种先验信息也可以只由其中几种先验信息构成,需视具体应用和已知信息而定,用ΩTarget表示设计成像目标先验模型时的参数集合。
(2)建立光学成像***模型
光学成像***包括光学子***和探测器子***。光学子***即反射式光学镜头,其在具体设计时首先根据研发成本和应用需求确定哪些像差着重使用光学元件校正,哪些像差留给数字处理进行校正,从而放宽了对光学元器件的苛刻限制(作为图1所示光学***简化的例子,如图3所示,由于反射式光学***通过主镜和次镜能够较好的校正球差,而通过严格的装配可以控制离焦像差在很小范围内,这就可以不用再加校正镜组校正其它像差,把慧差、像散、场曲保留一部分给数字处理***补偿);再根据光线追迹理论,以最小空气间隔、最小边缘厚度、最小中心厚度、镜片可用材料等条件为约束,并引入光学***出瞳光程差函数平方的均值最小(或者波像差最小)作为性能指标函数对光学镜头进行优化设计。在数学建模时,光学子***空间域可以通过点扩散函数建模,频域可以将光学***看作为一个低通滤波器,利用光学传递函数、调制传递函数进行建模。光学设计参数包括光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔等,用ΩOptic来表示这些设计参数组成的集合。
探测器子***在空间域上可以建模为一个对光学子***所收集信息的离散采样滤波器。探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子效率等,用ΩSensor来表示这些设计参数组成的集合。
光学子***和探测器子***模型建立后,再结合目标的先验信息,就可以建立光学成像模型,表示为H(ΩOpticSensorTarget),其具体意义为在先验信息ΩTarget下,探测器对像差点扩散函数的离散采样结果。
那么,假设目标场景为X(即理想无像差成像结果),光学成像***的成像结果为Y,利用成像目标先验信息获得的***噪声为N(ΩTarget),则根据经典的成像方程可得:
Y=H(ΩOpticSensorTarget)X+N(ΩTarget)    (42)
(3)建立数字处理***模型
数字处理***用于补偿光学成像***的遗留像差,数字处理***的模型取决于采用何种算法提高图像的清晰度来补偿光学成像***的缺陷,本发明中,图像清晰度的提升主要包括信噪比提升和对比度增强两个方面,信噪比提升需要对图像进行平滑滤波,对比度增强需要对图像进行锐化滤波。然而,在数字图像处理中平滑滤波和锐化滤波是相互矛盾的,平滑滤波必然会造成图像的对比度损失,锐化滤波必然会造成图像的信噪比损失,因此,数字处理设计时必须同时考虑这两种损失,以使像差修正效果达到最优。
数字处理***的设计参数包括滤波器的设计方法(如滤波器是线性的还是非线性的),滤波器的功能(如实现对比度增强,还是实现信噪比提升),滤波器的具体形式(如维纳滤波、逆滤波等),用ΩDigital来表示这些参数组成的集合,用表示补偿像差后的数字图像,用W(ΩDigitalTarget)表示结合目标先验信息的数字处理***模型,则有:
X ^ = W ( Ω Digital | Ω T arg et ) Y - - - ( 43 )
(4)建立***综合设计指标模型
如图4所示,***综合设计指标模型是联接光学成像子***和数字处理子***的桥梁,通过***综合设计指标使这两部分设计内容能够相互联系,把光学***和数字处理作为整体进行设计和优化,实现数字成像***的***级最优。本发明中使用理想成像结果与像差数字补偿后的图像差的均方值最小作为数字成像***综合设计的性能指标,即:
J=min E(eTe)=min E[Tr(eeT)]      (44)
上式中,X与步骤(2)中X所表示意义一致,与步骤(3)中所表示意义一致,E表示数学期望,Tr表示矩阵的迹。将(42)式和(43)式代入(44)式,有:
J=min Tr(RX-2WHRX+WHRXHTWT+WRNW)    (45)
上式中,W为步骤(3)中W(ΩDigitalTarget)的简写,H为步骤(2)中H(ΩOpticTargetSensor)的简写,N为步骤(2)中N(ΩTarget)的简写。RX为目标自相关函数,RN为噪声自相关函数,这两个自相关函数都与先验信息有关。(45)式中既包含了光学成像***模型H,也包含了数字处理***模型W;并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平滑的平衡。再根据维纳滤波理论,有:
W=RXHT(HRXHT+RN)-1      (46)
根据步骤(2)中物理先验信息,H定义为Hjn×1=jm×1,其中j为一个所有元素和为1的矩阵。再引入拉格朗日乘子ξ,则(45)式变为:
J=minTr(RX-2WHRX+WHRXHTWT+WRNW)+ξ(Hjn×1-jm×1)    (47)
上式对H求导有:
∂ J ∂ H = - 2 W T R X T + 2 W T W R X + ξ T j 1 × n = 0 - - - ( 48 )
可得:
H = 1 2 ( W T W ) - 1 ( 2 W T R X - ξ T j 1 × n ) R X - 1 - - - ( 49 )
再根据Hjn×1=jm×1,令有:
ξ T = 2 ζ ( W T j n × 1 - W T W j m × 1 ) - - - ( 50 )
将(50)式子代入(49)式,有:
H = 1 2 ( W T W ) - 1 W T ( R X - 1 ζ j n × n + 1 ζ W j m × n ) R X - 1 - - - ( 51 )
根据步骤(3)可知,光学成像***传递函数H由光学子***传递函数hoptic和探测器子***传递函数hsensor组成,而hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,探测器参数ΩSensor也是已知的,因此,可以获得光学成像***传递函数初值H1,应用(46)式可获得H1对应的数字处理***传递函数W1,再将W1代入(51)式可获得迭代一次以后的光学成像***传递函数H2,再重复上述迭代步骤,直至***满足(45)式的约束条件,假设共迭代了k次,得到全局最优的光学成像***传递函数Hk和数字处理***传递函数Wk,再根据(43)式得到数字处理校正像差后的图像。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。

Claims (2)

1.一种反射式数字成像***的设计方法,其特征在于实现步骤如下:
(1)分析像差对成像清晰度损失的影响
反射式光学***的光学像差有:离焦、畸变、像散、慧差、场曲、球差,对于不同的像差,用数字处理来校正的难度由简到难排序为:
畸变<慧差<像散≤场曲<离焦≤球差
(2)建立成像目标先验模型
成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,包括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息;用光学设计和数字处理联合对光学像差进行修正属于数学的逆问题,成像目标先验信息为求解这个逆问题提供了约束条件,成像目标先验模型设计参数集合表示为ΩTarget
(3)建立光学成像***模型
光学成像***包括光学子***和探测器子***,光学子***为光学镜头,探测器子***为CCD或COMS传感器;光学子***设计首先要根据步骤(1)决定通过光学设计着重修正哪些像差,在像差确定后就能够建立光学子***和探测器子***的模型,如下:
目标场景x发出的光线经光学子***后得到的结果yoptic表示成空间变化的卷积积分:
yoptic=∫x(t-τ)hoptic(t,τ)dτ     (1)
其中,t表示图像的空间位置,τ为卷积松弛变量,hoptic表示由像差引起的光学***点扩散函数,hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,即光学***的像差表示为真实波前和理想波前的光程差:
hoptic(t,τ)=|∫A(p)expj[OPD(p,t)+2πτp]dp|2     (2)
其中,p表示光学***出瞳平面的二维坐标,A(p)表示出瞳的幅值,光学子***的优化就是改变光学参数使光学子***出瞳(OPD)函数平方均值最小,OPD函数由光学像差决定,反射式光学镜头一般不考虑色差,因此,OPD函数由离焦、畸变、像散、慧差、场曲、球差决定,而像差由光学子***的设计参数决定,这些参数包括光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔,用ΩOptic来表示这些设计参数组成的集合;
结合步骤(2)中的成像目标先验信息,根据成像过程先验信息约束光学像差造成的清晰度损失,从而约束光学子***设计参数ΩOptic,在成像目标先验信息约束下的光学子***传递函数表示为:
h optic ( t , τ ) | Ω T arg et = [ | ∫ A ( p ) expj [ OPD ( p , t ) + 2 πτp ] dp | 2 ] | Ω T arg et - - - ( 3 )
探测器子***的作用是对光学子***的光学信息进行数字化采集,其性能由探测器子***传递函数决定:
其中,ωs为探测器采样频率;为探测器方形像元的相对宽度;探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子效率,用ΩSensor来表示这些设计参数组成的集合;
结合步骤(2)中的成像目标先验信息,根据噪声先验信息约束探测器暗电流噪声,从而约束探测器子***设计参数ΩSensor,在成像目标先验信息约束下的探测器子***传递函数表示为:
用H(ΩOpticSensorTarget)表示成像目标先验信息下的光学成像***传递函数模型为:
H ( Ω Optic , Ω Sensor | Ω T arg et ) = h optic ( t , τ ) | Ω T arg et * h sensor ( ω x , ω y ) | Ω T arg et - - - ( 6 )
利用成像目标先验信息中噪声先验信息获得的噪声模型N(ΩTarget)和光学成像***传递函数模型即可建立光学成像***模型:
Y=H(ΩOpticSensorTarget)X+N(ΩTarget)   (7)
其中X表示无像差、无噪声的理想图像,Y表示光学成像***的成像结果,即目标发出的光线经过光学子***后在探测器子***上采集到的数字图像;显然Y中通过H(ΩOpticSensorTarget)包含了对像差对图像清晰度的影响,通过N(ΩTarget)包含了噪声对清晰度的影响;
(4)建立数字处理***模型
数字处理***的目的是要降低步骤(3)中像差和噪声对图像清晰度的影响,数字处理***由平滑滤波器和锐化滤波器构成,用于补偿光学成像***的遗留像差;平滑滤波器用于降低噪声对图像的影响,锐化滤波器用于降低像差对图像的影响;数字图像处理中平滑滤波和锐化滤波是相互矛盾的,在数字处理***设计时必须同时考虑这两种损失,以使像差修正效果达到最优,用ΩDigital来表示平滑滤波器和锐化滤波器设计参数组成的集合;
用W(ΩDigital)表示数字处理***的传递函数,结合步骤(2)中的成像目标先验信息,如用纹理先验信息约束锐化滤波器的锐化程度,从而约束设计参数ΩDigital,结合成像目标先验信息的数字处理***传递函数表示为W(ΩDigitalTarget),用Y表示步骤(3)中光学成像***的成像结果,用表示对Y补偿像差后的数字图像,则数字处理***模型为:
X ^ = W ( Ω Digital | Ω T arg et ) Y - - - ( 8 )
(5)建立***综合设计指标模型
***综合设计指标模型是联接成像光学***和数字处理***的桥梁,通过***综合设计指标使这两部分设计内容能够相互联系,把光学***和数字处理作为整体进行设计和优化,实现数字成像***的***级最优;
(51)使用理想成像结果与像差数字补偿后的图像差的均方值最小作为数字成像***综合设计的性能指标,即:
J=min E(eTe)=min E[Tr(eeT)]   (9)
其中,与步骤(4)中所表示意义一致,E表示数学期望,Tr表示矩阵的迹;
(52)根据步骤(3)光学成像***模型和步骤(4)数字处理***模型,有:
X ^ = WY = W ( HX + N ) - - - ( 10 )
上式中,W为步骤(4)中W(ΩDigitalTarget)的简写,H为步骤(3)中H(ΩOpticSensorTarget)的简写,N为步骤(3)中N(ΩTarget)的简写;
将(10)式代入(9)式,有:
J=min E{Tr[(X-WY)(X-WY)T]}
=minE{Tr[XXT-W(HXXT+NXT)-(XXTHT+XNT)WT        (11)
+W(ΗXXTHT+ΝXTHT+ΗXNT+ΝΝT)WT]}
(53)假设噪声均值为0,且噪声与成像结果不相关,则:
E(XNT)=E(NXT)=0      (12)
则(12)式变为:
J=Tr[E(XXT)-E(WHXXT)-E(XXTHTWT)
                              (13)
+E(WHXXTHTWT)+E(WNNTWT)]
上式中,XXT和NNT分别为成像场景与噪声的自相关函数,令RX=XXT,RN=NNT,则:
J=min Tr(RX-2WHRX+WHRXHTWT+WRNW)       (14)
上式中既包含了光学成像***传递函数模型H,也包含了数字处理***传递函数模型W;并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平滑的平衡;
(54)根据维纳滤波理论,有:
W=RXHT(HRXHT+RN)-1      (15)
根据步骤(2)中物理先验信息,H定义为Hjn×1=jm×1,其中j为一个所有元素和为1的矩阵;再引入拉格朗日乘子ξ,则(14)式变为:
J=minTr(RX-2WHRX+WHRXHTWT+WRNW)+ξ(Hjn×1-jm×1)    (16)
上式对H求导有:
∂ J ∂ H = - 2 W T R X T + 2 W T WR X + ξ T j 1 × n = 0 - - - ( 17 )
得:
H = 1 2 ( W T W ) - 1 ( 2 W T R X - ξ T j 1 × n ) R X - 1 - - - ( 18 )
再根据Hjn×1=jm×1,令有:
ξ T = 2 ζ ( W T j n × 1 - W T Wj m × 1 ) - - - ( 19 )
将(19)式子代入(18)式,有:
H = 1 2 ( W T W ) - 1 W T ( R X - 1 ζ j n × n + 1 ζ Wj m × n ) R X - 1 - - - ( 20 )
根据步骤(3),光学成像***传递函数H由光学子***传递函数hoptic和探测器子***传递函数hsensor组成,而hoptic能够通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,探测器参数ΩSensor也是已知的,因此,能够获得光学成像***传递函数初值H1,应用(15)式可获得H1对应的数字处理***传递函数W1,再将W1代入(20)式获得迭代一次以后的光学成像***传递函数H2,再重复上述迭代步骤,直至***满足(14)式的约束条件,假设共迭代了k次,得到全局最优的光学成像***传递函数Hk和数字处理***传递函数Wk,再根据(43)式得到数字处理校正像差后的图像。
2.根据要求1所述的一种反射式数字成像***的设计方法,其特征在于:所述步骤(3)中与填充因子有关,当填充因子为100%时,填充因子小于100%时,
CN201410814461.2A 2014-12-23 2014-12-23 一种反射式数字成像***的设计方法 Active CN104483752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410814461.2A CN104483752B (zh) 2014-12-23 2014-12-23 一种反射式数字成像***的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410814461.2A CN104483752B (zh) 2014-12-23 2014-12-23 一种反射式数字成像***的设计方法

Publications (2)

Publication Number Publication Date
CN104483752A true CN104483752A (zh) 2015-04-01
CN104483752B CN104483752B (zh) 2017-02-22

Family

ID=52758315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410814461.2A Active CN104483752B (zh) 2014-12-23 2014-12-23 一种反射式数字成像***的设计方法

Country Status (1)

Country Link
CN (1) CN104483752B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850777A (zh) * 2015-04-22 2018-03-27 易赛特股份有限公司 光学相差校正的方法和装置
CN108734681A (zh) * 2018-05-31 2018-11-02 天津煋鸟科技有限公司 一种基于嵌入式的片上径向失真校正方法
CN109239914A (zh) * 2018-09-12 2019-01-18 南京大学 一种实现高空间带宽积的成像方法
CN109884056A (zh) * 2019-03-04 2019-06-14 哈尔滨工业大学 一种基于优化结构探测函数的显微成像方法
CN110458901A (zh) * 2019-06-26 2019-11-15 西安电子科技大学 一种基于计算成像的光电成像***的全局性优化设计方法
CN110794577A (zh) * 2019-11-11 2020-02-14 中国科学院光电技术研究所 一种结合自适应光学和图像处理的高分辨力成像***控制方法
CN111507049A (zh) * 2020-06-01 2020-08-07 中国计量大学 一种镜头像差仿真及优化方法
CN115933180A (zh) * 2023-01-10 2023-04-07 哈尔滨工业大学 一种光学注意力机制超简镜头设计方法
CN116087983A (zh) * 2023-04-07 2023-05-09 清华大学 一种针对极少量探测点的非视域成像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097038A1 (en) * 2010-02-08 2011-08-11 Thomson Licensing Reducing chromatic aberration
CN102721477A (zh) * 2012-06-04 2012-10-10 中国科学院光电技术研究所 一种用于相位差波前传感器的离焦量测量方法
CN103399315A (zh) * 2013-07-13 2013-11-20 西安电子科技大学 实孔径相控阵雷达高分辨探测成像方法
CN103701515A (zh) * 2013-12-11 2014-04-02 北京遥测技术研究所 一种数字多波束形成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097038A1 (en) * 2010-02-08 2011-08-11 Thomson Licensing Reducing chromatic aberration
CN102721477A (zh) * 2012-06-04 2012-10-10 中国科学院光电技术研究所 一种用于相位差波前传感器的离焦量测量方法
CN103399315A (zh) * 2013-07-13 2013-11-20 西安电子科技大学 实孔径相控阵雷达高分辨探测成像方法
CN103701515A (zh) * 2013-12-11 2014-04-02 北京遥测技术研究所 一种数字多波束形成方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850777A (zh) * 2015-04-22 2018-03-27 易赛特股份有限公司 光学相差校正的方法和装置
CN108734681A (zh) * 2018-05-31 2018-11-02 天津煋鸟科技有限公司 一种基于嵌入式的片上径向失真校正方法
CN109239914A (zh) * 2018-09-12 2019-01-18 南京大学 一种实现高空间带宽积的成像方法
CN109884056A (zh) * 2019-03-04 2019-06-14 哈尔滨工业大学 一种基于优化结构探测函数的显微成像方法
CN109884056B (zh) * 2019-03-04 2021-10-08 哈尔滨工业大学 一种基于优化结构探测函数的显微成像方法
CN110458901A (zh) * 2019-06-26 2019-11-15 西安电子科技大学 一种基于计算成像的光电成像***的全局性优化设计方法
CN110794577B (zh) * 2019-11-11 2022-08-23 中国科学院光电技术研究所 一种结合自适应光学和图像处理的高分辨力成像***控制方法
CN110794577A (zh) * 2019-11-11 2020-02-14 中国科学院光电技术研究所 一种结合自适应光学和图像处理的高分辨力成像***控制方法
CN111507049A (zh) * 2020-06-01 2020-08-07 中国计量大学 一种镜头像差仿真及优化方法
CN111507049B (zh) * 2020-06-01 2024-01-30 中国计量大学 一种镜头像差仿真及优化方法
CN115933180A (zh) * 2023-01-10 2023-04-07 哈尔滨工业大学 一种光学注意力机制超简镜头设计方法
CN115933180B (zh) * 2023-01-10 2023-07-04 哈尔滨工业大学 一种光学注意力机制超简镜头设计方法
CN116087983A (zh) * 2023-04-07 2023-05-09 清华大学 一种针对极少量探测点的非视域成像方法及装置

Also Published As

Publication number Publication date
CN104483752B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN104483752A (zh) 一种反射式数字成像***的设计方法
Nikonorov et al. Toward ultralightweight remote sensing with harmonic lenses and convolutional neural networks
Sun et al. End-to-end complex lens design with differentiable ray tracing
US9953402B2 (en) Imaging system and method for imaging objects with reduced image blur
US11257229B2 (en) Method and system for processing an image
CN106338343B (zh) 一种基于菲涅耳波带片的波前探测方法
CN104091312A (zh) 一种根据图像频谱信息提取模糊核先验的单透镜成像方法
Vettenburg et al. Fidelity optimization for aberration-tolerant hybrid imaging systems
Hui et al. Image restoration for synthetic aperture systems with a non-blind deconvolution algorithm via a deep convolutional neural network
Hu et al. PSF model for diffractive optical elements with improved imaging performance in dual-waveband infrared systems
CN104570344A (zh) 一种数字成像***的光学和数字联合设计方法
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
Chen et al. Computational optics for mobile terminals in mass production
Liaudat et al. Rethinking data-driven point spread function modeling with a differentiable optical model
Li et al. Image quality enhancement method for on-orbit remote sensing cameras using invariable modulation transfer function
Hui et al. Image restoration of optical sparse aperture systems based on a dual target network
CN114967121A (zh) 一种端到端的单透镜成像***设计方法
Hoffmire et al. Deep learning for anisoplanatic optical turbulence mitigation in long-range imaging
Sun et al. Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction
Paxman et al. Spatial stabilization of deep-turbulence-induced anisoplanatic blur
Wei et al. High-quality blind defocus deblurring of multispectral images with optics and gradient prior
CN105278100B (zh) 一种透射式数字成像***设计方法
Yang et al. Experimental study on imaging and image deconvolution of a diffractive telescope system
Lucat et al. Diffraction effects detection for HDR image-based measurements
Du et al. Increasing aperture and depth of field simultaneously with wavefront coding technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant