CN111338068B - 一种基于远心扫描镜头的傅里叶叠层成像*** - Google Patents

Abstract

本发明涉及一种基于远心扫描镜头的傅里叶叠层成像***，解决传统成像方法中照明光强不均匀、球面波照明、单次重建视场小的技术问题。本发明的傅里叶叠层成像***是采用远心扫描镜头与LED阵列光源组合的新型照明方式，所有LED阵列光源均垂直于光轴放置即可获得一致的光辐照强度；各LED阵列点光源发出的球面波经过远心扫描镜头均被转换为平面波辐照样品，全视场波矢不存在差异，重建时可对全视场直接进行重建，省去了对各子视场进行拼接融合的过程，大幅度提高重建效率。本发明的成像***可以确保每个LED阵列光源均匀以等光强的平面波辐照样品，使单次重建视场由传统的0.45mm*0.45mm提高到了3.82mm*3.82mm，大幅度提升了高分辨率图像重建效率，使实时傅里叶叠层成像成为可能。

Description

一种基于远心扫描镜头的傅里叶叠层成像***

技术领域

本发明涉及一种大视场一次重建的傅里叶叠层显微成像技术，具体涉及一种基于远心扫描镜头的傅里叶叠层成像***，属于计算光学显微成像技术领域。

背景技术

在显微成像领域，作为显微成像***的重要参数主要有分辨率与视场，但二者之间存在不可调和的矛盾，现有的提高分辨率的方式大多为提高显微镜的数值孔径，但提高数值孔径所带来的问题为视场会急剧减小，因此如何保证视场的前提下提高分辨率是当前研究的热点与难点。目前提高***分辨率的方式通常有合成孔径技术、共聚焦扫描技术、光场成像技术等。上述技术均存在成本高昂，视场与分辨率存在相互限制的情况。

傅里叶叠层显微成像技术(Fourier ptychographic microscopy FPM)，仅通过将传统显微镜的照明光源改为LED阵列，近似发光光源为点光源，通过倾斜照明后获取物体的不同空间频率信息，使用相位恢复技术进行高分辨率图像重建，即可突破***衍射极限，在保证成像视场大小的前提下提升分辨率，最终实现大视场、高分辨率的成像效果。然而，传统的傅里叶叠层成像存在以下两个问题：

(1)LED光源的发光强度随光束发散角增大而指数衰减，导致不同角度下辐照亮度差异很大。

(2)LED光源发光时所发光束为球面波。而在傅里叶叠层成像理论中，照射样品的光束需假设为平面波，因此在图像重建时必须将图像进行分割，以确保满足平面波近似，然后再对重建后的图像进行拼接。往往需要将视场分割为几十甚至上百个子视场，耗时较长，无法满足实时快速成像的需求，且对***的整体装配精度和稳定性都提出了很高的要求。

发明内容

本发明要解决传统成像方法中照明光强不均匀、球面波照明、单次重建视场小的技术问题，提供一种基于远心扫描镜头的傅里叶叠层成像***。

为了解决上述技术问题，本发明的技术方案具体如下：

本发明提供一种基于远心扫描镜头的傅里叶叠层成像***，包括照明分***和成像分***；

所述照明分***由第二LED阵列光源和远心扫描镜头构成，获得光照均匀、平面波的照明效果；

所述第二LED阵列光源放置于远心扫描镜头的焦面处。

在上述技术方案中，所述成像分***包括：第二样品、第二显微物镜、第二筒镜和第二CCD相机；

所述照明分***与所述成像分***在第二样品处对接，该第二样品既处于远心扫描镜头的出瞳处、又处于第二显微物镜的物方焦面处；

所述第二LED阵列光源发出的球面光波经远心扫描镜头后变成与光轴夹角各异的平面波照射第二样品，随后光束依次进入第二显微物镜、第二筒镜，最后第二CCD相机接收到低分辨率图像。

在上述技术方案中，所述第二LED阵列光源为任意光源类型形成的平面阵列点光源。

在上述技术方案中，所述远心扫描镜头需要根据所用第二LED阵列光源的工作波长进行设计。

在上述技术方案中，所述第二样品是强度调制样品或者是相位调制样品。

在上述技术方案中，所述第二LED阵列光源为32*32间距4mm，每个LED点光源发光近似尺寸为1mm，供电电压10V；所述第二显微物镜放大倍率为4倍，数值孔径0.1；所述第二筒镜焦距为200mm；所述第二CCD相机为Lumenra公司产品，型号为infinity4，具有2650*4600像素，像素尺寸为9μm。

在上述技术方案中，采集到的低分辨率图像通过相位恢复算法进行处理即可得到含有更多空间频率信息的高分辨率图像。

在上述技术方案中，低分辨率图像通过相位恢复算法得到高分辨率图像的过程如下：

1)初始化高分辨率频谱：假设单次成像时所采集频谱信息为空域复振幅为o^e(x,y)，频域相应区域复振幅为O^e(μ,ν)，总频谱为O，待更新频谱区域O^μ，照明光源波长λ，sinθ_x,sinθ_y为照明样品光束与样品面x方向跟y方向的夹角的正弦值，F代表傅里叶变换，*代表点积；

2)利用物镜的光瞳函数P(μ,ν)将单次成像中被***采集到的频谱区域取出；

O^μ＝O(μ-sinθ_x/λ,ν-sinθ_y/λ)*P(μ,ν) (7)

3)目标更新区域相位不变，将其振幅替换为所采集低分辨率图像振幅值，则复振幅更新公式为：

完成振幅信息替换；

4)将含有部分频率信息的低分辨率复振幅图像变换至频域，替换相应的频域区域，完成总频谱目标区域更新；

O^e＝F{o^e}*P(μ,ν) (9)

O(μ-sinθ_x/λ,ν-sinθ_y/λ)＝O(μ-sinθ_x/λ,ν-sinθ_y/λ)+O^μ-O^e (10)

5)重复步骤4)，直至所有低分辨率图像更新替换结束；

6)重复步骤2)-5)，直至高分辨率频谱O收敛。

本发明的有益效果是：

本发明提供的一种基于远心扫描镜头的傅里叶叠层成像***，提出了一种远心扫描镜头与LED阵列光源组合的新型照明方式，将LED阵列光源放置于远心扫描镜头的前焦面处。基于远心扫描镜头的远心特点，所有LED阵列光源均垂直于光轴放置即可获得一致的光辐照强度；其次，各LED阵列点光源发出的球面波经过远心扫描镜头均被转换为平面波辐照样品，全视场波矢不存在差异，重建时可对全视场直接进行重建，省去了对各子视场进行拼接融合的过程，大幅度提高重建效率。利用远心扫描镜头与LED阵列光源组合照明的方式，可以显著提高图像重建效率、重建质量。

本发明提供的一种基于远心扫描镜头的傅里叶叠层成像***可以确保每个LED阵列光源均匀以等光强的平面波辐照样品，使单次重建视场由传统的0.45mm*0.45mm提高到了3.82mm*3.82mm，大幅度提升了高分辨率图像重建效率，使实时傅里叶叠层成像成为可能。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为传统傅里叶叠层成像示意图。

图2为传统傅里叶叠层成像中不同样品区域被照明时的示意图。

图3为传统傅里叶叠层成像重建高分辨率全视场图像过程示意图。

图4为传统傅里叶叠层成像中第一LED阵列中偏离中心的LED光源发出光波照射样品的示意图。

图5为本发明中的照明分***示意图。

图6为本发明的基于远心扫描镜头的傅里叶叠层成像***示意图。

图7为本发明中通过相位恢复算法恢复高分辨率图像的过程示意图。

图8为传统傅里叶叠层成像单次重建大视场的结果图。

图9为本发明的成像***的最终重建结果图。

图中的附图标记表示为：

101-第一LED阵列光源，102-第一样品，103-第一显微物镜，104-第一筒镜，105-第一CCD相机；

1011-偏离中心LED的第一光源，h-第一LED阵列与第一样品的距离，d为第一LED阵列中相邻LED光源的距离，4′-第一照射位置，5′-第二照射位置，7′-第一照射位置的光波角度，6′-第二照射位置的光波角度；

1012-偏离中心LED的第二光源，θ-第一中心夹角；

1-第二LED阵列光源，2-远心扫描镜头，3-第二样品，4-第二显微物镜，5-第二筒镜，6-第二CCD相机；

11-偏离中心LED的第三光源，θ′-第二夹角；

具体实施方式

本发明的发明思想为：

传统傅里叶叠层显微成像***如图1所示，***由第一LED阵列光源101、第一样品102、第一显微物镜103、第一筒镜104、第一CCD相机105构成。第一LED阵列光源101距离第一样品102的距离为h，LED间距d。第一LED阵列光源101依次点亮照明第一样品102后，依次进入第一显微物镜103、第一筒镜104，最后被第一CCD相机105接收。第一LED阵列光源101的点光源依次点亮照明第一样品102，点光源发射球面波在足够小范围内可近似为平面波，由此第一样品102被不同角度的平面波照明后，在第一显微物镜103后焦面上物体的频谱被平移到对应的不同位置上，因此一些超过第一显微物镜103数值孔径的空间频率信息得以进入第一显微物镜103，从而可以被第一CCD相机105接收到低分辨率图像，将这些含有不同空间频率信息的低分辨率图像通过相位恢复算法即可获得分辨率超出原本***衍射极限的高分辨图像信息。对于LED阵列光源中第m行、n列的点光源来说，如图2所示，其照射至样品面(x,y)处的光波波矢与样品面x方向跟y方向的夹角为θ_x与θ_y，正弦值分别为：

假设样品的频域高分辨率频谱为O(μ,ν),空域表达式为S(x,y)，***的点扩散函数为p(x,y),频域光瞳函数为P(μ,ν)，则倾斜照明下空域成像过程可表示为：

其中，·为点积，

为卷积，在垂轴面，k＝(ksinθ_x,ksinθ_y)，I_m,n为第一CCD相机105接收到的图像空域强度值。根据傅里叶光学理论，成像过程的频域表达式为：

其中F代表傅里叶变换，F^-1代表逆傅里叶变换，且

F(s(x,y)*exp(ik·r))＝O(μ-sinθ_x/λ,ν-sinθ_y/λ) (4)

所以在点亮所有的第一LED阵列光源101，高分辨率频谱经过倾斜照明引入的整体平移以及光瞳大小限制单次采集的截止频率后，第一CCD相机105采集到一系列携带有不同频率成分的低分辨率图像I_mn。

图2为传统傅里叶叠层成像中不同样品区域被照明时的示意图，第一LED阵列光源101中偏离中心LED的第一光源1011发出球面波照射第一样品102中的不同位置4＇跟5＇，照射位置4＇与位置5＇的光波角度7＇与角度6＇大小不一致，第一LED阵列光源101与第一样品102的距离h，第一LED阵列光源101中相邻LED光源的距离d。

由于不同视场区域内的(sinθ_x,sinθ_y)不同，所以在进行相位恢复时，重建高分辨率图像过程必须建立在将视场分割至足够小的情况，重建过程示意图如图3所示，将每一个视场内的区域分别进行高分辨率重建，相邻子视场间需要存在一定的重叠区域以保证后期进行图像拼接获得全视场图像。如图4所示，在光强方面，在傅里叶叠层成像中，非中心LED照明样品时其能量衰减情况为

I＝I₀cosα⁴ (5)

其中：I₀为LED法向光束强度大小，α非中心LED相对光轴的夹角。由此可见，偏离中心越远的LED在照射样品时，其能量衰减越严重，所带来的问题是照明样品的强度不一致，***所能够采集到的样品的高频信息会受到抑制，进一步导致算法恢复的高分辨率图像质量下降。

图3为传统傅里叶叠层成像重建过程中分别对所采集到的低分辨率图像进行分割视场的高分辨率重建过程，得到一系列高分辨率子视场图像，通过图像拼接手段获得最终高分辨率全视场图像。

图4为传统傅里叶叠层成像中第一LED阵列光源101中偏离中心LED的第二光源1012发出光波照射第一样品102，其与样品第一中心夹角为θ。

而本发明的基于远心扫描镜头的傅里叶叠层显微成像***，照明分***为远心扫描镜头2与第二LED阵列光源1组合照明，照明示意如图5，第二LED阵列光源1位于远心扫描镜头2焦面处，第二样品3位于远心扫描镜头2的出瞳处，第二LED阵列光源1点光源发出的球面波，经由远心扫描镜头2转换后变为一系列不同角度入射的平面波，且均通过出瞳。点亮不同的第二LED阵列光源1点光源即在出瞳位置获得不同角度的平面波照射第二样品3，且照射至第二样品3的平面波角度服从：

θ′＝d/f (6)

其中：d为第二LED阵列光源距离中心LED光源距离，f为远心扫描镜头工作焦距。这种照明方式保证了照明光在全视场内的波矢一致性，可直接对整幅图像进行相位恢复，无需再对图像进行分割、重建与拼接融合，大幅的提高了重建效率，如图7所示。

图5为本发明中的照明示意图，第二LED阵列光源1中偏离中心LED的第三光源11发出的球面波照射至远心扫描镜头2，球面光波经过远心扫描镜头2后变为平面光波，但其传播至样品时仍与样品存在第二夹角θ′。

图7为本发明中，通过相位恢复算法恢复高分辨率图像的过程，采集到的低分辨率图像仅通过一次相位恢复算法便获得了全视场高分辨率图像。

下面对本发明提供的基于远心扫描镜头的傅里叶叠层成像***进行具体的说明。

1、本发明的基于远心扫描镜头的傅里叶叠层成像***的***搭建以及低分辨率图像获取：

1)在实验室光学平台搭建如图6所示的基于远心扫描镜头的傅里叶叠层成像***，包括照明分***和成像分***；所述照明分***由第二LED阵列光源1，和远心扫描镜头2构成，所述第二LED阵列光源1放置于远心扫描镜头2的焦面处；所述成像分***由第二样品3、第二显微物镜4、第二筒镜5、第二CCD相机6组成。第二LED阵列光源1与第二CCD相机6都与存储有傅里叶叠层显微成像技术控制软件的计算机相连。

所述照明分***与所述成像分***在第二样品3处对接，该第二样品3既处于远心扫描镜头2的出瞳处、又处于第二显微物镜4的物方焦面处；

所述第二LED阵列光源1发出的球面光波经远心扫描镜头2后变成与光轴夹角各异的平面波照射第二样品3，随后光束依次进入第二显微物镜4、第二筒镜5，最后第二CCD相机6接收到低分辨率图像。

2)光学***中各元件的技术参数以及作用如下：

所述第二LED阵列光源1为任意光源类型形成的平面阵列点光源，本具体实施方式中选择第二LED阵列光源1为32*32间距4mm，每个LED点光源发光近似尺寸为1mm，供电电压10V，用来产生球面波。

所述远心扫描镜头2需要根据所用第二LED阵列光源1的工作波长进行设计，其物方入射光束视场角与像方像高成像关系为θ＝d/f，d为像方像高，f为远心扫描镜头的有效焦距。

第二显微物镜4(Olympus)放大倍率4倍，数值孔径0.1。

在本实验中所述光学***成像目标为分辨率版型号为USAF1951X，在第二显微物镜4工作距离与远心扫描镜头2出瞳处放置，作为目标成像。

第二筒镜5，焦距为200mm，用于对待测第二样品3的频谱变换至空域进行成像。

第二CCD相机6，Lumenra公司产品，型号为infinity4，具有2650*4600像素，像素尺寸为9μm，其作用是接收经***下采样后的待测第二样品3的低分辨率图像。

3)***搭建完毕后，将待测第二样品3调至第二显微物镜4焦距处，在第二CCD相机6上成清晰的像后，依次点亮所需第二LED阵列光源1，为满足光强波动曲线，对距离待测第二样品3中心不同距离的第二LED阵列光源1照明下工作时，第二CCD相机6使用不同的曝光时间以降低由照明光强波动带来的光强误差，将一系列低分辨率图像存储。所述第二样品3是强度调制样品或者是相位调制样品，在本实验中使用的是强度调制样品分辨率板。

2、高分辨率图像重建

对采集到的低分辨率图像通过相位恢复算法进行处理即可得到含有更多空间频率信息的高分辨率图像，具体如下：

1)初始化高分辨率频谱：假设单次成像时所采集频谱信息为空域复振幅为o^e(x,y)，频域相应区域复振幅为O^e(μ,ν)，总频谱为O，待更新频谱区域O^μ，照明光源波长λ，sinθ_x,sinθ_y为照明样品光束与样品面x方向跟y方向的夹角的正弦值，F代表傅里叶变换，*代表点积；

2)利用物镜的光瞳函数P(μ,ν)将单次成像中被***采集到的频谱区域取出；

O^μ＝O(μ-sinθ_x/λ,ν-sinθ_y/λ)*P(μ,ν) (7)

3)目标更新区域相位不变，将其振幅替换为所采集低分辨率图像振幅值，则复振幅更新公式为：

完成振幅信息替换；

4)将含有部分频率信息的低分辨率复振幅图像变换至频域，替换相应的频域区域，完成总频谱目标区域更新；

O^e＝F{o^e}*P(μ,ν) (9)

O(μ-sinθ_x/λ,ν-sinθ_y/λ)＝O(μ-sinθ_x/λ,ν-sinθ_y/λ)+O^μ-O^e (10)

5)重复步骤4)，直至所有低分辨率图像更新替换结束；

6)重复步骤2)-5)，直至高分辨率频谱O收敛。

传统傅里叶叠层成像单次大视场重建结果如图8所示，在视场变大时重建质量急剧下降，本发明的新***重建结果如图9所示，随着视场变大重建效果稳定性不变。经验证本发明有效的解决了传统傅里叶叠层成像中LED阵列照明不均匀及球面波照明所带来的光强衰减及一次重建视场小的问题，光强波动从I＝I₀cosα⁴变为I＝I₀cosα，单次重建视场从200*200像素(0.45mm*0.45mm)增加至1700*1700像素(3.82mm*3.82mm)。图9的最终重建结果表明，单次重建视场达到了14.63mm²，远超出传统傅里叶叠层成像单次重建视场。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种基于远心扫描镜头的傅里叶叠层成像***，包括照明分***和成像分***；

其特征在于，

所述照明分***由第二LED阵列光源(1)和远心扫描镜头(2)构成，获得光照均匀、平面波的照明效果；

所述第二LED阵列光源(1)放置于远心扫描镜头(2)的焦面处；

所述成像分***包括：第二样品(3)、第二显微物镜(4)、第二筒镜(5)和第二CCD相机(6)；

所述照明分***与所述成像分***在第二样品(3)处对接，该第二样品(3)既处于远心扫描镜头(2)的出瞳处、又处于第二显微物镜(4)的物方焦面处；

所述第二LED阵列光源(1)发出的球面光波经远心扫描镜头(2)后变成与光轴夹角各异的平面波照射第二样品(3)，随后光束依次进入第二显微物镜(4)、第二筒镜(5)，最后第二CCD相机(6)接收到低分辨率图像。

2.根据权利要求1所述的基于远心扫描镜头的傅里叶叠层成像***，其特征在于，所述第二LED阵列光源(1)为任意光源类型形成的平面阵列点光源。

3.根据权利要求1所述的基于远心扫描镜头的傅里叶叠层成像***，其特征在于，所述远心扫描镜头(2)需要根据所用第二LED阵列光源(1)的工作波长进行设计。

4.根据权利要求1所述的基于远心扫描镜头的傅里叶叠层成像***，其特征在于，所述第二样品(3)是强度调制样品或者是相位调制样品。

5.根据权利要求1所述的基于远心扫描镜头的傅里叶叠层成像***，其特征在于，所述第二LED阵列光源(1)为32*32间距4mm，每个LED点光源发光近似尺寸为1mm，供电电压10V；所述第二显微物镜(4)放大倍率为4倍，数值孔径0.1；所述第二筒镜(5)焦距为200mm；所述第二CCD相机(6)为Lumenra公司产品，型号为infinity4，具有2650*4600像素，像素尺寸为9μm。

6.根据权利要求2所述的基于远心扫描镜头的傅里叶叠层成像***，其特征在于，采集到的低分辨率图像通过相位恢复算法进行处理即可得到含有更多空间频率信息的高分辨率图像。

7.根据权利要求6所述的基于远心扫描镜头的傅里叶叠层成像***，其特征在于，低分辨率图像通过相位恢复算法得到高分辨率图像的过程如下：

1)初始化高分辨率频谱：假设单次成像时所采集频谱信息为空域复振幅为o^e(x,y)，频域相应区域复振幅为O^e(μ,ν)，总频谱为O，待更新频谱区域O^μ，照明光源波长λ，sinθ_x,sinθ_y为照明样品光束与样品面x方向跟y方向的夹角的正弦值，F代表傅里叶变换，*代表点积；

2)利用物镜的光瞳函数P(μ,ν)将单次成像中被***采集到的频谱区域取出；

O^μ＝O(μ-sinθ_x/λ,ν-sinθ_y/λ)*P(μ,ν) (7)

3)目标更新区域相位不变，将其振幅替换为所采集低分辨率图像振幅值，则复振幅更新公式为：

完成振幅信息替换；

其中，

为采集图像的振幅；O^e _mn(x,y)为高分辨率频谱中第m行、第n列的LED灯所对应区域下采样后，傅里叶变换至空域的低分辨率复振幅估计；

4)将含有部分频率信息的低分辨率复振幅图像变换至频域，替换相应的频域区域，完成总频谱目标区域更新；

O^e＝F{o^e}*P(μ_,ν) (9)

O(μ-sinθ_x/λ,ν-sinθ_y/λ)＝O(μ-sinθ_x/λ,ν-sinθ_y/λ)+O^μ-O^e (10)

5)重复步骤4)，直至所有低分辨率图像更新替换结束；

6)重复步骤2)-5)，直至高分辨率频谱O收敛。

Images