CN105158893B - 基于lcd液晶面板的可编程孔径显微镜***的光场成像方法 - Google Patents

Abstract

本发明公开了一种基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，由显微成像***和LCD液晶面板的4f***实现，首先光场子图像采集，确定所需要计算的焦距z，将步采集得到的M幅光场子图像按规则循环平移，然后将所得到的平移后的光场子图像按像素对应相加，即得到了焦距(成像深度)在z处的重构图像。本发明可实现全分辨率光场成像，不存在传统光场成像中空间分辨率与角分辨率的矛盾问题；可灵活实现先拍照，后聚焦，可以不移动样品的载物台，直接通过计算的方式获得不同深度样品图像。

Description

基于LCD液晶面板的可编程孔径显微镜***的光场成像方法

技术领域

本发明属于光学显微成像技术，特别是一种基于LCD液晶面板的可编程孔径显微镜***及其光场成像方法。

背景技术

传统光学显微镜每次只能观察三维样品的一个二维切面图像。通过移动载物台，可以观察样品不同深度的信息。然而，这种机械对焦***往往需要人为操作，耗时复杂。对于许多动态物体或快速变化的场景，获得其所有深度上的图像信息往往难以实现(姜志国,薛斌党,周孝宽.基于光学显微镜的三维成像技术[J].红外与激光工程,2006,35)。

光场成像是近年来新兴的一种计算成像方式。光场是表示光辐射分布的函数，反映了光波动强度与光波分布位置和传播方向之间的映射关系。光场成像通过记录光辐射在传播过程中的四维位置和方向的信息，相比只记录二维的传统成像方式多出2个自由度，因而在图像重建过程中，能够获得更加丰富的图像信息。采用光场成像的显微镜被称为光场显微镜，其需要在显微镜成像***的一次像面处***一个微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的场景图像，从而得到一个四维光场。额外微透镜阵列的引入增加了***的成本。此外，传统的光场显微镜多出的二维角度信息是以牺牲一定的空间分辨率为代价的，二者之间存在一个折衷。现有光场显微镜普遍存在图像空间分辨率不能满足需求的问题，如果加大图像空间分辨率的同时，兼顾轴向分辨率，则会对光电探测器件提出更高要求。这是当前制约光场成像技术的一个瓶颈，如何解决二者之间的矛盾，是光场成像中的一个关键问题(聂云峰,相里斌,周志良.光场成像技术进展[J].中国科学院大学学报,2011,28(5):563-572.)。

发明内容

本发明的目的在于提供一种基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，实现全分辨率光场图像的采集和“数字聚焦”，避免了传统显微镜中需要频繁收到切换载物台距离以实现对焦的复杂操作。

实现本发明目的的技术解决方案为：一种基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，通过显微成像***和LCD液晶面板的4f***采集图像，然后进行数据处理，步骤如下：

步骤一：光场子图像采集，顺次点亮LED阵列中每个像素点或顺次使LCD液晶面板中的每个像素点透光，相机采集相对应的图像，设LCD液晶面板中共包含M个像素，那么共计拍摄M幅图像，将这些图像记作I_m(x,y),m＝1,2,....,M，称之为光场子图像，其中(x,y)代表图像平面的二维坐标；对于每幅光场子图像，其都对应了一个光场视角(θ_xm,θ_ym)，m代表光场视角对应像素的个数；

步骤二：确定所需要计算的焦距，即成像深度z，将步骤一中采集得到的M幅光场子图像按规则循环平移；

步骤三：将步骤二所得到的平移后的光场子图像m＝1,2,....,M按像素对应相加，即得到了焦距(成像深度)在z处的重构图像

本发明与现有技术相比，其显著优点：(1)可实现全分辨率光场成像，不存在传统光场成像中空间分辨率与角分辨率的矛盾问题。(2)可灵活实现先拍照，后聚焦，可以不移动样品的载物台，直接通过计算的方式获得不同深度样品图像，即利用LCD液晶面板实现空间光调制器的功能，从而实现显微镜***孔径平面光强分布的灵活可控。通过使LCD液晶面板中的每个像素点透光，相机采集相对应的图像，采集光场子图像。然后确定所需要计算的焦距(成像深度)，将光场子图像循环平移后叠加，即得到了所对应成像深度处的重构图像。(3)运算简单，易于实时执行。由于这三大优点，该显微成像方法可望在植物学、动物学、细胞生物学、半导体、材料科学、纳米技术、生命科学、医学诊断等众多领域得到广泛应用。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于LCD液晶面板的可编程孔径显微镜***原理图。

图2是LCD液晶面板中每个像素点的坐标系示意图。

图3是基于LCD液晶面板可编程孔径显微镜采集到的100幅光场子图像。

图4是采用本发明方法的对苍蝇口器标本进行光场重聚焦的重构图像，聚焦深度z＝-32μm。

图5是直接移动载物台对苍蝇口器标本进行拍摄的图像，聚焦深度z＝-32μm。

图6是采用本发明方法的对苍蝇口器标本进行光场重聚焦的重构图像，聚焦深度z＝63μm。

图7是直接移动载物台对苍蝇口器标本进行拍摄的图像，聚焦深度z＝63μm。

具体实施方式

结合图1，本发明基于LCD液晶面板的可编程孔径显微镜***其基于两部分构成，一部分为显微成像***1，另一部分是一个包含LCD液晶面板的4f***2，这两部分在图1中分别由虚线框标出。所述的显微成像***1可直接采用现有的显微镜***，也可以自行构建，其主要包括集光镜3、聚光镜孔径光阑4、聚光镜5、待测样品6、显微物镜7、反射镜8、与镜筒透镜9。其中集光镜3将照明光汇聚到聚光镜孔径光阑4，聚光镜孔径光阑大小可调，控制照明的通光孔径，通光聚光镜孔径光阑4发散后又被聚光镜5收集后照射样品，透射过样品的光被显微物镜7收集，并经过镜筒透镜9放大后成像在显微镜相机端口的图像平面10。

所述的包含LCD液晶面板的4f***2是***的核心部分，包括第一透镜L₁11、第二透镜L₂13、LCD液晶面板12以及单色CCD相机14(采用The Imaging Source DMK 41AU02,1280×960,4.65μm pixel size,15fps)。第一透镜L₁11、第二透镜L₂13的焦距f＝f₁＝f₂。第一透镜L₁11和第二透镜L₂13构成一个标准的4f成像***，即：第一透镜L₁11到显微镜图像平面10的端口的距离为f1，第二透镜L₂11到CCD相机14成像平面的端口的距离为f2，两透镜之间的距离是f1+f2。LCD液晶面板12放置于4f***的傅里叶平面，即第一透镜L₁11和第二透镜L₂13之间，距离第一透镜L₁11的距离为f1，距离第二透镜L₂13的距离为f2。

以具体例子予以说明，第一透镜L₁11、第二透镜L₂13的焦距f＝f₁＝f₂＝150mm。则第一透镜L₁11和第二透镜L₂13构成一个标准的4f成像***，即：第一透镜L₁11到显微镜图像平面10的端口的距离为f1＝150mm，第二透镜L₂11到CCD相机14成像平面的端口的距离为f2＝150mm，两透镜之间的距离是f1+f2＝300mm。LCD液晶面板12放置于4f***的傅里叶平面，即第一透镜L₁11和第二透镜L₂13之间，距离第一透镜L₁11的距离为f1＝150mm，距离第二透镜L₂13的距离为f2＝150mm。L₁和L₂的焦距可以是相同的，但是实际上它们可以选用不同的焦距，这里为了方便起见以f＝f₁＝f₂＝150mm说明。

LCD液晶面板12是作为一种透射型空间光调制器来使用的，其可以是基于TN型的灰度液晶面板。面板尺寸，像素分辨率与像素尺寸不是本发明的技术要点，但面板尺寸要能尽可能覆盖第二透镜L₂13前焦面的所有有效区域，像素分辨率与像素尺寸越小越好。目前典型值为面板尺寸2-4.3寸，像素分辨率10×10至480×272，像素尺寸从20微米至10毫米不等。

为了实现LCD液晶面板12中每个像素点明暗控制，需采用相配套的硬件电路。由于LCD液晶面板本身响应很快，硬件电路还可实现不同空间分布的图案的快速切换，实现在时间上快速变化的灰度图案。注意，这里硬件电路的具体实现方案并非本专利的技术要点，已经有许多成熟技术，主控制器可以采用(但不限于)单片机、ARM、或者可编程逻辑器件等，这里不予赘述。具体实现方法可参考：(苏维嘉,张澎.基于FPGA的TFT-LCD控制器的设计和实现[J].液晶与显示,2010,25(1):75-78.)。

在介绍基于LCD液晶面板的可编程孔径显微镜的光场成像方法前，我们必须LCD液晶面板中每个像素点的位置进行标记。结合图2，建立坐标系。其中矩形区域代表LCD液晶面板的有效区域，坐标原点位于其中央。对于任意一个像素点P，其位置坐标为(P_x,P_y)，我们定义该点所对应的光场视角为(θ_x,θ_y)，其中

。

。

这里的下标x、y分别代表光场视角在x与y坐标轴上的对应分量。对于基于LCD液晶面板而言，f代表第一透镜L₁11的焦距。由此公式可见，约靠近LCD液晶面板边缘的像素，其所对应的光场视角(θ_x,θ_y)越大。

本发明基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，其实现步骤如下：

步骤一：光场子图像采集。顺次点亮LED阵列中每个像素点，或顺次使LCD液晶面板中的每个像素点透光，相机采集相对应的图像。设整个LED阵列/LCD液晶面板中共包含M个像素，那么共计拍摄M幅图像。我们将这些图像记作I_m(x,y),m＝1,2,....,M，称之为光场子图像，其中(x,y)代表图像平面的二维坐标。对于每幅光场子图像，其都对应了一个光场视角(θ_xm,θ_ym)。m代表光场视角对应像素的个数。

步骤二：确定所需要计算的焦距(成像深度)z，将步骤一中采集得到的M幅光场子图像循环平移。具体包含如下两步：

第一步：对于每幅光场子图像I_m(x,y),m＝1,2,....,M，计算平移像素数

Δx_m＝ztanθ_xm

Δy_m＝ztanθ_ym

其中Δx_m为图像水平方向的平移像素数，Δy_m为图像水平方向的平移像素数。

第二步：将每幅光场子图像I_m(x,y),m＝1,2,....,M按照第一步计算得到平移像素数Δx_m，Δy_m，分别在水平/垂直两个方向进行循环平移，得到平移后的光场子图像m＝1,2,....,M。公式为：

式中傅里叶变换与反变换分别被记作与(u,v)代表相对于(x,y)的频域坐标；是传输函数，其形式为

式中j为虚数单位。

步骤三：将步骤二所得到的平移后的光场子图像m＝1,2,....,M按像素对应相加，即得到了焦距(成像深度)在z处的重构图像

为了表明本发明的实际使用效果，采用一实例来说明。在实例中，我们采用基于LCD液晶面板可编程孔径显微镜来采集光场子图像。样品为苍蝇口器的切片标本。图3是基于LCD液晶面板可编程孔径显微镜采集到的光场子图像，共计M＝100幅。图4是采用本发明方法的对苍蝇口器标本进行光场重聚焦的重构图像，聚焦深度z＝-32μm。图5是直接移动载物台对苍蝇口器标本进行拍摄的图像，聚焦深度z＝-32μm。图6是聚焦深度z＝63μm的重构图像。图7是直接移动载物台在z＝63μm所拍摄到的图像。对比可见本发明可直接通过计算的方式准确重构出不同深度样品图像，且实际效果与移动载物台所拍摄的结果吻合的很好。

Claims (3)

1.一种基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，其特征在于步骤如下：

步骤一：光场子图像采集，顺次使LCD液晶面板中的每个像素点透光，相机采集相对应的图像，设LCD液晶面板中共包含M个像素，那么共计拍摄M幅图像，将这些图像记作I_m(x,y),m＝1,2,....,M，称之为光场子图像，其中(x,y)代表图像平面的二维坐标；对于每幅光场子图像，其都对应了一个光场视角(θ_xm,θ_ym)，m代表光场视角对应像素的个数；

步骤二：确定所需要计算的焦距，即成像深度z，将步骤一中采集得到的M幅光场子图像按规则循环平移；

步骤三：将步骤二所得到的平移后的光场子图像I′_m(x,y),m＝1,2,....,M按像素对应相加，即得到了焦距在z处的重构图像

2.根据权利要求1所述的基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，其特征在于在成像之前，对LCD液晶面板中每个像素点的位置进行标记，首先建立坐标系，该坐标原点位于LCD液晶面板中央，对于任意一个像素点P，其位置坐标为(P_x,P_y)，定义该点所对应的光场视角为(θ_x,θ_y)，其中

x,y分别代表光场视角在x与y坐标轴上的对应分量，基于LCD液晶面板的可编程孔径显微镜***由两部分构成，一部分为显微成像***(1)，另一部分是一个包含LCD液晶面板的4f***(2)，对于基于LCD液晶面板而言，f代表第一透镜L₁(11)的焦距。

3.根据权利要求1所述的基于LCD液晶面板的可编程孔径显微镜***的光场成像方法，其特征在于步骤二的具体实现步骤为：

第一步：对于每幅光场子图像I_m(x,y),m＝1,2,....,M，计算平移像素数

Δx_m＝ztanθ_xm

Δy_m＝ztanθ_ym

其中Δx_m为图像水平方向的平移像素数，Δy_m为图像垂直方向的平移像素数；

第二步：将每幅光场子图像I_m(x,y),m＝1,2,....,M按照第一步计算得到平移像素数Δx_m、Δy_m，该平移像素数Δx_m、Δy_m分别在水平和垂直两个方向进行循环平移，得到平移后的光场子图像I′_m(x,y),m＝1,2,....,M，公式为：

式中傅里叶变换与反变换分别被记作与(u,v)代表相对于(x,y)的频域坐标；是传输函数，其形式为

式中j为虚数单位。