CN112485230B - 基于主动时间调制混频激发照射的超分辨显微成像方法及装置 - Google Patents

Abstract

本发明属于光学显微技术领域，具体为一种基于主动时间调制混频激发照射的超分辨显微成像方法及装置。本发明采用空间光调制技术对像素矩阵上的每个元素按照不同的频率进行调制，最终通过倒置显微成像***对被CCD探测器收集的图像信息经过算法建立的模型进行解析，得到图像信息中所涵盖的样本信息值，从而实现超分辨成像的功能；本发明只需要通过算法构建的模型解析每个像素点上所含频率信息就能最终得到样品信息，不需要对样本进行染色，装置搭建方便，操作简单，成本低，可应用于各种光学超分辨细胞生物成像的研究。

Description

基于主动时间调制混频激发照射的超分辨显微成像方法及 装置

技术领域

本发明属于光学显微技术领域，具体涉及一种超分辨显微成像方法及装置。

背景技术

人类对微观世界的探索起源于第一台显微镜的发明(1665年)，之后随着显微镜制作工艺的不断改进以及人们对微观世界日益增长的好奇心，使得显微镜对分辨率的要求越来越高，但由于衍射极限的存在,几十年来光学显微镜的分辨率停滞在了200nm左右。想要研究200nm以下的生物体结构，尤其是含亚细胞结构的细胞水平的生物结构，就必须突破光学显微镜的衍射极限，使得显微分辨率达到200nm以下。2014年诺贝尔化学奖颁发给了美国及德国三位科学家Eric Betzig、Stefan W.Hell和William E.Moerner，获奖理由是“研制出超分辨率荧光显微镜”。几位获奖者巧妙设计了避开衍射极限的方法，其研究突破性地将光学显微镜带入了纳米维度。

但无论PALM、STORM、非线性SIM等超分辨显微技术有着非常多的局限性，每种技术都需要特殊的荧光染料和激发方式。而STED技术对染料选择面较宽但对稳定性的要求很高。SIM技术的对染料没有特殊需求，但是只能达到100nm左右的分辨率。近年来，基于光学涨落的实现超分辨光学成像的方法如SOFI，以及由此衍生的3B等技术，基于对荧光染料在时序上的波动的分析，实现了50nm左右的超分辨图像。以上所有技术，均通过荧光技术实现，通过透射光或者散射光成像技术上，并没有一种合适的超分辨显微技术。

发明内容

本发明是针对现有超分辨技术的缺点与不足，提供了一种基于主动时间调制混频激发照射的超分辨显微成像方法及装置。

本发明采用空间光调制技术对像素矩阵上的每个元素按照不同的频率进行调制，最终通过倒置显微成像***对被CCD探测器收集的图像信息经过算法建立的模型进行解析，得到图像信息中所涵盖的样本信息值，从而实现超分辨成像的功能。具体步骤如下：

假设在激发光源阵列的位置(x,y)处设置调的制频率为ν(x,y),则在位置为(x₀,y₀)处的分子激发频谱为：

ΣI(x-x₀,y-y₀)·v(x,y)， (1)

其中，I为位置(x,y)处光强对位置(x₀,y₀)的影响分布函数；

(1)对于每个阵列像素光源位置处利用低频激发光进行调制，调制方式为：

I_{Laser_Power}(x_Laser,y_Laser,v)＝I_{Laser_Power}(x_Laser,y_Laser)·sin(2πv(x_Laser,y_Laser)) (2)

其中，I_{Laser_Power}(x_Laser,y_Laser)为在(x,y)位置处的激光光强，v(x_Laser,y_Laser)为按照正弦函数调制激光幅值的调制频率。

在一个单像素(x₀,y₀)上的样本，受到周围不同低频光强调制激光束影响，其发射光强为：

其中，I_{Laser_Power}(x_Laser-x₀,y_Laser-y₀)是激光激发位置(x_Laser,y_Laser)对于位置(x₀,y₀)的光强贡献函数，P(x₀,y₀)是样本对于光强幅值的影响函数。

最终经过衍射，任一像素点(x,y)的光强都受到周围衍射范围内的分子影响。

(2)经过像素阵列调制激发，拍摄一段时间的视频；然后，通过时间傅里叶变换分析各像素，将二维图像数据(x,y)发展成三维或四维视频图像(x,y,ω_x,ω_y)，其中，ω_x,ω_y分别是(x,y)方向上的频率，可见，这里不仅包括位置信息(x,y),还包括二维频率信息(ω_x,ω_y)；

(3)最终通过傅里叶变换，把各个调制频率所对应的像素信息提取出来，构建方程模型，从而解析出被衍射掩盖的超分辨图单像素下的具体(频率)信息。

本发明步骤(3)中，所述构建方程模型，解析出被衍射掩盖的超分辨图单像素下的具体(频率)信息的过程如下：

步骤一：根据实际光学***模型进行如下假设：

(1)假设透镜对相位因子的改变量为零，将透镜看做薄透镜；

(2)由于每个光源频率不同，则考虑非相干光源成像的情况，将成像过程等效为光学传递函数，而衍射是由入瞳或者出瞳所引起的；

(3)样品面和CCD接受面不考虑高频信息的损耗，扩散矩阵近似为高斯矩阵形式的函数；

(4)假设采集到足够多的图像，能够完全恢复出每个像素上的时间函数；

步骤二：根据假设对实际光学***进行模拟，具体频率解析算法过程如下：

将每个像素都写成像素矩阵形式，如果对应位置上有值，即表示有对应的频率扩散到此像素上。设初始每个像素上只有自己对应的频率，经过一次扩散卷积计算，将不同的频率成分混合到扩散范围内的矩阵上，并且不同频率成分按照扩散矩阵对应位置携带上权重因子。每个像素上的值如下：

其中，(2*a+1)为扩散矩阵的维数，约等于像素矩阵维数的1/3(如像素矩阵设置为100，则扩散矩阵为33*33，即a＝16)；扩散举阵D的大小为(2a+1)*(2a+1)，(x,y)为像素位置；

经过一次扩散点扩散函数后所得到的不同位置上的像素携带该像素位置上的样本信息。携带样品信息后，对所有像素再一次进行扩散卷积计算，对于每个像素，将其周围像素按照扩散矩阵对它的贡献进行叠加，得到每个像素上的实际频率值；经过两次扩散卷积计算后，将所得到的像素上所有元素相加，得到最终每个像素包含样品信息的表达式。

最终所有像素位置上的值相加：

其中，n*n为图像矩阵维度。

再依此按照设计的频率值进行傅里叶变换，之后对某一给定频率取合适的范围积分，即进行如下处理：

即先进行傅里叶变换(式(6))，再利用冲击函数的筛选性质从积分频段中得到特定频率所携带的强度信息值(式(7))；其中，ω_n,m为矩阵(n,m)位置上的频率利用余弦函数傅里叶变化变为δ冲击函数，冲击函数的筛选性质能够通过积分获得一个频段信息所包含的幅值信息；a，b分别为所取调制频段的最小值和最大值。

每个频率值都对应了一个包含多个位置样品信息的式子(衍射叠加)。通过式(6)和式(7)对式(5)进行处理(亦称频率解析算法)，可以得每个调制频率所对应的携带图像信息变量的式子，因为图像矩阵的维度为n*n，所以最终获得n*n个含未知数的式子。将最终CCD探测器获得的图像时间序列集按照式(6)和式(7)对所有像素信息进行分析，可以得到每个调制频率信息对应的实际的值，与前面得到的对应调制频率所获得的式子组成等式，一共有n*n个等式，形成线性方程组；对该线性方程组进行求解，即得到最终的结果，还原出样本信息值。

基于上述方法，本发明还提供基于主动时间调制混频激发照射的超分辨显微成像装置。该超分辨显微成像装置包括：激光光源1，第一透镜2，第二透镜3，第一反射镜4，第二反射镜5，第三透镜6，第四透镜7，第三反射镜8，第一线偏振片9，二分之一波片10，空间光调制器11，第二线偏振片12，第五透镜13，半透半反镜14，物镜14，载物台16，第四反射镜17，CCD探测器18；这些部件依次光路连接组成超分辨显微成像装置；其中：

从激光光源1输出的激光依次经由第一透镜2和第二透镜3进行扩束，扩束后的光依次经由第一反射镜4和第二反射镜5进入第三透镜6和第四透镜7进行第二次扩束；两次扩束后的激光经过第三反射镜8进入到第一线偏振片9，经过第一线偏振片得到的线偏光通过二分之一波片10进行旋转，直到平行于空间光调制器的长边；此时入射光才能够被空间光调制器11调制，出射光经过第二线偏振片12调整后进入第五透镜13，把平行光聚焦在透镜背焦面处；再经由半透半反镜14使部分光进入物镜15，照射在载物台16的样品上，样品上反射的光透过半透半反镜14和第四反射镜17进入CCD探测器18。由CCD探测器18捕获(拍摄)一个连续时间序列的原始图像集合，其中每个像素都包含不同的频率信息和样品信息。生成的原始图像序列经过频率解析算法提取原始图像集的频率信息。原始图像集合还具有样品的检测辐射的强度信息数据，而上述频率解析算法则能够将强度信息随时间变化的规律通过傅里叶变换转换为带不同幅值强度信息的不同频率。

本发明中，从激光光源输出的激光经过两次扩束后，通过线偏振片得到线偏光并通过二分之一波片调整线偏光至特定位置后入射至空间光调制器，经过空间光调制器的调制，出射的调制光经过线偏振片后由透镜聚焦至物镜背焦面处，后经由半透半反镜使部分光进入物镜，照射在载物台的样品上，携带样品信息的反射光透过半透半反镜和反射镜进入CCD探测器。CCD探测器收集到的图像信息通过计算机构建的算法对每个像素点上的频率信息进行解析，最终还原出样本信息。

本发明只需要通过算法构建的模型解析每个像素点上所含频率信息就能最终得到样品信息，不需要对样本进行染色，装置搭建方便，操作简单，成本低，可应用于各种光学超分辨细胞生物成像的研究。本发明最大优点在于仅需要通过算法解析就可以还原样本信息，从而实现超分辨显微成像。

附图说明

图1为本发明的基本结构示意图。

图2为本发明所涉及的算法在进行模拟时输入的图像。

图3为本发明所涉及算法模拟在验证时最后解析出来的结果图。

图4为本发明所涉及的算法在模拟时经过两次扩散后得到的图像。其中，(a)t＝0，(b)t＝1，(c)t＝2。

具体实施方式

如图1所示基于主动时间调制混频激发照射的超分辨显微成像装置结构示意图，装置包括：激光光源1，第一透镜2，第二透镜3，第一反射镜4，第二反射镜5，第三透镜6，第四透镜7，第三反射镜8，第一线偏振片9，二分之一波片10，空间光调制器11，第二线偏振片12，第五透镜13，半透半反镜14，物镜15，载物台16，第四反射镜17，CCD探测器18；

从激光光源1输出的激光经由第一透镜2和第二透镜3进行扩束，扩束后的光经由第一反射镜4和第二反射镜5进入第三透镜6和第四透镜7进行第二次扩束。两次扩束后的激光经过第三反射镜8进入到第一线偏振片9，经过第一线偏振片9得到的线偏光通过二分之一波片10进行旋转，直到平行于空间光调制器11的长边，此时入射光才能够被空间光调制器11调制，出射光经过第二线偏振片12调整后进入第五透镜13，把平行光聚焦在透镜背焦面处，经由半透半反镜使部分光进入物镜15，照射在载物台16的样品上，样品上反射的光透过半透半反镜14和第四反射镜17进入CCD探测器18。

当CCD探测器接收到图像后，拍摄一个时间序列的图像，将二维图像数据(x,y)发展成三维或四维视频图像(x,y,ω_x,ω_y)。将所有像素位置处所对应的的信息进行傅里叶变换，对不同的频率进行积分得到各频率对应的信息值，其中每个频率值都对应了一个包含多个位置样品信息的式子(衍射叠加)，最终通过对应算法建立的模型进行求解。

下面的实施例中，在常温条件环境下以中心波长为488的固体激光器，从激光光源1输出的激光经由第一透镜2和第二透镜3进行扩束，扩束后的光经由第一反射镜4和第二反射镜5进入第三透镜6和第四透镜7进行第二次扩束，第二、四透镜的焦距为第一、三焦距的两倍，每次扩束使得光斑放大两倍。两次扩束后的激光经过第三反射镜8进入到第一线偏振片9，经过第一线偏振片9得到的线偏光通过二分之一波片10进行旋转，直到平行于空间光调制器11的长边，此时入射光才能够被空间光调制器11调制，出射光经过第二线偏振片12调整后进入第五透镜13，把平行光聚焦在透镜背焦面处，经由半透半反镜使部分光进入物镜15，照射在载物台16的样品上。样品选择为直径为15-20纳米的量子点，能够通过488纳米的激光激发辐射。将8μM的量子点用移液器抽取8μL滴在0.17mm的玻片上放置在样品台。样品上反射的光透过半透半反镜14和第四反射镜17进入CCD探测器18。

当CCD探测器接收到图像后，拍摄一个时间序列的图像，将二维图像数据(x,y)发展成三维或四维视频图像(x,y,ω_x,ω_y)。将所有像素位置处所对应的的信息进行傅里叶变换，对不同的频率进行积分得到各频率对应的信息值，其中每个频率值都对应了一个包含多个位置样品信息的式子(衍射叠加)，最终通过对应算法建立的模型进行求解。具体的算法是先计算得出点扩散函数，设置一个led阵列矩阵(波长不限)，每个led的调制频率不同，在实际操作中设9*9随机频率矩阵如下：

设置PSF点扩散矩阵如下(亦可以设置为高斯型)：

在对算法模拟光路进行验证的时候，输入图像如图2，然后经过两次扩散后可以看到不同时间下包含各种频率下图像信息叠加的结果，如图4。9*9的光路算法验证计算很快，各个阶段用时见下表1(单位：秒)。

表1

上述实施例用于解释理解本发明技术方案，并不对本发明思路及技术方案进行限制。

Claims (2)

1.一种基于主动时间调制混频激发照射的超分辨显微成像方法，其特征在于，采用空间光调制技术对像素矩阵上的每个元素按照不同的频率进行调制，最终通过倒置显微成像***对被CCD探测器收集的图像信息经过算法建立的模型进行解析，得到图像信息中所涵盖的样本信息值，从而实现超分辨成像的功能；具体步骤如下：

假设在激发光源阵列的像素位置(x,y)处设置调制频率为v(x,y)则在样本位置为(x₀,y₀)处的分子激发频谱为：

ΣI(x-x₀,y-y₀)·v(x,y) (1)

其中，I为像素位置(x,y)处光强对样本位置(x₀,y₀)处的影响分布函数；

(1)对于每个阵列像素光源位置处利用低频激发光进行调制，调制方式为：

I_{Laser_Power}(x_Laser,y_Laser,v)＝I_{Laser_Power}(x_Laser,y_Laser)·sin(2πv(x_Laser,y_Laser)) (2)

其中，I_{Laser_Power}(x_Laser,y_Laser)为在像素位置(x,y)处的激光光强，v(x_Laser,y_Laser)为按照正弦函数调制激光幅值的调制频率；

在一个样本位置(x₀,y₀)上，受到周围不同低频光强调制激光束影响，其发射光强为：

（3）

其中，I_{Laser_Power}(x_Laser-x₀,y_Laser-y₀)是激光激发位置(x_Laser,y_Laser)对于样本位置(x₀,y₀)的光强贡献函数，P(x₀,y₀)是样本对于光强幅值的影响函数；

最终经过衍射，任一像素点的光强都受到周围衍射范围内的分子影响；

(2)经过像素阵列调制激发，拍摄一段时间的视频；然后，通过时间傅里叶变换分析各像素，将二维图像数据发展成三维或四维视频图像(x,y,ω_x,ω_y)，其中，ω_x,ω_y分别是像素位置(x,y)方向上的频率，这里不仅包括像素位置(x,y)，还包括二维频率信息(ω_x,ω_y)；

(3)最终通过傅里叶变换，把各个调制频率所对应的像素信息提取出来，构建方程模型，从而解析出被衍射掩盖的超分辨图单像素下的具体频率信息；具体过程如下：

步骤一：根据实际光学***模型进行如下假设：

(a)假设透镜对相位因子的改变量为零，将透镜看做薄透镜；

(b)由于每个光源频率不同，考虑非相干光源成像的情况，将成像过程等效为光学传递函数，而衍射是由入瞳或者出瞳所引起的；

(c)样品面和CCD接受面不考虑高频信息的损耗，扩散矩阵近似为高斯矩阵形式的函数；

(d)假设采集到足够多的图像，能够完全恢复出每个像素上的时间函数；

步骤二：根据假设对实际光学***进行模拟，具体频率解析算法的流程如下：

将每个像素都写成像素矩阵形式，如果对应位置上有值，即表示有对应的频率扩散到此像素上；设初始每个像素上只有自己对应的频率，进行一次扩散卷积计算，将不同的频率成分混合到扩散范围内的矩阵上，并且不同频率成分按照扩散矩阵对应位置携带上权重因子；于是每个像素上的值如下：

(4)

其中，(2*

+1)为扩散矩阵的维数，约等于像素矩阵维数的1/3；扩散举阵D的大小为(2

+1)*(2

+1)，(x,y)为像素位置；

经过一次扩散点扩散函数后所得到的不同位置上的像素携带该像素位置上的样本信息；携带样品信息后，对所有像素再一次进行扩散卷积计算，对于每个像素，将其周围像素按照扩散矩阵对它的贡献进行叠加，得到每个像素上的实际频率值；经过两次扩散卷积计算后，将所得到的所有像素相加，得到最终所有像素包含样品信息的表达式：

(5)

其中，n*n为图像矩阵维度；

再依此按照设计的频率值进行傅里叶变换，之后对某一给定频率取合适的范围积分，即进行如下处理：

（6）

（7）

即先傅里叶变换，再利用冲击函数的筛选性质从积分频段中得到特定频率所携带的强度信息值；其中，ω_n,m为矩阵(n,m)位置上的频率利用余弦函数傅里叶变化变为δ冲击函数，冲击函数的筛选性质能够通过积分获得一个频段信息所包含的幅值信息；a,b分别为所取调制频段的最小值和最大值；

通过式(6)和式(7)对式(5)进行处理，称为频率解析算法，得每个调制频率所对应的携带图像信息变量的式子，因为图像矩阵的维度为n*n，所以最终获得n*n个含未知数的式子；将最终CCD探测器获得的图像时间序列集按照式(6)和式(7)对所有像素信息进行分析，得到每个调制频率信息对应的实际的值，与前面得到的对应调制频率所获得的式子组成等式，一共有n*n个等式，按照线性方程组进行求解，得到最终的结果，还原出样本信息值。

2.一种基于权利要求1所述方法的超分辨显微成像装置，其特征在于，包括：激光光源，第一透镜，第二透镜，第一反射镜，第二反射镜，第三透镜，第四透镜，第三反射镜，第一线偏振片，二分之一波片，空间光调制器，第二线偏振片，第五透镜，半透半反镜，物镜，载物台，第四反射镜，CCD探测器；这些部件依次光路连接组成超分辨显微成像装置；其中：

从激光光源输出的激光依次经由第一透镜和第二透镜进行扩束，扩束后的光依次经由第一反射镜和第二反射镜进入第三透镜和第四透镜进行第二次扩束；两次扩束后的激光经过第三反射镜进入到第一线偏振片，经过第一线偏振片得到的线偏光通过二分之一波片进行旋转，直到平行于空间光调制器的长边；此时入射光才能够被空间光调制器调制，出射光经过第二线偏振片调整后进入第五透镜，把平行光聚焦在透镜背焦面处；再经由半透半反镜使部分光进入物镜，照射在载物台的样品上，样品上反射的光透过半透半反镜和第四反射镜进入CCD探测器；

由CCD探测器拍摄一个连续时间序列的原始图像集合，其中每个像素都包含不同的频率信息和样品信息；生成的原始图像序列经过频率解析算法提取原始图像集的频率信息；原始图像集合还具有样品的检测辐射的强度信息数据，而上述频率解析算法将强度信息随时间变化的规律通过傅里叶变换转换为带不同幅值强度信息的不同频率。

Images