CN111610621A - 一种双模态显微成像***和方法 - Google Patents

Abstract

本申请实施例公开了一种双模态显微成像***和方法。所述双模态显微成像***包括光学衍射层析成像子***和结构光照明荧光成像子***；所述光学衍射层析成像子***用于基于第一激光进行无标记光学衍射层析成像，以获取样本的光学衍射层析图像；所述结构光照明荧光成像子***用于基于第二激光进行荧光成像，以获取所述样本的结构光照明荧光图像；其中，所述双模态显微成像***包括相互独立的第一光源和第二光源，所述第一光源用于发射所述第一激光，所述第二光源用于发射所述第二激光。

Description

一种双模态显微成像***和方法

技术领域

本申请涉及显微成像技术领域，特别涉及一种双模态显微成像***和方法。

背景技术

二十一世纪以来，生物学和医学的蓬勃发展不断地提高着人类对生命本质的认识，极大推动人类文明发展。随着生物医学研究的不断发展，其前沿研究已经深入细胞， 力图在分子尺度上解密生命过程。光学显微技术是现代分子生物学研究的有力工具，它 的发展推动着人类对生命现象的观察和理解不断进步。光学显微镜是利用光与物质的相 互作用呈现物体微观结构的装置。自光学显微镜发明以来，其一直是生物医学领域最常 用的工具，传统的透镜与可见光照明支撑了约80％的显微研究。由于细胞光学透明的特 性，唯有光学显微能实现活细胞的非侵入无标记成像。

荧光显微成像是分子生物学研究的主要手段，然而由于激发光的高光子通量和光毒性，成像总次数受限，因而目前还未能全面揭露细胞内部细胞器的相互作用及动态 过程。活细胞的高分辨长时程成像目前仍然是生物学研究中的巨大挑战，由于轴向扫描 速度的限制，三维荧光成像需要更大的激发光子通量，而光漂白效应则极大限制了三维 成像的总时长。同时，由于荧光光谱较宽，成像过程中通道数目受限，荧光成像一般仅 能同时标记有限种类的分子。而电镜等辅助成像手段虽可观察多种细胞器，但仅能提供 静态快照作为辅助。

光学衍射层析显微是一种对细胞和组织进行非侵入无标记三维成像的技术。由于其结合了定量相位成像技术和散射理论，光学衍射层析显微成像技术能够感知纳米尺度的形态学变化，可以对活细胞进行长时间高分辨率无损伤成像。作为观测细胞动态变 化的一种有力工具，其在细胞代谢、病理学及肿瘤诊断等方面有着巨大的应用前景。然 而，由于衍射层析技术光学架构较为复杂且算法不够成熟，其未能大规模应用于生物医 学研究中。衍射层析显微技术有着两方面问题亟需解决：一方面，衍射层析数据量大， 计算过程复杂，难以用于对生命现象的连续观察。另一方面，在实现无标记成像的同时， 光学衍射层析显微的化学选择性成像能力受限，形态学表征缺乏化学特异性，说服力受 限。

光学衍射层析显微成像具有光通量低，光毒性小的特点，可有效解决荧光成像 遇到的问题。光学衍射层析成像***中，先前的工作缺少荧光成像作为辅助，衍射层析 图像中的多数结构缺乏标定，仅能进行形态学分析。传统光学衍射层析成像中，也仅对 脂滴、染色体和线粒体进行了结合宽场荧光成像的鉴别标定。

因此，有必要提出一种结合光学衍射层析显微成像和结构光照明超分辨荧光成像的双模态显微成像方法，用超分辨荧光成像辅助光学衍射层析进行共定位成像。

发明内容

本申请实施例之一提供一种双模态显微成像***，包括光学衍射层析成像子***和结构光照明荧光成像子***；所述光学衍射层析成像子***用于基于第一激光进行无标记光学衍射层析成像，以获取样本的光学衍射层析图像；所述结构光照明荧光成像 子***用于基于第二激光进行荧光成像，以获取所述样本的结构光照明荧光图像；其中， 所述双模态显微成像***包括相互独立的第一光源和第二光源，所述第一光源用于发射 所述第一激光，所述第二光源用于发射所述第二激光。

本申请实施例之一提供一种双模态显微成像方法，包括：利用相互独立的光源 分别产生第一激光和第二激光；利用光学衍射层析成像子***基于所述第一激光获取样 本的光学衍射层析图像；利用结构光照明荧光成像子***基于所述第二激光获取所述样 本的结构光照明荧光图像；基于所述光学衍射层析图像和所述结构光照明荧光图像，生 成所述样本的双模态融合图像。

本申请实施例之一提供一种双模态显微成像装置，包括处理器，所述处理器用 于执行本申请任一项实施例所述的双模态显微成像方法。

本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如本申请任一项实施例所述 的双模态显微成像方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构， 其中：

图1是根据本申请一些实施例所示的双模态显微成像***的结构示意图；

图2是根据本申请一些实施例所示的双模态显微成像***的模块图；

图3是根据本申请一些实施例所示的双模态显微成像***的控制子***示意图；

图4是根据本申请一些实施例所示的双模态显微成像***控制时序图；

图5是根据本申请一些实施例所示的双模态显微成像方法的示例性流程图；

图6是根据本申请一些实施例所示的衍射层析重构算法流程图；

图7a是根据本申请一些实施例所示的确定目标扫描波矢的示例性流程图；

图7b是根据本申请一些实施例所示的采用VISA方法确定目标扫描波矢的示意图；

图8是根据本申请一些实施例所示的扫描波矢的偏移情况示意图；

图9是根据本申请一些实施例所示的没有进行扫描波矢迭代的情况下的重构图像；

图10是根据本申请一些实施例所示的进行了扫描波矢迭代的情况下的重构图像；

图11a是根据本申请一些实施例所示的光学衍射层析图像重构算法示意图；

图11b是根据本申请一些实施例所示的结构光照明荧光图像重建算法示意图；

图12是根据本申请一些实施例所示的使用光学衍射层析成像子***210获取 的佩梅(Pelizaeus-Merzbacher Disease)病人成纤维细胞的光学衍射层析图像；

图13是根据本申请一些实施例所示的对固定的INS-1细胞的光学衍射层析成 像结果；

图14a和图14b是根据本申请一些实施例所示的固定的原初肝细胞宽场荧光层 扫图像与光学衍射层析图像的结果对比；

图15是根据本申请一些实施例所示的使用光学衍射层析成像子***210对 COS-7细胞的连续成像结果；

图16是根据本申请一些实施例所示的花粉管生长过程的光学衍射层析图像；

图17是根据本申请一些实施例所示的线虫胚胎发育过程的光学衍射层析图像；

图18是根据本申请一些实施例所示的使用双模态显微成像***对COS-7活细 胞中六种主要细胞器采集到的光学衍射层析-荧光共定位图像；

图19是根据本申请一些实施例所示的光学衍射层析-结构光照明荧光双模态显微成像***横向分辨率表征图；

图20是根据本申请一些实施例所示的双模态显微成像***采集到的COS-7细 胞有丝***双模态荧光共定位图像；

图21是根据本申请一些实施例所示的双模态显微成像***对COS-7活细胞中 光学衍射层析无法解析的细胞器的光学衍射层析-荧光共定位图像；

图22是根据本申请一些实施例所示的活的COS-7细胞光学衍射层析图像中出 现的低折射率囊泡；

图23是根据本申请一些实施例所示的双模态显微成像***对不同种类细胞进 行成像时在光学衍射层析图像中出现的低折射率囊泡；

图24是根据本申请一些实施例所示的人类骨髓间质干细胞光学衍射层析图像 及其中低折射率囊泡数目与其细胞衰老表型的相关性；

图25是根据本申请一些实施例所示的COS-7细胞中线粒体与其他细胞器的相 互作用；

图26是根据本申请一些实施例所示的低折射率囊泡在COS-7细胞内组织细胞 器间的相互作用；

图27是根据本申请一些实施例所示的DBs转运途径的可视化及其在组织细胞 器相互作用中的作用；

图28是根据本申请一些实施例所示的快速运动溶酶体的光学衍射层析成像中 不同显微镜可能产生的运动伪影分析；

图29是根据本申请一些实施例所示的显微镜的二维相干函数(CTF)测量；

图30是根据本申请一些实施例所示的由ODT子***对出芽酵母的液泡的观察 图像；

图31是根据本申请一些实施例所示的COS-7细胞中LC3-EGFP标记结构与 DBs的相关性；

图32是根据本申请一些实施例所示的光学衍射层析成像子***在过度表达不 同蛋白标记物的COS-7细胞中观察到的LE/LY结构大小的直方图；

图33是根据本申请一些实施例所示的基于光学衍射层析成像重建恢复的空间 频域；

图34是根据本申请一些实施例所示的使用光学衍射层析成像子***对细胞器 进行三维整体观察的示意图；

图35是根据本申请一些实施例所示的超分辨率荧光辅助衍射层析成像(SR-FACT)***的示意图。

其中，100为双模态显微成像***，101为第一光源，102为第一声光调制器 (AOM)，103为第一半波片(HWP)，104为第一偏振分光棱镜(PBS)，105为单 模光纤(SMF)，106为透镜，107为振镜(GM)、108为套筒透镜，109为显微物镜 (OBJ)，110为样本，111为显微物镜，112为第一二向色镜(DM)，113为透镜， 114为第二相机，115为单模光纤，116为透镜，117为第一相机，118为偏振无关分光 棱镜(BS)，119为透镜，120为透镜，121为第二二向色镜，122为透镜，123为偏振 旋转器(PR)，124为透镜，125为空间滤波器(Mask)，126为透镜，127为第二偏 振分光棱镜，128为第二半波片，129为空间光调制器(SLM)，130为透镜，131为单 模光纤，132为第二声光调制器，133为第二光源，134为耦合器，135为耦合器，136 为耦合器。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实 施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这 些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相 同标号代表相同结构或操作。

应当理解，本文使用的“***”、“装置”、“单元”和/或“模组”是用于区 分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可 实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一 个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括” 与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性 的罗列，方法或者设备也可能包含其它的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同 时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一 步或数步操作。

本申请主要涉及一种双模态显微成像***。在一些实施例中，双模态显微成像 ***可以为超分辨率荧光辅助衍射层析成像(super-resolution fluorescence-assisteddiffraction computational tomography,SR-FACT)***(图35)。双模态显微成像***包括光学衍射层析成像(ODT)子***和结构光照明荧光成像(SIM)子***。通过将两 个子***结合，有效弥补了衍射层析成像无特异性成像能力和结构光照明荧光成像速度 及时程受限的短板。光学衍射层析成像子***可以用于获取样本的光学衍射层析图像， 结构光照明荧光成像子***可以用于获取样本的结构光照明荧光图像。样本110可以包 括但不限于生物组织、生物大分子、蛋白质、细胞、微生物或其他物质等。

图1是根据本申请一些实施例所示的双模态显微成像***(例如超分辨率荧光 辅助衍射层析成像(SR-FACT)***)的结构示意图。图2是根据本申请一些实施例所 示的双模态显微成像***的模块图。图35是对SR-FACT***的硬件结构的简单展示。 如图1-2所示，双模态显微成像***100可以包括光学衍射层析成像子***210、结构 光照明荧光成像子***220、控制子***230和处理器240。

光学衍射层析成像子***210可以是应用光学衍射层析(Optical DiffractionTomography，ODT)显微技术进行成像的***。光波在穿过弱散射样品时，不均匀样品 的散射(或衍射)会引发光场振幅和相位的变化；因此，散射(或衍射)光场的振幅和 相位中天然包含了样品的结构信息。光学衍射层析显微技术就是通过逆散射(或衍射) 过程来重构样品的折射率三维分布图像的成像技术。在本申请的实施例中，光学衍射层 析成像子***可以基于第一激光进行无标记光学衍射层析成像，以获取样本的光学衍射 层析图像。

在一些实施例中，光学衍射层析成像子***210可以包括第一光源101、第一 声光调制器102、第一半波片103、第一偏振分光棱镜104、振镜107、偏振无关分光棱 镜127(亦可称为分光镜)、第一相机117等器件。第一光源101可以用于发射第一激 光。在一些实施例中，光学衍射层析成像子***210还可以包括一个或多个透镜、单模 光纤和/或耦合器等。在本申请的实施例中，如图1所示，光学衍射层析成像子***210 可以包括第一光源101、第一声光调制器(AOM)102、第一半波片(HWP)103、第一 偏振分光棱镜(PBS)104、单模光纤(SMF)105、透镜106、振镜(GM)107、套筒 透镜108、显微物镜(OBJ)109、显微物镜111、第一二向色镜(DM)112、单模光纤 115、透镜116、第一相机117、偏振无关分光棱镜(BS)118、透镜119、透镜120、第 二二向色镜121、透镜122等。

在本申请的实施例中，第一光源101发射的第一激光在被第一声光调制器102 调制后，第一激光成为+1级衍射光，该+1级衍射光通过第一半波片103并且被第一偏 振分光棱镜104分为第一分光和第二分光。在一些实施例中，旋转第一半波片103可以 调节第一分光和第二分光的分光比。

一方面，第一分光可以通过耦合器134耦合进入单模光纤105，然后第一分光 从单模光纤105输出后由透镜106准直，准直后的第一分光(第一分光准直光束)可以 经过振镜107作用后从多个角度照射样本110以获得带有样本信息的样本光。具体的， 第一分光准直光束通过振镜107以获得准直光束偏转方向的二维扫描光束，之后，扫描 光束被套筒透镜108聚焦在显微物镜109的后焦面上，以实现在样本110上不同方向准 直光束的照明。在一些实施例中，振镜107可以是一个两端装有偏转方向正交的一对扫 描振镜的4-f***(例如，AC254-100-A×2,f＝100mm)。在一些实施例中，显微物镜 109可以是照明物镜。在一些实施例中，样本光可以是不同方向的准直光束在样本110 上照射并透过(如散射或衍射等)样本110的光。样本光被显微物镜111收集后，由第 一二向色镜112反射，通过透镜122和第二二向色镜121后，由透镜120以及透镜119 重新准直，以获得信号光。样本光通过第二二向色镜121后，样本光的光束将被透镜 120和透镜119这一对透镜扩展。

另一方面，第二分光通过耦合器135耦合进入单模光纤115。为了保证第一分 光与第二分光能同时到达第一相机117，可以让第二分光耦合前经过一延时光路。在本 申请的实施例中，第二分光为参考光。第二分光从单模光纤输出后，首先被透镜116准 直，最后与上述准直的信号光通过偏振无关分光棱镜118合束，并在一定离轴角下形成 离轴全息条纹，被第一相机117接收。

在本申请的实施例中，光学衍射层析成像子***可以是在商用显微镜 (OLYMPUS,IX73)上改装的一个基于MZ干涉仪的离轴全息显微镜。其中，第一光 源101可以采用由长春新产业光电技术有限公司制造，型号为MSL-FN-561-50mW波 长为561nm的单纵模激光器；第一声光调制器可以为中电科技集团重庆声光电有限公 司制造的声光调制器；第一半波片的型号可以为Thorlabs,AHWP10M-600；第一偏振分 光棱镜的型号可以为Thorlabs,CCM1-PBS251；耦合器134和135的型号可以为 Thorlabs,PAF2-7A；单模光纤105和115可以为上海瀚宇制造，型号可以为PM460-HP HA,FC/APC的保偏单模光纤；透镜106的焦距可以为40mm；振镜107的型号可以为 Thorlabs,GVS211/M；套筒透镜108的焦距可以为180mm；显微物镜109的型号可以为 OLYMPUS,LUMPlanFLN,60x/1.0W；显微物镜111的型号可以为OLYMPUS,ApoN 100x/1.49Oil；第一二向色镜112的型号可以为Chroma,ZT405/488/561/640-phaseR；透 镜122的焦距可以为200mm；第二二向色镜的型号可以为Thorlabs,DMLP550L；透镜120的焦距可以为180mm；透镜119的焦距可以为250mm；透镜116的焦距可以为100mm；偏振无关分光棱镜118的型号可以为Thorlabs,BS013；第一相机可以是型号为 Hamamatsu,OCRA-flash4.0V3C13440的sCMOS相机，其可以在50μs曝光时间内提供 足够的总光子通量。

在本申请的实施例中，光学衍射层析成像子***210可以用于获取光学衍射层 析图像。为了能更好地描述本申请实施例的光学衍射层析成像子***210的特性，下面 将结合具体的实验结果进行说明。

本申请实施例的光学衍射层析成像子***210具有无标记成像能力。如图12所 示为使用光学衍射层析成像子***210获取的佩梅(Pelizaeus-Merzbacher Disease)病 人成纤维细胞的光学衍射层析图像。图12中左图为对照组细胞图像；中间的图为第一 病人的细胞图像；右图为第二病人的细胞图像。通过与对照组形态学上的比较，可发现 病人细胞具有线粒体数目偏少、线粒体长度变短、溶酶体变大且结构异常等特点。在传 统病理成像中，因伦理要求无法对人的活细胞进行外源荧光标记，因而鲜有细胞器尺度 上的病理研究。从图12中可以看出，光学衍射层析成像子***210具有优异的无标记 成像能力。

本申请实施例的光学衍射层析成像子***210具有较好的分辨率与三维成像能力。如图13所示为对固定的INS-1细胞的光学衍射层析成像结果。其中，(a)为原始全 息图；(b)为相位图像；(c)为折射率分布三维渲染；(d)为宽场荧光图像；(e)为使用光学 衍射层析成像子***210采集到的与荧光图像对应的单层衍射层析图像；(b)(d)和(e)的 比例尺为10μm。通过(b)与(e)进行对比，可以得出光学衍射层析成像相对于传统相位成 像具有更佳的分辨率和三维成像能力。此外，通过(d)与(e)的比较，可以发现光学衍射层 析成像子***210采集到的光学衍射层析图像除了能清晰表征脂滴外，还可以表征细胞 内其他未标记的结构。进一步地，图14所示为固定的原初肝细胞宽场荧光层扫图像与 光学衍射层析图像的结果对比。其中，(a)为不同深度的宽场荧光图像；(b)为对应 深度的单层衍射层析图像；(a)和(b)的比例尺均为10μm。其中，光学衍射层析图 像中不同深度的脂滴结构均可与宽场荧光图像对应，也验证了光学衍射层析成像的三维 成像能力。

本申请实施例的光学衍射层析成像子***210还具有快速、长时程无损成像能力。具体的，光学衍射层析成像子***210可以无需对细胞进行染色标记，因而对细胞 光毒性低，适用于细胞的长时程成像。例如，图15为使用光学衍射层析成像子***210 对COS-7细胞间隔10s共83min的连续成像结果。其中，(a)为00:49:30时刻细胞某Z 平面图像，其中Z平面为三维图像中按内容选取的垂直于光轴的一个横向平面；(b)为 四个不同时刻(a)中虚线框所示区域的放大图像，分别显示了染色体分离聚拢、核膜的形 成及染色质聚集成核的过程；(c)为00:00:00时刻另一个Z平面((a)中平面0.86μm以 下)的细胞图像，(d)为(c)中虚线框所示区域的放大图像；(e)为00:43:10时刻第三个Z 平面((a)中平面1.72μm以下)的细胞图像；(f)为(e)中虚线框所示区域两个不同时刻的 图像，管状的细胞器在细胞***中伸展扭曲，细胞***后在核外径向排布。(g)为放大的 另一个细胞的图像，显示细胞***前核区的一个平面。显示了五个不同的时间点，细胞 核和相关核仁结构清晰可见(0’00”)，核膜中一个区域(箭头)被许多进入的细胞结构 (27’30”)变形，其他区域的核膜初始破裂(箭头，29’10”)，染色体的出现(31’10”)， 染色体排列成花瓣状(38’10”)。图15中的比例尺分别为5μm(a,c,e)和2μm(b,d,f,g)。 图15(a)中可以观察到在***细胞的核区有类似染色体的双重结构。在有丝***的过程 中，染色体首先被分离，然后形成两个大的紧密相连的高密度斑块。图15(b)中可看到 有丝***过程中染色体被拉开、聚集融合分别形成新的细胞核的过程。如图15(c-d)所 示，在胞浆中，还可以观察到具有不同形状、密度和动态的各种结构。例如，在中心体 位置可以观察到复杂的细丝结构，而在其他一些区域则聚集着明亮的囊泡结构、大而暗 的囊泡和黑色液泡样的囊泡。得益于光学衍射层析成像的无标记成像特性，可同时观察 到细胞胞浆中其他细胞器的动态，如图15(e-f)所示,可以观察到蠕虫状的管状结构，其 为管状线粒体。管状线粒体在***过程中伸展扭曲，并在***后沿核膜外纺锤体径向排 布。在一些实施例中，如图15(g)所示，细胞核和相关的核仁结构旋转，随后许多传入 的细胞器会附着在细胞膜中一个区域并变形。然后，在与初始内陷位置相反的区域观察 到核膜解体，随后出现了染色体结构，最后，这些结构排列成花瓣状阵列。尽管光学衍 射层析成像模块揭示了亚细胞结构的这些独特的时空动态，但它们的身份仍有待通过与 同时Hessian SIM成像提供的现有荧光细胞器标记进行共定位来探索。此外，光学衍射 层析成像子***210还可以用于观察其他细胞的生物学过程，例如花粉管生长(如图16所示)、线虫胚胎发育(如图17所示)等。图16所示为花粉管生长过程的光学衍射层 析图像。从左至右依次为00:00、03:20、06:40及09:50时刻的轴向(例如，z方向)极 值投影。图17所示为线虫胚胎发育过程的光学衍射层析图像。从左至右依次为00:00、 04:20、07:30及09:35时刻的轴向极值投影。从图15-17的试验结果可以看出，光学衍 射层析成像子***210具有快速、长时程无损成像能力。

结构光照明荧光成像子***220可以是应用结构光照明技术进行荧光成像的***。传统荧光显微成像受限于显微镜的成像带宽，分辨率受限于光学衍射极限。精细样 品结构信息对应较高的空间频率，当此频率超出显微***光学传递函数的截止频率时， 便无法被成像。结构光照明荧光成像子***220可以通过光栅给照明光加载一定的空间 频率，样本的高频信息将与其混频出一个较低的空间频率，即莫尔条纹效应。莫尔条纹 将本无法被收集的空间高频信息移频到光学传递函数截止频率以内，从而可被成像*** 收集，并通过解算(例如，解卷积运算)提高显微***的分辨率。在一些实施例中，结 构光照明荧光成像子***220可以包括线性结构光照明成像和/或非线性结构光照明成 像。在本申请的实施例中，结构光照明荧光成像子***可以用于基于第二激光进行超分 辨荧光成像，以获取所述样本的结构光照明荧光图像。

在一些实施例中，结构光照明荧光成像子***220可以包括第二光源133、第 二声光调制器132、第二偏振分光棱镜127、第二半波片128、空间光调制器129、空间 滤波器125、偏正旋转器123、第二相机114等器件。在一些实施例中，结构光照明荧 光成像子***还可以包括透镜、单模光纤、二向色镜和/或耦合器等。在本申请的实施例 中，如图1所示，结构光照明荧光成像子***220可以包括第二光源133、第二声光调 制器132、耦合器136、单模光纤131、透镜130、第二偏振分光棱镜127、第二半波片 128、空间光调制器129、透镜126、空间滤波器125、透镜124、偏正旋转器123、第二 二向色镜121、透镜122、第一二向色镜112、显微物镜111、透镜113和第二相机114 等。

在本申请的实施例中，第二光源133发射出的第二激光经过第二声光调制器132调制光强和开关时间后，+1级衍射光经过耦合器136耦合到单模光纤131。第二激光经 过单模光纤131滤波后由透镜130准直。准直后的线偏振激光经由第二偏振分光棱镜 127、第二半波片128以及空间光调制器129组成的结构光***后，光场加载了空间光 调制器129上的结构光调制图案，即结构光。结构光被透镜126聚焦在空间滤波器125 上，滤出所需的±1级衍射，滤除了空间光调制器129产生的杂散光，之后由透镜124 重新准直。在光束汇聚处，液晶偏振旋转器根据条纹方向旋转照明光偏振(并形成激发 光)，以保持相对样品为S偏振方向入射形成干涉条纹。激发光由第二二向色镜121反 射至透镜122，并由第一二向色镜112引导至显微物镜111并作用在样本110，从而将 ±1级光聚焦在显微物镜111的后焦面上，在样本110处干涉为衍射极限的调制条纹并 激发荧光。激发出的荧光由显微物镜111收集，并且通过第一二向色镜112被引导至透 镜113(如显微自带管透镜)，通过透镜113后被第二相机114接收。在一具体实施例 中，结构光照明荧光成像子***可以是超快、长时程海森结构光照明显微镜***。

在一些实施例中，双模态显微成像***100中的物镜(如显微物镜111)、第一 二向色镜112和/或第二二向色镜121可以被光学衍射层析子***210和结构光照明荧 光子***220共用。例如，光学衍射层析子***210中产生的样本光和结构光照明荧光 子***220产生的荧光可以均由显微物镜111收集。又例如，第一二向色镜112可以用 于分离样本光和荧光。又例如，第二二向色镜121可以用于分离样本光和激发光。又例 如，第一二向色镜112和第二二向色镜121可以用于在光学衍射层析成像子***中引导 样本光至分光镜，以及在结构光照明荧光成像子***中引导激发光至物镜以作用于样本。

在一些实施例中，第一光源101和第二光源133在双模态显微成像***中可以 是相互独立的两个光源。在一些实施例中，第一激光和第二激光可以由同一个组合光源 (例如由第一光源101和第二光源133组合)发出。本申请实施例通过单独的第一光源 101和第二光源133分别发射用于光学衍射层析成像子***和结构光照明荧光成像子系 统的第一激光和第二激光，可以使得荧光成像能够单独控制，有效减小第一激光和第二 激光对样本(如细胞)的毒性，有效减小光信号对样本漂白的影响，并能够有助于实现 快速的共定位成像观测。在一些实施例中，第一激光和第二激光的波长可以相同。在一 些实施例中，第一激光和第二激光的波长不同。具体的，第一光源101可以包括发射波 长为561nm的第一激光的单纵模激光器，第二光源133可以包括发射波长为488nm的 第二激光的单纵模激光器。

在一些实施例中，结构光照明荧光成像子***220还可以基于第三激光获取样 本的另一结构光照明荧光图像。其中，第二激光和第三激光的波长不同。例如，第二激 光的波长可以为488nm；第三激光的波长可以为498nm、475nm等。在一些实施例中， 第三激光可以由第二光源发射。例如，通过调节第二光源，可以使该第二光源发射出第 二激光或第三激光。在一些实施例中，第三激光也可以由单独的第三光源发射。例如， 在使用第二光源发射的第二激光进行荧光成像后，可以将第二光源换成第三光源，并使 用第三光源发射的第三激光进行荧光成像。基于第三激光获取样本的另一结构光照明荧 光图像的过程与基于第二激光获取样本的结构光照明荧光图像的过程类似，在此不再赘 述。在一些替代性实施例中，结构光照明荧光成像子***220还可以基于更多不同波长 的激光(如第四激光、第五激光等)获取样本更多的结构光照明荧光图像。通过采用不 同波长的激光，可以获取不同分辨率的结构光照明荧光图像，从而能够获得样本的更多 信息，使得对样本的观察更加全面、准确。

在一些实施例中，光学衍射层析成像子***210所获取的样本的光学衍射层析 图像可以为二维图像和/或三维图像。在一些实施例中，结构光照明荧光成像子***220 所获取的样本的结构光照明荧光图像可以为二维图像和/或三维图像。在一个具体实施 例中，光学衍射层析图像可以为三维图像，结构光照明荧光图像可以为二维图像。具体 的，可以通过结构光照明荧光成像辅助无标记的光学衍射层析成像。双模态显微成像系 统100可以以不低于0.3Hz(如0.3Hz、0.4Hz、0.5Hz、0.7Hz、0.8Hz等)的速度对不 小于80μm×80μm×40μm(如80μm×80μm×40μm、100μm×100μm×50μm等) 的视场范围进行荧光成像以及无标记光学衍射层析成像。所得的光学衍射层析图像的横 向分辨率可以不差于200nm(如200nm、190nm、180nm等)，纵向分辨率可以不差于 560nm(如560nm、540nm、500nm等)；所得的结构光照明荧光图像的横向分辨率可 以不差于100nm(如100nm、95nm、90nm等)。

控制子***230可以用于对双模态显微成像***100中各个器件进行控制。在 一些实施例中，控制子***230可以控制第一光源101、第一声光调制器(AOM)102、 振镜(GM)107、第二相机114、第一相机117、第二声光调制器132、第二光源133等 一个或多个器件。例如，控制子***230可以控制第一光源101发射第一激光。又例 如，控制子***230可以控制第二光源133发射第二激光。又例如，控制子***230可 以控制振镜107旋转。再例如，控制子***230可以控制第二相机114和/或第一相机 117曝光。

在一些实施例中，控制子***230可以控制光学衍射层析成像子***210和结 构光照明荧光成像子***220的工作时序，以实现无标记光学衍射层析成像和荧光成像 的同时或交替进行。关于控制子***230的更多细节可以参见图3及其相关描述。

处理器240可以用于对双模态显微成像过程中的信息/数据进行处理。在一些实施例中，处理器240可以基于光学衍射层析图像和结构光照明荧光图像，确定样本在同 一定位位置下的双模态融合图像。双模态融合图像可以同时具有样本的形态学信息和类 别标记信息。其中，样本的形态学信息可以包括样本的大小和形状等。样本的类别标记 信息可以包括样本被标记部分的种类(如具体是什么细胞器)。

在一些实施例中，处理器240可以包括微控制器、微处理器、精简指令集计算 机(RISC)、专用集成电路(ASIC)、应用特定指令集处理器(ASIP)、中央处理器 (CPU)、图形处理器(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处 理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件 以及能够执行一个或多个功能的任何电路和处理器等，或其任意组合。

图3是根据本申请一些实施例所示的双模态显微成像***的控制子***示意图。在一些实施例中，控制子***230可以通过数据采集卡(DAQ)、单片机、现场可编程 逻辑门阵列(FPGA)等一种或多种的组合实现。仅作为示例，如图3所示，控制子系 统230可以包括控制电脑(PC)和数据采集卡(DAQ)。数据采集卡(DAQ)的四个 模拟输出通道分别控制两轴振镜扫描、Z轴压电平移台及液晶偏振旋转器。其中，Z轴 可以表示与样本(如生物细胞)玻片平面相垂直的方向。具体的，数据采集卡可以在模 拟输出端AO0和AO1端口输出控制电压至振镜伺服电路，以控制振镜的角度，进而控 制经过振镜107作用的光束沿x、y方向的偏转角度。其中，x、y方向为与样本玻片平 行的两个正交方向。在一些实施例中，数据采集卡可以在模拟输出端AO2口输出控制 电压以控制Z轴压电平移台，Z轴压电平移台可以用于将样本在Z轴方向移动。数据采 集卡可以在模拟输出端AO3口输出控制电压以控制信号发生器，液晶偏振旋转器由信 号发生器产生的调幅20kHz方波信号控制，调幅电压由数据采集卡产生。空间光调制 器129和两个相机则由数据采集卡的四路可编程数字输出端口控制，其中PFI0.0和 PFI0.1控制空间光调制器129的开关和触发，PFI0.2和PFI0.3输出相机外触发信号。具 体的，数字输出端口PFI0.2可以输出延迟和占空比可调的方波信号到相机外部触发端 口，控制相机在振镜扫描时同步进行曝光。扫描电压可以为±205mV范围内的正余弦 锯齿电压，相机触发可以使用5V的TTL电平。同时相机曝光输出端口可以输出5V的 TTL曝光信号到第一声光调制器102，用以控制曝光时间。关于控制子***230及控制 时序的更多细节可以参见图4及其相关描述。

在一些实施例中，双模态显微成像***可以为超分辨率荧光辅助衍射层析成像(SR-FACT)***。根据瑞利准则，双模态显微成像***的分辨率为：

在这一公式中，λ表示照明波长，NA表示是光学***的数值孔径(NA)。在光学 衍射层析成像***中，旋转照明扩展了横向空间频率限制。从理论上讲，光学衍射层析 成像***中的散射场本质上是检测频域中的频移，其通过以下方程扩展了横向频移的带 宽：k_||,odt＝k_||,det+k_||,ill。在这一公式中，k_||,odt和k_||,det分别表示照明物镜和探测物镜 的最大数值孔径的横向投影，照明物镜的数值孔径为1.0。虽然也曾经使用了数值孔径 为1.45的物镜，但是物品被检测到的最大数值孔径仍然被较低折射率(RI)的溶液所 限制。若将这些活细胞的保存在PBS缓冲液(n＝1.333)中，光学衍射层析成像***的 有效数值孔径可以为：NA_eff＝NA_det+NA_ill≈2.33。

使用了波长为561nm的激光进行照射时，光学衍射层析成像***的理论横向分 辨率约为197nm，这已经在COS-7细胞的相关实验(如图19)中被证实。

由于空间频率沿纵向分布不均匀，光学衍射层析成像***的轴向分辨率的情况较为复杂(如图33c)。纵向空间频率带宽本质上取决于横向频率。在k_||较低的区域， 沿k_⊥方向出现了消失的核心，表明在纵向方向，实际的点扩散函数具有较大的横向半高 全宽(FWHM)。当对活细胞进行成像时，尤其对那些在细胞结构中具有高横向频率的活 细胞进行成像时，纵向的带宽增加(如图29c)，其中纵向频率带宽可以为：

在这一公式中，n₀＝1.33，λ＝561nm，因此得到的简单的预估纵向 分辨率为：

图4是根据本申请一些实施例所示的双模态显微成像***控制时序图。具体的，该双模态显微成像***的控制时序可以由控制子***230实现。在本申请的实施例中， 双模态显微成像***100可以对样本进行多个时间周期的双模态显微成像(如长时间动 态观测)。相邻两个时间周期之间可以具有一定的时间间隔(如0.5秒、1秒、3秒等)。 对于一个时间周期，如图4所示，双模态显微成像***100可以先基于光学衍射层析成 像子***210对样本进行光学衍射层析成像(ODT)，再基于结构光照明荧光成像子系 统220对样本进行结构光照明荧光成像(SIM)。

在进行光学衍射层析成像时，控制子***230中的数据采集卡(DAQ)可以分 别在模拟输出端AO0和AO1端口输出振镜107的X轴和Y轴扫描电压(如±205mV 范围内的正余弦锯齿电压)至振镜伺服电路，以实现光束x、y方向偏转。同时，数据 采集卡的数字输出端口PFI0.2可以输出第一相机触发信号(如5V的TTL电平)到第 一相机117(ODT相机)，同时第一相机的曝光输出端口可以输出曝光信号(如5V的 TTL曝光信号)到第一声光调制器102，以打开第一声光调制器102释放第一激光使第 一相机117曝光触发并控制曝光时间。如图4所示，每个时间周期的数据可以由240张 不同照明角度下的离轴全息图组成。1024x1024画幅下第一相机最大帧率可以为200 fps，实际使用帧率为196fps，因而单组数据采集耗时1.225s。其中第一张和最后一张 图照明光可以均为垂直入射样品平面；其他图像拍摄时，振镜控制光束在物镜的后焦面 上的焦点进行环形扫描。

在一些实施例中，第一相机117可以为sCOMS相机，其在进行曝光时为逐行 进入曝光状态。为提高数据采集速度，sCMOS相机可以工作在同步曝光模式下。具体 的，相机曝光触发上升沿与相机内第1023行和1024行的曝光开始时刻同步，待513行 至1535行都进入曝光状态后，相机输出一时间宽度可调的方波开关信号至第一声光调 制器102(即图中ODTAOM)，使得***同步曝光一定时间。曝光结束后，sCMOS芯 片开始从中间向上下两侧逐行读出数据，并紧接进入下一轮曝光时序中。为最大限度减 少***随时间变化的噪声和振动的影响，第一声光调制器102的打开时间可以设置为 50μs。

在一些实施例中，光学衍射层析成像子***210采集到的每组数据中垂直照明 的图像可以被用于数据处理过程中的时序检查，以减少相机高速数据采集时偶发丢帧造 成的数据时序错乱。同时，为消除照明光束由于光学***瑕疵造成的不均匀振幅分布和 残余不均匀相位影响，每次更换样品前可以在样品玻片上无样品区域采集一组背景数据 用于数据处理中。

当一个时间周期中光学衍射层析成像子***210数据采集完成时，可以进行结 构光照明荧光子***220数据采集。具体的，数据采集卡(DAQ)可以给空间光调制器 129(SLM)一个启动信号，每一次进行结构光照明荧光成像时均可以给出该SLM启动 信号，SLM启动信号可以保证采集到的每组数据的第一张图像是正确的，以避免连续 拍摄时由于某组数据缺少一张或以上图像而导致多组数据出现混乱的情况。在一些实施 例种，空间光调制器129(SLM)可以获取多次(如9次)触发信号以形成多个(如9 个)结构光调制图案，依次获得多张(如9张)结构光照明荧光图像。在空间光调制器 129触发后，数据采集卡(DAQ)可以给第二相机(SIM)输出一个触发信号，同时第 二相机114的曝光输出端口可以向第二声光调制器132输出一个触发信号以使第二声 光调制器132打开释放第二激光，实现第二相机114的曝光。在一组曝光结束后，由第 二相机114的CMOS芯片读出数据，该数据由9张结构光照明荧光图像组成。在一些 实施例中，第二相机114的曝光时间可以比第一相机的曝光时间长。例如，第二相机 114曝光时间可以设为30ms以保证荧光图像信噪比并避免漂白细胞样品。在一些实施 例中，为了获得三组方向不同的结构光调制图案，在第二相机114曝光的同时，每经过 三次曝光可以给偏振旋转器123施加不同的偏转电压以改变偏振旋转器123的旋转角 度。

图5所示为根据本申请一些实施例所示的双模态显微成像方法的示例性流程图。在一些实施例中，双模态显微成像方法500可以由双模态显微成像***100执行。如图5所示，该双模态显微成像方法500可以包括：

步骤510，利用相互独立的光源分别产生第一激光和第二激光。在一些实施例 中，第一激光由光学衍射层析成像子***210的第一光源产生；第二激光由结构光照明 荧光成像子***220的第二光源产生。其中，第一光源与第二光源为双模态显微成像系 统100中相互独立的两个激光器。在一些实施例中，第一激光和第二激光的波长可以相 同。在一些实施例中，第一激光和第二激光的波长可以不同。例如，第一激光的波长可 以为561nm，第二激光波长可以为488nm。

步骤520，利用光学衍射层析成像子***基于所述第一激光获取样本的光学衍 射层析图像。在一些实施例中，光学衍射层析子***210可以利用第一激光来作用于样 本，以获取样本的第一成像数据集(如图6中所示的光学衍射层析成像原始数据)，具 体实施方式可参见上文关于光学衍射层析成像子***210的描述，在此不再赘述。其 中，样本的第一成像数据集可以包括样本信息。

在一些实施例中，处理器240可以利用衍射层析重构算法处理样本的第一成像 数据集，以生成光学衍射层析图像。图6是根据本申请一些实施例所示的衍射层析重构 算法流程图。图11a是根据本申请一些实施例所示的光学衍射层析图像重构算法示意 图。如图6及图11a所示，将无样本背景全息图和样本在多个时间点的全息图两组数据 均作为光学衍射层析成像原始数据输入。其中，无样本的情况下可以采集l张不同照明 角度下的背景全息图。而在有样本的情况下对活细胞样本连续成像，每个时间点采集相 同照明角度下的l张全息图。在一些实施例中，基于样本的第一成像数据集所采用的衍 射层析重构算法可以包括：全息处理步骤、波矢计算步骤、序列检查步骤、Rytov计算 步骤、频谱拼接步骤和逆滤波步骤。为了便于说明，下面将按照衍射层析重构算法的流 程具体介绍各步骤。

在一些实施例中，全息处理步骤可以用于基于第一成像数据集提取全息图，其中，全息图可以包括振幅图像和相位图像。在一些实施例中，全息处理步骤可以采用以 下技术来基于第一成像数据集提取全息图，这些技术包括但不限于同轴数字全息技术、 离轴数字全息技术、外差法全息技术、相移法全息技术等。仅作为示例，在全息处理步 骤中，可以使用离轴数字全息技术来基于第一成像数据集得到全息图(即二维光场振幅 图像和相位图像)。

在离轴数字全息技术中，参考光不与样本光同轴传播，而是存在离轴角θ。离轴 角给全息像面上的参考光引入了一定的空间载项

λ表示波长，θ表示离轴角。 此时全息像面的参考光可以写为：

式(1)中，r表示参考光在全息像面的振幅。

参考光与样本光

干涉后形成的全息图可以表示为：

其中，o(x,y)表示样本光在全息像面的振幅，φ(x,y)表示样本光在全息像面的相位分布。此时，全息图显示为沿x方向调制的干涉条纹，条纹中的相位变化可以直接 反应样本光的相位分布。

当进行全息再现时，原参考光产生的恢复光场为：

由于离轴角的存在，全息图原样本光来光方向会产生一个虚像，全息像面后方 与原样本光两倍离轴角方向上产生一个实像，实像与虚像之间实现了空间分离。

进一步地，在离轴数字全息技术中，采集到的离轴全息图可以表示为：

在式(4)中，m表示x方向第m个像素，n表示y方向第n个像素，Δp表示 像素尺寸。

在进行离轴数字全息再现时，首先可以将数字全息图与参考相位e^-iαmΔp相乘， 再通过低通空间滤波将直流项和共轭项滤除，最终利用参考光图像I_Ref(mΔp,nΔp)归一 化得到振幅图像和相位图像：

其中，L表示低通矩阵，DFT.和IDFT.分别表示离散傅里叶变换及逆离散傅里叶 变换。得到振幅图像和相位图像后即可利用菲涅尔衍射公式进行三维的光场计算，相应 的相位分布由复光场的幅角求出。

需要注意的是，由于需要记录的样本光波前往往具有一定的带宽，太小的离轴 角使各项在空间频谱上的分离不够，引起背景噪声的出现。假设样本光

具有截止 频率为u_m的空间频谱O(u,v),即：

式(6)中，u表示x方向空间频率，v表示y方向空间频率。

其中FT.表示傅里叶变换，此时，由式(2)可得全息图的空间频谱为：

δ(u,v)表示空间频率坐标上的狄拉克函数，

表示自相关运算。自相关运算使 得式(6)中第二项的截止频率变为2u_m，而后两项截止频率仍为u_m。不难看出，要使 式(6)中各项在空间频谱上互不重叠，对空间载频的要求是：

α≥3u_m (8)

从而得出离轴数字全息技术中离轴角应满足的条件为：

θ≥arcsin(3u_mλ) (9)

在一些实施例中，由于离轴角的角度未知，在全息处理步骤中，可以基于在全 息图频域测量中测量到的直流项和调制项的距离来确定每张全息图的参考光和信号光 中透射的照明光之间的夹角。记第j张全息图得到的频域距离为

其 单位为像素。由于考虑到可以使用等间隔的一周环形照明光扫描方式，故可通过计算l 个距离的平均值便可以得到亚像素精度的参考波矢为：

同时，可以估计第j个照明角度下(对应第j张全息图)照明光波矢的横向分量为：

在式11中，

为第j个照明角度下照明光波矢的横向分量的初始估计结果。

在一些实施例中，波矢计算步骤可以用于基于相位图像确定目标扫描波矢，并 生成解缠绕相位图像。具体的，在高速衍射层析成像中，高速扫描的光束无法避免地受 到光机装置机械运动中微小震颤的影响。在长时程衍射层析成像中，由于照明光方向在 不同时间点上的重复性难以保证，对不同时间点的数据重构使用同样的参数会导致一定 的误差。在一些实施例中，波矢计算步骤还包括向量迭代搜索算法，其可以用于精确求 解不同角度下的扫描波矢，即目标扫描波矢。图7a-b中利用向量迭代搜索算法确定目 标扫描波矢的流程700可以包括以下四个步骤：

步骤710，将全息处理步骤提取的相位图像与数字相移项相乘，以获得频移相 位图像，以及初步估计的扫描波矢。

在步骤710中，将全息处理步骤提取的相位图像与数字相移

相乘，可以获 得频移相位图像，以及初步估计的扫描波矢。其中，

为全息处理步骤中得到的第j个 照明角度下照明光波矢的横向分量的初始估计结果。步骤710中的初步估计的扫描波矢 可以用于更新扫描波矢，具体如何使用将在步骤730中阐述。

步骤720，使用基于最小二乘的相位解缠绕算法对频移相位图像进行解缠绕， 以获得低残留斜率的解缠绕相位图像；

步骤730，对解缠绕相位图像在正交方向上的斜率进行线性拟合，以获得更新 后的扫描波矢。在一些实施例中，可以对所述解缠绕相位图像在正交方向上的斜率进行 线性拟合，并基于拟合结果和所述初步估计的扫描波矢，获得更新后的扫描波矢。

在步骤730中，对第j个照明角度下的全息图的解缠绕后的相位图像在正交方 向(x,y方向)上的斜率

进行线性拟合，并更新扫描波矢：

式12中，

为第j个照明角度下的全息图的新的扫描波矢，

为步骤 710中得到的第j个照明角度下的初步估计的扫描波矢。

步骤740，基于更新后的扫描波矢，进行重复迭代，直至斜率|a^j|低于预设阈值，以获得目标扫描波矢。在一些实施例中，预设阈值可以设定为0.00001·2π。

图8示出了某个角度下扫描波矢

的偏移情况，图中“×”表示 由背景全息图计算出的扫描波矢，“+”表示100组间隔1s的带样本全息图计算出的扫 描波矢。在波矢计算步骤中，如图8所示，带样本数据的扫描波矢与背景数据的扫描波 矢的平均偏差为0.018(7)μm^-1；偏移量对应k_m的0.2％。对应扫描角度差0.05°。同时， 100组连续时间点下照明扫描波矢波动标准差为

和

波动为k_m的0.07％。因此由于高扫描速度(例如，约200HZ)和长时间 记录，振镜的机械抖动和不稳定性会导致扫描波矢偏离指定角度，使扫描波矢出现误差 然后导致后续的频谱拼接步骤的错位，以至于严重损害重建图像的对比度和分辨率，从 而降低图像质量，而使用上述向量迭代搜索(vector iterative search algorithm,VISA)算 法(图7b)来进行扫描波矢的迭代，可以减小扫描波矢的误差。图9为没有进行扫描波 矢迭代的情况下的重构图像，图10为进行了扫描波矢迭代的情况下的重构图像。对比 图9和图10可知，扫描波矢迭代可以使得重构图像的背景更加均一且具有更好的对比 度。

在一些实施例中，衍射层析重构算法还可以包括序列检查步骤，序列检查步骤 可以在波矢计算步骤后被执行。全息图可以包括样品全息图和背景全息图，在序列检查 步骤中可以包括：对同一时间点的一组样品全息图的扫描波矢与背景全息图的扫描波矢 进行比较，以获得该组样品全息图的扫描误差；当所述扫描误差大于设定阈值时，标记 该组样品全息图的序列异常；基于所述序列异常，控制所述第一成像数据集的分组以及 所述频谱拼接步骤。由于全息处理步骤得到的每张全息图的相位图像都通过波矢计算步 骤进行了精确求解，得到了扫描波矢。通过对同一时间点的一组全息图的扫描波矢与背 景全息图的扫描波矢进行比较，获得该组样品全息图的扫描误差，可以将大于设定阈值 而被认为具有较大扫描误差的该组全息图进行标记。在控制第一成像数据集的分组以及 频谱拼接步骤的过程中，可以选择不使用被标记为序列异常的这些组的样品全息图数据。 在本实施例中，由于高通量数据的存储过程中可能发生文件的输入输出错误，偶尔会出 现单帧丢失现象。序列检查步骤可以利用每张全息图对应的精确的扫描波矢数据，在一 定差异阈值下判断图像序列是否异常，并将序列异常结果反馈给光学衍射层析子***， 光学衍射层析子***可以基于序列异常控制第一成像数据集的分组以及频谱拼接步骤， 以保证偶发丢帧问题不影响长时程数据重构结果。

在一些实施例中，Rytov近似步骤可以用于基于振幅图像和解缠绕相位图像，确定Rytov相位场。仅作为示例，在Rytov近似下，光场可用复相位ψ(r)描述，此时总光 场u(r)和入射光场u₀(r)用复相位ψ(r)描述可以表示为：

u(r)＝e^ψ(r) (13)

ψ(r)＝ψ₀(r)+ψ_s(r) (15)

其中，总光场的复相位ψ(r)和入射光场的复相位ψ₀(r)具有如下形式：

ψ(r)＝ln[a(r)]+iφ(r) (16)

ψ₀(r)＝ln[a₀(r)]+iφ₀(r) (17)

a(r)和φ(r)分别代表光场振幅和相位分布，光场振幅可以基于振幅图像来确定，相位分布可以基于解缠绕相位图像来确定。ψ_s(r)为散射光场的复相位。

此时散射场可以表示为：

亥姆霍兹方程的即时谐波动方程为:

在式(19)中，k(r)为依赖折射率空间分布的波矢，u(r)为光场空间分布，

是哈 密顿算子。

将式(13)代入式(19)可以得到：

在式(20)中，k_m表示介质中的平均波数，f(r)表示散射势，其中

其中

可展开为：

将式(21)代入式(20)中可得：

式(22)为复相位ψ(r)的非线性非齐次微分方程。同理，入射光场的复相位ψ₀(r)亦满足齐次方程：

将式(15)代入(22)即可得散射光场的复相位ψ_s(r)满足：

将齐次方程(式(23))代入后式(24)后可得:

考虑到以下数学变换

可以进一步得到：

与式(25)比较可得：

在Rytov近似中，需假设相位梯度项

而可以被忽略。此时， ψ_R(r)被称为Rytov相位，并满足波动方程：

Rytov近似下，若已知散射场u_R(r)，则Rytov相位为：

此处对复数取对数，因此式(30)可以进一步展开为：

式(31)中，a(r)表示总光场振幅，a₀(r)表示入射光场振幅，φ(r)表示总光场 相位分布，φ₀(r)表示入射光场相位分布。因此，式(31)为基于全系处理步骤中得到 的振幅图像和波矢计算步骤中得到的解缠绕相位图像，确定Rytov相位场的公式。将全 息处理步骤得到的振幅图像与波矢计算步骤得到的低残留斜率解缠绕相位图像按照式 (31)计算可以获得Rytov相位场。

在一些实施例中，频谱拼接步骤可以用于基于Rytov相位场在频域进行拼接。 通过频谱拼接步骤，可以将二维频谱拼接为三维频谱。在一些实施例中，频谱拼接步骤 可以用于：将Rytov相位场的二维频谱和目标扫描波矢为参数的复传输频谱进行拼接， 获得三维散射频谱和三维复传输频谱。在一些实施例中，可以使用频域内插法(如紧邻 内插法或线性内插法等)来实现频谱拼接。以紧邻内插法为例进行说明，紧邻内插法可 以直接将二维频谱的二维格点内插至距离最近的三维频谱的三维格点上进行计算，无需 额外的插值或频谱扩展计算，因而基本无需耗费额外计算时间。对于需进行大量数据处 理的衍射层析显微成像应用，基于紧邻内插法的算法可实现快速的图像处理，且已被证 明在全息带宽重组的情况下有较好的计算精度。

在一些实施例中，逆滤波步骤可以用于对频谱拼接结果进行滤波，以得到光学 衍射层析图像。在图像的获取、传输、重构和保存等过程中，由于各种因素，如光学衍 射层析子***与样本的相对运动、大气的湍流效应、光学衍射层析子***的相差、环境 的随机噪声等，会使得图像(频谱拼接结果)出现模糊、失真、有附加噪声等问题，为 了解决这些问题，需要逆滤波步骤来进行图像复原。具体地，逆滤波步骤可以用于：基 于维纳逆滤波原理将频谱拼接步骤中得到三维散射频谱和三维复传输频谱相除，以得到 光学衍射层析图像。在一些实施例中，可以用频谱拼接结果先乘以三维复传输频谱的复 共轭后再除以三维复传输频谱的平方，这样可以尽可能消除噪声的影响，使得得到的光 学衍射层析图像更清晰。

在一些实施例中，可以利用处理器240执行复解卷积衍射层析三维重构算法来 处理第一成像数据集，以生成光学衍射层析图像。复解卷积衍射层析三维重构算法可以 在频域拼接步骤中同步拼接复传播频谱，以及在逆滤波步骤中实现三维散射频谱和三维 复传输频谱的相除归一化。具体地，由于远场成像***的低通滤波作用，第j个照明角 度下实际测量(如图29所示，其中，(b-c)从(a)计算出二维相干函数的振幅(b)和相位(c)。 比例尺，(a)1μm和(b-c)k＝2π/λ)所得三维散射场

是实际散射场

与相干成像***振幅点扩散函数h(x,y)的卷积：

其中G(x,y,z)为远场传播项，可由标量近似下的格林函数描述：

在式(33)中，±对正向传播和反向传播进行了区分。

在空间频域，式(32)可以改写为：

在式(34)中，

和

分别表示

和

的三维傅里叶变换。而C(k_x,k_y,k_z)为相干传输函数，其可以表示为：

C(k_x,k_y,k_z)＝F.Τ.^3D{h(x,y)G(x,y,z)} (35)

在式(35)中，F.T.表示傅里叶变换。由于单色波传播过程中具有常波矢k_m，因 此三维相干传输函数C(k_x,k_y,k_z)可以看作二维相干传输函数C(k_x,K_y)在三维球面

上的映射。

在考虑相干传输函数的情况下，则第j个照明方向

下采集的 散射势的三维频谱成分

与真实频谱成分

有如下关系：

在式(36)中，频谱坐标满足:

在像面成像(z₀＝0)下改写Rytov近似下的傅里叶衍射定理为

为了将不同照明角度(j＝1,2,…)下的散射图像进行频谱拼接并将重叠部分归一化，可以基于维纳逆滤波原理对散射势进行重构。此时三维散射势可以求解为：

在式(39)中，

是二维Rytov相位的频谱按公式(37)在三维频 谱中的映射；

为沿扫描波矢

反向平移后的三维相干 传输函数；α为维纳逆滤波中用于减少除法产生噪声的正则参数。

在一些实施例中，在经过Rytov近似步骤获得二维Rytov相位场后，可以按照 式(37)和(39)在频域进行拼接和滤波。二维频谱可以通过紧邻内插法映射在距离最 近的三维频谱格点上。在二维频谱映射过程中，三维频谱格点在K_x和K_y方向的间隔和二 维格点间隔一致，因此Rytov近似下仅需在K_z方向上进行内插。在此情况下K_z方向格点 间隔越小，紧邻内插精度就越高。但减小K_z方向格点间隔意味着增加K_z方向格点总数， 这可能会显著增加后续逆滤波步骤中的计算时间。因此，综合考虑计算效率和成像精度， 优选为使用与K_x和K_y方向的间隔呈1-2倍的格点间隔，这样既可以提高计算效率，又可 以保证光学衍射层析图像的重构效果。

步骤530，利用结构光照明荧光成像子***基于所述第二激光获取所述样本的 结构光照明荧光图像。在一些实施例中，结构光照明荧光子***可以基于第二激光获取 样本的第一成像数据。在一些实施例中，结构光照明荧光子***可以利用第二激光作用 样本，以获取样本的第二成像数据集，具体实施方式可参见上文关于结构光照明荧光子 ***的描述，在此不再赘述。其中，样本的第二成像数据集可以包括具有荧光标记的样 本信息。

在一些实施例中，结构光照明荧光成像子***可以使用结构光照明荧光图像重建算法基于第二成像数据集获取样本的结构光照明荧光图像。图11为结构光照明荧光 图像重建算法流程图。结构光照明荧光图像数据首先需根据图像数据计算重构参数，之 后经过频谱成分分离及拼接得到高分辨荧光图像。具体的，结构光照明荧光图像重建算 法可以包括：基于图像数据计算重构参数、频谱成分分离、频谱拼接和傅里叶逆变换得 到高分辨荧光图像。具体的，在结构光照明荧光子***中，两个方向的相干照明光干涉 形成正弦结构光：

其中，γ为干涉深度，p为结构光空间频率，φ为结构光初始相位。

对于结构光照明荧光成像子***，荧光光强与照明光强成正比，宽场成像的光 强图像为：

I^e(r)＝Iⁱ(r)D(r)*p(r) (41)

其中D(r)表示荧光分子密度分布，*表示卷积操作，p(r)表示***的光强点扩散函数，根据二维相干函数

C^2D(k_x,k_y)＝F.Τ.^2D{h(x,y)} (42)

p(r)定义可以为：

其中

即为光学传输函数，表征光强成像***的频谱传输特性。

式(41)可在频域展开为：

其中

为荧光分子密度分布的空间频谱。结构光照明荧光图像频谱中包含了原频谱及移项±p的频谱，三项频谱信息被光学传输函数

以截止频率进行了滤波。 为分离三部分频谱信息，需改变φ进行三次测量，分别得到频谱：

分离各频谱成分S_n(k):

在实际二维图像中，一般通过在三个夹角

的方向p₁，p₂，p₃分别重复测量，以 实现在二维各个方向上均匀的超分辨结果。九个频谱分量可表示为：

解出以上频谱分量后，可利用Wiener逆滤波求解高分辨荧光密度分布频谱为：

其中：

α为Wiener滤波中为减少噪声而引入的正则参数。式(54)表明最终频谱共包 含7个频谱成分，其中六个均匀分布在六个方向上而扩充一定频谱范围。最终可求得荧 光密度分布图像(结构光照明荧光图像)为：

D(r)＝IFT.^2D{δ(k)} (55)

步骤540，基于所述光学衍射层析图像和所述结构光照明荧光图像，生成所述 样本的双模态融合图像。具体的，步骤540可以由处理器240执行。在一些实施例中， 处理器240可以采用共定位图像融合的图像处理技术将光学衍射层析图像和结构光照 明荧光图像融合成双模态融合图像。双模态融合图像可以同时具有样本的形态学信息和 类别标记信息。其中，样本的形态学信息可以包括样本的大小和形状等。样本的类别标 记信息可以包括样本被标记部分的种类(如具体是什么细胞器)。在一些实施例中，处 理器240可以从三维的光学衍射图像中选择与二维的结构光照明荧光图像最相似的二 维层析图像以进行双模态融合。在一些实施例中，双模态融合图像可以为：在光学衍射 层析图像中，对结构光照明荧光图像所展示的荧光信息(如被荧光标记的细胞器)进行 标记后的融合处理结果。标记的方式可以包括但不限于高亮显示、不同颜色显示等。在 一些实施例中，处理器240可以对光学衍射层析图像、所述结构光照明荧光图像和/或 所述样本的双模态融合图像进行处理，例如图像分割(例如，对图像中的各个细胞器进 行分割)、定量统计(例如，统计某个细胞器的路径信息)等。在一些实施例中，处理 器240可以进行上述图像的在线或实时处理。在一些实施例中，处理器240可以进行上 述图像的离线或后期处理。在一些实施例中，上述图像可以采用双模态显微成像*** 100之外的和/或与之相关联的其他处理器进行处理。

为了能更好地描述本申请实施例的双模态显微成像***以及双模态融合图像，下面将以具体的实验结果作为实施例进行说明。

本申请实施例采用如图1-2所示的双模态显微成像***。该双模态显微成像系 统包括光学衍射层析成像子***210和结构光照明荧光成像子***220。光学衍射层析 成像子***210和结构光照明荧光成像子***220至少可以通过第一二向色镜112与 第二二向色镜121结合成双模态显微成像***。在本申请的实施例中，双模态显微成像 ***可以包括光学衍射层析成像子***210和结构光照明荧光成像子***220的所有 元器件。具体的，双模态显微成像***可以第一光源101、第一声光调制器(AOM)102、 第一半波片(HWP)103、第一偏振分光棱镜(PBS)104、单模光纤(SMF)105、透镜 106、振镜(GM)107、套筒透镜108、显微物镜(OBJ)109、样本110、显微物镜111、 第一二向色镜(DM)112、透镜113、第二相机114、单模光纤115、透镜116、第一相 机117、偏振无关分光棱镜(BS)118、透镜119、透镜120、第二二向色镜121、透镜 122、偏振旋转器(PR)123、透镜124、空间滤波器(Mask)125、透镜126、第二偏振分 光棱镜127、第二半波片128、空间光调制器(SLM)129、透镜130、单模光纤131、 第二声光调制器132、第二光源133、耦合器134、耦合器135和耦合器136。

在光学衍射层析成像子***210中，光学衍射层析成像子***210的成像光路 可以基于型号为OLYMPUS,IX73的商用显微镜并配备高数值孔径成像物镜(即型号为OLYMPUS,ApoN,100×NA＝1.45的显微物镜111)。第一光源101可以采用由长春新 产业光电技术有限公司制造，型号为MSL-FN-561-50mW波长为561nm的单纵模激光 器；第一声光调制器为中电科技集团重庆声光电有限公司制造的声光调制器；第一半波 片的型号为Thorlabs,AHWP10M-600；第一偏振分光棱镜的型号为Thorlabs,CCM1- PBS251；耦合器134和135的型号为Thorlabs,PAF2-7A；单模光纤105和115为上海 瀚宇制造，型号为PM460-HPHA,FC/APC的保偏单模光纤；透镜106的焦距为40mm， 具体可以为美国Thorlabs公司生产的型号为AC254-040-A的透镜；振镜107的型号为 Thorlabs,GVS211/M；套筒透镜108的焦距为180mm，具体可以为美国Thorlabs公司生 产的型号为AC508-180-A的透镜；显微物镜109的型号为OLYMPUS,LUMPlanFLN, 60x/1.0W；显微物镜111的型号为OLYMPUS,ApoN 100x/1.49Oil；第一二向色镜112 的型号为Chroma,ZT405/488/561/640-phase R；透镜122的焦距为200mm；第二二向色 镜的型号为Thorlabs,DMLP550L；透镜120的焦距为180mm，具体可以为美国Thorlabs 公司生产的型号为TTL180-A的透镜；透镜119的焦距为250mm，具体可以为美国Thorlabs公司生产的型号为AC508-250-A的透镜；透镜116的焦距为100mm；偏振无关分光棱镜118的型号为Thorlabs,BS013；第一相机为型号是Hamamatsu,OCRA-flash4.0V3C13440的sCMOS相机。

在结构光照明荧光成像子***220中，第二光源是波长为488nm的单纵模激光 器，其型号为Coherent,Sapphire488LP-200；耦合器136的型号为Lightpath,f＝10mm； 透镜130的型号为Thorlabs,AC254-100-A,f＝100mm；第二半波片128的型号为 Thorlabs,AHWP10M-600；第二偏振分光棱镜127的型号为Thorlabs,CM1-PBS25；第二 声光调制器132的型号为AA Opto-Electronic,AOTF；空间光调制器129的型号为Fourth DimensionDisplay,SXGA-3DM；透镜126的型号为Thorlabs,AC508-500-A,f＝500mm； 透镜124Thorlabs,AC508-300-A,f＝200mm；第二相机114为峰值量子效率为82％的 sCMOS相机，其型号为Hamamatsu,OCRA-flash4.0V2C11440，以检测荧光发射。

在一些实施例中，由于在光学衍射层析成像子***中，来自多个原始图像的信 息可以被合并以重建一个体积图像，活细胞中结构的移动可能会导致运动伪影和降低分 辨率。如图28所示，如果溶酶体(LY)在一个重建帧所需的捕获时间内移动超过*** 的空间分辨率的距离，则会导致对比度降低和/或导致运动伪影，甚至在最终的光学衍 射层析成像图像中LY消失。因此，更高的理论分辨率在活细胞成像期间会对***的性 能造成不利影响，并且空间分辨率必须与相应的时间分辨率相匹配，以使得在活细胞光 学衍射层析成像中能够实现最大分辨率。所有先前的光学衍射层析成像显微镜都没有达 到很高的时间分辨率，这就很容易解释了尽管理论空间分辨率很高，但这些显微镜在活 细胞中检测赖氨酸的失败。类似地，在活细胞中，以往从未用光学衍射层析成像显微镜 观察到过管状内质网结构，甚至认为这种观察是不可能的，这也可能是由于同样的原因， 如内质网小管和连接处在活细胞中经历快速运动。

本申请实施例的双模态显微成像***可以基于荧光共定位进行高速细胞成像。其中，结构光照明荧光成像子***220和光学衍射层析成像子***210的整个采集周期 为1.49s，这在细胞成像是足够快的，以使双模态显微成像***可以在两种成像子*** 间交替检测活细胞中的同一结构。如图18所示为使用双模态显微成像***对COS-7活 细胞中六种主要细胞器采集到的光学衍射层析-荧光共定位图像。其中，左侧三列中， 第一列为结构光照明荧光重构图像，第二列为光学衍射层析图像，第三列为双模态融合 图像；右侧三列依次为第一列图像中虚线框所示区域的放大的结构光照明荧光重构图像、 光学衍射层析图像和双模态融合图像。(a)光学衍射层析图像中管状内质网与KDEL- EGFP标记的结构光照明荧光图像共定位结果；(b)光学衍射层析图像中线粒体与 MitoTrackerGreen标记的结构光照明荧光图像共定位结果；(c)光学衍射层析图像中脂滴 与LipidSpot488标记的结构光照明荧光图像共定位结果；(d)光学衍射层析图像中溶酶 体与LysoView488标记的结构光照明荧光图像共定位结果；(e)光学衍射层析图像中核 膜与LaminA-EGFP标记的结构光照明荧光图像共定位结果；(f)光学衍射层析图像染色 体与H2B-EGFP标记的结构光照明荧光图像共定位结果。比例尺：5μm(左)，1μm(右)。

由图18和图28的分析可以得出，由于光学衍射层析成像子***在时空分辨能 力上的提升，双模态显微***可以观察到内质网微管的动态，并准确地与KDEL-EGFP 标记的荧光成像结果相对应(如图18(a)所示)。并且对于光学衍射层析图像中出现的 长条状并不断扭转的结构，通过线粒体标记MitoTracker Green的共定位数据确定其为 线粒体(如图18(b)所示)。其中，结构光照明荧光成像子***220可以解析线粒体的 内部结构，而光学衍射层析成像子***210可以同时提供整个细胞器内所有线粒体的三 维动态，其所能提供的生物动力学信息远高于二维荧光成像。并且由于光学衍射层析成 像子***210具有无光毒性和光漂白效应对成像时间有所限制的特性，双模态显微成像 ***可以对活细胞进行长达小时级的三维连续成像(如图15所示)。

此外，双模态显微成像***还可以观察到活细胞内的脂滴、晚期内体或溶酶体、核膜以及染色体。具体的，光学衍射层析图像中明亮的囊泡结构则由在脂滴中聚集的染 料Lipidspot 488的荧光共定位图像证实为脂滴(图18(c))；同时，光学衍射层析图像 中较暗的囊泡则由用于标记酸性溶酶体的Lysoview488的荧光共定位图像证实为晚期 内体或溶酶体(图18(d))；在细胞核附近，光学衍射层析图像中连续的膜状结构因与 laminA-EGFP标记的荧光图像共定位，被确认为核膜(图18(e))；核膜内的不规则状 结构与H2B-EGFP标记的染色质共定位(图18(f))，可以确认为染色体。

除了上述传统的细胞器以外，本申请实施例的双模态显微成像***还可以观察到暗液泡的RI甚至低于COS-7细胞的胞浆RI(如图15(d)所示)。因为光学衍射层析 成像可以测量活细胞内质量密度的时空分布，所以这些液泡结构所包含的物质比胞质溶 胶少的多，这与植物和酵母中的液泡类似。然而，与植物和酵母中5～10μm的中央酸性 液泡相比，液泡状液泡较小(1.56±0.01μm，n＝5162)，数量众多(每一个平面的COS- 7细胞(119个细胞)有43±2个液泡)，且未被针对酸性腔室的荧光染料标记(如图 18(d)所示)。如图30所示，在同一光学衍射层析成像显微镜下观察到的酵母液泡比哺 乳动物细胞中的液泡大而暗，因此可以将这些结构命名为暗空泡体(DBs)。

本申请实施例的双模态显微成像***可以观察到肌动蛋白微丝。具体的，图19 展示光学衍射层析-结构光照明荧光双模态显微成像***横向分辨率。其中，(a)使用LifeactEGFP标记了肌动蛋白的光学衍射层析-结构光照明荧光双模态图像：左，结构光 照明荧光超分辨图像；中，对应深度的光学衍射层析图像；右，共定位图像。比例尺： 5μm。(b)沿(a)中实线上的折射率变化的轴向剖面图。比例尺：0.5μm。(c)沿(a)中实线上 的折射率变化和荧光强度分布。(d)对(c)中沿肌动蛋白微丝垂直方向连续50次测量并统 计的横向半高全宽(FWHM)。(e)沿(b)中虚线上的折射率变化分布。(f)对(e)中沿肌动蛋 白微丝垂直方向连续50次测量并统计的轴向半高全宽(FWHM)。由图19(a)可以观察 到肌动蛋白微丝。如图19(d-f)所示，使用高斯函数拟合LifeAct-EGFP沿肌动蛋白丝横 截面的强度分布，可以发现海森结构光照明显微镜***的分辨率为～100nm，并且由ODT 子***测量的肌动蛋白微丝的半高全宽(FWHM)为200nm，超过了在该波长下通过荧 光显微镜获得的常规横向分辨率(如图33)。

图20为双模态显微成像***采集到的COS-7细胞有丝***双模态荧光共定位 图像。其中，第一行为结构光照明荧光重构图像，第二行为光学衍射层析图像，第三行 为双模态融合图像，四列分别为成像中四个时刻。比例尺：2μm。从图中可以得出，在 结构光照明荧光成像过程中，不可忽略的光毒性使得纺锤状分布的染色体在有丝***前 期被阻断；这与只进行衍射层析成像拍摄到的完整有丝***过程(图15)形成鲜明对 比。除此之外，在类似实验中还观察到了结构光照明荧光成像产生的光毒性在后期晚期 会阻滞COS-7细胞。如图34所示为使用光学衍射层析成像子***对细胞器进行三维整 体观察的示意图。其中，(a)典型COS-7单元的三个不同Z平面。箭头分别表示线粒体、 溶酶体(LYs)和乳酸脱脂滴(LDs)。(b)在0.86μm(10Z平面)的轴向体积内，LDs、 LYs和线粒体的平均百分比与细胞(平均从13个细胞)内所有LDs、LYs和线粒体的 总面积的百分比。比例尺，5μm。中心线，中值；极限，75％和25％；数量，最大值和 最小值。从图34中可以看出，结构光照明荧光成像产生的光毒性在后期晚期会阻滞 COS-7细胞。

图21为双模态显微成像***对COS-7活细胞中光学衍射层析无法解析的细胞 器的光学衍射层析-荧光共定位图像。其中，第一列为结构光照明荧光重构图像，第二 列为光学衍射层析图像，第三列为双模态融合图像，右侧三列依次为第一列图像中虚线 框所示区域的放大的结构光照明荧光重构图像、光学衍射层析图像和双模态融合图像。 (a)为Golgi-EGFP标记高尔基体的结构光照明荧光图像共定位结果；(b)为Pex11-EGFP 标记的过氧化物酶体的结构光照明荧光图像共定位结果。比例尺：5μm(左)，1μm(右)。 由此可得，在标记了高尔基体、过氧化物酶体的双模态共定位图像中，光学衍射层析图 像中没有明显结构能够与荧光图像相对应。其原因为这些细胞器未能与细胞胞浆产生较 大的折射率差异，所以双模态显微成像***还不能观察到高尔基体、过氧化物酶体。

总之，通过双模态显微成像***可以观察到内质网(ER)、线粒体、脂滴(LDs)、 晚期内体(LEs)/溶酶体(LYs)、核膜、染色体六种主传统细胞器以及肌动蛋白微丝 以及一种新的细胞器。这使得双模态成像***可无需标记且免于光毒性限制地对这些细 胞器进行高速连续三维成像。

本申请实施例的双模态显微成像***还可以对成像过程中出现的低折射率囊泡(DBs)进行观察解析，所述低折射率囊泡的折射率显著低于周围胞浆折射率。具体的， 图22为活的COS-7细胞光学衍射层析图像中出现的低折射率囊泡。其中，低折射率囊 泡与Rab7EGFP标记的溶酶体(a)及LAMP1-EGFP标记的晚期溶酶体(b)不共定位；其 与Rab5a-EGFP标记的囊泡(c)、EEA1-EGFP标记的囊泡(d)、FYVE-EGFP标记的囊泡 (e)及Rab9a-EGFP标记的囊泡(f)部分共定位囊泡(g)。(h)左：与荧光Rab5a/EEA1/FYVE /Rab9a/Rab7/LAMP1相关的DB与总池的比率。右：Rab5a/EEA1/FYVE/Rab9a/Rab7/LA MP1相关的DBs与相应荧光囊泡总池的比率。(i)左：带和不带荧光标记的DBs的直径， 以及除DBs外具有可见光学衍射层析成像结构的荧光小泡。右：细胞结构与其周围环 境的差异，包括有荧光标记和无荧光标记的DBs，以及可见光学衍射层析成像结构的荧 光小泡，但DB除外。第一列为结构光照明荧光重构图像，第二列为光学衍射层析图像， 第三列为双模态融合图像，右侧三列依次为第一列图像中虚线框所示区域的放大的结构 光照明荧光重构图像、光学衍射层析图像和双模态融合图像。比例尺：5μm(左)，1μ m(右)。由图22可得，使用双模态显微成像***对具有外源表达的不同荧光标记(R ab5a/EEA1/FYVE/Rab9a/Rab7/LAMP1)的细胞进行观察，可以对DB膜上的蛋白质和 脂质(图22(a)-图22(g))进行分析。共有61±3％的DBs(平均直径约1.5μm，由外荧 光环测量)与EE标记Rab5a-EGFP相关，而大量Rab5a-EGFP标记的囊泡显示RI值高 于DBs(66±4％，图22(h))。如图22(i)所示，在胞内转运途径的下游，与LE/LY标 记物共定位的DBs在大小上增加(平均直径1.8～2.3μm)。虽然Rab9a-EGFP标记了所 有液化囊泡的60±6％，但它仅占所有Rab9a-EGFP标记的囊泡的12±1％。大约31％-35％的空泡囊泡用Rab7-EGFP或LAMP1EGFP标记，而这些共定位的囊泡代表Rab7- EGFP/LAMP1-EGFP囊泡的少数群体(约11％-14％)。与Rab9a37、38相比，Rab7和 LAMP1与LE/LY的相关性更强，31％-35％的DB可能具有LEs/LYs的特征。同样， 与Rab5a-EGFP重叠的61±3％的DBs可能对应于与EE相似的种群。82％-91％的空泡 囊泡与EEA1-EGFP和FYVEEGFP标记的结构重叠，表明DBs上的磷脂酰肌醇3-磷酸 脂富集。如图22(g)显示了DBs和水通道蛋白之间的共定位，水通道蛋白可以促进水在 质膜和内质膜上的运输。其中水通道蛋白-2-EGFP(AQP2-EGFP)与LE/LY室共定位， 但与DBs没有重叠，所以尽管有些部分共享的蛋白质和脂质，DBs代表的细胞器具有 不同于内质体的分子结构。由图22(a-b)可以得出，低折射率囊泡几乎不与晚期内体 或溶酶体的标记如Rab-7或LAMP1共定位，却显著地与EEA1、Rab-5、FYVE这些早 期内体来源相关的标记物的荧光图像重叠(图22(c-f))。同时，Rab-9a标记的共定位表 明低折射率囊泡可能参与到晚期内体到高尔基体网络的运输过程。

图23为双模态显微成像***对不同种类细胞进行成像时在光学衍射层析图像 中出现的低折射率囊泡。其中，不同种类细胞光学衍射层析图像中出现的低折射率囊泡。 (a)人类成纤维细胞；(b)人类脐静脉内皮细胞；(c)大鼠胰岛素瘤INS-1细胞；(d)小鼠背 根神经节神经细胞。(a)中第二行为对应上方图像中虚线框区域低折射率囊泡的运动图 像。比例尺：5μm(上)，1μm(下)。由此可得，这种低折射率囊泡在哺乳动物细胞 中广泛存在，例如双模态显微成像***可以在人类成纤维细胞、人类脐静脉内皮细胞、 大鼠胰岛素瘤INS-1细胞、小鼠背根神经节神经细胞观察到这种低折射率囊泡。

图24为人类骨髓间质干细胞光学衍射层析图像及其中低折射率囊泡数目与其 细胞衰老表型的相关性。其中WT-hMSCs(野生型人类骨髓间质干细胞作为同基因对照 组)、杂合子(LMNAG608G/+)及纯合子(LMNAG608G/G608G)的HGPS-hMSCs细胞组 成Hutchinson-Gilford早衰综合症(HGPS)的对照模型，具有WRN缺陷(WRN-/-)的WS- hMSCs细胞作为Werner综合症(WS)的对照模型。(a-d)为四种细胞的光学衍射层析图 像。(e)为细胞中间层的低折射率囊泡分布密度统计。比例尺：左侧5μm，右侧1μm。 Mann-Whitney秩和检验：*p<0.05,**p<0.01,***p<0.001。由此可得，低折射率囊泡也 存在人类骨髓间质干细胞中，以及不同种类细胞中低折射率囊泡的数量和形状略有不同， 其中早衰表型的骨髓间质干细胞中低折射率囊泡的数量与对照组相比明显增多，表明其 功能可能与维持细胞正常运转有关。

本申请实施例的双模态显微成像***可以对细胞器的相互作用过程进行无标记的快速长时程观察。细胞器是保持分子和信号的局部印记，并在细胞器接触形成的瞬间 与其他细胞器交换信息和材料的细胞腔室，对许多细胞功能和行为至关重要。从进化的 角度来看，内质网和线粒体都是古老的真核细胞内膜***。然而，与众多的关于内质网 在协调细胞器相互作用中的作用的研究相比，很少有研究对线粒体与不同细胞器的相互 作用进行研究。因为线粒体在进行荧光成像时会受到光毒性的影响。在最小的光毒性下， 通过持续地监视活细胞中的线粒体，可以发现线粒体能主动地改变形状、位置、命运， 并可能根据它们与其他细胞器的相互作用而发挥作用。具体的，图25为COS-7细胞中 线粒体与其他细胞器的相互作用。其中，(a)核膜与线粒体保持接触并在半小时的成像中 关联互动；(b-c)内质网与线粒体接触并导致线粒体断开(b)或横向扩展(c)；(d)线粒体与 脂滴相互作用及由与溶酶体接触导致的线粒体***；(e-g)不同模式的线粒体与低折射率 囊泡间的相互作用，接触导致线粒体改变形状(e)、随低折射率囊泡移动(f)或发生***(g)。 比例尺：5μm(a),2μm(a,zoom in),1μm(b,c,e,f),2μm(d,g)。通过在光学衍射层析成像子 ***210对活细胞中线粒体动态的快速长时程成像，线粒体会在形状、位置、行为及功 能上因与其他细胞器相互作用而发生改变，例如，相比胞浆中随机分布的线粒体，核膜 附近的线粒体长度更长，形状更为均匀(图25(a))。图中，与细胞核相关的线粒体沿细 胞核排布，且随核膜一起变化形状。这种局域的线粒体可能辅助了核内的一些重要过程 如mRNA向核外的输运过程等。又例如，脂滴与线粒体接触后，很快被推离线粒体， 同时两者形态上均无明显变化；与之相对，溶酶体与线粒体的接触则会导致线粒体发生 ***(图25(d))。

本申请实施例的双模态显微成像***还可以观察到低折射率囊泡与线粒体的相互作用过程。低折射率囊泡与线粒体接触后可观察到线粒体的形状改变(图25(e))或 ***(图25(g))，因此，线粒体不是形成与其他细胞器(例如ER)相互作用的连续网 络，而是采用“一对一”的接触方式，通过这种接触方式，线粒体被定制为可以在各种 条件下与不同的细胞器相互作用。在某些情况下，低折射率囊泡也存在拖拽线粒体随之 移动(图25(f))的行为。

本申请实施例的双模态成像***可以提供完整的细胞器相互作用的图谱，因为光学衍射层析成像子***210能在3D内检测到的细胞器总数(如线粒体、LDs和 LEs/LYs)超过了仅用一个Z平面的2D显微镜所能检测到的总数。如图33所示，以彼 此镜像的两个最大照明角度为例。(a)和(b)顶部图中的绿色和橙色线表示利用照明物镜 的最大NA的照明光束。如图(c)所示，扩展了空间频域带宽。(c)的顶部面板显示横向空 间频率带宽扩展，而(c)的底部面板显示经度频率带宽的不均匀分布。k_||,ill和k_||,det分别表 示照明物镜和检测物镜的最大NA的横向投影。由图33可以得出，尽管在不同线粒体 内部的结构动力学可以通过二维的海森结构光照明显微镜***来解决，但是该方法提供 了仅从一个轴向平面提取的信息。与此相反，具有无标记成像能力的ODT子***提供 了细胞中总线粒体的3D图谱，覆盖的区域是约0.86μm轴向体积内可检测到的最大线 粒体区域的3倍。

本申请实施例的双模态显微成像***还可以观察到低折射率囊泡与线粒体以外的其他细胞器的相互作用过程。具体的，图26为低折射率囊泡在COS-7细胞内组织细 胞器间的相互作用。其中，(a)两低折射率囊泡融合过程；(b)内质网与低折射率囊泡相互 接触；(c)低折射率囊泡内质网、脂滴同时形成接触；(d)低折射率囊泡、线粒体和内质网 的同时接触；(e)同一低折射率囊泡在某一深度与核膜相互作用(上侧图像)，同时在另 一深度(下侧图像)中与脂滴及线粒体相互作用。比例尺：1μm。例如，两低折射率囊 泡的融合(图26(a))、与内质网的相互作用(图26(b))。事实上，内质网通常是低折 射率囊泡和其它细胞器间相互作用的桥梁。又例如，低折射率囊泡和脂滴分别从两侧接 触内质网，三者接触超过2min(图26(c))、内质网携带低折射率囊泡与线粒体接触超 过1min(图26(d))。在一些情况下，低折射率囊泡也可单独与其它多种细胞器相互作 用：如图26(e)中，低折射率囊泡在某一深度与核膜相互接触的同时，在另一个深度与 脂滴和线粒体相互作用。以上现象都说明了低折射率囊泡及内质网在细胞内的枢纽性作 用，而本申请实施例的双模态显微成像***为观察以上新现象提供了有力支持。

本申请实施例的双模态显微成像***还可以研究DBs在组织细胞器相互作用中的作用。具体的，图27为DBs转运途径的可视化及其在组织细胞器相互作用中的作用。 其中，(a)在00:49:30时间点显示的COS-7细胞的Z平面(左)，而相应的示意图显示 了靠近核膜和质膜的DBs的分布。(b)由于胞饮作用从细胞***形成的大DB的代表性 示例。(c)两个顺序DB-DB融合事件的代表性示例，箭头指示DBs。(d)左侧显示了在 COS-7细胞中DB转换为LE/LY的代表性示例，右侧显示了由高斯函数近似的不同时 间点的相应强度分布。(e)DB从靠近核膜的区域进行生物合成的代表性示例(顶部)， 然后在大约27分钟后将DB融合到质膜上(底部)。DB在不同时间点的剪辑显示在左 侧，而在不同时间点由高斯函数近似的相应强度曲线显示在右侧。(f-g)DB-线粒体(f， 箭头指示DB)或LD-线粒体(g，箭头指示LD)接触的代表性示例。(h)LD-线粒体接 触的持续时间(左)和DB-线粒体接触的持续时间(右)的分布。(i)稀疏(i)和(ii) 密集的细胞周围有DB核膜的细胞。(j)在稀疏(左)和密集(右)区域中，DB与核膜 之间的接触时间直方图。(k)由DB与管状ER和LD碰撞形成的多细胞器复合体的代表 性示例。(l)由DB、线粒体和管状ER形成的多细胞器复合体的代表性示例。(m)DB桥接不同细胞器的代表性示例，其中，同一DB在一个Z平面内与核膜相互作用，同时与 0.68μm外(下平面)的LD和线粒体相互作用。(n)一个DB的代表性示例的剪辑，该 DB依次与线粒体、LY和LD相互作用形成DB-线粒体-LD-LY四元复合物，然后依次 与LD、线粒体和LY解离。为了更好演示这一过程，光学衍射层析图像下面显示了示 意图。比例尺，(a)5μm和(b-g，i，k-n)1μm。

由图27可得，可以使用双模态显微成像***对或细胞进行长期成像以观察DBs 的特性。具体的，尽管大液泡可能起源于质膜附近的微胞饮作用，但大多数正常大小的 液泡出现在靠近核膜的区域(图27a和图27b)。在活细胞的生命周期内，这些液泡会 彼此融合以增大尺寸(图27c)。最终，当少数细胞慢慢转化微LEs/Lys时(26个中的 3个，来自2个细胞)(图27d)。大多数DBs(26个中的3个，来自2个细胞)塌陷 到质膜中。DB-线粒体接触的持续时间遵循指数分布，集合时间常数约为61s，作为对 照，LD-线粒体接触的平均时间明显较短(约37s)(图27f-图27h)。这些数据表明DB 与线粒体之间的强烈相互作用。除此之外，还能观察到DB常与核膜相互作用(图27i)。 图27j示出了具有稀疏(i)或密集(ii)分布结构的核周区的去核膜接触的时间间隔， 由于这两个区域的共同作用，可以得出持续时间最适合高斯分布，这表明DB-核膜接触 受多个相互作用过程控制。另外，由于在ii区的DBs与核膜之间的接触时间直方图中 在大约105s处出现了另一个峰，因此ii区的相互作用比i区的相互作用强得多。DBs 在多细胞器复合物的形成中经常起着核心作用。例如，将DB和LD连接到ER小管的 不同侧，在分离前超过2分钟形成多细胞器复合物(图27k)。包被在ER小管内的DB也可以附着在线粒体上，并在线粒体上停留至少一分钟(图27i)。DB本身也可以同时 连接多个细胞器。例如，在一个焦平面上，DB与核膜紧密相连，两个细胞器的形态随 时间而变化；在0.68μm外的另一个焦平面上，同一DB同时与两个不同侧面的一个 LD和一个线粒体相互作用(图27m)。在另一个示例中，一个DB依次与线粒体(7’50”)、 LY(9’45”)和LD(9’50”)接触，形成一个多细胞器复合体，在LD(10’30”)、线粒 体(11’00”)和LY(13’15”)分离前持续40s(图27n)。总的来说，这些数据表明DBs 可能是协调细胞器相互作用和组织多细胞器复合体的中心枢纽。

本申请实施例的双模态显微成像***还可以用于检测DBs和LC3-EGFP标记的 自噬体之间的共定位结果。如图31描述了COS-7细胞中LC3-EGFP标记结构与DBs的 相关性。其中，(a-b)一些LC3-EGFP标记的结构是与Lys(a)外膜或大空泡(b)共定位的荧 光环。(c-d)LC3-EGFP标记的大多数结构为荧光点，荧光点不与透明的光学衍射层析成 像结构重叠(c)，也不与LE/LY结构重叠(d)。图31显示的所有图像代表了三批类似实 验。比例尺，1μm。由图31可得，尽管偶尔会看到环状的LC3-EGFP与LE/LYs或大 型DBs的外膜共定位(图31c-图31d)，大多数LC3-EGFP形成的点与COS-7细胞中 的透明光学衍射层析成像结构不重叠(图31a)或不与LEs/LYs重叠(图31b)。

本申请实施例的双模态显微成像***可以用于检测由于外源蛋白的过度表达所引起的非特异性效应。例如，图32为光学衍射层析成像子***在过度表达不同蛋白标 记物的COS-7细胞中观察到的LE/LY结构大小的直方图。其中，所有分布都可以通过 高斯函数拟合。在LysoView 488标记的细胞中，LE/LY结构的平均大小为1.77±0.01 μm，小于过度表达LAMP1-EGFP的细胞(2.00±0.01μm)，大于过度表达Rab7-EGFP 的细胞(1.55±0.01μm)和Rab9a-EGFP(1.67±0.01μm)的细胞。

在本申请中，各图像的成像条件如下表所示。

综上所述，在光学衍射层析成像过程中，由于多幅原始图像的信息被合并起来 重建一帧图像，活体细胞中任何结构的运动都可能导致运动模糊和分辨率降低，这与 SIM重建类似。例如，LE/LY在大于***空间分辨率(约200nm)的距离上的移动可能 导致运动模糊和图像对比度降低，这要求一个重建帧所需的采集时间小于1.38s。更高 的空间分辨率或更长的曝光时间将导致LE/LY信号在更大的视场中分布，最终结构消 失在背景噪声中。同样，由于ER小管和连接处在活细胞中也经历快速运动，以前在活 细胞中从未用光学衍射层析成像显微镜观察到过，甚至认为这种观察是不可能的。因此， 空间分辨率必须与相应的时间分辨率相匹配，以实现在活细胞光学衍射层析成像中实现 的最大分辨率，这在以前的设计中被忽略。为了在光照有限的情况下保持对比度和分辨 率，快速的光学衍射层析成像显微镜必须具有足够高的灵敏度。除了光路的精心设计和 对准外，还需要具有大满阱电子的sCMOS相机和比数字微镜器件光学畸变小的机械振 镜扫描镜。从而利用VISA算法解决了长期活细胞光学衍射层析成像中高速机械扫描时 的光照角抖动和球的错位拼接问题，精确地确定了照明角度变化的扫描波矢，使拼接误 差最小。这些都有助于在短时间曝光期间产生足够的光子通量，以及本申请实施例的光 学衍射层析成像技术拥有优于现有技术的出色性能。

与荧光显微镜相比，快速的光学衍射层析成像显微镜具有几个独特的优势。光 学衍射层析成像显微镜可用于对易受光毒性(例如细胞有丝***)影响的细胞、结构和 过程成像(图15)。另一方面，SR荧光成像产生的光毒性在后期晚期阻滞COS-7细胞 (图34)，与荧光显微镜对秀丽隐杆线虫胚胎发育过程中H2EGFP体内成像的显著毒 性一致。此外，光学衍射层析成像显微镜可以很容易地检测到由于外源蛋白过度表达而 产生的非特异性效应。例如，与单独加载LysoView 488的细胞相比，在LAMP1-EGFP 过度表达细胞中，通过光学衍射层析成像显微镜观察到的LE/LY结构的大小显著增大， 而在Rab7EGFP过度表达细胞中，LE/LY结构的大小显著减小(图32)。最近，发现 无膜细胞器的出现以及活细胞内固态和液态之间的相分离是参与重要生物过程介导的 普遍机制。与荧光显微镜只突出特定的蛋白质或细胞器相比，光学衍射层析成像显微镜 能够很好地反映由于相分离过程引起的细胞团图像变化，因为在这种方法中，信号强度 与细胞内物质密度的空间分布相关。实际上，可以清楚地观察到活细胞有丝***期间染 色质的凝结和核膜的出现(图15)，类似于相分离过程。最后，光学衍射层析成像可以 提供细胞器相互作用组的综合图，因为光学衍射层析成像可以在3D中检测到的细胞器 总数(例如线粒体，LD和LE/LY)超过了仅用一个Z平面2D显微镜可以检测到的总 数(图33)。此外，同一个细胞也可以无限期成像，这将提供关于长期细胞过程的连续 信息，使罕见结构和中间产物可视化。

另一方面，荧光海森SIM也是必不可少的。通过更高的分辨率和对比度，海森 SIM提供了更精细的细节，包括线粒体内部及其在活细胞中的动态。在多色荧光SR- FACT成像中进一步增强超分辨成像的能力以观察在光学衍射层析成像显微镜下不可 见的细胞器(如高尔基体和过氧化物酶体)。此外，通过特殊标记，荧光超分辨率成像 还可在结构和动态变化的时空时刻突出显示关键蛋白质/脂质/分子。最后，通过荧光标 记探针成像，SR-FACT能够将诸如Ca²⁺、电压和cAMP等功能动力学纳入细胞景观。 然而，在光学衍射层析成像显微镜上添加低光毒性SR荧光显微镜并非易事。体积Sr荧 光SIM需要强烈的光照激发，导致广泛的光漂白和光毒性，并且该方法的时间分辨率 受到轴向焦平面机械变化速度的限制。这两个缺点都与光学衍射层析成像不兼容，使得 活体细胞相关SR成像在三维中不可能实现。因此，使用海森2D-SIM来帮助识别和解 释光学衍射层析成像模块所看到的结构，它被证明比传统的2D-SIM减少了10倍的光 子剂量。

光学衍射层析成像和海森SIM的结合通常会导致人们对新颖结构的观察，这从 DB的发现中可以得到最好的证明。几项证据表明，DBs可能代表以前未被重视的细胞 器。首先，尽管DBs与常规的内体部分共享了一些内体标记物，但它们的囊泡腔是pH 中性的，并且大部分富含液体。这两种特性都不同于内体。接下来，长达一小时的高分 辨率光学衍射层析成像揭示了DBs在细胞核周围富含细胞器和生物材料的区域的生物 发生，然后最终塌陷到质膜中，这也有别于主要采取相反的内吞转运路线的内体室。最 后，发现了包括AQP-2在内的水转运蛋白主要存在于内质体中，在DBs中几乎不存在， 这再次证明了它们的独特性。如果没有SR-FACT，即使将SR荧光成像与电子显微镜结 合在一起，也很难获得跨越不同时间尺度的高分辨率、模块化的完整图像数据集。

通过与包括线粒体和核膜在内的其他细胞器密切相互作用(图27(f)-(j))，DBs可能是细胞器相互作用组的重要组织者。特别地，展示了不同的细胞器可以依次与一个 DB相互作用形成一个多细胞器复合体，其中DB作为基石(图27(k)-(n))。由于细胞 器接触通常在界面处配备有特定的脂质和蛋白质束缚，根据本申请实施例的数据表明， 不同域的脂质和蛋白质可能存在相同的DB中。因此，DBs可能主持不同细胞器之间的 材料和信息交换，其中一些最终可能会传输到质膜。有趣的是，不同类型的老化干细胞， 已知是由核膜变化驱动的，在hMSCs中表现出与表型相关的DBs数量的增加。这些数 据表明，核信息可直接或通过DE-核膜接触间接传递给DB。在异常条件下，例如营养 缺乏，化学暴露，细菌毒素处理或PI5激酶抑制等异常情况下，哺乳动物细胞中偶尔会 观察到较大的液泡(直径为2-3μm)。这些液泡可能代表正常COS-7细胞中少数DBs， 在病理性应激条件下大小会增加，这也与正常DB转运在维持细胞功能中的重要性相一 致。

总之，SR-FACT代表了一个工具，它既提供了活体细胞中三维细胞器相互作用 的整体视图，也强调了所涉及的特定细胞器/分子/信号通路。由于具有双模相关SR成 像能力，SR-FACT可以揭示单独使用其中一种成像方式无法观察到的现象，并且常常 在研究良好的过程中导致意外的观察。它具有最小的光毒性和对标记方法没有特别的要 求，它也代表了新一代的用户友好的超分辨显微镜，它可以产生无数的结构和动态信息， 并有助于扩大对活细胞的细胞生物学过程的理解。

在本申请的一些实施例所涉及的实验中，细胞可以通过下述方式培养和制备。COS-7细胞可以是在温度为37℃、二氧化碳浓度为5％的培养箱里加入了10％胎牛血清(FBS)(GIBCO)和1％100mM丙酮酸钠溶液(Sigma-Aldrich,S8636)，直到融合度 达到约75％的高葡萄糖DMEM(GIBCO,21063029)中培养。HUVECs可以是在温度为 37℃二氧化碳浓度为5％的培养箱里加入纤维成长细胞因子、肝素和20％FBS，直到融 合度达到约75％的M199培养基(Thermo Fisher Scientific,31100035)中或是在温度为 37℃、二氧化碳浓度为5％的培养箱里含有内皮细胞生长补充剂(ECGS)和10％FBS (GIBCO)，直到融合度达到约75％的ECM培养基中被分离和培养。INS-1细胞可以是 在温度为37℃、二氧化碳浓度为5％的培养箱里加入了10％EBS(GIBCO)、1％100mM 丙酮酸钠溶液、0.1％55mM 2-巯基乙醇(GIBCO,21985023)，直到融合度达到75％的 RPMI1640培养基中培养。人成纤维细胞可以是在温度为37℃、二氧化碳浓度为5％的 培养箱里加入了20％FBS(GIBCO)，直到融合度达到约75％的高葡萄糖DMEM(GIBCO, 21063029)中培养。所有的hMSCs可以是在含有90％α-MEM+谷氨酰胺(Gibco)、10％FBS(细胞，A77E01F)、1％青霉素/链霉素(Gibco)和1ng/mL FGF2(JointProtein Central)的hMSCs培养基中培养。从P10大鼠中分离出背根神经节(DRG)神经元。分离的DRGs可以从过量的根中被去除，并且在37℃下用分散酶Ⅱ(Roche，10888700) /Ⅱ型胶原酶(Worthington Biochemical，LS004176))中消化30分钟，然后在室温下 再离心35分钟。DRG神经元细胞体被接种到30mg/ml聚L-鸟氨酸-(Sigma，RNBG3346) 和5μg/ml胺基-(Roche，11243217001)涂层盖玻片上，并且在温度为37℃、二氧化碳 浓度为5％的培养箱中添加2％B-27补充剂(GIBCO，A3582801)、2mM谷氨酰胺MAX (GIBCO，35050061)和1％青霉素/链霉素(GIBCO，15140122)的神经基底A(GIBCO, 21103049)中培养。体外培养48h后，DRG神经元已准备好进行成像。对于SR-FACT 成像实验，将细胞接种到盖玻片(Thorlabs，CG15XH)上。

在一些实施例中，为了标记线粒体，COS-7细胞可以在含有Ca²⁺和Mg²⁺但不含 酚红(Thermo Fisher Scientific，14025076)的HBSS中用250nM的MitoTracker^TMGreen FM(Thermo Fisher Scientific，M7514)孵育15分钟，然后清洗和成像。为了标记LDs， COS7细胞可以用1×LipidSpot^TM488(Biotium，70065-T)全细胞培养基中在37℃下避 光孵育30min，然后清洗和成像。为了标记LEs/Lys，COS7细胞可以用1× LysoView^TM488(Biotium，70067-T)全细胞培养基中在37℃下避光孵育15-30min，不 用清洗和成像。

在一些实施例中，可以使用LifeAct-EGFP/KDEL-EGFP/LaminA- EGFP/H2BEGFP/LAMP1-EGFP/β1,4-半乳糖基转移酶1(B4GALT1)-EGFP/Pex11a- EGFP/LC3-EGFP/Rab7-EGFP/Rab5a-EGFP/Rab9a-EGFP/FYVE-EGFP/EEA1- EGFP/AQP2-EGFP转染COS-7细胞。根据制造商的说明，使用Lipofectamine^TM2000 (Thermo Fisher Scientific，11668019)进行转染。转染后24-36小时，在台式培养箱中 对细胞成像。

在一些实施例中，在盖玻片准备过程中，为了清洁用于活细胞成像的盖玻片， 可以将盖玻片浸入10％粉状精密清洁剂(Alconox，1104-1)中，并对盖玻片超声处理 20分钟。在去离子水中漂洗后，盖玻片在丙酮中超声15分钟，然后在1M NaOH或 KOH中再次超声20分钟。最后，可以用去离子水冲洗盖玻片，然后进行3次超声波处 理，每次至少5分钟。清洗过的盖玻片在4℃下存放在95-100％乙醇中。

在一些实施例中，在成像数据分析和统计过程中，ImageJ(Fiji)可以用于分析 图像。为了分析DBs(图24)，可以将阈值应用于各个光学衍射层析图像堆栈以进行分 割，并计算出具有清晰可见的核细胞膜结构的单个细胞Z平面中DB的密度。为了分析 其他细胞器(图34)，可以手工标注光学衍射层析成像数据集和分段的LDs、LEs/LYs 和线粒体。可以计算LD、LEs、LYs和线粒体在轴向体积为0.86μm(10个Z平面的轴 向体积，其中包含最大数量的细胞器的层作为中心)中的面积，以匹配2D SIM的一个 Z平面，并计算它们相对于整个细胞内LDs、LYs和线粒体的总面积的百分比。可以使 用ImageJ插件TrackMate手动跟踪LYs(图28)和DBs(图27)的移动。MATLAB (Mathworks)，OriginPro(OriginLab)，Igor Pro(Wavemetrics)和Illustrator(Adobe) 可以被用来分析数据并准备最终图像。平均结果可以显示为所示实验次数的平均值±标 准误差(mean±SEM)。可以用Mann-Whitney秩和检验来评估统计显著性(*，**，*** 分别表示p<0.05,p<0.01,p<0.001)。在一些实施例中，上述数据(或图像)的分析、统 计方法可以由其他相关指令或软件模块来实现。在一些实施例中，上述数据(或图像) 的分析、统计方法可以通过调用相关计算机指令来自动实现，所述计算机指令可以存储 在计算机可读存储介质中，当计算机读取存储介质中的计算机指令，可以使得所述双模 态显微成像***100自动实现上述方法。

本申请实施例可能带来的有益效果包括但不限于：(1)双模态显微成像***可 以以至少0.3HZ的速度对80μm×80μm×40μm的视场范围同时进行无标记光学衍射层 析三维成像和超分辨荧光二维成像；(2)双模态显微成像***充分克服了光学衍射层 析成像和结构光照明荧光成像短板，可对活细胞进行全面、快速、长时程的细胞代谢研 究，并且可以对多种细胞器进行观察鉴别；(3)使用双模态显微***还可以观察到低 折射率囊泡这种新型内体的存在，表征其生化功能及研究其与细胞衰老的关系；(4) 通过带复解卷积的衍射层析重构算法，在实际成像中能有效解决成像***波动及偶发异 常引起的重构中断，有较高的容错性和鲁棒性，保证了生物细胞成像中长时间、高通量 的衍射层析数据的及时处理；(5)基于两种模态的融合，可实现对样品局部特异性和 全局形貌的并行成像表征。需要说明的是，不同实施例可能产生的有益效果不同，在不 同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他 任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露 仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人 员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建 议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一 实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或 特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例” 或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的 一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性 的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合， 或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、 可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。 以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或 “***”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算 机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式 等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算 机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播 或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行 传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语 言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上 运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务 器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如 局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云 计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字 母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露 中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅 起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖 所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组 件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服 务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发 明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、 附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利 要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实 施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。 除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。 相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值 根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效 数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值 域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、 书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内 容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件 (当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描 述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描 述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。 其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替 代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介 绍和描述的实施例。

Claims (23)

1.一种双模态显微成像***，其特征在于，包括光学衍射层析成像子***和结构光照明荧光成像子***；

所述光学衍射层析成像子***用于基于第一激光进行无标记光学衍射层析成像，以获取样本的光学衍射层析图像；

所述结构光照明荧光成像子***用于基于第二激光进行荧光成像，以获取所述样本的结构光照明荧光图像；其中，

所述双模态显微成像***包括相互独立的第一光源和第二光源，所述第一光源用于发射所述第一激光，所述第二光源用于发射所述第二激光。

2.如权利要求1所述的双模态显微成像***，其特征在于，所述光学衍射层析成像子***包括所述第一光源、第一声光调制器、第一半波片、第一偏振分光棱镜、振镜、分光镜和第一相机；

所述第一激光至少经过所述第一声光调制器和所述第一半波片之后，被所述第一偏振分光棱镜分为第一分光和第二分光；

所述第一分光至少经过所述振镜作用后从多个角度照射所述样本以获得带有样本信息的样本光；

所述样本光和所述第二分光至少经过所述分光镜合束后被所述第一相机接收。

3.如权利要求2所述的双模态显微成像***，其特征在于，所述结构光照明荧光成像子***包括所述第二光源、第二声光调制器、第二偏振分光棱镜、第二半波片、空间光调制器、空间滤波器、偏正旋转器和第二相机；

所述第二激光至少经过所述第二声光调制器、所述第二偏振分光棱镜、所述第二半波片和所述空间光调制器后形成结构光；

所述结构光至少经过所述空间滤波器和所述偏正旋转器后形成激发光；

所述激发光作用于所述样本并激发所述样本产生荧光；

所述第二相机用于接收所述荧光。

4.如权利要求3所述的双模态显微成像***，其特征在于，所述***还包括第一二向色镜，所述第一二向色镜用于分离所述样本光和所述荧光。

5.如权利要求4所述的双模态显微成像***，其特征在于，所述***还包括第二二向色镜，所述第二二向色镜用于分离所述样本光和所述激发光。

6.如权利要求5所述的双模态显微成像***，其特征在于，所述***还包括物镜，其中，

所述物镜、所述第一二向色镜、所述第二二向色镜被所述光学衍射层析成像子***和所述结构光照明荧光成像子***共用；

所述第一二向色镜和所述第二二向色镜进一步用于在所述光学衍射层析成像子***中引导所述样本光至所述分光镜，以及在所述结构光照明荧光成像子***中引导所述激发光至所述物镜以作用于所述样本；

所述第一二向色镜进一步用于在所述结构光照明荧光成像子***中引导所述荧光至所述第二相机。

7.如权利要求6所述的双模态显微成像***，其特征在于，所述***还包括：

至少一个透镜用于准直所述第一激光、所述第一分光、所述第二分光、所述样本光、所述第二激光、所述结构光、所述激发光和/或所述荧光；

至少一个光纤用于传输所述第一分光、所述第二分光和/或所述第二激光。

8.如权利要求1-7中任一项所述的双模态显微成像***，其特征在于，所述光学衍射层析图像为三维图像，所述结构光照明荧光图像为二维图像。

9.如权利要求1-7中任一项所述的双模态显微成像***，其特征在于，

所述结构光照明荧光成像子***还用于基于第三激光获取所述样本的另一结构光照明荧光图像；其中，

所述第三激光与所述第二激光的波长不同。

10.如权利要求1-7中任一项所述的双模态显微成像***，其特征在于，所述第一激光与所述第二激光的波长不同。

11.如权利要求1-7中任一项所述的双模态显微成像***，其特征在于，

所述***用于以不低于0.3Hz的速度对不小于80μm×80μm×40μm的视场范围进行所述荧光成像以及所述无标记光学衍射层析成像；

所述光学衍射层析图像的横向分辨率不低于200nm，纵向分辨率不低于560nm；

所述结构光照明荧光图像的横向分辨率不低于100nm。

12.如权利要求1-7中任一项所述的双模态显微成像***，其特征在于，所述***还包括处理器，所述处理器用于：

基于所述光学衍射层析图像和所述结构光照明荧光图像，确定所述样本在同一定位位置下的双模态融合图像。

13.如权利要求12所述的双模态显微成像***，其特征在于，

所述***利用所述荧光成像辅助所述无标记光学衍射层析成像；

所述双模态融合图像同时具有所述样本的形态学信息和类别标记信息。

14.如权利要求1-7所述的双模态显微成像***，其特征在于，所述***还包括控制子***，所述控制子***用于：

控制所述光学衍射层析成像子***和所述结构光照明荧光成像子***的工作时序，以实现所述无标记光学衍射层析成像和所述荧光成像的同时或交替进行。

15.一种双模态显微成像方法，其特征在于，包括：

利用相互独立的光源分别产生第一激光和第二激光；

利用光学衍射层析成像子***基于所述第一激光获取样本的光学衍射层析图像；

利用结构光照明荧光成像子***基于所述第二激光获取所述样本的结构光照明荧光图像；

基于所述光学衍射层析图像和所述结构光照明荧光图像，生成所述样本的双模态融合图像。

16.如权利要求15所述的双模态显微成像方法，其特征在于，所述利用光学衍射层析成像子***基于所述第一激光获取样本的光学衍射层析图像包括：

利用第一激光作用于所述样本，以获取所述样本的第一成像数据集；

至少利用复解卷积衍射层析三维重构算法处理所述第一成像数据集，以生成所述光学衍射层析图像。

17.如权利要求15所述的双模态显微成像方法，其特征在于，所述利用光学衍射层析成像子***基于所述第一激光获取样本的光学衍射层析图像包括：

利用第一激光作用于所述样本，以获取所述样本的第一成像数据集；

利用衍射层析重构算法处理所述第一成像数据集，以生成所述光学衍射层析图像；

所述衍射层析重构算法包括：

全息处理步骤用于基于所述第一成像数据集提取全息图，所述全息图包括振幅图像和相位图像；

波矢计算步骤用于基于所述相位图像确定目标扫描波矢，并生成解缠绕相位图像；

Rytov近似步骤用于基于所述振幅图像和所述解缠绕相位图像，确定Rytov相位场；

频谱拼接步骤用于基于所述Rytov相位场在频域进行拼接；和

逆滤波步骤用于对频谱拼接结果进行滤波，以得到所述光学衍射层析图像。

18.如权利要求17所述的双模态显微成像方法，其特征在于，所述波矢计算步骤包括：

利用向量迭代搜索算法确定所述目标扫描波矢。

19.如权利要求18所述的双模态显微成像方法，其特征在于，所述利用向量迭代搜索算法确定所述目标扫描波矢包括：

将全息处理步骤提取的所述相位图像与数字相移项相乘，以获得频移相位图像，以及初步估计的扫描波矢；

使用基于最小二乘法的相位解缠绕算法对所述频移相位图像进行解缠绕，以获得所述解缠绕相位图像；

对所述解缠绕相位图像在正交方向上的斜率进行线性拟合，并基于拟合结果和所述初步估计的扫描波矢，获得更新后的扫描波矢；

基于所述更新后的扫描波矢，进行重复迭代，直至所述斜率低于预设阈值，以获得目标扫描波矢。

20.如权利要求17所述的双模态显微成像方法，其特征在于，所述全息图包括样品全息图和背景全息图，所述衍射层析重构算法还包括序列检查步骤，所述序列检查步骤包括：

对同一时间点的一组样品全息图的扫描波矢与背景全息图的扫描波矢进行比较，以获得该组样品全息图的扫描误差；

当所述扫描误差大于设定阈值时，标记该组样品全息图的序列异常；

基于所述序列异常，控制所述第一成像数据集的分组以及所述频谱拼接步骤。

21.如权利要求17所述的双模态显微成像方法，其特征在于，所述频谱拼接步骤用于：将所述Rytov相位场的二维频谱和以所述目标扫描波矢为参数的复传输频谱进行拼接，获得三维散射频谱和三维复传输频谱；

所述逆滤波步骤用于：基于维纳逆滤波原理将所述三维散射频谱和所述三维复传输频谱相除，以得到所述光学衍射层析图像。

22.一种双模态显微成像装置，包括处理器，其特征在于，所述处理器用于执行权利要求15～21中任一项所述的双模态显微成像方法。

23.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求15～21中任一项所述的双模态显微成像方法。

Images