CN108765283A - 用于超分辨定位显微成像混合密度数据处理的装置及方法 - Google Patents

Abstract

本发明公开了用于超分辨定位显微成像混合密度数据处理的装置和方法，该装置包括：数据采集卡、PC、FPGA板卡及GPU板卡。数据集卡用于采集相机探测到的原始图像数据，数据采集卡直接通过主板的PCIE插槽与PC连接；PC通过控制软件提取数据采集卡中原始图像数据，并将原始图像数据传输至FPGA板卡，FPGA板卡对原始图像数据中稀疏和高密度荧光分子进行判断及分类处理，并将稀疏和高密度分子子区域传输至PC；PC中的GPU板卡对稀疏和高密度分子分别用不同的定位算法进行处理。生物荧光样品中稀疏分子区域量大，定位速度快，但图像数量大。而高密度分子区域量相对较小，定位速度较慢。重建过程中，实现稀疏/高密度混合分子超分辨图像重建的实时处理和可视化。

Description

用于超分辨定位显微成像混合密度数据处理的装置及方法

技术领域

本发明属于超分辨定位显微成像技术领域，更具体地，涉及用于超分辨定位显微成像混合密度数据处理的装置及方法。

背景技术

超分辨定位成像技术已可实现达到20nm的空间分辨率，可以从分子水平研究细胞内复杂的工作机制，已成为生命科学研究领域不可或缺的研究工具。快速发展的弱光探测器(sCMOS)的数据输出速度已达近1GB/s，目前已有多种稀疏分子定位算法，速度相对较快，精度各有差异。而高密度分子定位算法，由于其复杂的分子模型，计算速度缓慢，成为业界比较关注的问题。对于普通生物样品而言，超分辨定位成像的原始图像中，几乎普遍存在大部分信号是稀疏分子发光，而小部分信号是高密度分子发光的情况。这样，若只使用单纯的稀疏分子定位算法，不可避免地需要丢掉高密度分子发光部分的图像，使得结果存在部分图像缺失。然而，若单纯使用高密度分子定位算法来做数据处理的话，会严重降低了数据处理的速度，无法实现超分辨图像的实时数据处理和可视化。需要发展混合密度分子定位算法。

发明内容

针对现有技术的缺陷，本发明提供用于超分辨定位显微成像混合密度数据处理的装置及方法。旨在解决现有数据处理方法不能兼顾生物样品中普遍存在的分子密度分布不均与分子定位算法单一的问题。

作为本发明的一方面，本发明提供一种用于超分辨定位显微成像混合密度数据处理的装置，包括：

数据采集卡、PC、FPGA板卡及GPU板卡；数据采集卡用于采集相机探测到的原始图像数据，数据采集卡直接通过主板的PCIE插槽与PC连接；PC通过控制软件提取数据采集卡中原始图像数据，并将原始图像数据传输至FPGA板卡，FPGA板卡对原始图像数据中稀疏分子和高密度荧光分子进行判断及分类处理，并将稀疏和高密度分子子区域传输至PC，PC中的GPU板卡用不同的定位算法对稀疏和高密度分子子区域进行处理。

优选地，PC中存储区域和FPGA板卡之间进行直接通信。

优选地，PC中设有两个存储区域，第一个存储区域用于存储稀疏分子子区域，第二存储区域用于高密度分子子区域，GPU板卡分别提取第一个存储区域和第二个存储区域中数据并对进行处理。

优选地，PC中包含多个GPU板卡，一部分GPU板卡用于对稀疏分子子区域进行定位处理，剩余GPU板卡用于对高密度分子子区域进行定位处理。

优选地，PC和FPGA板卡通过PCIE接口连接。

作为本发明的另一方面，本发明提供一种基于上述装置的方法，FPGA板卡根据如下步骤提取原始图像数据中稀疏荧光分子和高密度荧光分子：

步骤1：对原始图像数据进行降噪和去背景处理；

步骤2：对处理后的原始图像数据进行荧光点判断获得荧光图；

步骤3：对荧光图用稀疏荧光点判断方法判断，若待判断图像区域满足稀疏条件，进行稀疏子区域提取，否则，进行高密度子区域提取。

优选地，稀疏子区域所提取子区域小于高密度子区域所提取子区域。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、FPGA通过接收电脑端PCIE接口中由基于数据采集卡SDK开发的软件传来的原始荧光图，进行超分辨定位成像的降噪、去背景、荧光点判断、稀疏/高密度分子筛选及子区域提取等工作。将稀疏分子子区域和高密度分子子区域分开存取，GPU板卡读不同的存储单元，并根据不同存储单元的头文件信号知晓是稀疏还是高密度分子子区域，并由GPU板卡对稀疏/高密度混合定位，并采用多核GPU板卡流水线操作加速定位成像，从而采用不同的分子定位算法。

由于稀疏分子区域分布量相对较大，即使是定位速度较快，但是分子数量也比较多，依然需要较多时间。而高密度分子定位，如果分布量不是非常大，采用PALMER或其他高密度分子定位算法，也可以实现实时图像处理。因此，可以利用稀疏/高密度混合分子定位起来实现超分辨图像的实时处理和可视化。

2、利用PCIE接口将原始图像发送给FPGA

本发明使得超分辨定位成像的数据处理不再受限于相机接口，无论相机是以USB、Cameralink或其他数据传入接口，对整个***而言，不需要调换FPGA接口方式，就可以通过基于数据采集卡SDK开发的软件读取采集卡的原始图像数据，并通过标准PCIE接口的发端给到FPGA，做数据预处理工作。解决了相机接口不统一导致的不同***配备不同的技术问题。

3、FPGA板卡与GPU板卡之间的DMA直接通信

本发明中FPGA板卡端与PC的GPU板卡通过PCIE接口直接DMA通信，此处CPU不参与指令判断及通信，节省时间。FPGA板卡送出的稀疏/高密度分子子区域分别通过PCIE接口到PC对应的存储单元。

说明书附图

图1为本发明提供的用于超分辨定位显微成像混合密度数据处理的装置的结构示意图；

图2为本发明提供的FPGA的示意图；

图3为本发明提供的FPGA板卡、DMA和FPGA板卡之间直接通信的读写示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种用于超分辨定位显微成像混合密度数据处理的装置及方法。本装置旨在解决由于生物样品制备过程中，荧光团分布不均时，采用单一算法造成的荧光点判断不准或者计算速度严重滞后的情况。且整套数据处理对相机接口不依赖，可以是Cameralink、USB或其他任意常用接口类型。

如图1所示，本发明提供的装置包括数据采集卡、PC、FPGA板卡及GPU板卡；PC包括内存、存储器、主板以及CPU。FPGA板卡包括FPGA和FPGA周围电路，FPGA板卡与GPU板卡均以PCIE接口插到计算机主板上，由CPU给出指令控制总线使用情况。FPGA板卡向PC提出需要使用总线，CPU响应，给出空闲总线，供FPGA板卡与GPU板卡直接通信，即DMA(Direct MemoryAccess，直接内存存取)，效率高，速度快。相机通过数据采集卡与PC相连，数据采集卡直接通过主板的PCIE插槽与PC连接，PC通过基于数据采集卡SDK开发的软件读取数据采集卡里面的原始图像数据信息。

原始图像数据通过PCIE接口传输到FPGA，在FPGA上进行超分辨定位成像算法的数据预处理工作，包括对原始图像数据进行降噪、去背景、稀疏和高密度荧光点判断、稀疏和高密度荧光分子子区域提取。

将稀疏和高密度分子子区域数据通过PCIE接口传输到PC，并将稀疏和高密度分子子区域分别存到PC存储器中第一存储区域和第二存储区域。GPU板卡读取不同存储区域的数据，并采用不同的后续处理方法。稀疏分子子区域数据通过GPU板卡加速数据处理过程，即使是采用目前公认精度较高的极大似然估计算法，可以做到实时成像。而高密度分子子区域数据可采用高密度定位算法，例如PALMER算法，做后续的荧光点定位。虽然高密度定位算法计算模型复杂，计算速度较慢，但针对生物样品中，大部分数据为稀疏荧光点，少数为高密度荧光点的情况，存在一个平衡，可以使得整个超分辨定位成像，不管是稀疏还是高密度分子，均可在差不多的时间内完成全部超分辨图像处理过程。

如图2所示，FPGA按照如下步骤工作：

步骤1：对原始图像数据进行降噪和去背景处理；

步骤2：提取处理后的原始图像数据中稀疏分子子区域和高密度分子子区域。步骤2具体包括如下步骤：

步骤21：采用荧光点判断方法对原始图像数据进行判断，若待判断数据区域存在荧光点，则将该待判断数据区域提取出来，否则，弃掉该判断数据区域；进而获得荧光图。

步骤22：用稀疏荧光点判断方法去对整幅荧光图判断，本实施例中采用如下方式判断稀疏荧光点，也可以根据用户需求采用其他的标准来判断稀疏荧光点和高密度荧光点：

提取荧光图中当前处理像素位置对应的3x3子区域作为判断的荧光信号，提取背景波动强度图像当前像素值作为阈值，然后进行如下的判断：

(1)3x3子区域中，最中心的像素为最大值。

(2)3x3子区域中，最中心的像素大于阈值的2倍。

(3)3x3子区域中，最中心的像素及其8领域像素和大于阈值的11倍；最中心的像素及其4领域像素和大于阈值的9倍。

当待判断区域满足上述3个稀疏条件则为稀疏荧光点，进行稀疏子区域提取，若不满足上述3个稀疏条件，则预判为高密度荧光点，进行高密度子区域提取，稀疏子区域和高密度子区域提取所提取子区域大小不同，不同大小的子区域，可以提高数据提取精度。

步骤23：子区域提取

以稀疏子区域提取方法作为判断标准，判断到荧光点是稀疏的，就进入稀疏子区域存储单元。否则判定为高密度，送入到高密度子区域存储单元。

如图3所示，FPGA板卡、DMA和FPGA板卡之间直接通信的读写示意图。直接通信包括如下步骤：

步骤1：DMA中加载驱动，包括创建PC设备和FPGA设备，初始化并记录硬件资源。PC检测是否需要更新FPGA板卡中固件，若是，通过DMA对更新FPGA板卡固件。

步骤2：PC对图像参数进行设置，DMA设置相关参数寄存器，参数包括像素大小、分辨率等参数。

步骤3：PC设置读文件中断或者由CPU程序查询是否有读文件指令，当有读文件中断或者读文件指令后，启动读文件操作，启动DMA。启动DMA包括设置DMA地址和大小。

步骤4：PC开始读文件，FPGA板卡与PC内存之间进行图像处理数据传输。

步骤5：当FPGA板卡本次数据传输结束后，触发中断，并通知DMA。DMA在接收到消息后，DMA通知PC启动下一次读文件请求。

步骤6：重复上述步骤3至步骤5，实现PC内存和FPGA之间多次读文件操作。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于超分辨定位显微成像混合密度数据处理的装置，其特征在于，包括：数据采集卡、PC、FPGA板卡及GPU板卡，数据采集卡用于采集相机探测到的原始图像数据，数据采集卡直接通过主板的PCIE插槽与PC连接；PC通过控制软件提取数据采集卡中原始图像数据，并将原始图像数据传输至FPGA板卡；FPGA板卡对原始图像数据中稀疏分子和高密度荧光分子进行判断及分类处理，并将稀疏和高密度分子子区域传输至PC，PC中的GPU板卡用不同的定位算法对稀疏和高密度分子子区域进行处理。

2.如权利要求1所述的装置，其特征在于，PC中存储区域和FPGA板卡之间进行直接通信。

3.如权利要求1或2所述的装置，其特征在于，PC中设有两个存储区域，第一个存储区域用于存储稀疏子区域，第二存储区域用于高密度分子子区域，GPU板卡分别提取第一个存储区域和第二个存储区域中数据并对进行处理。

4.如权利要求1至3任一项所述的装置，其特征在于，PC中包含多个GPU板卡，一部分GPU板卡用于对稀疏子区域采用稀疏单分子定位算法进行荧光分子定位处理，剩余GPU板卡用于对高密度子区域采用高密度定位算法进行荧光分子定位处理。

5.如权利要求1至4任一项所述的装置，其特征在于，PC和FPGA板卡通过PCIE接口连接。

6.一种基于权利要求1所述的装置的数据处理方法，其特征在于，FPGA板卡根据如下步骤提取原始图像数据中稀疏荧光分子和高密度荧光分子：

步骤1：对原始图像数据进行降噪和去背景处理；

步骤2：对处理后的原始图像数据进行荧光点判断获得荧光图；

步骤3：对荧光图用稀疏荧光点判断方法判断，若待判断图像区域满足稀疏条件，进行稀疏子区域提取，否则，进行高密度子区域提取。

7.如权利要求6所述的数据处理方法，其特征在于，稀疏子区域所提取子区域小于高密度子区域所提取子区域。