CN108765283B - 用于超分辨定位显微成像混合密度数据处理的装置及方法 - Google Patents
用于超分辨定位显微成像混合密度数据处理的装置及方法 Download PDFInfo
- Publication number
- CN108765283B CN108765283B CN201810410930.2A CN201810410930A CN108765283B CN 108765283 B CN108765283 B CN 108765283B CN 201810410930 A CN201810410930 A CN 201810410930A CN 108765283 B CN108765283 B CN 108765283B
- Authority
- CN
- China
- Prior art keywords
- sparse
- density
- board card
- original image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003384 imaging method Methods 0.000 title claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000002073 fluorescence micrograph Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 238000000386 microscopy Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 abstract description 5
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 239000012472 biological sample Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004020 luminiscence type Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了用于超分辨定位显微成像混合密度数据处理的装置和方法,该装置包括:数据采集卡、PC、FPGA板卡及GPU板卡。数据集卡用于采集相机探测到的原始图像数据,数据采集卡直接通过主板的PCIE插槽与PC连接;PC通过控制软件提取数据采集卡中原始图像数据,并将原始图像数据传输至FPGA板卡,FPGA板卡对原始图像数据中稀疏和高密度荧光分子进行判断及分类处理,并将稀疏和高密度分子子区域传输至PC;PC中的GPU板卡对稀疏和高密度分子分别用不同的定位算法进行处理。生物荧光样品中稀疏分子区域量大,定位速度快,但图像数量大。而高密度分子区域量相对较小,定位速度较慢。重建过程中,实现稀疏/高密度混合分子超分辨图像重建的实时处理和可视化。
Description
技术领域
本发明属于超分辨定位显微成像技术领域,更具体地,涉及用于超分辨定位显微成像混合密度数据处理的装置及方法。
背景技术
超分辨定位成像技术已可实现达到20nm的空间分辨率,可以从分子水平研究细胞内复杂的工作机制,已成为生命科学研究领域不可或缺的研究工具。快速发展的弱光探测器(sCMOS)的数据输出速度已达近1GB/s,目前已有多种稀疏分子定位算法,速度相对较快,精度各有差异。而高密度分子定位算法,由于其复杂的分子模型,计算速度缓慢,成为业界比较关注的问题。对于普通生物样品而言,超分辨定位成像的原始图像中,几乎普遍存在大部分信号是稀疏分子发光,而小部分信号是高密度分子发光的情况。这样,若只使用单纯的稀疏分子定位算法,不可避免地需要丢掉高密度分子发光部分的图像,使得结果存在部分图像缺失。然而,若单纯使用高密度分子定位算法来做数据处理的话,会严重降低了数据处理的速度,无法实现超分辨图像的实时数据处理和可视化。需要发展混合密度分子定位算法。
发明内容
针对现有技术的缺陷,本发明提供用于超分辨定位显微成像混合密度数据处理的装置及方法。旨在解决现有数据处理方法不能兼顾生物样品中普遍存在的分子密度分布不均与分子定位算法单一的问题。
作为本发明的一方面,本发明提供一种用于超分辨定位显微成像混合密度数据处理的装置,包括:
数据采集卡、PC、FPGA板卡及GPU板卡;数据采集卡用于采集相机探测到的原始图像数据,数据采集卡直接通过主板的PCIE插槽与PC连接;PC通过控制软件提取数据采集卡中原始图像数据,并将原始图像数据传输至FPGA板卡,FPGA板卡对原始图像数据中稀疏分子和高密度荧光分子进行判断及分类处理,并将稀疏和高密度分子子区域传输至PC,PC中的GPU板卡用不同的定位算法对稀疏和高密度分子子区域进行处理。
优选地,PC中存储区域和FPGA板卡之间进行直接通信。
优选地,PC中设有两个存储区域,第一个存储区域用于存储稀疏分子子区域,第二存储区域用于高密度分子子区域,GPU板卡分别提取第一个存储区域和第二个存储区域中数据并对进行处理。
优选地,PC中包含多个GPU板卡,一部分GPU板卡用于对稀疏分子子区域进行定位处理,剩余GPU板卡用于对高密度分子子区域进行定位处理。
优选地,PC和FPGA板卡通过PCIE接口连接。
作为本发明的另一方面,本发明提供一种基于上述装置的方法,FPGA板卡根据如下步骤提取原始图像数据中稀疏荧光分子和高密度荧光分子:
步骤1:对原始图像数据进行降噪和去背景处理;
步骤2:对处理后的原始图像数据进行荧光点判断获得荧光图;
步骤3:对荧光图用稀疏荧光点判断方法判断,若待判断图像区域满足稀疏条件,进行稀疏子区域提取,否则,进行高密度子区域提取。
优选地,稀疏子区域所提取子区域小于高密度子区域所提取子区域。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1、FPGA通过接收电脑端PCIE接口中由基于数据采集卡SDK开发的软件传来的原始荧光图,进行超分辨定位成像的降噪、去背景、荧光点判断、稀疏/高密度分子筛选及子区域提取等工作。将稀疏分子子区域和高密度分子子区域分开存取,GPU板卡读不同的存储单元,并根据不同存储单元的头文件信号知晓是稀疏还是高密度分子子区域,并由GPU板卡对稀疏/高密度混合定位,并采用多核GPU板卡流水线操作加速定位成像,从而采用不同的分子定位算法。
由于稀疏分子区域分布量相对较大,即使是定位速度较快,但是分子数量也比较多,依然需要较多时间。而高密度分子定位,如果分布量不是非常大,采用PALMER或其他高密度分子定位算法,也可以实现实时图像处理。因此,可以利用稀疏/高密度混合分子定位起来实现超分辨图像的实时处理和可视化。
2、利用PCIE接口将原始图像发送给FPGA
本发明使得超分辨定位成像的数据处理不再受限于相机接口,无论相机是以USB、Cameralink或其他数据传入接口,对整个***而言,不需要调换FPGA接口方式,就可以通过基于数据采集卡SDK开发的软件读取采集卡的原始图像数据,并通过标准PCIE接口的发端给到FPGA,做数据预处理工作。解决了相机接口不统一导致的不同***配备不同的技术问题。
3、FPGA板卡与GPU板卡之间的DMA直接通信
本发明中FPGA板卡端与PC的GPU板卡通过PCIE接口直接DMA通信,此处CPU不参与指令判断及通信,节省时间。FPGA板卡送出的稀疏/高密度分子子区域分别通过PCIE接口到PC对应的存储单元。
说明书附图
图1为本发明提供的用于超分辨定位显微成像混合密度数据处理的装置的结构示意图;
图2为本发明提供的FPGA的示意图;
图3为本发明提供的FPGA板卡、DMA和FPGA板卡之间直接通信的读写示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种用于超分辨定位显微成像混合密度数据处理的装置及方法。本装置旨在解决由于生物样品制备过程中,荧光团分布不均时,采用单一算法造成的荧光点判断不准或者计算速度严重滞后的情况。且整套数据处理对相机接口不依赖,可以是Cameralink、USB或其他任意常用接口类型。
如图1所示,本发明提供的装置包括数据采集卡、PC、FPGA板卡及GPU板卡;PC包括内存、存储器、主板以及CPU。FPGA板卡包括FPGA和FPGA周围电路,FPGA板卡与GPU板卡均以PCIE接口插到计算机主板上,由CPU给出指令控制总线使用情况。FPGA板卡向PC提出需要使用总线,CPU响应,给出空闲总线,供FPGA板卡与GPU板卡直接通信,即DMA(Direct MemoryAccess,直接内存存取),效率高,速度快。相机通过数据采集卡与PC相连,数据采集卡直接通过主板的PCIE插槽与PC连接,PC通过基于数据采集卡SDK开发的软件读取数据采集卡里面的原始图像数据信息。
原始图像数据通过PCIE接口传输到FPGA,在FPGA上进行超分辨定位成像算法的数据预处理工作,包括对原始图像数据进行降噪、去背景、稀疏和高密度荧光点判断、稀疏和高密度荧光分子子区域提取。
将稀疏和高密度分子子区域数据通过PCIE接口传输到PC,并将稀疏和高密度分子子区域分别存到PC存储器中第一存储区域和第二存储区域。GPU板卡读取不同存储区域的数据,并采用不同的后续处理方法。稀疏分子子区域数据通过GPU板卡加速数据处理过程,即使是采用目前公认精度较高的极大似然估计算法,可以做到实时成像。而高密度分子子区域数据可采用高密度定位算法,例如PALMER算法,做后续的荧光点定位。虽然高密度定位算法计算模型复杂,计算速度较慢,但针对生物样品中,大部分数据为稀疏荧光点,少数为高密度荧光点的情况,存在一个平衡,可以使得整个超分辨定位成像,不管是稀疏还是高密度分子,均可在差不多的时间内完成全部超分辨图像处理过程。
如图2所示,FPGA按照如下步骤工作:
步骤1:对原始图像数据进行降噪和去背景处理;
步骤2:提取处理后的原始图像数据中稀疏分子子区域和高密度分子子区域。步骤2具体包括如下步骤:
步骤21:采用荧光点判断方法对原始图像数据进行判断,若待判断数据区域存在荧光点,则将该待判断数据区域提取出来,否则,弃掉该判断数据区域;进而获得荧光图。
步骤22:用稀疏荧光点判断方法去对整幅荧光图判断,本实施例中采用如下方式判断稀疏荧光点,也可以根据用户需求采用其他的标准来判断稀疏荧光点和高密度荧光点:
提取荧光图中当前处理像素位置对应的3x3子区域作为判断的荧光信号,提取背景波动强度图像当前像素值作为阈值,然后进行如下的判断:
(1)3x3子区域中,最中心的像素为最大值。
(2)3x3子区域中,最中心的像素大于阈值的2倍。
(3)3x3子区域中,最中心的像素及其8领域像素和大于阈值的11倍;最中心的像素及其4领域像素和大于阈值的9倍。
当待判断区域满足上述3个稀疏条件则为稀疏荧光点,进行稀疏子区域提取,若不满足上述3个稀疏条件,则预判为高密度荧光点,进行高密度子区域提取,稀疏子区域和高密度子区域提取所提取子区域大小不同,不同大小的子区域,可以提高数据提取精度。
步骤23:子区域提取
以稀疏子区域提取方法作为判断标准,判断到荧光点是稀疏的,就进入稀疏子区域存储单元。否则判定为高密度,送入到高密度子区域存储单元。
如图3所示,FPGA板卡、DMA和FPGA板卡之间直接通信的读写示意图。直接通信包括如下步骤:
步骤1:DMA中加载驱动,包括创建PC设备和FPGA设备,初始化并记录硬件资源。PC检测是否需要更新FPGA板卡中固件,若是,通过DMA对更新FPGA板卡固件。
步骤2:PC对图像参数进行设置,DMA设置相关参数寄存器,参数包括像素大小、分辨率等参数。
步骤3:PC设置读文件中断或者由CPU程序查询是否有读文件指令,当有读文件中断或者读文件指令后,启动读文件操作,启动DMA。启动DMA包括设置DMA地址和大小。
步骤4:PC开始读文件,FPGA板卡与PC内存之间进行图像处理数据传输。
步骤5:当FPGA板卡本次数据传输结束后,触发中断,并通知DMA。DMA在接收到消息后,DMA通知PC启动下一次读文件请求。
步骤6:重复上述步骤3至步骤5,实现PC内存和FPGA之间多次读文件操作。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种用于超分辨定位显微成像混合密度数据处理的装置,其特征在于,包括:数据采集卡、PC、FPGA板卡及GPU板卡,数据采集卡用于采集相机探测到的原始图像数据,数据采集卡直接通过主板的PCIE插槽与PC连接;PC通过控制软件提取数据采集卡中原始图像数据,并通过PCIE读将原始图像数据传输至FPGA板卡;FPGA板卡对原始图像数据中稀疏分子和高密度荧光分子进行判断及分类处理,并通过PCIE写将稀疏和高密度分子子区域传输至PC,PC中的GPU板卡用不同的定位算法对稀疏和高密度分子子区域进行处理,PC和FPGA板卡通过PCIE接口连接。
2.如权利要求1所述的装置,其特征在于,PC中存储区域和FPGA板卡之间进行直接通信。
3.如权利要求1或2所述的装置,其特征在于,PC中设有两个存储区域,第一个存储区域用于存储稀疏子区域,第二存储区域用于高密度分子子区域,GPU板卡分别提取第一个存储区域和第二个存储区域中数据并对进行处理。
4.如权利要求1或2所述的装置,其特征在于,PC中包含多个GPU板卡,一部分GPU板卡用于对稀疏子区域采用稀疏单分子定位算法进行荧光分子定位处理,剩余GPU板卡用于对高密度子区域采用高密度定位算法进行荧光分子定位处理。
5.一种基于权利要求1所述的装置的数据处理方法,其特征在于,FPGA板卡根据如下步骤提取原始图像数据中稀疏荧光分子和高密度荧光分子:
步骤1:对原始图像数据进行降噪和去背景处理;
步骤2:对处理后的原始图像数据进行荧光点判断获得荧光图;
步骤3:对荧光图用稀疏荧光点判断方法判断,若待判断图像区域满足稀疏条件,进行稀疏子区域提取,否则,进行高密度子区域提取;
所述步骤3包括:
提取荧光图中当前处理像素位置对应的3x3子区域作为判断的荧光信号,提取背景波动强度图像当前像素值作为阈值,然后进行如下的判断:
(1)3x3子区域中,最中心的像素为最大值;
(2)3x3子区域中,最中心的像素大于阈值的2倍;
(3)3x3子区域中,最中心的像素及其8领域像素和大于阈值的11倍;最中心的像素及其4领域像素和大于阈值的9倍;
当待判断区域满足上述3个稀疏条件则为稀疏荧光点,进行稀疏子区域提取,若不满足上述3个稀疏条件,则预判为高密度荧光点,进行高密度子区域提取,稀疏子区域所提取子区域小于高密度子区域所提取子区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810410930.2A CN108765283B (zh) | 2018-05-02 | 2018-05-02 | 用于超分辨定位显微成像混合密度数据处理的装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810410930.2A CN108765283B (zh) | 2018-05-02 | 2018-05-02 | 用于超分辨定位显微成像混合密度数据处理的装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108765283A CN108765283A (zh) | 2018-11-06 |
CN108765283B true CN108765283B (zh) | 2020-11-24 |
Family
ID=64008808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810410930.2A Active CN108765283B (zh) | 2018-05-02 | 2018-05-02 | 用于超分辨定位显微成像混合密度数据处理的装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108765283B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102288589A (zh) * | 2011-06-23 | 2011-12-21 | 深圳大学 | 单个荧光探针的定位方法、装置及超分辨成像方法、*** |
CN103592278A (zh) * | 2013-11-21 | 2014-02-19 | 中国计量学院 | 基于荧光发射抑制机理的随机定位超分辨显微方法及装置 |
CN106897969A (zh) * | 2017-02-20 | 2017-06-27 | 华中科技大学 | 一种用于超分辨定位显微成像的数据处理装置及方法 |
-
2018
- 2018-05-02 CN CN201810410930.2A patent/CN108765283B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102288589A (zh) * | 2011-06-23 | 2011-12-21 | 深圳大学 | 单个荧光探针的定位方法、装置及超分辨成像方法、*** |
CN103592278A (zh) * | 2013-11-21 | 2014-02-19 | 中国计量学院 | 基于荧光发射抑制机理的随机定位超分辨显微方法及装置 |
CN106897969A (zh) * | 2017-02-20 | 2017-06-27 | 华中科技大学 | 一种用于超分辨定位显微成像的数据处理装置及方法 |
Non-Patent Citations (1)
Title |
---|
基于sCOMS相机的超分辨定位成像技术;桂丹 等;《中国激光》;20180228;第45卷(第2期);第2-4节 * |
Also Published As
Publication number | Publication date |
---|---|
CN108765283A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810413B2 (en) | Wakeup method, apparatus and device based on lip reading, and computer readable medium | |
EP3839754A1 (en) | Acceleration control system chip based on thresholding method, and robot | |
WO2012169088A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
CN110582071B (zh) | 车载装置、信息处理方法以及记录介质 | |
CN111027343B (zh) | 条形码区域定位方法和装置 | |
CN109525836B (zh) | 基于fpga的嵌入式多模同测装置 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
WO2018207261A1 (ja) | 画像解析装置 | |
CN110795955A (zh) | 一种快速识别多条码的***及其方法 | |
JP5480149B2 (ja) | 検査対象物の欠陥の発見を支援するシステム及び方法 | |
CN108765283B (zh) | 用于超分辨定位显微成像混合密度数据处理的装置及方法 | |
CN103838694B (zh) | 一种fpga高速读取usb接口数据的方法 | |
CN111050027A (zh) | 镜头畸变补偿方法、装置、设备和存储介质 | |
CN111124959B (zh) | 一种NVMe协议管理命令处理的硬件卸载方法 | |
CN109086231B (zh) | 输入输出设备的访问方法及装置 | |
EP3764238A1 (en) | Processing circuit, information processing apparatus, and information processing method | |
CN111753722B (zh) | 一种基于特征点类型的指纹识别方法及装置 | |
Fan et al. | Xilinx Zynq 7000 SoC based character feature extraction system for OCR inspection of integrated circuit chips | |
CN113269150A (zh) | 基于深度学习的车辆多属性识别的***及方法 | |
CN114973394A (zh) | 手势动作识别方法、装置、电子设备及计算机存储介质 | |
CN108931526B (zh) | 基于多任务调度机制的带钢表面缺陷检测方法 | |
CN204256731U (zh) | 一种fpga高速读取usb设备数据装置 | |
CN113052780A (zh) | 利用蓝牙通信的数据打包*** | |
CN115599574B (zh) | 图形处理***、电子组件、电子设备及信息处理方法 | |
CN117331702A (zh) | 请求分配方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |