CN108957724A - 一种基于傅里叶叠层成像技术的显微镜错位校正方法 - Google Patents

一种基于傅里叶叠层成像技术的显微镜错位校正方法 Download PDF

Info

Publication number
CN108957724A
CN108957724A CN201810486152.5A CN201810486152A CN108957724A CN 108957724 A CN108957724 A CN 108957724A CN 201810486152 A CN201810486152 A CN 201810486152A CN 108957724 A CN108957724 A CN 108957724A
Authority
CN
China
Prior art keywords
led
global offset
fourier
alignment correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810486152.5A
Other languages
English (en)
Other versions
CN108957724B (zh
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810486152.5A priority Critical patent/CN108957724B/zh
Publication of CN108957724A publication Critical patent/CN108957724A/zh
Application granted granted Critical
Publication of CN108957724B publication Critical patent/CN108957724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明中提出的一种基于傅里叶叠层成像技术的显微镜错位校正方法，其主要内容包括：全局偏移模型、高分辨率图像的重建和错位校正，其过程为，先初始化重建的高分辨率物体和光瞳函数，然后依次点亮所有的LED，分别生成低分辨率图像，并施加强度约束，接着更新物体函数和光瞳函数，重复以上步骤直到算法收敛，最后直接校正LED阵列的全局偏移直到搜索全局偏移的成本函数达到最小值。本发明解决了以往的傅里叶叠层成像位置修正方法会增加算法复杂度、计算机负载和计算时间的问题，能够快速有效地校正显微镜成像的错位，同时使用的算法简单实用。

Description

一种基于傅里叶叠层成像技术的显微镜错位校正方法
技术领域
本发明涉及计算领域，尤其是涉及了一种基于傅里叶叠层成像技术的显微镜错位校正方法。
背景技术
傅立叶叠层成像显微镜(FPM)是一种新开发的计算成像技术，可以提供高分辨率(HR)和宽视场(FOV)的十亿像素的图像。傅里叶叠层成像技术可以应用于光学显微领域，获得高分辨率的显微图像，也可以用于生物医学领域，对病毒等微生物以及人体器官进行精确的研究治疗；在生命科学领域，利用傅里叶叠层成像技术可以更加方便地对微小的生物组织进行深入的科学研究。然而，以往的傅里叶叠层成像位置修正方法会增加算法复杂度、计算机负载和计算时间。
本发明中提出了一种基于傅里叶叠层成像技术的显微镜错位校正方法，先初始化重建的高分辨率物体和光瞳函数，然后依次点亮所有的LED，分别生成低分辨率图像，并施加强度约束，接着更新物体函数和光瞳函数，重复以上步骤直到算法收敛，最后直接校正LED阵列的全局偏移直到搜索全局偏移的成本函数达到最小值。本发明能够快速有效地校正显微镜成像的错位，同时使用的算法简单实用。
发明内容
针对以往的傅里叶叠层成像位置修正方法会增加算法复杂度、计算机负载和计算时间的问题，本发明的目的在于提供一种基于傅里叶叠层成像技术的显微镜错位校正方法，先初始化重建的高分辨率物体和光瞳函数，然后依次点亮所有的LED，分别生成低分辨率图像，并施加强度约束，接着更新物体函数和光瞳函数，重复以上步骤直到算法收敛，最后直接校正LED阵列的全局偏移直到搜索全局偏移的成本函数达到最小值。
为解决上述问题，本发明提供一种基于傅里叶叠层成像技术的显微镜错位校正方法，其主要内容包括：
(一)全局偏移模型；
(二)高分辨率图像的重建；
(三)错位校正。
其中，所述的全局偏移模型，是一个只具有两个因子的简化位置模型，x和y是确定每个发光二极管(LED)的位置的两个因子，(xm,n,ym,n)代表第m行第n列的LED的位置。
其中，所述的高分辨率图像的重建，一共分为六个步骤：
(1)初始化重建的高分辨率(HR)物体Oj(kx,ky)和光瞳函数Pj(kx,ky)；
(2)生成低分辨率(LR)图像；
(3)施加强度约束；
(4)更新物体和光瞳函数；
(5)对所有的LED重复步骤(2)到(4)；
(6)重复步骤(2)到(5)直到算法收敛。
进一步地，所述的生成低分辨率图像，是指用以下公式生成第m行第n列LED对应的低分辨率图像：
其中表示用第m行第n列LED照射获得的LR图像的傅里叶频谱。
进一步地，所述的施加强度约束，是用以下公式对捕获的图像施加强度约束：
其中和分别是LR图像带强度约束和不带强度约束的复数场。
进一步地，所述的更新物体和光瞳函数，是指用以下公式更新物体和光瞳函数：
其中，δ1和δ2是两个正则化常数，用于保证数量的稳定性。
其中，所述的错位校正，是指直接校正LED阵列的全局偏移，直到全局偏移的成本函数达到最小，并且为了提高效率，只计算在目标的照明领域内的入射向量。
进一步地，所述的LED阵列，每个LED的入射波矢量为：
其中考虑到两个相邻LED的间距是d，全局偏移的范围Δx和Δy设为[-d,d]，Δx和Δy初始化的值都是0mm。
进一步地，所述的成本函数，是指判断搜索全局偏移Δx和Δy的成本函数，每次重建高分辨率图像后判断成本函数是否达到最小值，如果没有则再次搜索。
进一步地，所述的搜索全局偏移，是指使用模拟退火(SA)算法来在一个循环中搜索Δx和Δy，这个循环一直持续到成本函数达到最小值为止，然后在校正LED阵列的全局偏移后，通过传统的傅立叶叠层成像算法，利用所有的LR图像重建样本的HR图像；在某些情况下，校正LED阵列的全局偏移后，需要使用常规SA算法的一次迭代来修正每个LED固有的局部细微位置误差，最后，可以消除由LED错位引起的重构的HR振幅和相位的退化。
附图说明
图1是本发明一种基于傅里叶叠层成像技术的显微镜错位校正方法的***流程图。
图2是本发明一种基于傅里叶叠层成像技术的显微镜错位校正方法的成像原理图。
图3是本发明一种基于傅里叶叠层成像技术的显微镜错位校正方法的全局偏移模型图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于傅里叶叠层成像技术的显微镜错位校正方法的***流程图。主要包括全局偏移模型、高分辨率图像的重建和错位校正。
其中，高分辨率图像的重建一共分为六个步骤：
(1)初始化重建的高分辨率(HR)物体Oj(kx,ky)和光瞳函数Pj(kx,ky)；
(2)生成低分辨率(LR)图像；
(3)施加强度约束；
(4)更新物体和光瞳函数；
(5)对所有的LED重复步骤(2)到(4)；
(6)重复步骤(2)到(5)直到算法收敛。
进一步地，所述的生成低分辨率图像，是指用以下公式生成第m行第n列LED对应的低分辨率图像：
其中表示用第m行第n列LED照射获得的LR图像的傅里叶频谱。
进一步地，所述的施加强度约束，是用以下公式对捕获的图像施加强度约束：
其中和分别是LR图像带强度约束和不带强度约束的复数场。
进一步地，所述的更新物体和光瞳函数，是指用以下公式更新物体和光瞳函数：
其中，δ1和δ2是两个正则化常数，用于保证数量的稳定性。
其中，错位校正是指直接校正LED阵列的全局偏移，直到全局偏移的成本函数达到最小，并且为了提高效率，只计算在目标的照明领域内的入射向量。
其中每个LED的入射波矢量为：
其中考虑到两个相邻LED的间距是d，全局偏移的范围Δx和Δy设为[-d,d]，Δx和Δy初始化的值都是0mm。
进一步地，所述的成本函数，是指判断搜索全局偏移Δx和Δy的成本函数，每次重建高分辨率图像后判断成本函数是否达到最小值，如果没有则再次搜索。
进一步地，所述的搜索全局偏移，是指使用模拟退火(SA)算法来在一个循环中搜索Δx和Δy，这个循环一直持续到成本函数达到最小值为止，然后在校正LED阵列的全局偏移后，通过传统的傅立叶叠层成像算法，利用所有的LR图像重建样本的HR图像；在某些情况下，校正LED阵列的全局偏移后，需要使用常规SA算法的一次迭代来修正每个LED固有的局部细微位置误差，最后，可以消除由LED错位引起的重构的HR振幅和相位的退化。
图2是本发明一种基于傅里叶叠层成像技术的显微镜错位校正方法的成像原理图。
傅里叶叠层成像技术的成像原理是按顺序开启LED，捕获物体在不同照明角度下的低分辨率图像，重构物体的高分辨率图像。其中在空间域中，利用低分辨率图像的强度测量值作为约束条件来保证求解的收敛，在傅里叶域中，将目标透镜的约束相干传递函数作为支撑约束。经过多次迭代后，可以得到物体的高分辨率复数域和光瞳函数。
图3是本发明一种基于傅里叶叠层成像技术的显微镜错位校正方法的全局偏移模型图。
全局偏移模型是一个只具有两个因子的简化位置模型，x和y是确定每个发光二极管(LED)的位置的两个因子，Δx和Δy是全局偏移的大小，圆点代表没有偏移时LED所在的位置，菱形表示偏移后LED所在的位置。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于傅里叶叠层成像技术的显微镜错位校正方法，其特征在于，主要包括全局偏移模型(一)；高分辨率图像的重建(二)；错位校正(三)。
2.基于权利要求书1所述的全局偏移模型(一)，其特征在于，全局偏移模型是一个只具有两个因子的简化位置模型，x和y是确定每个发光二极管(LED)的位置的两个因子，(xm,n,ym,n)代表第m行第n列的LED的位置。
3.基于权利要求书1所述的高分辨率图像的重建(二)，其特征在于，一共分为六个步骤：
(1)初始化重建的高分辨率(HR)物体Oj(kx,ky)和光瞳函数Pj(kx,ky)；
(2)生成低分辨率(LR)图像；
(3)施加强度约束；
(4)更新物体和光瞳函数；
(5)对所有的LED重复步骤(2)到(4)；
(6)重复步骤(2)到(5)直到算法收敛。
4.基于权利要求书3所述的生成低分辨率图像，其特征在于，用以下公式生成第m行第n列LED对应的低分辨率图像：
其中表示用第m行第n列LED照射获得的LR图像的傅里叶频谱。
5.基于权利要求书3所述的施加强度约束，其特征在于，用以下公式对捕获的图像施加强度约束：
其中和分别是LR图像带强度约束和不带强度约束的复数场。
6.基于权利要求书3所述的更新物体和光瞳函数，其特征在于，用以下公式更新物体和光瞳函数：
其中，δ1和δ2是两个正则化常数，用于保证数量的稳定性。
7.基于权利要求书1所述的错位校正(三)，其特征在于，直接校正LED阵列的全局偏移，直到全局偏移的成本函数达到最小，并且为了提高效率，只计算在目标的照明领域内的入射向量。
8.基于权利要求书7所述的LED阵列，其特征在于，每个LED的入射波矢量为：
其中考虑到两个相邻LED的间距是d，全局偏移的范围Δx和Δy设为[-d,d]，Δx和Δy初始化的值都是0mm。
9.基于权利要求书7所述的成本函数，其特征在于，每次重建高分辨率图像后判断搜索全局偏移Δx和Δy的成本函数是否达到最小值，如果没有则再次搜索。
10.基于权利要求书9所述的搜索全局偏移，其特征在于，使用模拟退火(SA)算法来在一个循环中搜索Δx和Δy，这个循环一直持续到成本函数达到最小值为止，然后在校正LED阵列的全局偏移后，通过传统的傅立叶叠层成像算法，利用所有的LR图像重建样本的HR图像；在某些情况下，校正LED阵列的全局偏移后，需要使用常规SA算法的一次迭代来修正每个LED固有的局部细微位置误差，最后，可以消除由LED错位引起的重构的HR振幅和相位的退化。
CN201810486152.5A 2018-05-21 2018-05-21 一种基于傅里叶叠层成像技术的显微镜错位校正方法 Active CN108957724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810486152.5A CN108957724B (zh) 2018-05-21 2018-05-21 一种基于傅里叶叠层成像技术的显微镜错位校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810486152.5A CN108957724B (zh) 2018-05-21 2018-05-21 一种基于傅里叶叠层成像技术的显微镜错位校正方法

Publications (2)

Publication Number Publication Date
CN108957724A true CN108957724A (zh) 2018-12-07
CN108957724B CN108957724B (zh) 2023-03-28

Family

ID=64499265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810486152.5A Active CN108957724B (zh) 2018-05-21 2018-05-21 一种基于傅里叶叠层成像技术的显微镜错位校正方法

Country Status (1)

Country Link
CN (1) CN108957724B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683299A (zh) * 2019-01-10 2019-04-26 浙江大学 一种多色多角度照明的高分辨显微成像***
CN110378981A (zh) * 2019-07-19 2019-10-25 中国科学院长春光学精密机械与物理研究所 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
CN111062889A (zh) * 2019-12-17 2020-04-24 北京理工大学 一种用于傅里叶叠层显微成像技术的光强校正方法
CN111158131A (zh) * 2019-12-31 2020-05-15 杭州电子科技大学 一种基于傅里叶叠层成像的led矩阵校正方法
CN113160212A (zh) * 2021-05-11 2021-07-23 杭州电子科技大学 基于led阵列位置误差快速校正的傅里叶叠层成像***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150160450A1 (en) * 2012-10-30 2015-06-11 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
CN107481285A (zh) * 2017-09-15 2017-12-15 哈尔滨工业大学 一种傅里叶叠层显微镜的位置误差矫正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150160450A1 (en) * 2012-10-30 2015-06-11 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
CN107481285A (zh) * 2017-09-15 2017-12-15 哈尔滨工业大学 一种傅里叶叠层显微镜的位置误差矫正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIASONG SUN: "Efficient positional misalignment", 《BIOMEDICAL OPTICS EXPRESS 》 *
LEI TIAN: "Multiplexed coded illumination for", 《BIOMEDICAL OPTICS EXPRESS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683299A (zh) * 2019-01-10 2019-04-26 浙江大学 一种多色多角度照明的高分辨显微成像***
CN110378981A (zh) * 2019-07-19 2019-10-25 中国科学院长春光学精密机械与物理研究所 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
CN110378981B (zh) * 2019-07-19 2022-11-15 中国科学院长春光学精密机械与物理研究所 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
CN111062889A (zh) * 2019-12-17 2020-04-24 北京理工大学 一种用于傅里叶叠层显微成像技术的光强校正方法
CN111062889B (zh) * 2019-12-17 2023-10-24 北京理工大学 一种用于傅里叶叠层显微成像技术的光强校正方法
CN111158131A (zh) * 2019-12-31 2020-05-15 杭州电子科技大学 一种基于傅里叶叠层成像的led矩阵校正方法
CN111158131B (zh) * 2019-12-31 2021-09-28 杭州电子科技大学 一种基于傅里叶叠层成像的led矩阵校正方法
CN113160212A (zh) * 2021-05-11 2021-07-23 杭州电子科技大学 基于led阵列位置误差快速校正的傅里叶叠层成像***及方法
CN113160212B (zh) * 2021-05-11 2024-04-16 杭州电子科技大学 基于led阵列位置误差快速校正的傅里叶叠层成像***及方法

Also Published As

Publication number Publication date
CN108957724B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN108957724A (zh) 一种基于傅里叶叠层成像技术的显微镜错位校正方法
Liang et al. A visual detection method for nighttime litchi fruits and fruiting stems
CN103363924B (zh) 一种压缩的三维计算鬼成像***及方法
Workman et al. Deepfocal: A method for direct focal length estimation
CN105374044B (zh) 一种光场相机的自动标定方法
CN107657656B (zh) 同名点匹配及三维重建方法、***和光度立体摄像终端
CN106373105A (zh) 基于低秩矩阵恢复的多曝光图像去伪影融合方法
Kaluzny et al. The Clusters AgeS Experiment (CASE): Variable Stars in the Globular Cluster M4
CN109086663A (zh) 基于卷积神经网络的尺度自适应的自然场景文本检测方法
CN111340011B (zh) 一种自适应时序移位神经网络时序行为识别方法
CN116168221B (zh) 基于Transformer的跨模态图像匹配定位方法及装置
CN107203759A (zh) 一种基于两视图几何的分行递归式道路重构算法
CN110111292A (zh) 一种红外与可见光图像融合方法
CN104200513A (zh) 基于矩阵行列采样进行多光源渲染的方法
CN106709870A (zh) 一种近景影像直线段匹配方法
CN108961392A (zh) 一种三维样本的图像重构方法
CN113160212B (zh) 基于led阵列位置误差快速校正的傅里叶叠层成像***及方法
Tolan et al. Very high resolution canopy height maps from RGB imagery using self-supervised vision transformer and convolutional decoder trained on aerial lidar
CN106022293B (zh) 一种基于自适应共享小生境进化算法的行人再识别方法
JP2023145404A (ja) イメージ間の対応関係を識別するためにピラミッド及び固有性マッチングフライアを使用するシステム及び方法
LU500193B1 (en) Low-illumination image enhancement method and system based on multi-expression fusion
CN110352420A (zh) 一种基于图像识别的望远镜搜星方法、搜星装置及望远镜
CN113191367B (zh) 基于密集尺度动态网络的语义分割方法
CN109448033A (zh) 一种基于brisk算法的图像配准方法
Baena-Gallé et al. Astrometric Centering of WFPC2/HST images with Deep Learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant