CN108169172A - 三维折射率显微成像***及方法 - Google Patents

三维折射率显微成像***及方法 Download PDF

Info

Publication number
CN108169172A
CN108169172A CN201711465953.5A CN201711465953A CN108169172A CN 108169172 A CN108169172 A CN 108169172A CN 201711465953 A CN201711465953 A CN 201711465953A CN 108169172 A CN108169172 A CN 108169172A
Authority
CN
China
Prior art keywords
micro
sample
refractive index
module
dimensional refractive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711465953.5A
Other languages
English (en)
Inventor
戴琼海
张明捷
索津莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711465953.5A priority Critical patent/CN108169172A/zh
Publication of CN108169172A publication Critical patent/CN108169172A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N2021/4173—Phase distribution
    • G01N2021/4186—Phase modulation imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种三维折射率显微成像***及方法，其中，***包括：光照产生模块，用于产生带有丰富纹理信息的光强编码的显微光照；显微样本模块，位于所述光源产生模块的后端，用于提供并控制移动所需采集的显微样本；相机阵列显微成像模块，位于所述显微样本模块后端，通过相机阵列对显微样本在不同视角下的样本图像进行同步高分辨率地采集；计算控制模块，用于提供参考图像、同步传感器阵列、控制采集***与流程，并对采集的图像进行处理，以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频还原重构出所述显微样本的三维折射率信息。本发明可精确、高分辨率且快速地对显微样本的三维折射率信息进行采集。

Description

三维折射率显微成像***及方法
技术领域
本发明涉及显微成像技术、计算机视觉和计算摄像学技术领域，特别涉及一种三维折射率显微成像***及方法。
背景技术
样本物体的三维折射率分布信息是样本固有的一个重要光学属性，对于透明生物样本而言，它可以提供样本物体的密度、结构等信息，从而为无标记的三维细胞成像提供了可能。
在现有的生命科学或者医学研究中，往往使用荧光成像来进行特异性的标记，从而进行相关研究，但这一标记的过程，仍然会对样本本身的性质产生一定的影响，从而影响最终的实验结果。而三维折射率成像可以非侵入式地观测到样本的三维折射率场信息，从而提供了样本不同区域的性质，因此它也是近年来的一个研究热点。
近年来，各种三维折射率显微成像被相继提出，大部分工作的思路都是在不同方向上对样本进行相干光照，测量出样本在不同方向上的相位信息，从而使用层析成像的方法计算出样本的三维折射率场信息。但这些方法既对设备要求较高，都需要较为复杂的装置，而且每次成像过程时，都需要对样本拍摄多次，很难做到单次拍照即可恢复样本的三维折射率信息，对其快速动态拍摄提出了挑战。
因此，如何能够快速动态且高分辨率地对三维折射率显微信息进行采集，仍然是一个亟待解决并有重大意义的难题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种三维折射率显微成像***，该***可以有效提高成像的可靠性和准确性，简单易实现。
本发明的另一个目的在于提出一种三维折射率显微成像方法。
为达到上述目的，本发明一方面实施例提出了一种三维折射率显微成像***，包括：光照产生模块，用于产生带有光强编码的显微光照，所述光强编码为提供的具有纹理的参考图像；显微样本模块，所述显微样本模块位于所述光源产生模块的后端，用于提供并控制移动所需采集的显微样本；相机阵列显微成像模块，所述显微成像模块位于所述显微样本模块后端，通过相机阵列对显微样本在不同视角下的样本图像进行同步高分辨率地采集；计算控制模块，用于提供参考图像、同步传感器阵列、控制采集***与流程，并对采集的图像进行处理，以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频还原重构出所述显微样本的三维折射率信息。
本发明实施例的三维折射率显微成像***，可以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，即可精确、高分辨率且较快速地对显微样本的三维折射率信息进行采集。
另外，根据本发明上述实施例的三维折射率显微成像***还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述光照产生模块包括：光源模块，用于产生显微成像中所需的大视角光照；参考图案，所述参考图案由所述计算控制模块控制，以提供任意所需的纹理丰富的静态图案，并放置于所述光源模块的像面上，以对光照进行强度调制。
进一步地，在本发明的一个实施例中，所述的显微样本模块对带有参考图案的所述光照进行相位编码，且各个视角下编码互不相同，使其带有所需采集的样本的所述三维折射率场信息。
进一步地，在本发明的一个实施例中，所述相机阵列显微成像模块包括：物镜，所述物镜位于显微样本后端，用于对显微样本进行放大成像，将光线变为平行光；镜子，所述镜子用于对光线进行偏折；套管透镜，所述套管透镜用于配合所述物镜对显微样本进行放大成像，将其投影放大于像面；两级中继***，所述两级中继***用于根据所述像面生成光圈面；成像透镜阵列，所述成像透镜阵列用于获取显微样本的不同视角的图像，并与所述光圈面尺寸匹配；传感器阵列，所述传感器阵列用于对显微样本的不同视角的图像进行采集。
进一步地，在本发明的一个实施例中，所述两级中继***包括：第一级中继透镜，所述第一级中继透镜根据所述像面生成所述光圈平面；以及第二级中继透镜，所述第二级中继透镜将所述光圈面放大至覆盖整个所述成像透镜阵列的大小。
进一步地，在本发明的一个实施例中，所述相机阵列显微成像模块的各级元件的光轴需要对准，每个所述成像透镜阵列的光轴需对准所述第二级中继透镜的中心。
进一步地，在本发明的一个实施例中，所述相机阵列显微成像模块的对焦位置在所述参考图案面上。
进一步地，在本发明的一个实施例中，所述相机阵列显微成像模块中每个传感器对应的数值孔径小于所述光照产生模块的数值孔径。
进一步地，在本发明的一个实施例中，所述计算控制模块包括计算机、参考图案控制装置、样本移动控制装置以及传感器阵列同步控制装置，以重构出所述显微样本的三维折射率信息。
为达到上述目的，本发明另一方面实施例提出了一种三维折射率显微成像方法，采用根据上述成像***，其中，所述方法包括以下步骤：将***视野调整至无样本区域，使用所述三维折射率显微成像***拍摄，获得所述各个视角下不含有样本的未扭曲参考图像；将所述三维折射率显微成像***的视野调整至目标样本的位置，拍摄获得所述多个视角下含有样本的扭曲动态视频；获取各视角下视频帧与参考图像每个像素之间的匹配关系，以还原重构出所述显微样本的三维折射率信息。
本发明实施例的三维折射率显微成像方法，可以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，即可精确、高分辨率且较快速地对显微样本的三维折射率信息进行采集，从而有效提高成像的可靠性和准确性，简单易实现。
另外，根据本发明上述实施例的三维折射率显微成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述获取各视角下视频帧与参考图像每个像素之间的匹配关系，以还原重构出所述显微样本的三维折射率信息，进一步包括：根据所述传感器阵列同步采集的各个视角下的所述扭曲动态视频和所述未扭曲参考图像，使用光流算法计算获得各个视角下每帧视频图像与参考图像之间的匹配图像；根据匹配图像恢复出各个视角下每帧视频对应的相位图像；根据各个视角下的相位图像视频，使用层析成像算法，重构还原出动态的样本三维折射率场信息。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的三维折射率显微成像***的结构示意图；
图2为根据本发明一个具体实施例的三维折射率显微成像***的结构示意图；
图3为根据本发明一个实施例的三维折射率显微成像方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的三维折射率显微成像***及方法，首先将参照附图描述根据本发明实施例提出的三维折射率显微成像***。
图1是本发明一个实施例的三维折射率显微成像***的结构示意图。
如图1所示，该三维折射率显微成像***100包括：光照产生模块110、显微样本模块120、相机阵列显微成像模块130和计算控制模块140。
其中，光照产生模块110用于产生带有光强编码的显微光照，光强编码为提供的具有纹理的参考图像。显微样本模块120位于光源产生模块110的后端，以提供并控制移动所需采集的显微样本。相机阵列显微成像模块130位于显微样本模块120后端，通过相机阵列对显微样本在不同视角下的样本图像进行同步高分辨率地采集。计算控制模块140用于提供参考图像、同步传感器阵列、控制采集***与流程，并对采集的图像进行处理，以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，还原重构出显微样本的三维折射率信息。本发明实施例的***100可以精确、高分辨率且快速地对显微样本的三维折射率信息进行采集。
进一步地，在本发明的一个实施例中，光照产生模块110包括：光源模块111和参考图案112。其中，光源模块111可以产生显微成像中所需的大视角光照；参考图案112由计算控制模块140控制，提供任意所需的纹理丰富的静态图案，放置于光源模块产生的大视角光照的像面上，对光照进行强度调制。
具体地，在本发明的一个实施例中，光源模块111包括：氙灯、毛玻璃、4f***、孔径光阑、视场光阑等，可以通过控制孔径光阑大小控制其光照的视角大小，使其尽可能的满足大视角要求。
具体地，在本发明的另一个实施例中，光源模块111采用商业带有可调节的视场光阑、孔径光阑以及光照套筒可上下调节的商业显微镜的光照模块。
具体地，在本发明的一个实施例中，参考图案112为打印的带有丰富纹理信息的胶卷或玻璃。
具体地，在本发明的另一个实施例中，参考图案112为由计算控制模块140同步控制的投影元件：液晶附硅(LCOS，Liquid Crystal on Silicon)或数字微镜装置(DMD，Digital Micromirror Device)。
在本发明的一个实施例中，光照产生模块110的对焦位置在显微样本模块120附近几十至几百微米处，具体大小视具体样本大小厚度及相机参数设置。
进一步地，在本发明的一个实施例中，显微样本模块120对带有参考图案112的光照进行相位编码，且各个视角下编码互不相同，使其带有所需采集的样本的三维折射率场信息。
具体而言，如图2所示，光照端的光线聚焦于显微样本模块120附近，该聚焦面即为参考图案112，然后光线再经过采集样本122进行三维折射率调制，从而对光线进行了偏移扭曲。为了提高算法恢复的精度，参考图案112可以为特殊设计的带有丰富纹理的图案。
在本发明的一个实施例中，如图2所示，显微成像模块130包括物镜131、镜子132、套管透镜133、两级中继***134、成像透镜阵列135以及传感器阵列136。其中，物镜131，位于显微样本后端，用于对显微样本120进行放大成像，将光线变为平行光；镜子132，用于对光线进行偏折；套管透镜133，用于配合物镜131对显微样本120进行放大成像，将其投影放大于像面；两级中继***134，用于根据套管透镜133的像面生成光圈面；成像透镜阵列135，用于获取显微样本120的不同视角的图像，并与两级中继***134中的光圈面尺寸匹配；传感器阵列135，用于对显微样本120的不同视角的图像进行采集。
具体而言，两级中继***134包括：第一级中继透镜1341和第二级中继透镜1342。其中，第一级中继透镜1341根据套管透镜133的像面生成光圈平面；第二级中继透镜1342，将光圈面放大至覆盖整个成像透镜阵列135的大小，使得传感器阵列135中每个传感器能够采集到子光圈的图像。
具体地，相机阵列显微成像模块130的各级元件的光轴需要对准，成像透镜阵列134的光轴需对准第二级中继透镜1342的中心。
进一步地，在本发明的一个实施例中，第二级中继透镜1342的数值孔径大于第一级中继透镜1341的数值孔径(NA)。其中，两级中继***134的放大倍数由两级中继透镜的焦距比决定。
进一步地，在本发明的一个实施例中，相机阵列显微成像模块130的对焦位置在参考图案面112上，从而可以对扭曲角进行采集。
进一步地，在本发明的一个实施例中，相机阵列显微成像模块130中每个传感器对应的数值孔径小于光照产生模块110的数值孔径。
进一步地，在本发明的一个实施例中，计算控制模块140包括计算机141、参考图案控制装置142、样本移动控制装置143以及传感器阵列同步控制装置144，以重构出显微样本的三维折射率信息。其中，计算机141，可以对采集获得的视频图像信息进行处理，重构获得动态的相位信息；参考图案控制装置142，可以控制并提供各种纹理丰富的静态参考图案112，调节静态参考图案112的位置，并调节光照产生模块110的视场光阑和孔径光阑；样本移动控制装置143，可以对相位样本模块120在各个方向上移动调节；传感器阵列同步控制装置144，可以对传感器阵列135进行同步采集控制，并对采集到的大量图像进行存储。
根据本发明实施例提出的三维折射率显微成像***，可以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，即可精确、高分辨率且快速地对显微样本的三维折射率信息进行采集。
本发明还公开了一种三维折射率显微成像的方法。图3是本发明实施例的三维折射率显微成像的方法的流程图。如图3所示，方法包括以下步骤：
步骤S310，将***视野调整至无样本区域，使用三维折射率显微成像***拍摄，获得各视角下无扭曲的参考图像；
具体地，如图2所示，图2中虚线光线为本发明实施例***100视野内无样本时，参考图案112中一个像素点对应的光路图。当本发明实施例***100视野内无样本时，光路中不存在进行相位调制的样本，光照光线直接投影到传感器阵列135的每个传感器面上，即各个视角下的无扭曲的参考图像。该步骤为采集前的预先准备工作，拍摄时相机的对焦位置与参考图案的对焦位置重合。
步骤S320，保持***原有结构、参数以及光照不变，将***视野调整至动态观察目标样本的位置，拍摄获得各视角下带有扭曲的样本动态视频；
具体地，如图2所示，图2中实线光线为本发明实施例***100视野内有样本时，原有虚线光路对应的光路图。当本发明实施例***100视野内有样本时，光线既经过了参考图案121进行了强度调制，也经过了显微样本122进行了相位调制，每条光线对应于参考图案121中的不同点，即其拍摄获得的视频图像为经过相位调制的扭曲图像。同时，各个视角下光线偏折程度不同，即编码的相位信息不同，由此即可重构出样本的三维折射率场信息。该步骤中采集***的器件空间分布位置以及器件参数，除了显微样本122，均需与步骤S320中的位置与参数保持一致，显微样本120的空间位置在相机的对焦位置附近几十到几百微米处。
步骤S330，使用算法算出各视角下视频帧与参考图像每个像素之间的匹配关系，并根据建立的光路模型以及层析成像原理，重构还原出动态的三维折射率场视频。
进一步地，在本发明的实施例中，步骤S330具体包括步骤：
步骤S331，根据传感器阵列同步采集的各个视角下的扭曲动态视频和未扭曲参考图像，使用光流算法计算，获得各个视角下每帧视频图像与参考图像之间的匹配图像；
具体地，在本发明的一个实施例中，由于拍摄采集每帧视频图像与参考图像时，光照基本没有发生变化，且两者之间的扭曲变化并不大，因此可以使用光流算法对每个视角下的匹配对应关系进行独立求解，问题的优化目标函数为：
J(w(x,t))＝Ed(w(x,t))+αEm(w(x,t))，
其中，x＝{x,y}为像素二维坐标，t表示时间维度，w(x,t)＝[u(x,t),v(x,t)]为t时刻下该视角下扭曲视频帧与无扭曲图像之间，每个像素点沿着x和y方向上的扭曲大小，J(s(x),w(x,t))为最小化的优化目标函数，Ed(w(x,t))为优化目标函数的数据项，Em(w(x,t))为扭曲的正则化项，α>0是正则项的系数，用于平衡正则项和数据项之间的相对大小。进一步地，优化目标函数的数据项为：
其中，T为求解的视频帧数，表示像素坐标x的取值范围，I(x,t)为t时刻下某个视角下扭曲视频帧图像，I(x,0)表示该视角下对应的拍摄到的无扭曲图像，为凸的近似L1范数先验，ε为一个人为给定的很小的正数。
优化目标函数的扭曲的正则化项为：
步骤S332，根据匹配图像恢复出各个视角下每帧视频对应的相位图像；根据各个视角下的相位图像视频，使用层析成像算法，重构还原出动态的样本三维折射率场信息。
综上，本发明实施例可以使用三维折射率显微成像***，拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，从而从中恢复出显微样本的高分辨率动态三维折射率场视频。
需要说明的是，前述对三维折射率显微成像***实施例的解释说明也适用于该实施例的三维折射率显微成像方法，此处不再赘述。
根据本发明实施例提出的三维折射率显微成像方法，可以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，即可精确、高分辨率且较快速地对显微样本的三维折射率信息进行采集，从而有效提高成像的可靠性和准确性，简单易实现。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种三维折射率显微成像***，其特征在于，包括：
光照产生模块，用于产生带有光强编码的显微光照，所述光强编码为提供的具有纹理的参考图像；
显微样本模块，所述显微样本模块位于所述光源产生模块的后端，用于提供并控制移动所需采集的显微样本；
相机阵列显微成像模块，所述显微成像模块位于所述显微样本模块后端，通过相机阵列对显微样本在不同视角下的样本图像进行同步高分辨率地采集；
计算控制模块，用于提供参考图像、同步传感器阵列、控制采集***与流程，并对采集的图像进行处理，以通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频还原重构出所述显微样本的三维折射率信息。
2.根据权利要求1所述的三维折射率显微成像***，其特征在于，所述光照产生模块包括：
光源模块，用于产生显微成像中所需的大视角光照；
参考图案，所述参考图案由所述计算控制模块控制，以提供任意所需的纹理丰富的静态图案，并放置于所述光源模块的像面上，以对光照进行强度调制。
3.根据权利要求2所述的三维折射率显微成像***，其特征在于，所述的显微样本模块对带有参考图案的所述光照进行相位编码，且各个视角下编码互不相同，使其带有所需采集的样本的所述三维折射率场信息。
4.根据权利要求1所述的三维折射率显微成像***，其特征在于，所述相机阵列显微成像模块包括：
物镜，所述物镜位于显微样本后端，用于对显微样本进行放大成像，将光线变为平行光；
镜子，所述镜子用于对光线进行偏折；
套管透镜，所述套管透镜用于配合所述物镜对显微样本进行放大成像，将其投影放大于像面；
两级中继***，所述两级中继***用于根据所述像面生成光圈面；
成像透镜阵列，所述成像透镜阵列用于获取显微样本的不同视角的图像，并与所述光圈面尺寸匹配；
传感器阵列，所述传感器阵列用于对显微样本的不同视角的图像进行采集。
5.根据权利要求4所述的三维折射率显微成像***，其特征在于，所述两级中继***包括：
第一级中继透镜，所述第一级中继透镜根据所述像面生成所述光圈平面；
第二级中继透镜，所述第二级中继透镜将所述光圈面放大至覆盖整个所述成像透镜阵列的大小。
6.根据权利要求5所述的三维折射率显微成像***，其特征在于，所述相机阵列显微成像模块的各级元件的光轴需要对准，每个所述成像透镜阵列的光轴需对准所述第二级中继透镜的中心。
7.根据权利要求6所述的三维折射率显微成像***，其特征在于，所述相机阵列显微成像模块的对焦位置在所述参考图案面上。
8.根据权利要求1或4所述的三维折射率显微成像***，其特征在于，所述相机阵列显微成像模块中每个传感器对应的数值孔径小于所述光照产生模块的数值孔径。
9.根据权利要求1-8所述的任一项三维折射率显微成像***，其特征在于，所述计算控制模块包括计算机、参考图案控制装置、样本移动控制装置以及传感器阵列同步控制装置，以重构出所述显微样本的三维折射率信息。
10.一种三维折射率显微成像方法，其特征在于，包括以下步骤：
将***视野调整至无样本区域，使用所述三维折射率显微成像***拍摄，获得所述各个视角下不含有样本的未扭曲参考图像；
将所述三维折射率显微成像***的视野调整至目标样本的位置，拍摄获得所述多个视角下含有样本的扭曲动态视频；
获取各视角下视频帧与参考图像每个像素之间的匹配关系，以还原重构出所述显微样本的三维折射率信息。
CN201711465953.5A 2017-12-28 2017-12-28 三维折射率显微成像***及方法 Pending CN108169172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711465953.5A CN108169172A (zh) 2017-12-28 2017-12-28 三维折射率显微成像***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711465953.5A CN108169172A (zh) 2017-12-28 2017-12-28 三维折射率显微成像***及方法

Publications (1)

Publication Number Publication Date
CN108169172A true CN108169172A (zh) 2018-06-15

Family

ID=62519448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711465953.5A Pending CN108169172A (zh) 2017-12-28 2017-12-28 三维折射率显微成像***及方法

Country Status (1)

Country Link
CN (1) CN108169172A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883992A (zh) * 2019-01-02 2019-06-14 西安电子科技大学 一种仿真流场图像rgb与折射率场分布的转化方法
WO2021189451A1 (zh) * 2020-03-27 2021-09-30 肯维捷斯（武汉）科技有限公司 一种显微成像***
CN114062264A (zh) * 2021-10-22 2022-02-18 哈尔滨工业大学（深圳） 一种三维多光谱在线显微图像采集***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101779155A (zh) * 2007-08-16 2010-07-14 皇家飞利浦电子股份有限公司 对样本成像的方法
CN106547079A (zh) * 2017-01-17 2017-03-29 中国科学院上海光学精密机械研究所 实时三维激光荧光显微成像装置
CN106770131A (zh) * 2017-01-17 2017-05-31 清华大学 三维超光谱显微成像***及成像方法
CN106772974A (zh) * 2017-01-13 2017-05-31 清华大学 快速三维折射率显微成像的***和方法
CN107219619A (zh) * 2017-06-29 2017-09-29 清华大学 三维折射率层析显微成像***及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101779155A (zh) * 2007-08-16 2010-07-14 皇家飞利浦电子股份有限公司 对样本成像的方法
CN106772974A (zh) * 2017-01-13 2017-05-31 清华大学 快速三维折射率显微成像的***和方法
CN106547079A (zh) * 2017-01-17 2017-03-29 中国科学院上海光学精密机械研究所 实时三维激光荧光显微成像装置
CN106770131A (zh) * 2017-01-17 2017-05-31 清华大学 三维超光谱显微成像***及成像方法
CN107219619A (zh) * 2017-06-29 2017-09-29 清华大学 三维折射率层析显微成像***及其方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883992A (zh) * 2019-01-02 2019-06-14 西安电子科技大学 一种仿真流场图像rgb与折射率场分布的转化方法
CN109883992B (zh) * 2019-01-02 2021-06-25 西安电子科技大学 一种仿真流场图像rgb与折射率场分布的转化方法
WO2021189451A1 (zh) * 2020-03-27 2021-09-30 肯维捷斯（武汉）科技有限公司 一种显微成像***
CN114062264A (zh) * 2021-10-22 2022-02-18 哈尔滨工业大学（深圳） 一种三维多光谱在线显微图像采集***及方法
CN114062264B (zh) * 2021-10-22 2023-10-10 哈尔滨工业大学（深圳） 一种三维多光谱在线显微图像采集***及方法

Similar Documents

Publication Publication Date Title
CN106371201B (zh) 基于计算鬼成像的傅里叶重叠关联成像***及方法
JP4440066B2 (ja) 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
CN106454291A (zh) 用于自动配准和投影映射的***和方法
CN106604017B (zh) 图像显示装置
CN109544679A (zh) 管道内壁的三维重建方法
CN105023275B (zh) 超分辨率光场采集装置及其的三维重建方法
CN105791800B (zh) 立体显示***及立体显示方法
CN108169172A (zh) 三维折射率显微成像***及方法
CN106772974B (zh) 快速三维折射率显微成像的***和方法
CN107219619A (zh) 三维折射率层析显微成像***及其方法
CN112525107B (zh) 一种基于事件相机的结构光三维测量方法
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
JP4217100B2 (ja) 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
CN110431465A (zh) 用于拍摄和呈现样品的三维图像的显微镜装置
JP2008217243A (ja) 画像生成装置
CN103744172A (zh) 一种具备空间光调制照明的共聚焦显微成像方法
JP4819834B2 (ja) 立体映像処理装置及び立体映像処理方法
JP2023511670A (ja) 多視点カメラシステムからのデータを用いるなどで深度センサからの深度データを増強する方法及びシステム
JP4996922B2 (ja) 立体映像化
CN104915919B (zh) 图像处理装置以及图像处理方法
CN103344196B (zh) 单镜头结构光立体成像的装置及对管道内场景立体成像的方法
CN105812772B (zh) 医疗图像立体显示***及方法
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
CN106842535B (zh) 基于光流的相位显微成像***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615

RJ01 Rejection of invention patent application after publication