CN104137030A - 通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置 - Google Patents

通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置 Download PDF

Info

Publication number
CN104137030A
CN104137030A CN201280070158.5A CN201280070158A CN104137030A CN 104137030 A CN104137030 A CN 104137030A CN 201280070158 A CN201280070158 A CN 201280070158A CN 104137030 A CN104137030 A CN 104137030A
Authority
CN
China
Prior art keywords
space
virtual
dimensional
measurement
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280070158.5A
Other languages
English (en)
Inventor
B.罗萨
G.卡托纳
F.西科
P.马克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Femtonics Kft
Original Assignee
Femtonics Kft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Femtonics Kft filed Critical Femtonics Kft
Publication of CN104137030A publication Critical patent/CN104137030A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Input (AREA)

Abstract

本发明涉及一种以具有三维测量空间且包含激光扫描显微镜的测量***进行样品的三维测量的方法,其特征在于:为该测量***提供三维虚拟现实装置;利用该三维虚拟现实装置产生测量空间的三维虚拟空间;允许在虚拟空间中选择操作;在测量空间和虚拟空间之间提供实时的单向或双向连接,使得在虚拟空间中选择的操作在测量空间中进行,以及在测量空间中测量的数据在虚拟空间中显示。本发明还涉及一种对样品进行三维测量的测量***,该测量***具有三维测量空间且包含激光扫描显微镜,其特征在于:还包含显示测量空间的三维虚拟空间的三维虚拟现实装置,以及在激光扫描显微镜和三维虚拟现实装置之间提供实时的单向或双向连接。

Description

通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置
技术领域
本发明涉及一种以具有三维测量空间且包含激光扫描显微镜的测量***进行样品的三维测量的方法。本发明还涉及这种测量***。
背景技术
根据技术发展水平,现存许多三维成像装置(CT,MRI,超声波,多种激光扫描方法,例如共焦显微镜、双光子显微镜、三维双光子显微镜、旋转盘共焦显微镜、原子力显微镜)。这些装置通常连接到常规计算机构造,即,由测量产生的三维(3D)信息作为二维(2D)投影显示在监视器上。医学上,信息的生物学应用快速感知和快速决策较重要,因为生物样品通常具有短的寿命,或者测量的现象可仅在有限时间周期内观察到。在这种样品的情况下,客观事实是:经常通过执行外科手术交互或实验而改变检查样品。在一些实例中,使用立体显示以增强对所获数据的观察,然而,观察与对样品进行的测量和物理交互时间上是分开的。
生物样品的三维测量可由三维(3D)激光扫描显微镜执行,其通过逐点扫描样品来实施测量。3D激光扫描技术在分析生物样品,尤其在成像三维生物结构和追踪这种结构不同时间量程上的变换方面非常重要。
通常使用的3D激光扫描显微镜为共焦显微镜或双光子显微镜。在共焦显微镜技术中,小孔布置在检测器之前以滤除由显微镜物镜的焦平面之外的任何其它平面反射的光。因此,可成像位于样品(例如,生物样本)中不同深度的平面。
双光子激光扫描显微镜使用较低能量的激光光,其中一量子事件中需要两个光子激发荧光团(flourophore),导致荧光光子的发射,其然后由检测器检测。接近同时吸收两个光子的可能性极低,需要高通量的激发光子,因此双光子激发实际上仅在激光束的焦斑(即,通常具有约300nm x300nm x1000nm的尺寸的小椭圆体体积)中发生。通常,飞秒脉冲激光用于提供双光子激发所需的光子通量,同时保持平均激光束强度足够低。
当应用上述技术之一时,3D扫描可通过例如由步进马达移动样品台来执行,然而,这在使用浸没样本室或在用微电极在生物样本上执行电记录时难以实施。因此,在分析生物样本的情况下,通常优选移动激光束的焦斑而不是移动样本。这可通过偏转激光束以扫描焦平面(XY平面)的不同点以及通过由例如压电***沿物镜的光轴(Z轴)移动物镜以改变焦平面的深度来实现。存在几个已知技术用于在激光束进入物镜之前例如通过偏转安装在检流计扫描仪上的反射镜或通过声光偏转器来偏转激光束。
另一可能性在于使用所谓的全息显微术,其中期望的二维或三维扫描效果通过使用空间光调制器(SLM)实现(Volodymyr Nikolenko,Brendon O.Watson,Roberto Araya,Alan Woodruff,Darcy S.Peterka and Rafael Yuste,2008,Frontiers in Neuronal Circuits)。可与先前***结合使用的用于执行3D扫描的新技术是所谓的时空复用显微镜,即,空间脉冲分离(Adrian Cheng,J TiagoPeyman Golshani,Katsushi Arisaka,Carlos Portera-Cailliau,2011,Nature Methods)。在该方法中,单个激光脉冲由分束器分为多于一个的部分,每一个子脉冲以不同的时间延迟聚焦在不同的平面,因为每一个子脉冲穿过将子脉冲成像至不同焦平面的不同成像***。为了空间扫描,时间顺序上冲击的子脉冲由快速光子计数检测器分开。
检流计扫描仪和声光偏转器是极快的装置,因此移动焦斑至期望的XY平面位置以及在该位置通过检测器获得测量数据可在少于1μs内进行。然而,由于显微镜物镜的迟钝,Z定位耗费实质上更多的时间,致使3D扫描为漫长的操作。
为了实现本领域通常接受的信号噪声比,且假设平均物镜和平均样品大小,测量可花费许多分钟(例如,以优选具有大于光学分辨率的分辨率的双光子显微镜扫描512 x 512 x 200个像素的体积,测量可花费5-20分钟)。然而,在生物样品中发生的快速生理反应为ms量级(例如,动作电位,突触信号传输)。扫描显微镜的测量时间可通过仅沿相关区域、曲线、点测量而省略样品的其它部分而减少。这种技术例如公开在WO2010/007452中。然而,该技术与相似技术的应用首先需要空间选择3D样品的一部分。
从现有技术(参见,Katona et al.:Roller Coaster Scaning revealsspontaneous triggering of dendiritc spikes in CA1 interneurons.PNAS,February1,2011,vol.108,no.5)已知一种技术,其中,在垂直于激光扫描显微镜的光轴的平面中扫描样品,2D部分依次显示给用户,其模拟沿着光轴的向前或向后运动。用户必须选择2D部分上要测量的构造(区域、曲线、点)。
已知方法具有一些缺点:首先,难以在具有复杂空间结构的典型生物物体中定向其本身,如多种神经细胞类型的情况。该问题尤其在物体垂直于扫描平面时以及在物体彼此邻近时出现,在该情况中,难以追踪连续物体并区分相邻平面之间的分离物体(参见,例如,电子显微镜重建程序)。该情形在质量差、信号噪声比低的图像需要分析或物体的连续性和不同必须在这种图像中确定时进一步恶化。
另一缺点在于,因为样品的局部永久变化位置而常常没有足够的时间观察2D部分。例如,如果用户在3D中预选择理想上所需的几百个测量点,则该工艺将需要长时间,使得样品甚至在完成选择之前便失去其原始位置以致在开始时选择的点不再在正确位置。
发明内容
本发明的目的在于提供一种使用激光扫描显微镜分析三维样品的方法和测量***,其克服了现有技术有关的问题。
已认识到,如果激光扫描显微镜(或其它物理操作装置)的测量空间由三维虚拟现实装置显示,并且实时连接提供在测量空间与三维虚拟空间之间,则上述缺点可得到克服,因为三维观察对于进行测量的用户而言更自然,甚至具有较低信号噪声比的质量更差的图像也可更好地解译,并且连续性和不同可更易于确定。
因此,本发明的目的通过以具有三维测量空间且包含激光扫描显微镜的测量***进行样品的三维测量的方法实现,该方法的特征在于:
-为测量***提供三维虚拟现实装置;
-利用三维虚拟现实装置产生测量空间的三维虚拟空间;
-允许在虚拟空间中选择操作;
-在测量空间和虚拟空间之间提供实时的单向或双向连接,使得在虚拟空间中选择的操作在测量空间中进行,以及在测量空间中测量的数据在虚拟空间中显示。
上述目的进一步通过提供用于样品的三维测量的测量***来实现,该测量***具有三维测量空间且包含激光扫描显微镜。该测量***的特征在于,包含显示测量空间的三维虚拟空间的三维虚拟现实装置,且在激光扫描显微镜和三维虚拟现实装置之间提供实时的单向或双向连接。
本发明的有利实施例限定在从属权利要求中。
附图说明
从附图和示例性实施例可知本发明的进一步细节。
图1为根据本发明的示例性测量***的示意图;
图2a为根据本发明的测量***的另一优选实施例的示意图;
图2b为根据本发明的测量***的又另一优选实施例的示意图;
图2c为根据本发明的测量***的再一个优选实施例的示意图。
具体实施方式
图1为根据本发明的测量***10的示意图。测量***10具有三维测量空间12,其中安置了示意性示出的样品14。测量空间12是物理操作可在样品14上进行的空间区域。在物理操作下,意图进行物理参数的测量以及物理相互作用。因此,测量空间12是其中可测量样品14的物理参数或可与样品14物理上相互作用的测量***10的空间区域。在本发明的上下文中,物理参数理解为包含物理、化学、光化学、生物学等参数,其可由任意类型的测量设备测量,而物理相互作用理解为表示任何类型的物理、化学、光化学、生物学等相互作用(其主要意图在于产生样品14的物理参数的变化),以及放置任何类型的工具或设备在样品14中的过程。
测量***10包含激光扫描显微镜16,为了简化,该激光扫描显微镜的测量空间(即,在其中可以显微镜测量的空间区域)没有与测量***的10的测量空间12区分开。应注意,两个测量空间12通常重合,因为显微镜16的测量空间由测量***10的测量空间12包含,另外,测量***10的测量空间12通常不超过显微镜16的测量空间,因为任何其它测量或相互作用按常规在可由显微镜16扫描的空间区域中进行。此外,应注意,测量空间12是相对于显微镜16的样品台定义的,因此可设想显微镜16的焦点通过移动样品台而相对于样品14移动,测量空间还可关于由通过移动样品台到多个位置而简单偏转激光束所扫描的放大。
测量***10还包括一些类型的三维虚拟现实(VR)装置18,其产生测量空间12的三维虚拟空间12'。从诸如立体显示器和自动立体显示器的技术已知多种VR装置18。立体显示器的构思在于分别为用户11的右眼和左眼显示右侧图像和左侧图像,人类大脑将它们感知为单个3D图像。如果右侧图像和左侧图像没有以分开的方式分别投射到用户11的右眼和左眼,那么两个图像通常由具有不同物理特性的两个光束(例如,蓝光和红光,正交偏振光束等)投射。在该情况下,显示需要主动或被动用户装置11a(通常为眼镜),用于分开右侧和左侧图像。主动用户装置11a例如可为交替快门式眼镜,而被动用户装置11b例如可为偏振3D眼镜。
自动立体显示器不需要任何类型的用户装置11a,因为在该情况下,显示形成为使得用户11用右眼仅看见右侧图像,用左眼仅看见左侧图像。例如,这是视差控制显示如何作用的。
在上述显示的情况中,优选使用头部位置跟踪,例如通过应用WO2005/116809中所公开的技术。这样,指定给用户11的两眼的两个图像可根据用户11的眼睛的位置而由三维显示器成像,因此显示的虚拟空间12'不呈现为扭曲的。
除了立体显示器外,例如还可使用其它的VR装置18,使得产生虚拟空间12'作为实像,其在空间上与测量空间12不同。这种显示器例如为全息显示器(参见WO9834411),以及用激光束将3D图像投射到空气中的3D激光投射器。
在由任意VR装置18产生的虚拟空间12'中,由测量***10测量的样品14的测量点还由VR装置18显示。这可通过首先3D扫描放置在激光扫描显微镜16的测量空间12中的样品14来完成。这里,物镜允许用户11观察整个可仅相对较慢地被扫描的样品14,且允许用户11识别并选择其中关注的区域用于执行进一步地测量或相互作用。VR装置18在虚拟空间12'中显示扫描的样品14的虚拟图像,即,VR装置18为用户11显示虚拟样品14'。
3D扫描整个样品14可例如通过在垂直于或横向于激光扫描显微镜16的光轴t的多个平面中扫描样品14以及在虚拟空间12'中通过VR装置18显示扫描的平面来实现。
还可通过应用一些投射(通常是最大强度投射)像雾一样(like a fog)在虚拟空间12'中显示扫描的样品14的3D阵列。为了这种实时显示,通常需要许多图解计算,这优选在计算机的GPU或图形加速器中进行。
在另一优选实施例中,扫描的样品14在合适的计算之后在虚拟空间12'中作为空间表面元件显示,一个或多个模拟光源被采用以增加三维效果。
用户11可选择在虚拟空间12'中显示的虚拟样品14'上的操作。测量***10优选包含3D输入装置20,用于选择操作。从现有技术已知这种输入装置20,例如,臂形式的3D定点设备、照相机识别姿势控制、由红外照相机检测的手边的主动/被动标记器或手持装置(例如,WO2005/116809中公开的标记器)等。扫描***10可包括一个或多个3D输入装置20(标记器),应用的标记器可有不同类型,例如,笔、手套、球、针等。在根据本发明的扫描***10的优选实施例中,以六个自由度绝对定位的笔状3D标记器(参见WO2005/116809)用作输入装置20。3D标记器可在虚拟空间12'中显示为常规光标(cursor)。上述头部位置跟踪的应用具有以下优点:使得可在虚拟空间12'中显示虚拟光标,从而与3D标记器的实际空间位置(即,在移动标记器时由用户11感知的位置)准确重合。
扫描***10容许测量空间12与虚拟空间12'之间的实时连接。这意味着在虚拟空间12'中选择的操作在测量空间12中进行,在测量空间12中测量的数据显示在虚拟空间12'中。
这种操作可为(优选通过3D输入装置20)选择虚拟空间12'中样品14的虚像中的虚拟构造22',虚拟构造22'由一个或多个点和/或曲线和/或区域构成,以及指挥激光扫描显微镜16扫描测量空间12中对应于虚拟构造22'的真实构造22。为了进行这些,测量***10的控制***24(通常为计算机或计算机上运行的控制程序)计算测量空间12中对应于虚拟构造22'的真实构造22的坐标,以及控制激光扫描显微镜16以沿着对应于所选择的虚拟构造22'的真实构造22或在其中扫描样品14。这涉及沿着真实构造22或在其中移动激光扫描显微镜16的焦点,这可通过偏转激光束及改变焦深和/或通过移动显微镜16的物镜和/或移动样品台来执行。可实行通过激光扫描显微镜16扫描样品14的指定点或沿样品14的指定曲线或在样品14的指定区域中扫描,例如如WO2010/007452或WO2010/055362或WO2010/055361中所公开的。
在扫描真实构造22期间,由显微镜16获得的测量数据可由VR装置18在虚拟空间12'中实时显示,因此,用户11从选择的扫描操作的执行获得实时反馈。
用户还可借助3D输入装置20将虚拟标记21'放置在虚拟空间12'中,利用该标记,用户可任意选择操作。例如,虚拟标记21'可因任何原因涉及测量空间12中的相应标记点21的特定特性或者选择/标记。
优选地,用户11不仅仅能够选择要由测量***10中的激光扫描显微镜16执行的操作。优选地,测量***10还包含一个或多个其它物理操作装置26,用于在测量空间12中执行物理操作,例如执行物理相互作用或物理参数的测量。例如,适合的操作装置26可用于在显微镜12的测量空间12中应用机械或激光操纵,或者可用于控制对样品14的化学品或其它物质的局部供应/添加或在样品14中局部释放物质。例如,用户11在虚拟空间12'中选择的操作可为选择刺激点,操作装置26可用于执行刺激。该刺激例如可通过光学刺激实现,通过激起化学或电子响应或通过注入化学试剂。
测量***10的用于执行物理相互作用的操作装置26可为机器人外科手术装置,例如刀、激光切除装置、超声波凝结器、激光凝结器、微注射器、真空吸引装置、光缆、电刺激器等,或者要***样品14中的测量装置,例如,电极、用于膜片钳技术(patchclamp technique)的微移液管、内窥镜装置或电泳测量头。操作装置26可适合用于在细胞或轴突(axon)水平执行定向的激光显微外科手术。
操作装置26还可用于执行多种特定测量。特定测量通常是变窄并因此在时间上加速的3D测量工艺,并且可在较小的空间区域中,或沿着子表面或曲线,或在单个点处进行。例如,在膜片钳测量的情况中,还可以以较高速度追踪细胞的放电模式(firing pattern)。这种测量常结合成包括应用刺激物和分析响应的协议。刺激物可为激起电刺激反应的电极,或感官刺激物,离子电渗疗法或物质的局部光化学释放,光敏蛋白质的光刺激,或各种局部震动。
优选地,VR装置18还以某一形式在虚拟空间12'中显示操作装置26,例如,操作装置26的执行物理相互作用的工具28由虚拟空间12'中的虚拟工具28'表示。还可设想操作装置26不具有具体的相互作用工具28(例如,在光刺激装置的情况中),尽管这样,仍可确定相互作用点29为与样品14相互作用的点,并且其可通过VR装置18以虚拟相互作用点29'的形式显示。
优选地,用户11还可借助3D输入装置选择操作装置26的操作,例如,可选择虚拟构造22',从而沿着对应于选择的虚拟构造22'的真实构造22或在其中移动操作装置26的相互作用点29。优选地,用户11可借助输入装置20的光标抓住虚拟工具28'或虚拟相互作用点29',并可将其拖至虚拟样品14'的期望点,从而指挥操作装置26在测量空间12的相应点处执行物理操作。
优选地,测量***10的控制***24还控制操作装置26,即,控制***24将虚拟空间12'中所选择的操作作为可由操作装置26执行的命令传至操作装置26。
当由操作装置26执行选择的操作时,还可提供测量数据(例如,电极可测量细胞膜的电位),其可由VR装置18实时显示在虚拟空间12'中。
如果测量***10用于执行复杂操作,则会发生测量***10比用户11解释数据更快地提供数据。还可能的是,控制操作本身(例如,测量/外科手术)需要许多决定、相互作用,其不能由单个人处理。对于这种情况,优选的是提供用于多用户11的测量***10。这可通过使用能够为多个用户11提供虚拟现实的VR装置18或可提供给各用户11的分开的VR装置18来实现,从而显示虚拟空间12'。后面的实施例示于图2a中。两个分开的VR装置18为两个用户11产生测量空间12的两个分开的虚拟空间12',优选每个用户11可独立地使用提供给指定VR装置18的3D输入装置20选择操作。控制***24优选将在两个虚拟空间12'中选择的操作译为命令,其根据选择的操作控制激光扫描显微镜16和任何可选的操作装置26的相互作用工具28。有利的是:在多用户测量***10中在用户11之间分配显微镜16的控制和操作装置26的相互作用工具28的控制。例如,在图2a示出的实施例中,第一用户11在第二用户控制操作装置26时控制激光扫描显微镜16。然而,还可设想的是,利用测量需要比用户11观察结果充分少的时间的事实,两个用户11分时控制相同的测量设备(显微镜16和操作装置26)。例如,分时可应用在目标为在样品14体积内的大量细胞上执行一些检查时,在该情况下,多个用户11可同时执行检查,因此分享工作。
还可设想工作分享的相反面,如图2b所示。如果用分开的测量设备(显微镜16和操作装置26)测量样品14的不同部分或方面,则由这些提供的数据可由单个VR装置18显示,因此允许用户11基于多于一个的同步信息作出决定并控制更多类型或更复杂的相互作用和操作。该技术可应用于例如视网膜细胞以及处理视网膜图像的头部的相对侧的视觉皮质的同时3D测量。
一个或多个VR装置18与显微镜16以及其它的一个或多个可选操作装置26之间的连接可为通过局部或全局网络的直接连接,全局网络包含因特网。例如,在某一科学领域具有特殊经验的用户11可从世界的遥远位置分析样品14或控制执行在样品14上的测量。在远程连接的情况下,还可允许多用户11访问相同的测量***10,或允许单个用户11控制多于一个的测量***10(见图2c)。
可如下使用根据本发明的测量***10。
用户11将样品放置在激光扫描显微镜16的测量空间12中,并利用显微镜16对样品14进行3D扫描。这例如可通过沿着垂直于光轴t的多个平面扫描样品14来执行。在此之后,VR装置18以虚拟样品14'的形式在虚拟空间12'中显示扫描的样品14。用户11可优选借助于可为3D标记器形式的输入装置20操纵虚拟空间12'中的虚拟样品14'。例如,用户11可抓住虚拟样品14',空间旋转它,移动它,放大它或减小其尺寸,选择要由显微镜16或可选地由属于测量***10的其它操作装置26实行的虚拟样品14'上的操作。对于要由显微镜16实行的操作,用户11优选借助于3D标记器选择由一个或多个点和/或曲线和/或区域构成的虚拟构造22'。测量***10计算测量空间12中对应的真实构造22的坐标,并且基于计算的坐标,控制***24控制激光扫描显微镜16以沿着对应于选择的虚拟构造22'的真实构造22或在其中扫描样品14。测量的数据可由测量***10的VR装置18实时显示在虚拟空间12'中,基于此,用户11甚至可在测量期间进行干预。因此,在测量空间12与虚拟空间12'之间有实时连接。用户11优选不仅在虚拟空间12'中控制激光扫描显微镜16,而且控制如前所述的属于测量***10的其它物理操作装置26。控制***24提供为在测量空间12中由操作装置26实行在虚拟空间12'中选择的操作,同时,测量***10的VR装置18显示在测量空间12中由操作装置26和/或激光扫描显微镜16测量的数据。因此,在该情况中,测量空间12与虚拟空间12'之间也有实时连接,因此用户11甚至可在执行选择的操作期间进行实时干预,并可更改测量或选择进一步的测量。
在优选实施例中,测量***10以一个或多个频率同时(在同一时间)或接近同时运行。在该情况中,测量(双光子荧光强度、荧光寿命、传输信号、二次谐波发生(SHG)信号、偏振信号等)可以一个或多个频率进行,同时物理操作(分子的光化活化、光激发的化学物质或生物物质、蛋白质的光活化、切除等)以一个或多个不同频率同时或接近同时进行。由于应用不同的频率,同时物理操作和测量不会互相干扰,可在3D虚拟现实环境中跟踪并显示二者。
在3D虚拟现实中显示测量和其它物理操作极大地增强了控制激光扫描显微镜16和其它物理操作装置26的有效性,因为用户11可容易且自然地感知呈现给用户11的虚拟现实环境形式的虚拟空间12'的概要或很放大的信息,因此用户11可执行3D操作必需的3D选择,以及以自然的方式进行对其的控制。由根据本发明的测量***10和方法帮助完成的最重要任务是:
-3D数据结构的观察和理解;
-样品14和/或视点的取向以及导航;
-测量构造(平面、曲线、体积)的选择以及在其中设定多种参数;
-控制特定高速测量算法(参见,例如WO2010/055361、WO2010/007452)以及为此目的在样品14的测量平面12中执行选择;
-通过其它操作装置26选择和控制其它操作;
-在虚拟空间12'中示出位置特定测量数据;
-检查相互作用的效果。
本发明允许通过在相应虚拟空间12'中运行的合适3D输入装置20(标记器)实时选择测量空间12中测量的精确空间位置,以及允许其连续变化。因此,激光扫描显微镜16需要仅反复扫描充分较小的体积,因为测量限制在对应于手动选择的虚拟构造22'的真实构造22中。该方法允许以比每次扫描整个样品14更高的速度执行检查。用户11甚至可接着借助于测量***10移动物体(例如,跟随沿着神经细胞的轴突传输的带有标签的粒子的轨迹)。
在进行特殊测量或通过操作装置26如上所述执行相互作用时,精确的3D取向在临床应用和科学研究中至关重要。
本发明的另一优点在于:在虚拟空间12'中显示物体(例如,在神经细胞的情况中)类似于后解剖重建(post anatomic reconstruction)但实时增强了方案(formula)的解译,因此例如在神经细胞的情况中帮助识别从测量的观点来看是重要的轴突、树突、树突段或轴突段。虚拟现实环境(VR环境)还提供快速且自然的方式来选择要测量的结构,例如,可显示要测量的轴突以及经由VR装置18的3D输入装置20快速设定3D中的各种测量特性。通过沿着选择的虚拟构造22'更新仅3D图像点,可选择并设定3D中的合适测量协议,即,限定在哪测量以及测量多久。除了控制显微镜16的测量,还可经由测量***10控制在测量空间12中由显微镜16执行的光化学刺激、机械的激光操纵,以及多种化学复合物和物质的局部附加(注入)。反应、测量点、曲线、区域(即,由用户11选择的真实构造22)可以以位置特定方式显示在虚拟空间12'中(例如,通过在与测量点链接的3D标志上显示2D瞬态,或者通过应用颜色编码显示测量的真实构造22的活动图),因此可更好地图解结果的空间性。
应认识到的是,在不脱离由所附权利要求确定的保护范围的情况下,上述实施例的多种修改对本领域技术人员而言是显而易见的。

Claims (28)

1.一种采用具有三维测量空间且包含激光扫描显微镜的测量***的样品的三维测量方法,其特征在于:
-为所述测量***提供三维虚拟现实装置;
-利用所述三维虚拟现实装置产生所述测量空间的三维虚拟空间;
-允许在所述虚拟空间中选择操作;
-在所述测量空间和所述虚拟空间之间提供实时的单向或双向连接,使得在所述虚拟空间中选择的操作在测量空间中进行,以及在所述测量空间中测量的数据在所述虚拟空间中显示。
2.根据权利要求1的方法,其特征在于:
-以三维扫描放置在所述激光扫描显微镜的测量空间中的样品或部分样品;
-在所述虚拟空间中显示所扫描的样品;
-允许选择虚拟构造,该虚拟构造至少包含点和/或曲线和/或区域;
-计算对应于所述虚拟构造的所述测量空间的坐标;
-基于所述测量空间的坐标,控制所述激光扫描显微镜,从而根据所述虚拟构造扫描所述样品,且在扫描期间执行测量和/或与所述样品的相互作用。
3.根据权利要求2的方法,其特征在于:所述虚拟构造为由点以三维构成的准连续曲线或在限定点的内插曲线,且包含以下步骤:
在所述虚拟空间中移动所述曲线的点或所述内插曲线的限定点;以及根据所述位移更改所述测量空间中的所述测量坐标。
4.根据权利要求2的方法,其特征在于,所述虚拟空间为由点以三维构成的准连续曲线或在限定点的内插曲线,且包含以下步骤:
控制影响所述曲线的点或所述内插曲线的限定点的函数和/或算法;显示这些;以及相应地更改所述测量空间中的所述测量坐标。
5.根据权利要求2的方法,其特征在于,
-在所述样品的三维扫描期间,在多个平面中扫描所述样品,所述多个平面垂直于或横向于所述激光扫描显微镜的光轴,以及
-在所述虚拟空间中显示扫描的平面。
6.根据权利要求5的方法,其特征在于,在所述虚拟空间中将所述扫描的样品或其部分显示为空间雾。
7.根据权利要求5的方法,其特征在于,在所述虚拟空间中将所述扫描的样品或其部分显示为空间表面元件,以及使用一个或多个模拟光源来增强三维效果。
8.根据权利要求1至7中任一项的方法,其特征在于,
-为所述测量***提供操作装置,该操作装置用于进行物理操作,该操作装置能与测量激光束符合,
-在所述虚拟空间中为所述测量空间的所述操作装置选择操作,
-利用所述测量空间中的所述操作装置执行在所述虚拟空间中选择的所述操作。
9.根据权利要求8的方法,其特征在于,所述物理操作是物理相互作用或物理参数的测量,用于实行所述物理操作的所述操作装置为机器人手术装置、刀、激光切除装置、超声波凝结器、激光凝结器、微注射器、真空吸引装置、光缆、棱镜、栅格透镜、电刺激器、要***所述样品中的测量装置,优选为电极、用于膜片钳技术的微移液管、细胞外记录电极、内窥镜装置、电泳装置。
10.根据权利要求1至9中任一项的方法,其特征在于,为所述三维虚拟现实装置提供用于选择操作的三维输入装置,优选三维标记器。
11.根据权利要求8的方法,其特征在于,为所述三维虚拟现实装置提供用于选择操作的三维鼠标或机械臂,其坐标***与所述虚拟空间同步并适合于绘制和选择三维空间曲线和点。
12.根据权利要求11的方法,其特征在于,提供而用于选择操作的所述三维输入装置的定点装置的空间位置与属于所述装置的虚拟标记器的空间位置符合,或者相对于该虚拟标记器的空间位置偏移指定空间向量。
13.根据权利要求8至12中任一项的方法,其特征在于,改变所述三维输入装置以及可选的所述三维输入装置的三维虚拟标记器(由所述输入装置致动)的指定局部虚拟环境中虚拟现实的光学对比度或能见度,因此优选增加所述对比度以更好地观察相互作用。
14.根据权利要求1至13中任一项的方法,其特征在于,在所述三维虚拟现实装置中提供三维显示装置,优选自动立体显示器,从而显示在所述测量空间中测量的数据。
15.根据权利要求1至14中任一项的方法,其特征在于,为所述三维虚拟现实装置提供三维显示装置,优选立体显示器,以及主动或被动立体用户装置,优选眼镜,从而显示在所述测量空间中测量的数据。
16.根据权利要求14至15的方法,其特征在于,在所述三维虚拟现实装置中提供头部位置跟踪,且根据用户的头部位置由所述三维显示装置显示所述虚拟空间。
17.根据权利要求1至16中任一项的方法,其特征在于,
-为所述测量***提供多于一个的三维虚拟现实装置,
-通过所述多于一个的三维虚拟现实装置为多于一个的用户产生所述测量空间的多于一个的三维虚拟空间。
18.根据权利要求17的方法,其特征在于,在所述多于一个的三维虚拟现实装置和所述测量***之间提供在局部网络或全局网络上的实时连接。
19.根据权利要求1的方法,其特征在于,为多于一个的测量***提供共用的三维虚拟现实装置,以及用所述共用的三维虚拟现实装置产生所述多于一个的测量空间的共用的三维虚拟空间。
20.根据权利要求1至19中任一项的方法,其特征在于,所述测量***包含双光子激光扫描显微镜或共焦激光扫描显微镜。
21.一种对样品进行三维测量的测量***,所述测量***具有三维测量空间且包含激光扫描显微镜,其特征在于:还包含显示所述测量空间的三维虚拟空间的三维虚拟现实装置,且在所述激光扫描显微镜和所述三维虚拟现实装置之间提供实时的单向或双向连接。
22.根据权利要求21的测量***,其特征在于,包含执行物理操作的操作装置,以及在所述操作装置与所述三维虚拟现实装置之间提供实时的单向或双向连接。
23.一种对样品进行三维测量的测量***,所述测量***具有三维测量空间且包含激光扫描显微镜和可选的其它操作装置,并设有控制***,其特征在于:包含三维虚拟现实装置,该三维虚拟现实装置具有与所述控制***的实时的单向或双向连接,用于执行根据权利要求1至20中任一项所述的方法。
24.根据权利要求1至20中任一项的方法,其特征在于,在一个或多个波长同时或接近同时操作所述测量***。
25.根据权利要求24的方法,其特征在于,在一个或多个波长测量且同时或接近同时在一个或多个不同波长执行物理操作。
26.根据权利要求20的方法,其特征在于,通过所述三维激光扫描显微镜中的机械位移提供z调焦和/或xy扫描。
27.根据权利要求1至20中任一项的方法和测量***,其特征在于,在所述三维虚拟空间中显示在空间扫描期间获知的所述物理位移与选择而用于测量的所述构造之间的误差,以及用所述三维输入装置改变所述空间轨迹以减少所述测量的空间误差。
28.根据权利要求20的方法和测量***,其特征在于,使用具有声光偏转器***或具有全息扫描单元的三维激光扫描显微镜,或者使用通过时空复用(即,通过空间脉冲分离)执行三维扫描的三维激光扫描显微镜,或者使用通过以电场控制机械可移动透镜来执行三维扫描的三维激光扫描显微镜。
CN201280070158.5A 2011-12-28 2012-01-05 通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置 Pending CN104137030A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
HUP1100728 2011-12-28
HUP1100728 2011-12-28
PCT/HU2012/000002 WO2013098567A1 (en) 2011-12-28 2012-01-05 Method for the 3-dimensional measurement of a sample with a measuring system comprising a laser scanning microscope and such measuring system

Publications (1)

Publication Number Publication Date
CN104137030A true CN104137030A (zh) 2014-11-05

Family

ID=89662379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280070158.5A Pending CN104137030A (zh) 2011-12-28 2012-01-05 通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置

Country Status (6)

Country Link
US (1) US9874437B2 (zh)
EP (1) EP2798443B1 (zh)
JP (1) JP6163498B2 (zh)
CN (1) CN104137030A (zh)
CA (1) CA2861721A1 (zh)
WO (1) WO2013098567A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106595518A (zh) * 2016-11-30 2017-04-26 中航华东光电(上海)有限公司 基于特征点立体匹配的曲面外观形状检测vr***
CN109674438A (zh) * 2019-01-31 2019-04-26 北京超维景生物科技有限公司 物镜可调节的腔体内窥镜探测装置及激光扫描腔体内窥镜
CN109745010A (zh) * 2019-01-31 2019-05-14 北京超维景生物科技有限公司 定位式吸附显微镜探测装置及激光扫描显微镜
CN110390848A (zh) * 2018-04-19 2019-10-29 林肯环球股份有限公司 双用户配置式焊接仿真器
CN110390850A (zh) * 2018-04-19 2019-10-29 林肯环球股份有限公司 用于仿真焊接训练的模块化且可重新配置的机箱
CN114371494A (zh) * 2022-03-22 2022-04-19 西南科技大学 面向自主寻源机器人的放射源场景模拟方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016106993A1 (de) * 2016-04-15 2017-10-19 Carl Zeiss Microscopy Gmbh Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops
DE102017107489B3 (de) 2017-04-07 2018-07-05 Carl Zeiss Microscopy Gmbh Mikroskopanordnung zur Aufnahme und Darstellung dreidimensionaler Bilder einer Probe
US11351005B2 (en) * 2017-10-23 2022-06-07 Intuitive Surgical Operations, Inc. Systems and methods for presenting augmented reality in a display of a teleoperational system
WO2019222113A1 (en) * 2018-05-15 2019-11-21 Thermo Fisher Scientific Inc. Collaborative virtual reality environment for training

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1508759A (zh) * 2002-12-19 2004-06-30 索尼公司 用于处理信息的设备、方法和程序
WO2005116809A2 (en) * 2004-05-24 2005-12-08 3D For All Számítástechnikai Fejlesztö Kft. System and method for operating in virtual 3d space and system for selecting an operation via a visualizing system
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
WO2010007452A2 (en) * 2008-07-15 2010-01-21 Femtonics Kft. Laser scanning microscope for scanning along a 3d trajectory

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
DE29505985U1 (de) * 1995-04-06 1995-07-20 Bestenlehrer, Alexander, 91074 Herzogenaurach Vorrichtung zum Bearbeiten, insbesondere zum Polieren und Strukturieren von beliebigen 3D-Formflächen mittels eines Laserstrahls
US5778178A (en) * 1995-11-13 1998-07-07 Arunachalam; Lakshmi Method and apparatus for enabling real-time bi-directional transactions on a network
HUP9700348A1 (hu) 1997-02-04 1998-12-28 Holografika E.C. Eljárás és berendezés háromdimenziós kép megjelenítésére
JP5197685B2 (ja) * 2003-11-21 2013-05-15 オリンパス株式会社 走査型共焦点顕微鏡
JP2006072873A (ja) * 2004-09-06 2006-03-16 Canon Inc 三次元画像処理装置および三次元形状データ生成装置
JP5013699B2 (ja) * 2005-10-21 2012-08-29 株式会社キーエンス 3次元加工データ設定装置、3次元加工データ設定方法、3次元加工データ設定プログラム、コンピュータで読み取り可能な記録媒体及び記録した機器並びにレーザ加工装置
JP5132052B2 (ja) * 2005-11-30 2013-01-30 オリンパス株式会社 走査型レーザ顕微鏡の条件設定装置及び走査型レーザ顕微鏡システム
HU0800688D0 (en) 2008-11-17 2009-01-28 Femtonics Kft Multiple free line-scan mode of scanning
WO2010055362A2 (en) 2008-11-17 2010-05-20 Femtonics Kft. Method and measuring system for scanning a region of interest
US20110306986A1 (en) * 2009-03-24 2011-12-15 Min Kyu Lee Surgical robot system using augmented reality, and method for controlling same
JP5299078B2 (ja) * 2009-05-15 2013-09-25 株式会社ニコン レーザ走査顕微鏡、3次元画像取得方法、及びプログラム
JP2011215176A (ja) * 2010-03-31 2011-10-27 Nikon Corp 画像処理装置および方法
EP2511656A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1508759A (zh) * 2002-12-19 2004-06-30 索尼公司 用于处理信息的设备、方法和程序
WO2005116809A2 (en) * 2004-05-24 2005-12-08 3D For All Számítástechnikai Fejlesztö Kft. System and method for operating in virtual 3d space and system for selecting an operation via a visualizing system
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
WO2010007452A2 (en) * 2008-07-15 2010-01-21 Femtonics Kft. Laser scanning microscope for scanning along a 3d trajectory

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106595518A (zh) * 2016-11-30 2017-04-26 中航华东光电(上海)有限公司 基于特征点立体匹配的曲面外观形状检测vr***
CN110390848A (zh) * 2018-04-19 2019-10-29 林肯环球股份有限公司 双用户配置式焊接仿真器
CN110390850A (zh) * 2018-04-19 2019-10-29 林肯环球股份有限公司 用于仿真焊接训练的模块化且可重新配置的机箱
CN109674438A (zh) * 2019-01-31 2019-04-26 北京超维景生物科技有限公司 物镜可调节的腔体内窥镜探测装置及激光扫描腔体内窥镜
CN109745010A (zh) * 2019-01-31 2019-05-14 北京超维景生物科技有限公司 定位式吸附显微镜探测装置及激光扫描显微镜
CN109674438B (zh) * 2019-01-31 2024-02-27 北京超维景生物科技有限公司 物镜可调节的腔体内窥镜探测装置及激光扫描腔体内窥镜
CN109745010B (zh) * 2019-01-31 2024-05-14 北京超维景生物科技有限公司 定位式吸附显微镜探测装置及激光扫描显微镜
CN114371494A (zh) * 2022-03-22 2022-04-19 西南科技大学 面向自主寻源机器人的放射源场景模拟方法

Also Published As

Publication number Publication date
EP2798443A1 (en) 2014-11-05
JP6163498B2 (ja) 2017-07-12
CA2861721A1 (en) 2013-07-04
JP2015513065A (ja) 2015-04-30
US9874437B2 (en) 2018-01-23
US20150032414A1 (en) 2015-01-29
EP2798443B1 (en) 2018-12-19
WO2013098567A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN104137030A (zh) 通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置
JP6625696B2 (ja) マルチビュー・ライトシート顕微鏡検査法
Ji et al. Technologies for imaging neural activity in large volumes
Yang et al. Simultaneous multi-plane imaging of neural circuits
EP2618197B1 (en) 3-dimensional confocal microscopy apparatus and focal plane scanning and aberration correction unit
US6078681A (en) Analytical imaging system and process
CN103892919B (zh) 基于光学相干层析引导的显微外科手术***
US20090091566A1 (en) System and methods for thick specimen imaging using a microscope based tissue sectioning device
US20120140240A1 (en) Laser-scanning intersecting plane tomography such as for high speed volumetric optical imaging
JP2013515958A (ja) 高密度の確率的サンプリング撮像のシステムおよび方法
CN1662810A (zh) 生物分子分析装置
CN105527261B (zh) 一种双光子荧光显微镜的多模态扫描装置
CN109952525B (zh) 通过扫描多个三维线来扫描感兴趣的区域的方法
EP2573613A1 (en) Information processing apparatus, information processing method, program, and information processing system
Ellefsen et al. Dynamic Ca2+ imaging with a simplified lattice light-sheet microscope: A sideways view of subcellular Ca2+ puffs
US20140028667A1 (en) Three-Dimensional Representation of Objects
CN102998290A (zh) 一种荧光寿命显微成像***
JPWO2018158947A1 (ja) 細胞観察装置
Yang et al. Deep-learning-based virtual refocusing of images using an engineered point-spread function
JP6255008B2 (ja) 顕微鏡の稼働時に実施する方法および顕微鏡
JP2003195174A (ja) 走査型レーザ顕微鏡システム
JP2004053498A (ja) 顕微鏡画像解析装置とその画像解析方法
Roudot et al. u-track3D: Measuring, navigating, and validating dense particle trajectories in three dimensions
JPWO2018158946A1 (ja) 細胞観察装置
WO2020136896A1 (ja) 評価装置、及び、評価方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141105