CN104902840A - 跟踪***及利用上述跟踪***的跟踪方法 - Google Patents

跟踪***及利用上述跟踪***的跟踪方法 Download PDF

Info

Publication number
CN104902840A
CN104902840A CN201480004280.1A CN201480004280A CN104902840A CN 104902840 A CN104902840 A CN 104902840A CN 201480004280 A CN201480004280 A CN 201480004280A CN 104902840 A CN104902840 A CN 104902840A
Authority
CN
China
Prior art keywords
mentioned
image
labelling
light
generating unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480004280.1A
Other languages
English (en)
Other versions
CN104902840B (zh
Inventor
洪钟圭
李贤箕
郑载宪
金珉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoying Technology Co ltd
Qingpeking University Industry University Cooperation Foundation
Original Assignee
Koh Young Technology Inc
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koh Young Technology Inc, Industry Academic Cooperation Foundation of KNU filed Critical Koh Young Technology Inc
Publication of CN104902840A publication Critical patent/CN104902840A/zh
Application granted granted Critical
Publication of CN104902840B publication Critical patent/CN104902840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3945Active visible markers, e.g. light emitting diodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种跟踪***及利用其的跟踪方法,其仅利用一台成像单元也能计算出各个标记的三维坐标,从而不仅能够减少制作费用,而且实现了装备的紧凑化,使得能够最小化手术空间的制约。在上述跟踪***及利用上述跟踪***的跟踪方法中,从各个标记释放的光通过两个路径向一台成像单元传输,从而在上述成像单元的图像传感器中,对各个标记形成基于各个路径的两个(直接影像和反射影像)影像,使得能够仅利用一台成像单元也能计算和确认附着于目标物的标记的空间位置和方向,因此,不仅能够降低跟踪***的制作费用,而且能够实现装备的小型轻量化,从而与现有的跟踪***相比,具有相对少受手术空间的制约的效果。

Description

跟踪***及利用上述跟踪***的跟踪方法
技术领域
本发明涉及跟踪***及利用上述跟踪***的跟踪方法,更详细地,涉及通过跟踪附着于患者的患处或手术器械之类的目标物的多个标记的坐标,来检测目标物的空间位置信息或方向信息的手术用跟踪***及利用上述跟踪***的跟踪方法。
背景技术
最近,当实施腹腔镜手术或耳鼻喉科手术时,为了更加减少患者的痛苦,并使患者更快恢复而正研究和导入机器人手术。
当实施这种机器人手术时,为了可以将手术的风险最小化,并能进行更加精密的手术,使用可以在准确地跟踪并检测患处或手术器械之类的目标物的空间位置和方向之后,向患者的患处准确地引导(NAVIGATE)上述手术器械的导航仪。
如上所述的手术用导航仪包括可以准确地跟踪并检测如上所述的患处或手术器械之类的目标物的空间位置和方向的跟踪***。
如上所述的跟踪***包括:标记,通常附着于患处或手术器械之类的目标物;第一成像单元、第二成像单元,使通过上述多个标记来释放的光完成成像;以及处理器,与上述第一成像单元、第二成像单元相连接来计算出上述多个标记的三维坐标之后,将用于连接已保存的相邻的上述多个标记的多个直线的信息和由相邻的一对直线所形成的角度信息,与上述多个标记的三维坐标进行比较,来计算出上述目标物的空间位置和方向。
在此,为了通过处理器来计算出上述多个标记的三维坐标,通常在假设从一个标记中释放并在第一成像单元完成成像的上述标记的坐标和在上述第二成像单元完成成像的上述标记的坐标相同的情况下,通过三角法,借助上述处理器进行检测,因此,为了通过处理器来计算出各个标记的三维坐标,必须需要两台探测器。
因此,现有的普通的跟踪***必须设置用于在互不相同的位置使从各个标记中释放的光成像的两台成像单元,因此,不仅会使制作费用上升,而且***的整体大小变大,从而具有手术空间受到很大制约的问题。
发明内容
解决的技术问题
因此,本发明的目的在于,提供一种跟踪***及利用上述跟踪***的跟踪方法,其仅利用一台成像单元也可以计算出各个标记的三维坐标,从而不仅可以减少制作费用,而且能够实现装备的紧凑化,使得能够最小化手术空间的制约。
技术方案
本发明的一实施例的跟踪***包括:至少三个标记,附着于目标物,释放光或反射从至少一个光源释放的光;反射器,反射从上述多个标记释放的光或借助上述多个标记来反射后释放的光;成像单元,直接接收从上述多个标记释放的光,使直接影像完成成像,与此同时,接收从上述多个标记释放光后借助上述反射器来反射并释放的光,使反射影像完成成像;以及处理器,利用在上述成像单元中完成成像的所述多个标记的直接影像和反射影像,来分别计算出上述多个标记的三维坐标后,对上述多个标记的三维坐标和已保存的相邻的多个标记之间的几何学信息进行比较,从而计算出上述目标物的空间位置和方向。
作为一例,上述反射器可以为镜子,上述镜子能够通过向上述成像单元侧反射从上述多个标记释放的光,使反射影像完成成像。
作为一例,上述反射器可以与上述成像单元位于相同的光程,通过上述处理器的控制,来变更上述反射器的设置位置或角度、反射面的形状中的至少一个,从而改变上述反射影像的成像位置。
作为一例,上述成像单元可以为摄像机,上述摄像机通过接收从上述标记直接释放的光和借助上述反射器来反射的光,来使影像完成成像。
另一方面,上述多个标记之间的几何学信息可以为长度信息和角度信息,上述长度信息为用于连接相邻的上述多个标记的多个直线的长度信息,上述角度信息为由相邻的一对上述直线所形成的角度信息。
本发明的一实施例的跟踪方法包括:直接接收从附着于目标物的至少三个标记释放的光,使直接影像在成像单元完成成像,与此同时,接收从上述多个标记释放后借助设置于特定位置来反射光的反射器所释放的光,使反射影像在成像单元中完成成像的步骤;利用在上述成像单元中完成成像的上述多个标记的直接影像和反射影像,并通过处理器来计算出上述各个标记的三维坐标的步骤;以及对上述各个标记的三维坐标和已保存于上述处理器的相邻的多个标记之间的几何学信息进行比较,来计算出上述目标物的空间位置和方向的步骤。
在此,上述多个标记之间的几何学信息可以为长度信息和角度信息,上述长度信息为用于连接相邻的上述多个标记的多个直线的长度信息,上述角度信息为由相邻的一对上述直线所形成的角度信息。
另一方面,使上述反射影像在成像单元中完成成像的步骤可以包括由上述处理器控制反射器的设置位置、角度及反射面的形状的变更中的至少一个,从而在与上述成像单元相同的光程上改变上述反射影像的成像位置的步骤。
作为一例,计算出上述多个标记的三维坐标的步骤可以包括:通过上述处理器来计算出在上述成像单元中完成成像的上述多个标记的直接影像和反射影像的二维坐标的步骤;以及利用上述多个标记的直接影像的二维坐标和上述反射影像的二维坐标,并通过上述处理器来计算出上述多个标记的三维坐标的步骤。
发明效果
像这样,本发明的一实施例的跟踪***及利用上述跟踪***的跟踪方法使各个标记所释放的光直接向成像单元流入的同时借助反射器来反射,从而向上述成像单元流入。即,从各个标记释放的光通过两个路径(第一路径:标记→成像单元,第二路径:标记→反射器→成像单元)向成像单元传输,从而在上述成像单元的图像传感器中,对各个标记形成基于各个路径的两个(直接影像和反射影像)影像,使得仅利用一台成像单元也可以计算和确认附着于目标物的标记的空间位置和方向。
因此,不仅可以降低跟踪***的制作费用,而且可以实现装备的小型轻量化,从而与现有的跟踪***相比,具有相对少受手术空间的制约的效果。
附图说明
图1为本发明的一实施例的跟踪***的简图。
图2为多个标记附着于目标物的例示图。
图3为用于说明在镜头的相同光程之上,当标记的位置改变时的反射影像所成像的位置的变化的例示图。
图4为用于说明本发明的一实施例的跟踪方法的框图。
图5为用于说明计算出多个标记的三维坐标的过程的框图。
图6为将成像单元的图像传感器虚拟分割为直接影像的坐标系和反射影像的坐标系的例示图。
图7为用于说明影像中的二维坐标和实际标记的三维坐标之间的关系的图。
具体实施方式
本发明可以实施多种变更,也可以具有多种形态,本发明将特定实施例例示于附图中,并在本文中进行详细说明。但这并不用于将本发明限定于特定的公开形态,而应理解为包括本发明的思想及技术范围所包括的所有变更、等同技术方案及代替技术方案。
第一、第二等术语可用于说明多种结构要素,但上述结构要素不能仅限于上述术语。上述术语仅用于从另一个结构要素中区别出一个结构要素的目的。例如,在不脱离本发明的保护范围的情况下,第一结构要素可命名为第二结构要素,相似地,第二结构要素也可命名为第一结构要素。
在本发明中所使用的术语仅用于对特定的实施例进行说明,并不用于限定本发明。只要在上下文中未明确地表示不同,单数的表达就可以包括复数的表达。在本申请中,应理解为“包括”或“具有”等术语用于指定说明书所记载的特征、数字、步骤、动作、结构要素、部件或他们的组合的存在,并不用于提前排除一个或一个以上的其他特征或数字、步骤、动作、结构要素、部件或他们的组合的存在或附加可能性。
只要没有以不同的方式定义,包括技术性术语或科学性术语在内的,在此使用的所有术语具有与本发明所属技术领域的普通技术人员通常所理解的含义相同的含义。
通常所使用的词典上已定义的术语应解释为具有与相关技术的上下文中所具有的含义相一致的含义,在本申请中,只要没有明确定义,就不会以异常或过分形式性的含义来进行解释。
以下,参照附图,对本发明的优选实施例进行更加详细的说明。
本发明的一实施例的跟踪***及利用上述跟踪***的跟踪方法在患处或手术器械之类的目标物附着至少三个标记之后,计算出上述多个标记的三维坐标,并通过处理器来对已保存于处理器的相邻的多个标记之间的几何学信息和上述多个标记的三维坐标进行比较,从而可以计算出上述患处或手术器械之类的目标物的空间位置和方向,对于这种详细结构,将参照附图进行说明。
图1为本发明的一实施例的跟踪***的简图,图2为多个标记附着于目标物的例示图,图3为用于说明在镜头的相同的光程之上,当标记的位置改变时的反射影像所成像的位置的变化的例示图。
首先,在图1及图3中,为了便于说明,仅示出了一个标记,但如图2所示,本发明的一实施例的跟踪***100可由至少三个标记110、111、112附着于患处或手术器械之类的目标物200。
参照图1至图3,本发明的一实施例的跟踪***100包括至少三个标记110、111、112、反射器(reflector)120、成像单元130及处理器(processor)140。
上述至少三个标记110、111、112附着于患处或手术器械之类的目标物200。其中,上述至少三个标记110、111、112与相邻的标记110、111、112隔开规定间隔,并以虚拟方式连接相邻的标记110、111、112,使得各标记的相邻的一对直线L1、L2、L3配置成形成一定的角度A1、A2、A3,从而附着于上述患处或手术器械之类的目标物200。
其中,上述相邻的标记110、111、112之间的几何学信息,即,用于连接相邻的标记110、111、112的直线L1、L2、L3的长度信息和用于连接相邻的标记110、111、112的相邻的一对直线所形成的角度A1、A2、A3信息已保存于安装在上述处理器140的存储器(memory)141中。
例如,上述三个标记110、111、112能够以三角形形态附着于患处或手术器械之类的目标物200,而用于形成将上述三个标记110、111、112作为顶点的三角形的边的各个直线L1、L2、L3的长度信息和用于连接上述多个标记110、111、112的相邻的一对直线所形成的角度A1、A2、A3信息可以已保存于上述处理器140所包括的存储器141中。
另一方面,上述多个标记110、111、112可以为自行释放光的主动(active)标记。如上所述,在将上述多个标记110、111、112作为主动标记而使用时,无需使用额外的光源。
不同于此,上述多个标记110、111、112可以为反射从至少一个光源150释放的光的被动(passive)标记。如上所述,在将上述多个标记110、111、112作为被动标记而使用时,可在上述成像单元130的周边配置用于向上述多个标记110、111、112释放光的至少一个光源150。例如,一对光源150可配置于上述成像单元130的两侧。
上述反射器120反射从上述多个标记110、111、112释放的光或借助上述多个标记110、111、112来反射后释放的光。例如,上述反射器120反射从上述主动标记释放的光,或者重新反射从上述光源150释放后借助上述被动标记来反射从而释放的光。
在此,上述反射器120可以为镜子,上述镜子向上述成像单元130侧反射从上述多个标记110、111、112释放的光,使反射(reflect)影像可以在上述成像单元130中完成成像。例如,可使用球面镜子作为上述反射器120。像这样,若使用球面镜子作为上述反射器120,则如图3所示,当在成像单元130的镜头131的相同光程AX1上改变标记110的位置时,由于可以减少θ值,因此,可基于此来测定标记的位置。
另一方面,上述反射器120可以改变设置位置或设置角度,或者改变反射面的形状,并借助上述反射器120来进行反射,从而减少在上述成像单元130成像的反射影像的成像位置的变化。即,通过改变上述反射器120的设置位置或设置角度或反射面的形状,可以改变多种实际可测定范围。
此时,反射器120的设置位置或角度、反射面的形状的变更能够以有线、无线方式通过与网络相联动的上述处理器140的控制来进行变更。由此,在光程被手术机器人的架子、臂、医生、护士等而遮挡的情况下,具有可以通过反射器120的移动来变更反射器影像的光程的优点。
并且,在处理器140接收上述多个标记110、111、112的直线影像之后,在一定时间内等待接收反射影像,在无法接收反射影像的情况下,可判断为反射器影像的光程被障碍物阻断,因此,在这种情况下,可向反射器120传输控制信息,其中上述控制信息在已设定位置,按已设定数值大小控制移动、角度调节、反射面形状变更中的至少一个。
这种上述反射器120的空间位置、方向信息及所变更的空间位置和方向信息可以已保存于安装在上述处理器140的存储器141。
上述成像单元130直接接收从上述多个标记110、111、112释放的光,使直接(direct)影像成像的同时,接收在从上述多个标记110、111、112释放之后,被上述反射器120反射来释放的光,使反射影像完成成像。
例如,上述成像单元130可以为摄像机,上述摄像机接收从上述多个标记110、111、112中直接释放的光和借助上述反射器120来反射的光,使影像完成成像。即,上述成像单元130可包括:镜头131,从上述多个标记110、111、112释放的光和借助上述反射器120来反射的光经过焦点;以及本体部132,配置于上述镜头131的后方部,在上述本体部132安装有图像传感器133,上述图像传感器133使从上述多个标记110、111、112释放的光和借助上述反射器120来反射的光成像。
上述处理器140可以利用在上述成像单元130成像的上述多个标记110、111、112的直接影像和反射影像来计算出上述各个标记110、111、112的三维坐标,并将上述多个标记110、111、112的三维坐标与已保存的相邻的多个标记110、111、112之间的几何学信息相比较来计算出患处或手术器械之类的上述目标物200的空间位置和方向。
在此,在上述处理器140安装有存储器141。另一方面,可在安装于上述处理器140的存储器141中已保存相邻的上述多个标记110、111、112之间的几何学信息,即,用于已保存连接相邻的多个标记110、111、112的多个直线L1、L2、L3的长度信息和用于连接相邻的多个标记110、111、112的相邻的一对直线所形成的角度A1、A2、A3信息。
与此同时,可在安装于上述处理器140的存储器141中已保存上述反射器120的空间位置和方向。
如上所述,本发明的一实施例的跟踪***100的从多个标记110、111、112释放的光不仅向成像单元130流入来使直接影像完成成像,而且从上述多个标记110、111、112释放的光,借助反射器120来反射之后,向上述成像单元130流入,使反射影像也完成成像,从而可以具有使用一台成像单元130之外,还可以如图1及图3中的在反射器120的左侧用虚线所示,再使用了一台成像单元的效果。
参照图1至图7,对利用本发明的一实施例的跟踪***来跟踪目标物的空间位置和方向的过程进行说明。
图4为用于说明本发明的一实施例的跟踪方法的框图,图5为用于说明计算出多个标记的三维坐标的过程的框图,图6为将成像单元的图像传感器虚拟分割为直接影像的坐标系和反射影像的坐标系的例示图,图7为用于说明影像中的二维坐标和实际标记的三维坐标之间的关系的图。
参照图1至图7,为了利用本发明的一实施例的跟踪***来跟踪目标物200的空间位置和方向,首先激活附着于目标物200的至少三个标记110、111、112,从而从上述多个标记110、111、112释放光,或者启动至少一个光源150,从而使上述光源150向附着于上述目标物200的至少三个标记110、111、112照射光,使光借助上述多个标记110、111、112来反射后释放(S110)。
更详细地进行说明如下,在上述目标物200附着有自身释放光的至少三个主动标记110、111、112的情况下,激活上述多个标记110、111、112,从而使光从上述多个标记110、111、112释放。不同与此,在上述目标物200附着有无法自身释放光的至少三个被动标记110、111、112的情况下,使至少一个光源150启动,从而使上述光源150向附着于上述目标物200的至少三个被动标记110、111、112照射光,使光借助上述多个被动标记110、111、112来反射后释放。
借助至少三个标记110、111、112来释放的上述光,直接向上述成像单元130传输,使上述各个标记110、111、112的直接影像在成像单元130成像的同时,借助上述至少三个标记110、111、112来释放的光,向反射器120传输,并在借助上述反射器120来反射之后,向上述成像单元130传输,从而使上述各个标记的反射影像在上述成像单元130中完成成像(S120)。
即,直接接收从附着于上述目标物200的至少三个标记110、111、112释放的光,使直接影像在上述成像单元130中完成成像的同时,接收从上述多个标记110、111、112释放后借助上述反射器120来反射并释放的光,使反射影像在上述成像单元130中完成成像。
更详细地进行说明如下,借助上述至少三个标记110、111、112来释放的光,通过第一路径直接向上述成像单元130侧传输,并在经过上述成像单元130的镜头之后,使上述多个标记110、111、112的直接影像在安装于上述成像单元130的本体部132的图像传感器133中完成成像的同时,借助上述至少三个标记110、111、112来释放的光,通过第二路径,借助上述反射器120来反射之后,向上述成像单元130侧传输,并在经过上述成像单元130的镜头131之后,使上述多个标记110、111、112的反射影像在安装于上述成像单元130的本体部132的图像传感器133中完成成像。即,借助上述多个标记来释放的光,通过两个路径(第一路径:标记→成像单元,第二路径:标记→反射器→成像单元)来向成像单元130传输,从而在上述成像单元130的图像传感器133中,针对各个标记110、111、112形成基于各个路径(第一路径、第二路径)的两个(直接影像和反射影像)影像。
如上所述,若各个标记110、111、112的直接影像和反射影像在上述成像单元130完成成像,则借助处理器140来计算出上述各个标记110、111、112的三维坐标(S130)。
通过图5的框图来对计算出上述各个标记110、111、112的三维坐标的步骤进行详细说明如下。
为了计算出上述各个标记110、111、112的三维坐标,首先通过上述处理器140来计算出在上述成像单元130中完成成像的上述多个标记110、111、112的直接影像和反射影像的二维坐标(S131)。
在此,在计算出上述多个标记110、111、112的直接影像的二维坐标和上述反射影像的二维坐标之后,对各坐标系分别执行摄像机校准(calibration)(S132)。
如上所述,在对各坐标系分别执行摄像机校准之后,利用上述多个标记110、111、112的直接影像的二维坐标和上述反射影像的二维坐标,并通过上述处理器140来计算出上述各个标记110、111、112的三维坐标(S133)。
参照图6及图7,对计算出上述各个标记110、111、112的三维坐标的步骤进行详细说明如下。
如图6所示,若将图像传感器133的一侧虚拟分割为直接影像的FOV(FIELD OF VIEW),将图像传感器133的另一侧虚拟分割为反射影像的FOV,将上述图像传感器133的直接影像的二维坐标标注为(U,V)坐标系,将上述反射影像的二维坐标标注为(U',V'),并参照图7,则影像中的多个标记110、111、112的二维坐标和实际空间中的多个标记110、111、112的三维坐标能够以如下数学式1的关系式表示。
数学式1:
其中,m为影像中的标记的二维坐标,M为实际空间中的标记的三维坐标,A(R,t)为摄像机矩阵。
为了对此进行更加简单的说明,若将实际多个标记110、111、112的三维坐标设为X,则能够以数学式2表示上述多个实际坐标110、111、112的三维坐标X和直接影像的坐标xL的关系式和,上述多个实际标记110、111、112的三维坐标X和反射影像的坐标xR的关系式。
数学式2:
xL=P1X
xR=P2X
其中,上述P1为直接影像的摄像机矩阵,P2为反射影像的摄像机矩阵。
并且,对于各个标记110、111、112的直接影像和反射影像,xL=P1X、xR=P2X的关系式可以通过AX=0的线性方程式表示,而若对此进行整理,则可以以数学式3来表示。
数学式3:
x(P3TX)-(P1TX)=0
y(P3TX)-(P2TX)=0
x(P2TX)-y(P1TX)=0
其中,PiT为矩阵P的行向量。
若对上述数学式重新进行整理,则可以以数学式4表示。
数学式4:
x L P 1 3 T - P 1 1 T y L P 1 3 T - P 1 2 T x R P 2 3 T - P 2 1 T x R P 2 3 T - P 2 2 T X Y Z W = [ 0 ]
其中,W为比例因子。
若解开以数学式4表示的线性方程式,求得X、Y、Z,则其解成为多个标记110、111、112的三维坐标。
如上所述,在借助处理器140来计算出各个标记110、111、112在实际空间中的三维标记之后,通过处理器140来对上述各个标记110、111、112在实际空间中的三维坐标和已保存于上述处理器140的相邻的多个标记110、111、112之间的几何学信息进行比较,从而计算出附着于上述多个标记110、111、112的目标物200的空间位置和方向(S140)。
在此,如上所述,上述相邻的多个标记110、111、112之间的几何学信息可以为用于连接相邻的多个标记110、111、112的多个直线L1、L2、L3的长度信息和用于连接上述多个标记110、111、112的相邻的一对直线所形成的角度A1、A2、A3信息。
即,通过上述处理器140,对上述各个标记110、111、112的实际空间中的三维坐标、用于连接已保存于上述处理器140的相邻的多个标记110、111、112的多个直线L1、L2、L3的长度信息及用于相互连接各个标记110、111、112的相邻的一对直线所形成的角度A1、A2、A3信息进行比较,从而计算出附着有上述多个标记110、111、112的目标物200的空间位置和方向。
如上所述,本发明的一实施例的跟踪***及利用上述跟踪***的跟踪方法使各个标记110、111、112所释放的光直接向成像单元130流入来形成直接影像的同时,借助反射器120来进行反射,并向上述成像单元130流入,从而使反射影像流入。即,从各个标记110、111、112释放的光通过两个路径(第一路径:标记→成像单元,第二路径:标记→反射器→成像单元)来向成像单元130传输,从而在上述成像单元130的图像传感器133中,对各个标记110、111、112形成基于各个路径的两个(直接影像和反射影像)影像。
因此,本发明的一实施例的跟踪***及利用上述跟踪***的跟踪方法,仅利用一台成像单元130也可以计算和确认附着于目标物200的多个标记110、111、112的空间位置和方向。
因此,不仅可以降低跟踪***的制作费用,而且可以实现装备的小型轻量化,从而与现有的跟踪***相比,具有相对少受手术空间的制约的优点。
在如上所述的本发明的详细说明中,虽然参照本发明的优选实施例进行了说明,但只要是本发明所属技术领域的成熟的技术人员或该技术领域的普通技术人员,就可以在不脱离本发明的保护范围所记载的本发明的思想及技术领域的范围内,对本发明进行多种修改及变更。

Claims (9)

1.一种跟踪***,其特征在于,包括:
至少三个标记,附着于目标物,释放光或反射从至少一个光源释放的光;
反射器,反射从上述多个标记释放的光或借助上述多个标记来反射后释放的光;
成像单元,直接接收从上述多个标记释放的光,使直接影像完成成像,与此同时,接收从上述多个标记释放后借助上述反射器来反射并释放的光,使反射影像完成成像;以及
处理器,利用在上述成像单元中完成成像的上述多个标记的直接影像和反射影像,来分别计算出上述多个标记的三维坐标后,对上述多个标记的三维坐标和已保存的相邻的多个标记之间的几何学信息进行比较,从而计算出上述目标物的空间位置和方向。
2.根据权利要求1所述的跟踪***,其特征在于,上述反射器为镜子,上述镜子能够通过向上述成像单元侧反射从上述多个标记释放的光,使反射影像完成成像。
3.根据权利要求1所述的跟踪***,其特征在于,上述反射器与上述成像单元位于相同的光程上,通过上述处理器的控制,来变更上述反射器的设置位置或角度、反射面的形状中的至少一个,从而改变上述反射影像的成像位置。
4.根据权利要求1所述的跟踪***,其特征在于,上述成像单元为摄像机,上述摄像机通过接收从上述多个标记直接释放的光和借助上述反射器来反射的光,使影像完成成像。
5.根据权利要求1所述的跟踪***,其特征在于,上述多个标记之间的几何学信息为长度信息和角度信息,上述长度信息为用于连接上述相邻的多个标记的多个直线的长度信息,上述角度信息为由上述相邻的一对直线所形成的角度信息。
6.一种跟踪方法,其特征在于,包括:
直接接收从附着于目标物的至少三个标记释放的光,使直接影像在成像单元完成成像,与此同时,接收从上述多个标记释放后借助设置于特定位置来反射光的反射器所释放的光,使反射影像在成像单元中完成成像的步骤;
利用在上述成像单元中完成成像的上述多个标记的直接影像和反射影像,并通过处理器来计算出上述各个标记的三维坐标的步骤;以及
对上述各个标记的三维坐标和已保存于上述处理器的相邻的多个标记之间的几何学信息进行比较,来计算出上述目标物的空间位置和方向的步骤。
7.根据权利要求6所述的跟踪方法,其特征在于,上述多个标记之间的几何学信息为长度信息和角度信息,上述长度信息为用于连接上述相邻的多个标记的多个直线的长度信息,上述角度信息为由上述相邻的一对直线所形成的角度信息。
8.根据权利要求6所述的跟踪方法,其特征在于,使上述反射影像在成像单元中完成成像的步骤包括由上述处理器控制反射器的设置位置、角度及反射面的形状的变更中的至少一个,从而在与上述成像单元相同的光程上改变上述反射影像的成像位置的步骤。
9.根据权利要求6所述的跟踪方法,其特征在于,计算出上述多个标记的三维坐标的步骤包括:
通过上述处理器来计算出在上述成像单元中完成成像的上述多个标记的直接影像和反射影像的二维坐标的步骤;以及
利用上述多个标记的直接影像的二维坐标和上述反射影像的二维坐标,并通过上述处理器来计算出上述多个标记的三维坐标的步骤。
CN201480004280.1A 2013-01-10 2014-01-07 跟踪***及利用上述跟踪***的跟踪方法 Active CN104902840B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130002841A KR101371384B1 (ko) 2013-01-10 2013-01-10 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR10-2013-0002841 2013-01-10
PCT/KR2014/000131 WO2014109520A1 (ko) 2013-01-10 2014-01-07 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Publications (2)

Publication Number Publication Date
CN104902840A true CN104902840A (zh) 2015-09-09
CN104902840B CN104902840B (zh) 2017-08-01

Family

ID=50647854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004280.1A Active CN104902840B (zh) 2013-01-10 2014-01-07 跟踪***及利用上述跟踪***的跟踪方法

Country Status (6)

Country Link
US (1) US9576366B2 (zh)
EP (1) EP2944285B1 (zh)
JP (1) JP6147360B2 (zh)
KR (1) KR101371384B1 (zh)
CN (1) CN104902840B (zh)
WO (1) WO2014109520A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371387B1 (ko) * 2013-01-18 2014-03-10 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR101638477B1 (ko) 2014-09-19 2016-07-11 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
US10363667B2 (en) * 2015-11-30 2019-07-30 Autodesk, Inc. Optical measurement of object location in three dimensions
CN109186947B (zh) * 2018-09-26 2019-11-12 福州大学 一种电器三维动态特性自动测试***及方法
FR3103097B1 (fr) * 2019-11-19 2021-11-05 Quantum Surgical Méthode de navigation pour positionner un robot médical

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209096A1 (en) * 2001-01-30 2003-11-13 Z-Kat, Inc. Tool calibrator and tracker system
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
CN101049229A (zh) * 2006-04-07 2007-10-10 株式会社拓普康 眼科装置
CN101379412A (zh) * 2006-02-09 2009-03-04 北方数字股份有限公司 回射标记物跟踪***

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394875A (en) * 1993-10-21 1995-03-07 Lewis; Judith T. Automatic ultrasonic localization of targets implanted in a portion of the anatomy
US5923417A (en) 1997-09-26 1999-07-13 Northern Digital Incorporated System for determining the spatial position of a target
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
CA2416139C (en) * 2000-07-06 2009-03-31 Synthes (U.S.A.) Method and device for impingement detection
JP4628566B2 (ja) * 2001-03-12 2011-02-09 三菱電機株式会社 画像投写装置
EP1447644A1 (en) * 2003-02-14 2004-08-18 Metronor ASA Measurement of spatial coordinates
DE10321749B4 (de) * 2003-05-09 2018-05-30 Trimble Jena Gmbh Verfahren und Anordnung zur Bestimmung der räumlichen Lage und Position eines Reflektorstabes in Bezug zu einem Aufhaltepunkt
US8128871B2 (en) * 2005-04-22 2012-03-06 Alverix, Inc. Lateral flow assay systems and methods
EP1645241B1 (de) * 2004-10-05 2011-12-28 BrainLAB AG Positionsmarkersystem mit Punktlichtquellen
US7390089B2 (en) * 2005-02-25 2008-06-24 20/10 Perfect Vision Optische Geraete Gmbh Device and method for aligning an eye with a surgical laser
JP4396564B2 (ja) 2005-04-01 2010-01-13 株式会社島津製作所 物体のモニタリング方法およびこれを用いたモーショントラッカ
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US7720259B2 (en) * 2005-08-26 2010-05-18 Sony Corporation Motion capture using primary and secondary markers
JP4459155B2 (ja) * 2005-11-14 2010-04-28 株式会社東芝 光学式位置計測装置
DE102006010767B4 (de) * 2006-03-08 2008-04-17 Carl Zeiss Surgical Gmbh Mikroskopiesystem
US8131348B2 (en) * 2006-05-12 2012-03-06 Northshore University Healthsystem Systems, methods and apparatuses of elastic light scattering spectroscopy and low coherence enhanced backscattering spectroscopy
KR100835186B1 (ko) 2007-01-29 2008-06-04 주식회사 프리진 액티브 마커를 이용한 모션 캡춰용 마커 구분 시스템
ES2774799T3 (es) * 2007-08-14 2020-07-22 Koninklijke Philips Nv Sistemas de instrumentos robóticos que utilizan sensores de fibra óptica
ES2655204T3 (es) * 2007-09-06 2018-02-19 Alcon Lensx, Inc. Fijación de objetivo precisa de foto-disrupción quirúrgica
JP4307511B1 (ja) 2008-06-04 2009-08-05 横浜ゴム株式会社 移動体の挙動計測装置および移動体の挙動計測方法
EP2233099B1 (en) * 2009-03-24 2017-07-19 MASMEC S.p.A. Computer-assisted system for guiding a surgical instrument during percutaneous diagnostic or therapeutic operations
JP5548482B2 (ja) 2010-02-26 2014-07-16 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
DE102010010192A1 (de) 2010-03-04 2011-09-08 Siemens Aktiengesellschaft Medizinische Untersuchungs- und/oder Behandlungsvorrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209096A1 (en) * 2001-01-30 2003-11-13 Z-Kat, Inc. Tool calibrator and tracker system
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
CN101379412A (zh) * 2006-02-09 2009-03-04 北方数字股份有限公司 回射标记物跟踪***
CN101049229A (zh) * 2006-04-07 2007-10-10 株式会社拓普康 眼科装置

Also Published As

Publication number Publication date
WO2014109520A1 (ko) 2014-07-17
US20150302590A1 (en) 2015-10-22
EP2944285A4 (en) 2016-08-17
KR101371384B1 (ko) 2014-03-07
CN104902840B (zh) 2017-08-01
EP2944285B1 (en) 2017-10-18
JP6147360B2 (ja) 2017-06-14
US9576366B2 (en) 2017-02-21
JP2016502905A (ja) 2016-02-01
EP2944285A1 (en) 2015-11-18

Similar Documents

Publication Publication Date Title
US20220175464A1 (en) Tracker-Based Surgical Navigation
CN104902840A (zh) 跟踪***及利用上述跟踪***的跟踪方法
US11432879B2 (en) Method and apparatus for wide area multi-body 6D pose tracking system
CN105912971B (zh) 一种用于agv导航的规则图形码码阵***及其读码方法
US8885177B2 (en) Medical wide field of view optical tracking system
JP4396564B2 (ja) 物体のモニタリング方法およびこれを用いたモーショントラッカ
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN104936547A (zh) 跟踪***及利用上述跟踪***的跟踪方法
US20180005457A1 (en) Visual positioning device and three-dimensional surveying and mapping system and method based on same
JP2011504769A (ja) 光学追跡casシステム
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
US20190239963A1 (en) Optical tracking system and tracking method using the same
EP2544039A1 (en) Display system
EP2959857A1 (en) Tracking system and tracking method using same
US20220198708A1 (en) System and method for localisation using footprints
EP3734553A1 (en) A system and method for localisation using footprints
US11154363B1 (en) Terminal guidance for improving the accuracy of the position and orientation of an object
US11029153B2 (en) Length measurement on an object by taking bearings on measuring points by means of a laser measuring module
KR20170056115A (ko) 정형외과 수술로봇 시스템의 트래커 및 마커 위치 가이드 장치 및 그 방법
JP2024049410A (ja) 位置取得装置、位置取得方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Han Guoshouershi

Co-patentee after: Qingpeking University INDUSTRY-UNIVERSITY COOPERATION FOUNDATION

Patentee after: Gaoying Technology Co.,Ltd.

Address before: Han Guoshouershi

Co-patentee before: Qingpeking University INDUSTRY-UNIVERSITY COOPERATION FOUNDATION

Patentee before: KOH YOUNG TECHNOLOGY Inc.

CP01 Change in the name or title of a patent holder