CN112770686A - 在手术中跟踪患者位置的方法和*** - Google Patents

在手术中跟踪患者位置的方法和*** Download PDF

Info

Publication number
CN112770686A
CN112770686A CN201980051025.5A CN201980051025A CN112770686A CN 112770686 A CN112770686 A CN 112770686A CN 201980051025 A CN201980051025 A CN 201980051025A CN 112770686 A CN112770686 A CN 112770686A
Authority
CN
China
Prior art keywords
point
image
patient
point image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980051025.5A
Other languages
English (en)
Other versions
CN112770686B (zh
Inventor
陈阶晓
王冠茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titan Falcon Biotechnology Co ltd
Original Assignee
Titan Falcon Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titan Falcon Biotechnology Co ltd filed Critical Titan Falcon Biotechnology Co ltd
Publication of CN112770686A publication Critical patent/CN112770686A/zh
Application granted granted Critical
Publication of CN112770686B publication Critical patent/CN112770686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种响应于患者(101)的移动来更新用于机械臂组件(140)的手术路径的方法。方法包括处理与标签(200)相关联的二维图像(300)，标签(200)与患者(101)具有空间关系。基于该空间关系，来确定标签(200)响应于患者(101)的移动的对应移动。标签(200)包括第一点(201)和第二点(202)，并且二维图像(300)包括第一点图像(301)和第二点图像(302)。方法还包括：将第一点图像(301)与第一点(201)相关联，并且将第二点图像(302)与第二点(202)相关联，并且基于第一点(201)和第二点(202)与第一点图像(301)和第二点图像(302)的转换矩阵来更新手术路径。

Description

在手术中跟踪患者位置的方法和***
相关申请的交叉引用
本申请要求于2018年08月01日提交的美国临时申请号62/713522和2019年03月19日提交的美国临时申请号62/820804的权益，通过引用以其整体合并于此。
技术领域
本发明的实施例通常涉及在手术中跟踪患者的位置或定向的方法和***。
背景技术
除非本文中另外指示，否则本节中描述的方法对本申请中的权利要求而言并非现有技术，并且通过包括在本节中并非承认其为现有技术。
为了执行手术，手术路径的计划至关重要。机器人手术可以提供对手术路径的精确控制。在手术前，对患者进行医学扫描(例如CT或MRI)。基于医学扫描来计划到所需解剖区域的手术路径。可以采用人工智能向外科医师建议带来最少损害量的最佳路径。为了执行手术，患者的位置可以与医疗扫描的透视图进行匹配，以沿着所规划的手术路径准确执行手术。
然而，在手术中，患者的位置可能移动。因此，所计划的手术路径根据患者的移动的位置可能不适用，并且可以响应于患者的移动的位置而被更新。
附图说明
图1是示出被配置成对患者执行手术的手术***的示例图；
图2是示出标签的示例图；
图3A是由光学装置捕获的标签的示例图像；
图3B是由光学装置捕获的标签的示例经处理图像；
图4是图示处理与标签相关联的二维图像的示例过程的流程图；
图5是图示将点图像与标签的点相关联的示例过程的流程图；
图6是图示基于多个转换矩阵来响应于患者的移动来更新手术路径的示例过程的流程图，全部都根据本公开的一些实施例进行布置。
具体实施方式
在下面的具体实施方式中，参考形成其一部分的附图。在附图中，除非上下文另外指出，否则类似符号通常标识类似组件。具体实施方式、附图和权利要求中描述的说明性实施例并非意指限制。可以利用其他实施例，并且可能做出其他改变，而不背离在这里呈现的主题的精神或范畴。将容易理解，如本文一般描述以及图中图示的本公开的方面可以以广泛多种的不同配置进行布置、替换、组合和设计，所有这些在本文中被明确预期。
图1是示出根据本公开的一些实施例布置的，被配置成对患者101执行手术的手术***100的示例图。在一些实施例中，手术***100包括框架120、手术台130和机械臂组件(robotic arm assembly)140。
在一些实施例中，框架120被配置成支撑和附接到患者110的手术目标(例如，患者的头部103)。此外，框架120还被配置成附接到手术台130。在一些实施例中，框架120还包括标签(tag)121。标签121与框架120固定在一起或一体形成。因此，患者的头部103、手术台130、框架120和标签121一起可以形成预先确定的空间关系。换句话说，响应于患者头部103的第一移动，标签121基于预先确定的空间关系也具有对应的第二移动。因此，标签121的移动也可以用于确定患者的头部是否已经移动。
在一些实施例中，框架121可以包括一个以上的标签。每个标签可以包括彼此唯一的标识图案。因此，手术***100可以基于这些标签来处理不同的需求。
在一些实施例中，机械臂组件140可以包括外科手术器械141、光学装置143、第一臂147、第二臂148和第三臂149。在一些实施例中，光学装置143是能够在不同的时间捕获标签121的图像的IR相机。这些捕获的图像被处理以标识标签121的移动是否超过阈值。响应于确定标签121的移动超过阈值，与机械臂组件140相关联的处理器(未示出)可以基于上述预先确定的空间关系来确定患者110已经移动，并且向机械臂组件140发出命令，以停止手术并且移动到不会对患者110造成伤害的安全点。响应于确定患者110已经移动，处理器可以计算新的手术路径，并且向机械臂组件140发出命令，以从安全点沿着新手术路径移动。
图2是示出根据本公开的一些实施例布置的标签200的示例图。标签200可以对应于图1的标签121。在一些实施例中，标签200包括点201、点202、点203、点204、点205和标识图案209。点201、202、203、204、205和标识图案209可以发射具有特定波长的光，该具有特定波长的光可以被光学装置(例如，光学装置143)捕获。相反，标签200的其他部分发射非常少的这种光，并且因此可以几乎不被光学装置捕获。在一些其他实施例中，点201、202、203、204、205和标识图案209可以反射由光源生成的具有特定波长的光，该具有特定波长的光可以被光学装置(例如，光学装置143)捕获。标签200的其他部分可以吸收这种光，并且因此可以几乎不被光学装置捕获。
图3A是根据本公开的一些实施例布置的由光学装置捕获的标签的示例图像300。图像300可以包括点图像301、302、303、304和305，在点图像304和305之间的条形图像306，以及标识图像309。将点图像301、302、303、304和305与点201、202、203、204和205相关联是一个挑战。
在一些实施例中，点图像301可以对应于点201的图像。类似地，点图像302可以对应于点202的图像，点图像303可以对应于点203的图像，点图像304可以对应于点204的图像，并且点图像305可以对应于点205的图像。条形图像306可以对应于在点204和205之间的标签200的部分。标识图像309可以对应于标识图案209。
图3B是由光学装置捕获的标签的示例经处理图像300’，图4是图示用于处理与标签相关联的二维图像的示例过程400的流程图，全部都根据本公开的一些实施例进行布置。过程400可以包括如由框410、420和/或430所示的一个或多个操作、功能或动作，其可以由硬件、软件和/或固件执行。各个框不旨在限于所描述的实施例。概述的步骤和操作仅作为示例被提供，并且步骤和操作中的一些可以是可选的、可以被组合成较少的步骤和操作，或者可以被扩展成附加步骤和操作，而不会有损所公开实施例的实质。尽管以顺序的次序图示了框，但是这些框也可以被并行执行和/或以与本文描述的顺序不同的顺序执行。结合图3B，下面将进一步详细描述图4。
过程400可以在框410“分配坐标”处开始。参考图3A，在一些实施例中，图像300是与标签200相关联的二维图像。在图3B中，图像300’可以是经处理的图像300。在一些实施例中，二维坐标系被分配给图像300’。在一些实施例中，左上角307被指定为二维坐标系的原点(0，0)。二维坐标系可以是基于图像300的像素。因此，可以通过二维坐标系来描述图像300上的点图像301、302、303、304和305。
框410可以跟随有框420“标识与点图像相关联的坐标”。在一些实施例中，为了从图像300’有效地标识点图像301、302、303、304和305，可以应用阈值化技术。例如，首先以包括许多像素的块来处理图像300’。在一些实施例中，不包括具有大于阈值的强度的任何像素的块(例如，区域310或条形图像306)被丢弃不进行进一步的处理以节省计算资源。然后，在像素基础上进一步处理包括具有大于阈值的强度的像素的块(例如，区域320)。
在一些实施例中，区域320可以以扩大因子来扩大。因此，点图像301、302、303、304和305也可以利用扩大因子来扩大。在一些实施例中，附加的阈值化技术可以被应用于经扩大的点图像的像素，以标识具有较大强度的一个或多个像素。基于缩小因子(例如，扩大因子的倒数)，与所标识的像素相关联的图像可以被缩小回到二维***。因此，可以在图像300上标识具有较高强度的新点图像301’、302’、303’、304’和305’，并且二维坐标系的坐标可以被分配给点图像301’、302’、303’、304’和305’。在一些实施例中，点图像301’被分配二维坐标系上的坐标(X301’，Y301’)。类似地，分别地，点图像302’被分配坐标(X302’，Y302’)，点图像303’被分配坐标(X304’，Y303’)，点图像304’被分配坐标(X304’，Y304’)并且点图像305’被分配坐标(X305’，Y305’)。
框420可以跟随有框430“将点图像与标签点相关联”。在一些实施例中，点图像301’、302’、303’、304’和305’与点201、202、203、204和205相关联。在一些实施例中，基于透视-n-点方法、点图像301’、302’、303’、304’和305’在二维坐标系上的坐标，以及标签121的点201、202、203、204和205在三维坐标系上的坐标(其描述光学装置143、机械臂组件140和外科手术器械141之间的空间关系)，可以建立转换矩阵，转换矩阵描述了图像300’中的点图像与其在标签200处的相关联点之间的关系。
图5是图示根据本公开的一些实施例布置的，将点图像与标签的点相关联的示例过程500的流程图。过程500可包括如由框510、520、530、540、550和/或560所示的一个或多个操作、功能或动作，其可由硬件、软件和/或固件执行。各个框不旨在限于所描述的实施例。概述的步骤和操作仅作为示例被提供，并且步骤和操作中的一些可以是可选的、可以被组合成较少的步骤和操作，或者可以被扩展成附加步骤和操作，而不会有损所公开实施例的实质。尽管以顺序的次序图示了框，但是这些框也可以被并行执行和/或以与本文描述的顺序不同的顺序执行。
过程500可以在框510“获得点图像的几何中心”处开始。在一些实施例中，如上所述，在二维坐标系中，点图像301’、302’、303’、304’和305’分别具有坐标(X301’，Y301’)、(X302’，Y302’)、(X303’，Y303’)、(X304’，Y304’)和(X305’，Y305’)。点图像301’、302’、303’、304’和305’的几何中心可以具有坐标((X301’+X302’+X303’+X304’+X305’)/5，(Y301’+Y302’+Y303’+Y304’+Y305’)/5)。
框510可以跟随有框520“获得点图像与几何中心的距离”。在一些实施例中，获得点图像301’与几何中心之间的第一距离，为
Figure BDA0002925084800000061
类似地，可以获得点图像302’与几何中心之间的第二距离，点图像303’与几何中心之间的第三距离，点图像304’与几何中心之间的第四距离以及点图像305’与几何中心之间的第五距离。
框520可以跟随有框530“获得从几何中心到点图像的矢量”。在一些实施例中，获得从几何中心到点图像301’的第一矢量
Figure BDA0002925084800000062
为(X301’-(X301’+X302’+X303’+X304’+X305’)/5，Y301’-(Y301’+Y302’+Y303’+Y304’+Y305’)/5)。类似地，获得从几何中心到点图像302’的第二矢量
Figure BDA0002925084800000063
从几何中心到点图像303’的第三矢量
Figure BDA0002925084800000064
从几何中心到点图像304’的第四矢量
Figure BDA0002925084800000065
并且也可以获得从几何中心到点图像305’的第五矢量
Figure BDA0002925084800000066
框530可以跟随有框540“选择基点图像”。在一些实施例中，在框520中获得的第一距离、第二距离、第三距离、第四距离和第五距离被比较，以选择哪个点图像是基点图像。在一些实施例中，可以选择在二维坐标系中具有距几何中心最远距离的点图像作为基点。备选地，可以选择在二维坐标系中具有距几何中心最近距离的点图像作为基点。在一些其他实施例中，可以基于标识图像309与在二维坐标系中点图像301’，302’，303’，304’和305’之间的关系来选择基点。仅出于说明的目的，在一些实施例中，点图像301’被选择为基点图像。
框540可以跟随有框550“基于矢量对点图像进行索引”。在一些实施例中，第一矢量(例如，
Figure BDA0002925084800000067
)和第二矢量(例如，
Figure BDA0002925084800000071
)的叉积可以用于确定点图像302’是否沿着自点图像301’的顺时针方向。在一些实施例中，响应于第一矢量和第二矢量的叉积是指向相对于二维坐标系的正z方向的矢量，从点图像301’沿着顺时针方向确定点图像302’。在一些其他实施例中，第一矢量(例如，
Figure BDA0002925084800000072
)和第二矢量(例如，
Figure BDA0002925084800000073
)的点积可以用于确定第一矢量和第二矢量之间的角度。因此，基于叉积和点积，可以从点图像301’沿着顺时针方向以第一角度确定点图像302’。类似地，可以从点图像301’沿着顺时针方向分别以第二角度、第三角度和第四角度确定点图像303’、304’和305’。在一些实施例中，基于第一角度、第二角度、第三角度和第四角度之间的比较，可以确定沿着顺时针方向的点图像301’、302’、303’、304’和305’的序列。例如，响应于第一角度小于第二角度，沿着顺时针方向，点图像302’被确定为比点303’更靠近点图像301’。在序列被确定之后，可以根据该序列对点图像301’、302’、303’、304’和305’进行索引。
框550可以跟随有框560“获得点图像和对应标签点的转换矩阵”。在一些实施例中，基于在框550中获得的索引和透视-n-点方法，可以建立转换矩阵，转换矩阵描述了三维坐标系中标签200的点(例如201、202、203、204和205)的坐标与其对应点图像(例如301’、302’、303’、304’和305’)之间的数学关系。再次参考图1，在一些实施例中，三维坐标系可以描述光学装置143、机械臂组件140和外科手术器械141之间的空间关系。
图6是图示基于多个转换矩阵来响应于患者的移动来更新手术路径的示例过程的流程图600，全部都根据本公开的一些实施例进行布置。过程600可以包括如由框610、620、630、640和/或650所示的一个或多个操作、功能或动作。各种框不旨在限于所描述的实施例。概述的步骤和操作仅作为示例被提供，并且步骤和操作中的一些可以是可选的、可以被组合成较少的步骤和操作，或者可以被扩展成附加步骤和操作，而不会有损所公开实施例的实质。尽管以顺序的次序图示了框，但是这些框也可以被并行执行和/或以与本文描述的顺序不同的顺序执行。
过程600可以在框610“基于转换矩阵获得投影点”处开始。在一些实施例中，在获得转换矩阵之后，可以根据转换矩阵，获得点201的第一投影点。在一些实施例中，投影点在二维坐标系中具有坐标(X301”，Y301”)。类似地，点202的第二投影点、点203的第三投影点、点204的第四投影点和点205的第五投影点也可以被获得，并且在二维坐标系中分别具有坐标(X302”，Y302”)、(X303”，Y303”)、(X304”，Y304”)和(X305”，Y305”)。
框610可以跟随有框620“获得投影点和对应点图像之间的距离”。在一些实施例中，计算具有坐标(X301”，Y301”)的第一投影点与具有坐标(X301’，Y301’)的点图像301’之间的第一距离。类似地，也可以分别获得具有坐标(X302”，Y302”)的第二投影点与具有坐标(X302’，Y302’)的点图像302’之间的第二距离；具有坐标(X303”，Y303”)的第二投影点与具有坐标(X303’，Y303’)的点图像303’之间的第三距离；具有坐标(X304”，Y304”)的第四投影点与具有坐标(X304’，Y304’)的点图像304’之间的第四距离，以及具有坐标(X305”，Y305”)的第五投影点与具有坐标(X305’，Y305’)的点图像305’之间的第五距离。
框620可以跟随有框630“距离大于阈值？”。在一些实施例中，响应于第一距离、第二距离、第三距离、第四距离和第五距离之和大于阈值，框630可以跟随有框640“确定患者被移动”。
在一些其他实施例中，响应于第一距离、第二距离、第三距离、第四距离和第五距离之和不大于阈值，框630可以跟随有框610“基于转换矩阵获得投影点”。在获得与第二次捕获的图像300/300’相关联的另一个转换矩阵之后，可以根据另一个转换矩阵来获得在二维坐标系中具有点201、202、203、204和205的坐标的另一组投影点。
框640可以跟随有框650“更新手术路径”。在一些实施例中，再次参考图1，机械臂组件140可以移动到不会对患者110造成伤害的安全点。可以响应于患者110的移动来更新新的手术路径，并且然后机械臂组件140被配置成从安全点沿着更新的手术路径移动。
在一些其他实施例中，可以验证经更新的手术路径，使得经更新的手术路径将不会引起外科手术器械141和机械臂组件140之间的碰撞。备选地，再次参考图1，经更新的手术路径可以被验证，以使经更新的手术路径不会在机械臂组件140的第一臂147、第二臂148和第三臂149之间引起碰撞。
响应于经更新的手术路径被验证为引起机械臂组件140的碰撞，经更新的手术路径将被放弃，并且将计算新的经更新的手术路径。
前述具体实施方式经由使用框图、流程图和/或示例阐述了设备和/或过程的各种实施例。在这种框图、流程图和/或示例包含一个或多个功能和/或手术的范围内，本领域技术人员将能理解这种框图、流程图或示例内的每个功能和/或操作，均可通过广泛的硬件、软件、固件或几乎其任何组合被个别和/或集体地实现。在一些实施例中，本文描述的主题的几个部分可能经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成格式实现。然而，本领域技术人员将理解，本文公开的实施例的一些方面可以全部或部分在集成电路中等效实现为在一个或多个计算机上运行的一个或多个计算机程序(如在一个或多个计算机***上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(如在一个或多个微处理器上运行的一个或多个程序)、固件或几乎其任何组合，并且设计该电路装置和/或编写该软件和/或固件的代码将根据本公开完全在本领域技术人员的技术范围内。此外，本领域技术人员将理解，本文描述的主题的机制能够以各种形式分布为程序产品，并且本文描述的主题的说明性实施例均适用，无论用于实际实施该分布的信号承载介质的特定类型如何。信号承载介质的示例包括，但不限于以下：可记录类型介质，诸如软式磁盘、硬盘机、光盘(CD)、数字激光视盘(DVD)、数字磁带、计算机存储器等；以及传输类型介质，诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链接、无线通信链接等)。
根据前述内容，应当理解，本文出于说明的目的描述了本公开的各种实施例，并且应当理解，可以在不背离本公开的范围与精神的情况下，做出各种修改。因此，本文公开的各种实施例均不旨在是限制性的。

Claims (19)

1.一种响应于患者的移动，而更新用于机械臂组件的手术路径以对所述患者执行手术的方法，所述患者与包括标签的框架具有预定的空间关系，所述方法包括：
处理与所述标签相关联的二维图像，所述标签与所述患者具有所述空间关系，其中所述标签响应于所述患者的所述移动的对应移动基于所述空间关系而被确定，并且其中所述标签包括第一点和第二点，并且所述二维图像包括第一点图像和第二点图像；
将所述第一点图像与所述第一点相关联，并且将所述第二点图像与所述第二点相关联；以及
基于所述第一点和所述第二点与所述第一点图像和所述第二点图像的转换矩阵，更新所述手术路径。
2.根据权利要求1所述的方法，其中所述处理所述二维图像还包括：基于扩大因子和缩小因子，标识具有大于第一阈值的强度的所述第一点图像和所述第二点图像。
3.根据权利要求1所述的方法，其中所述处理二维图像还包括：将二维坐标系分配给所述二维图像，并且在所述二维坐标系中标识与所述第一点图像和所述第二点图像相关联的坐标。
4.根据权利要求1所述的方法，其中所述将所述第一点图像与所述第一点相关联还包括：
在所述二维坐标系中获得与所述第一点图像和所述第二点图像相关联的几何中心；
获得所述第一点图像与所述几何中心之间的第一距离，并且获得所述第二点图像与所述几何中心之间的第二距离；以及
基于所述第一距离和所述第二距离，选择所述第一点图像作为基点图像。
5.根据权利要求1所述的方法，其中所述将所述第二点图像与所述第二点相关联还包括：
在所述二维坐标系中，获得从所述几何中心到所述第一点图像的第一矢量；
在所述二维坐标系中，获得从所述几何中心到所述第二点图像的第二矢量；以及
基于所述第一矢量和所述第二矢量的叉积以及所述第一矢量和所述第二矢量的点投影，将所述第二点图像与所述第二点相关联。
6.根据权利要求1所述的方法，其中所述更新所述手术路径还包括：
基于所述转换矩阵，在所述二维坐标系中获得与所述第一点相关联的第一投影点以及与所述第二点相关联的第二投影点；
在所述二维坐标系中，获得所述第一投影点与所述第一点图像之间的第三距离；以及
在所述二维坐标系中，获得所述第二投影点与所述第二点图像之间的第四距离。
7.根据权利要求6所述的方法，所述方法还包括：响应于所述第三距离和所述第四距离之和大于第二阈值，标识所述患者的所述移动并且更新所述手术路径。
8.根据权利要求7所述的方法，所述方法还包括：
响应于标识所述患者的所述移动，将所述机械臂组件移动到安全点；以及
基于经更新的所述手术路径，将所述机械臂组件从所述安全点移动到所述患者的手术目标。
9.根据权利要求1所述的方法，所述方法还包括：验证经更新的所述手术路径以标识与所述机械臂组件相关联的碰撞。
10.一种响应于患者的移动，而更新用于机械臂组件的手术路径以对所述患者执行手术的***，所述患者与包括标签的框架具有预定的空间关系，所述***包括：
光学装置；以及
处理器，被配置成：
处理与所述标签相关联的二维图像，所述标签与所述患者具有所述空间关系，其中所述标签响应于所述患者的所述移动的对应移动基于所述空间关系而被确定，并且其中所述标签包括第一点和第二点，并且所述二维图像包括第一点图像和第二点图像；
将所述第一点图像与所述第一点相关联，并且将所述第二点图像与所述第二点相关联；以及
基于所述第一点和所述第二点与所述第一点图像和所述第二点图像的转换矩阵，更新所述手术路径。
11.根据权利要求10所述的***，其中所述处理器还被配置成：基于扩大因子和缩小因子，标识具有大于第一阈值的强度的所述第一点图像和所述第二点图像。
12.根据权利要求10所述的***，其中所述处理器还被配置成：将二维坐标系分配给所述二维图像，并且在所述二维坐标系中标识与所述第一点图像和所述第二点图像相关联的坐标。
13.根据权利要求10所述的***，其中所述处理器还被配置成：
在所述二维坐标系中获得与所述第一点图像和所述第二点图像相关联的几何中心；
获得所述第一点图像与所述几何中心之间的第一距离，并且获得所述第二点图像与所述几何中心之间的第二距离；以及
基于所述第一距离和所述第二距离，选择所述第一点图像作为基点图像。
14.根据权利要求10所述的***，其中所述处理器还被配置成：
在所述二维坐标系中，获得从所述几何中心到所述第一点图像的第一矢量；
在所述二维坐标系中，获得从所述几何中心到所述第二点图像的第二矢量；以及
基于所述第一矢量和所述第二矢量的叉积以及所述第一矢量和所述第二矢量的点积，将所述第二点图像与所述第二点相关联。
15.根据权利要求10所述的***，其中所述处理器还被配置成：
基于所述转换矩阵，在所述二维坐标系中获得与所述第一点相关联的第一投影点以及与所述第二点相关联的第二投影点；
在所述二维坐标系中，获得所述第一投影点与所述第一点图像之间的第三距离；以及
在所述二维坐标系中，获得所述第二投影点与所述第二点图像之间的第四距离。
16.根据权利要求15所述的***，其中所述处理器还被配置成：响应于所述第三距离和所述第四距离之和大于第二阈值，标识所述患者的所述移动并且更新所述手术路径。
17.根据权利要求16所述的***，其中所述处理器还被配置成：响应于标识所述患者的所述移动，发出第一命令以将所述机械臂组件移动到安全点，以及发出第二命令以基于经更新的所述手术路径，将所述机械臂组件从所述安全点移动到所述患者的手术目标。
18.根据权利要求1所述的***，其中所述处理器还被配置成：验证经更新的所述手术路径，以标识与所述机械臂组件相关联的碰撞。
19.一种非暂态计算机可读存储介质，包括一组可执行指令，所述一组可执行指令响应于处理器的执行，而使所述处理器执行一种响应于患者的移动，而更新用于机械臂组件的手术路径以对所述患者执行手术的方法，所述患者与包括标签的框架具有预定的空间关系，所述方法包括：
处理与所述标签相关联的二维图像，所述标签与所述患者具有所述空间关系，其中所述标签响应于所述患者的所述移动的对应移动基于所述空间关系而被确定，并且其中所述标签包括第一点和第二点，并且所述二维图像包括第一点图像和第二点图像；
将所述第一点图像与所述第一点相关联，并且将所述第二点图像与所述第二点相关联；以及
基于所述第一点和所述第二点与所述第一点图像和所述第二点图像的转换矩阵，更新所述手术路径。
CN201980051025.5A 2018-08-01 2019-07-31 在手术中跟踪患者位置的方法和*** Active CN112770686B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862713522P 2018-08-01 2018-08-01
US62/713,522 2018-08-01
US201962820804P 2019-03-19 2019-03-19
US62/820,804 2019-03-19
PCT/CN2019/098706 WO2020025001A1 (en) 2018-08-01 2019-07-31 Method and system of tracking patient position in operation

Publications (2)

Publication Number Publication Date
CN112770686A true CN112770686A (zh) 2021-05-07
CN112770686B CN112770686B (zh) 2024-08-02

Family

ID=69231442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051025.5A Active CN112770686B (zh) 2018-08-01 2019-07-31 在手术中跟踪患者位置的方法和***

Country Status (8)

Country Link
US (1) US11998279B2 (zh)
EP (1) EP3829476A4 (zh)
JP (1) JP7457692B2 (zh)
KR (1) KR102488901B1 (zh)
CN (1) CN112770686B (zh)
CA (1) CA3107892C (zh)
TW (1) TWI733151B (zh)
WO (1) WO2020025001A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117243699A (zh) * 2023-11-14 2023-12-19 杭州三坛医疗科技有限公司 一种移位检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140112529A1 (en) * 2012-10-24 2014-04-24 Samsung Electronics Co., Ltd. Method, apparatus, and system for correcting medical image according to patient's pose variation
CN106794044A (zh) * 2015-06-05 2017-05-31 陈阶晓 术中追踪方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
CN101467887B (zh) * 2007-12-29 2011-04-27 复旦大学 一种手术导航***中x射线透视图像标定方法
CN101697869B (zh) * 2009-10-19 2011-06-15 沈国芳 手术导航用固定支架
US20130072784A1 (en) * 2010-11-10 2013-03-21 Gnanasekar Velusamy Systems and methods for planning image-guided interventional procedures
FR2983059B1 (fr) * 2011-11-30 2014-11-28 Medtech Procede assiste par robotique de positionnement d'instrument chirurgical par rapport au corps d'un patient et dispositif de mise en oeuvre.
CN102551892A (zh) * 2012-01-17 2012-07-11 *** 一种用于颅颌面外科手术的定位方法
CN107397591B (zh) * 2012-06-01 2020-04-03 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的***和方法
EP2863827B1 (en) * 2012-06-21 2022-11-16 Globus Medical, Inc. Surgical robot platform
US20190000569A1 (en) * 2012-06-21 2019-01-03 Globus Medical, Inc. Controlling a surgical robot to avoid robotic arm collision
US11116576B2 (en) * 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
KR101446173B1 (ko) * 2013-02-21 2014-10-01 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US11278353B2 (en) * 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
SG11201507613QA (en) * 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Intelligent positioning system and methods therefore
CN106255471B (zh) * 2014-02-05 2018-10-26 直观外科手术操作公司 用于动态虚拟碰撞物体的***和方法
CN104083217B (zh) 2014-07-03 2016-08-17 北京天智航医疗科技股份有限公司 一种手术定位装置以及机器人手术***
US9950194B2 (en) * 2014-09-09 2018-04-24 Mevion Medical Systems, Inc. Patient positioning system
CA2964512C (en) * 2014-10-14 2018-04-24 Synaptive Medical (Barbados) Inc. Patient reference tool
US10413377B2 (en) * 2015-03-19 2019-09-17 Medtronic Navigation, Inc. Flexible skin based patient tracker for optical navigation
WO2016154756A1 (en) * 2015-03-31 2016-10-06 7D Surgical Inc. Systems, methods and devices for tracking and calibration of flexible implements
KR102371053B1 (ko) * 2015-06-04 2022-03-10 큐렉소 주식회사 수술로봇 시스템
CN108472095B (zh) * 2015-12-29 2021-11-02 皇家飞利浦有限公司 用于机器人外科手术的使用虚拟现实设备的***、控制器和方法
CN107468351A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种手术定位装置、定位***及定位方法
CN107468350B (zh) * 2016-06-08 2020-12-08 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位***及定位方法
KR101861176B1 (ko) * 2016-08-16 2018-05-28 주식회사 고영테크놀러지 정위수술용 수술로봇 및 정위수술용 수술로봇의 제어방법
CN106236258B (zh) * 2016-08-17 2019-03-12 北京柏惠维康科技有限公司 腹腔微创手术穿刺路径的规划方法及装置
AU2017340607B2 (en) 2016-10-05 2022-10-27 Nuvasive, Inc. Surgical navigation system and related methods
FR3057757B1 (fr) * 2016-10-21 2021-04-16 Medtech Dispositif et procede de recalage automatique pour des images intra operatoires 3d
EP3531954A4 (en) 2016-10-25 2020-09-16 Mobius Imaging LLC PROCEDURE AND SYSTEM FOR ROBOT-ASSISTED SURGERY
CN106890025B (zh) * 2017-03-03 2020-02-28 浙江大学 一种微创手术导航***和导航方法
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140112529A1 (en) * 2012-10-24 2014-04-24 Samsung Electronics Co., Ltd. Method, apparatus, and system for correcting medical image according to patient's pose variation
CN106794044A (zh) * 2015-06-05 2017-05-31 陈阶晓 术中追踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117243699A (zh) * 2023-11-14 2023-12-19 杭州三坛医疗科技有限公司 一种移位检测方法及装置
CN117243699B (zh) * 2023-11-14 2024-03-15 杭州三坛医疗科技有限公司 一种移位检测方法及装置

Also Published As

Publication number Publication date
JP7457692B2 (ja) 2024-03-28
EP3829476A1 (en) 2021-06-09
KR102488901B1 (ko) 2023-01-17
TWI733151B (zh) 2021-07-11
WO2020025001A1 (en) 2020-02-06
CA3107892C (en) 2023-09-05
CA3107892A1 (en) 2020-02-06
US11998279B2 (en) 2024-06-04
EP3829476A4 (en) 2022-04-20
KR20210057724A (ko) 2021-05-21
JP2021532882A (ja) 2021-12-02
TW202023488A (zh) 2020-07-01
CN112770686B (zh) 2024-08-02
US20210307832A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US10403009B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
JP6334052B2 (ja) 術中追跡方法
García-Peraza-Herrera et al. Real-time segmentation of non-rigid surgical tools based on deep learning and tracking
US11172996B1 (en) Instrument-based registration and alignment for augmented reality environments
US7561733B2 (en) Patient registration with video image assistance
CN110494096B (zh) 确定手术路径上一个或多个点的方法和***
US20150071527A1 (en) Patient monitor and method
US10213623B2 (en) Monitoring a patient's position using a planning image and subsequent thermal imaging
US20220392084A1 (en) Scene perception systems and methods
EP3480780A1 (en) Determining a transformation between coordinate frames of sets of image data
CN112770686B (zh) 在手术中跟踪患者位置的方法和***
Hu et al. Occlusion-robust visual markerless bone tracking for computer-assisted orthopedic surgery
CN210228333U (zh) 定位***
KR102577964B1 (ko) 간 수술을 위한 정렬 시스템
CA2976320C (en) Method, system and apparatus for adjusting image data to compensate for modality-induced distortion
CN113597288B (zh) 基于影像匹配确定手术路径的方法与***
Zhou et al. Robust Single-view Cone-beam X-ray Pose Estimation with Neural Tuned Tomography (NeTT) and Masked Neural Radiance Fields (mNeRF)
US20240285356A1 (en) Methods, systems, device, and storage mediums for obstacle avoidance of surgical robots
KR20240041681A (ko) 수술 로봇의 절삭 경로 플래닝 장치 및 그 방법
CN117042845A (zh) 用于辐射治疗的路径规划

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant