CN112741689A - 应用光扫描部件来实现导航的方法及*** - Google Patents

应用光扫描部件来实现导航的方法及*** Download PDF

Info

Publication number
CN112741689A
CN112741689A CN202011514169.0A CN202011514169A CN112741689A CN 112741689 A CN112741689 A CN 112741689A CN 202011514169 A CN202011514169 A CN 202011514169A CN 112741689 A CN112741689 A CN 112741689A
Authority
CN
China
Prior art keywords
instrument
information
target tissue
channel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011514169.0A
Other languages
English (en)
Other versions
CN112741689B (zh
Inventor
王少白
侯尧
周武建
朱峰
边智琦
张凯
李军军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhuoxin Medical Technology Co Ltd
Original Assignee
Shanghai Zhuoxin Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuoxin Medical Technology Co Ltd filed Critical Shanghai Zhuoxin Medical Technology Co Ltd
Priority to CN202011514169.0A priority Critical patent/CN112741689B/zh
Publication of CN112741689A publication Critical patent/CN112741689A/zh
Application granted granted Critical
Publication of CN112741689B publication Critical patent/CN112741689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

应用光扫描部件来实现导航的方法及***,包括:器件具有柔性主体和沿所述柔性主体的长度上设置至少一包含发射照明组件和光接收组件的光扫描部件,光扫描部件包括结构光/ToF激光扫描部件;利用发射照明组件主动对解剖结构投射结构光/ToF激光,通过解读处理返回的结构光/ToF激光以此建立所述解剖结构的计算机模型。规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的匹配位置信息或路口处的三维信息;当器械需要导航至目标组织位置时,通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置信息,匹配出器械在当前所述分岔路口需被路由的通道信息引导所述器械走通道。本发明进行若干次关键节点相关的图像比对,更直接更有效地完成导航。

Description

应用光扫描部件来实现导航的方法及***
技术领域
本发明涉及实现将器件导航至目标组织位置的虚拟导航方法及***,尤其涉及肺病患者的治疗过程中利用工具进行导航的技术领域,特别涉及用于在患者肺内部的工具导航。
背景技术
图像引导的外科手术有助于外科医生将医疗器械操纵到患者内的目标组织位置,以便可以对目标执行治疗和/或诊断医疗程序。为了引导,医疗器械的工作端的姿势(即,位置和方向)可以被跟踪,并且连同解剖结构的模型一起显示的或叠加在解剖结构的模型上的图像与目标关联。为了叙述方便,解剖结构以肺为例,说明现有技术中如何实现以器械通过肺部毛细管路导航至目标组织位置(比如,活检或者治疗部位)。
肺癌具有极高的死亡率,尤其是在其早期阶段没有被诊断出的情况中。国家肺癌筛检试验表明,如果对有身患这种疾病风险的人群使用诸如计算机断层扫描(CT)的诊断扫描进行早期检测,则可以降低死亡率。尽管CT扫描增大了能够检测肺中的小病变和结节的能力,但是在能够给出诊断结论和进行治疗之前仍然需要对这些病变和结节进行活检和细胞学检查。为了实施活检并给予多种治疗,需要在肺内将工具导航至活检或者治疗部位。因此,不断寻求针对导航***和导航方法的改进。
医师或医生等医务人员可以利用导航***实施任务,比如:规划通向目标组织位置的路径、将医疗器械导航至目标组织位置以及将多种工具,诸如可定位引导件(LG)和/或活检工具导航至目标组织位置。ENB(电磁导航)手术通常涉及至少两个阶段:(1)规划通向位于患者肺内或者毗邻患者肺的目标的路径;和(2)沿着规划路径将探头导航至目标。这些阶段通常称作(1)“规划”和(2)“导航”。
在规划阶段之前,通过例如计算机断层(CT)扫描为患者肺成像,不过本领域技人员了解其它可应用的成像方法。在CT扫描期间汇集的图像数据随后可以存储为例如医学数字影像和通讯(DICOM)格式,不过本领域技术人员了解其它可应用的格式。CT扫描图像数据然后可以装载到规划软件应用程序中(“应用程序”),以在ENB手术的规划阶段中使用。应用程序可以使用CT扫描图像数据产生患者肺的三维(3D)模型。其中该3D模型可以包括模型气道树,所述模型气道树对应于患者肺的真实气道并且示出患者真实气道树的不同通道、分支以及分岔。另外,3D模型可以包括病变、标记物、血管和/或胸膜的3D渲染。尽管CT扫描图像数据可具有包括在图像数据中的间隙、遗漏和/或其它缺陷,但是3D模型是患者气道的平滑表示,其中,CT扫描图像数据中的这些间隙、遗漏和/或缺陷被填充或者被校正。
在开始ENB手术的导航阶段之前,将3D模型与患者的真实肺配准。一个可能的配对方法涉及将可定位引导件导航到患者肺的每一个肺叶中,以抵达该肺叶的气道的至少第二分岔。
专利号为201280034693.5中公开了一种用于配准解剖结构的计算机模型与医疗器械的方法,即如何将3D模型与患者的真实肺配准以引导到肺活检或者治疗部位。该方法包括:通过在医疗器械被布置在解剖结构(如肺部)的通道(如气道)中时确定医疗器械的姿势和形状并且通过匹配至少医疗器械的确定的形状与解剖结构的计算机模型中的一个或多个潜在通道的形状的最适合的一个,随后通过比较由图像捕获装置捕获的图像与解剖结构的计算机模型的多个虚拟视图执行计算机模型与医疗器械的局部配准,周期性地执行计算机模型与医疗器械的整体配准,其中多个虚拟视图由虚拟照相机的透视生成,该虚拟照相机的姿势被最初设置在医疗器械的远端的姿势,并且然后围绕该最初姿势扰动。
现有基于时间编码的结构光(time-coded structured light)而言,其可提供相当精细的立体扫描结果。此种扫描方式是利用不同相位移以及空间频率的结构光投射到物体表面,再利用图像获取装置获取因物体表面轮廓而造成变形的结构光的多张图像,以通过图像分析得到物体的完整表面信息。苏州大学在201910384397.1中公开了一种发明一种基于结构光扫描的肝脏手术导航方法及***,该方法包括:
根据CT图像在术前重建病人肝脏表面的三维图像,找出病灶点,并规划手术路径;
在术中向病人肝脏表面投射编码结构光,对病人肝脏表面进行实时扫描,同时,实时采集扫描信息,对病人肝脏表面进行实时重建,并将重建的三维图像显示在3D显示器上;
将术前CT重建的三维图像和术中实时重建的三维图像进行配准,找出病灶点的精确位置;通过术中实时配准输出配准参数,对术前的手术路径规划进行实时修正,在3D显示器上显示实时修正的手术路径;在术中实时获取手术器械和病人肝脏位置信息,以实时纠正手术器械的位置。
该发明具有稳定性强,精确性高,实时性的优点。
上述方法是对病人肝脏表面投射编码结构光,在整个过程中结构光立体扫描装置是原则上不会发生移动,而且整个过程是没有尺寸的要求。但是,若将该结构光扫描装置应用于肺部等需要深入气道等人体需要采用结构光扫描装置的结构尺寸是非常有限的,而且整个导航过程中,整个结构光扫描装置是需要在气道中移动的。如果能准确导航就成为关键。
因此,现有上述***和方法存在以下问题:
首先,基于结构光扫描的肝脏手术导航方法直接应用于包括肺部在内需要深入人体体内且动态运动的,存在不适用性。
其次,该专利提供一种用于配准解剖结构的计算机模型与医疗器械的***,需要额外增设图像捕获装置等硬件及为了配准而开发的软件部分,开发的成本高、周期长,对于医院等医疗机械来说增设更高的成本。最重要的是,在整个的配准过程中,不断地进行图像获取,后再进行软件地配准,计算量大且导航的速度比较慢,容易影响术中进程。
接着,通道上的分支越来越细,而利用图像捕获装置捕获的图像存在局限性。图像捕获装置可以是被布置在远端处的立体或单视场(monoscopic)照相机,现今最小的微型相机可以做到3厘米大小,而左、右支气管在肺门分成第二级支气管,第二级支气管及其分支所辖的范围构成一个肺叶,每支第二级支气管又分出第三级支气管,每支第三级支气管及其分支所辖的范围构成一个肺段,支气管在肺内反复分支可达23-25级,最后形成肺泡,支气管最小直径达到毫米级别。也就是单纯利用图像捕获装置可能存在无法精准导航至目标组织位置确定位置,存在导航与目标组织位置确定位置之间存在距离,即导航不精准的问题。
还有,该专利仅提供一种解剖结构的计算机模型与医疗器械的配准,通过实时获知医疗器械当前的姿态来对计算机模型进行对比后导航,精准度不够,而且还有大量的校正调节的校准计算,计算量大无效性高且占用大量的导航时间,在医疗器械上还设置柔性主体,柔性主体上设置远端传感器,而很多医疗器械本身都带有采集装置,而进入通道越来越窄,存在进行通道窄度受限的问题。
发明内容
本发明的第一目的在于提供一种实现将器件导航至目标组织位置的快速导航方法,以解决现有技术中成本高、计算量大且导航的速度比较慢,容易影响术中进程的技术问题。
本发明的第二目的在于提供一种实现将器件导航至目标组织位置的快速导航***,以解决现有技术中成本高、计算量大且导航的速度比较慢,容易影响术中进程的技术问题。
一种应用光扫描部件来实现导航的方法,用以实现利用结构光/ToF激光扫描部件将器件导航至目标组织位置的快速导航,包括:
S10:器件具有柔性主体和沿所述柔性主体的长度上设置至少一包含发射照明组件和光接收组件的光扫描部件,光扫描部件包括结构光/ToF激光扫描部件;
S20:利用发射照明组件主动对解剖结构投射结构光/ToF激光,结构光在解剖结构空间表面发生反射后被所述感光接收组件接收计算出所述结构光的变形来确定所述解剖结构深度或者ToF激光计算从发射到反射回来时间差或相位差来形成距离深度数据,以此建立所述解剖结构的计算机模型;
S30:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应三维信息;
S40:当器械需要导航至目标组织位置时,将所述器械被设置在所述解剖结构的通道中;
S50:通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,实时获得所述柔性主体端部采集当前所述关键位置的三维信息,提取关键位置所在三维信息的特征信息,配准所述特征信息与所述计算机模型对应的虚拟信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
本发明中,S10进一步包括在一个柔性主体沿所述柔性主体的长度上分别设置所述发射照明组件和光接收组件,柔性主体的长度的端部开设一开口作为投射窗口,用于所述发射照明组件通过投射窗口向所述解剖结构空间表面发射ToF激光/激光图案,在离所述投射窗口预先设定距离的位置上设置一接收窗口,并在接收窗口对应位置上设置所述光接收组件。
本发明中,S10进一步包括至少两上柔性主体,在每一柔性主体的端部分别设置所述发射照明组件和光接收组件,对应开设投射窗口和接收窗口,所述投射窗口设置的位置与所述发射照明组件对应,所述接收窗口和所述光接收组件对应。
本发明还可以包括:
S60:通过柔性主体端部设置的超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
确定所述器械到达每一关键节点相关的关键位置进一步还包括:
在解剖结构内通向目标组织位置的规划路径时,预先对所述规划路径的各个分叉口分别按照编号规则进行编号;
每一次确定关键节点相关的关键位置,通过所述编号判断出该关键节点是否是目标组织位置,若是则匹配获得所述器械与所述目标组织位置的位置关系信息,否则当匹配出所述器械在当前所述分岔路口需被路由的通道,按照所述编号规则编号下一个关键节点。
本发明中,步骤S30确定关键节点对应的三维信息进一步包括:
预先建立关键节点相关的分叉口虚拟三维信息匹配库,所述分叉口虚拟三维匹配库中预先存储若干包括三维点云信息、三维面片信息至少之一在内的三维信息,所述虚拟三维是通路中分叉口前预先设定长度内,以预先设定的间距或核心位置上采集的三维信息。
本发明中步骤S50中配准所述特征信息与所述计算机模型对应位置的三维信息进一步包括:
所述柔性主体端部光接收部件采集当前所述关键位置的三维信息,预先判断出当前分叉口通道的数量;
若当前分叉口通道的数量大于二个通道,则提取各个通道所在的三维信息,配准得到出需被路由的通道;
若当前分叉口通道的数量为二个通道,则根据所述提取三维信息,与预先存储的所述计算机模型对应的三维信息,配准得到需被路由的通道。
本发明中,步骤S60进一步包括:
当通道的窄度小于阈值或目标组织位置不在通道内时,启动超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道,其进一步包括:
启动超声探头,获得环扫超声图像,提取形状参数信息;
所述形状参数信息与所述计算机模型对应位置的图像信息进行匹配,以得到所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
本发明还可以包括:
所述器件还进一步设置手术机器人的器械操作部件;
当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、多种能量消融、消融、切除的其中之一的器械操作。
一种实现将器件导航至目标组织位置的快速导航***,包括:
存储装置:预先存储患者的解剖结构的计算机模型信息,并存储在解剖结构内通向目标组织位置的规划路径,确定并保存包括分岔路口和目标组织位置在内的关键节点及对应的图像信息;
医疗器械,其具有柔性主体和沿所述柔性主体的长度分布至少包含发射照明组件和光接收组件的光扫描部件,光扫描部件包括结构光/ToF激光扫描部件,利用发射照明组件主动对解剖结构投射结构光/ToF激光,结构光在解剖结构空间表面发生反射后被所述感光接收组件接收计算出所述结构光的变形来确定所述解剖结构深度或者ToF激光计算从发射到反射回来时间差或相位差来形成距离深度数据,以此建立所述解剖结构的计算机模型;
处理装置,至少包括光处理器和导航处理器,所述光处理器在所述***处理器的触发下实时获得所述柔性主体端部的光扫描部件采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息;所述***处理器通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,通过光处理器的关键位置所在三维信息,与所述计算机模型对应的三维信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
本发明还可以包括:
沿所述柔性主体的长度分布至少一超声探头;
处理装置进一步包括超声处理器,所述超声处理器匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
本发明还可以包括:
沿所述柔性主体的长度分布设置手术机器人的器械操作部件,用以当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、多种能量消融、消融、切除的其中之一的器械操作。
本发明对建立的计算机模型进行路径规划时,预先确认关键节点,主要包括分岔路口和目标组织位置,在术中导航时只需要针对关键节点相关部分或关键位置的三维信息对比,确认器械路由的通道,目标组织精准位置主要获知当前器械所在位置与目标组织之间的位置关系。换句话来说,本发明人进行若干次关键位置的三维信息比对,更直接更有效地完成导航,对比次数有限且精度高、对比速度快。
附图说明
图1A为本发明的实现将器件导航至目标组织位置的快速导航***的原理图;图1B为本发明光扫描部件的实例原理图;
图2为肺部的建模图;
图3为实现将器件导航至目标组织位置的快速导航方法流程图;
图4为肺部需要快速导航的示例图;
图5为图4的规划示例图。
具体实施方式
以下结合附图,具体说明本发明。
医疗器械的工作端位置和方向可以被跟踪,并且连同解剖结构的模型一起显示的或叠加在解剖结构的模型上的图像与目标关联。模型可以是从手术前和/或手术中患者解剖扫描数据例如X射线、超声波、X线透视、计算机断层摄影(CT)、磁共振成像(MRI)以及其他成像技术通过计算机生成的。显示将要在其上执行治疗和/或诊断医疗程序的目标、其中目标停留或者邻近的解剖结构的模型、以及叠加在解剖结构模型上的医疗器械的工作端的图像对于外科医生是特别有用的,以便提供辅助引导医疗器械通过自然和/或人工身体通道到达和通过解剖结构至目标组织位置。然而当解剖结构既不是固定的也不是刚性的,而相反根据解剖结构的周期或非周期运动移动和/或改变形状时,例如具有患者的肺或心脏搏动的情况,适当配准模型与医疗器械可能是非常困难的,为此,本发明在手术中实现将器件导航至目标组织位置的快速导航,就是必然要实现的功效。
图像引导的外科手术有助于外科医生在术中将医疗器械操纵到患者内的目标,以便可以对目标执行治疗和/或诊断医疗程序。而图像引导中的图像是广义的二维图像,即可以是三维图像信息。随着机器人手术***地进一步发展,其用途广泛,在临床上外科上有大量的应用。外科医生可以远离手术台操纵机器进行手术。因此,将医疗器械引导至目标组织位置不仅让可以医务人员操作相关的器械完成包括活检、穿刺、多种能量消融、消融、切除等在内执行治疗和/或诊断医疗程序,也可以在其内直接设置机器人手术器械,直接将机器人手术器械引导至对应位置完成相关治疗。医疗器械不仅可以是内窥镜、导管或具有可操纵的末端和能够贴合通向患者的解剖结构中的目标的身体通道的柔性主体的医疗器具,也可以包括引导件(LG)、活检工具、机器人手术器械或机器人手术部分器械等。目标组织位置可以是活检或者治疗部位,将器件导航至目标组织位置,不仅是指字面理解地将上述提及医疗器具导航至相关活检或者治疗部位,而更指其广义理解地医疗器具导航至将对其执行治疗和/或诊断医疗程序所需要的位置。当手术中,只有准确获知当前医疗器具与目标组织之前的具***置关系,才能引导医疗器具导航至准确位置,以便进行执行治疗和/或诊断。
本发明最核心的几大创新点在于:
首先,在整个手术中,时间就是生命,本发明对建立的计算机模型进行路径规划时,预先确认关键节点,主要包括分岔路口和目标组织位置,在术中导航时只需要针对关键节点相关部分进行图像信息比对(包括二维图像特征信息的比对,也可以包括三维图像的比对),分岔路口的信息对比,确认器械路由的通道,目标组织精准位置主要获知当前器械所在位置与目标组织之间的位置关系。换句话来说,本发明人进行若干次关键节点位置所在的二维或三维信息比对,更直接更有效地完成导航,对比次数有限且精度高、对比速度快。
其次,本发明在柔性主体的端部设置光扫描部件或内窥镜的镜头或超声探头,利用内窥镜的镜头实时图像数据或光扫描部件来实时获取图像数据,或超声探头超声信息与前期规划进行实时匹配定位。本发明可以利用现有非常成熟的信息采集技术和图像处理技术,在本发明中做二次开发,只需要将计算机模型与光扫描部件的采集数据,内窥镜的镜头或超声探头实时采集后处理的图像数据进行匹配算法,不仅降低了整个开发成本,而且也降低开发所花时间和成本,更重要的是可以降低整个开发的难度,提升整个匹配精度,对于本领域的医疗机构,可以降低整个采购的成本。
随着结构光和ToF激光技术的大力发展,可以提供相当且精细的立体扫描结构,而且相关的器械越做越小,本发明的手术导航一般分为三个阶段1)建立计算机模型2)医疗器具导航至将对其执行治疗和/或诊断医疗程序所需要的位置所涉及的关键节点相关部分进行图像采集和对比,以便确认器械路由的通道;3)通道的窄度小于阈值或目标组织位置不在通道内时,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。本发明可以在第一阶段由利用结构光/ToF激光技术来实现建立计算机模型,也可以在第一阶段和第二阶段都利用利用结构光/ToF激光技术来实现。当结构光/ToF激光技术更进一步的发展,可以提供更为细小的尺寸时,也可以让其实现第三阶段的功能。当然,内窥镜和超声本发明也可以做为可选的方案来实现上述的功能。
第一实施例
本实例中采用结构光/ToF激光技术来实现建立计算机模型和关键节点相关部分进行图像采集和对比,以便确认器械路由的通道。当通道的窄度小于阈值或目标组织位置不在通道内时,采用超声匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
请参阅图1A,其以肺部为实例,来说明本发明的实现将器件导航至目标组织位置的快速导航***。医疗快速导航***100,其包括可操纵的医疗器械110、被***医疗器械110中的一个或更多纤维光学导线120、光处理器130、超声处理器140、光扫描部件141、超声探头142、执行治疗和/或诊断医疗程序的执行机构143、显示处理器150、导航处理器160以及存储器161。
虽然示出为单独的单元,但是光处理器130、超声处理器140、显示处理器150和导航处理器160每个可以被实施为硬件、固件、软件或他们的组合,其与一个或更多计算机处理器相互作用或另外地由一个或更多计算机处理器执行。
结构光技术的基本原理是,通过发射照明组件(如红外激光器),将具有一定结构特征的光线投射到被拍摄物体上,再由专门的摄像头(即光接收部件)进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元(即光处理器)将这种结构的变化换算成深度信息,以此来获得三维结构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。
ToF是3D深度摄像头的其中一种方案,是结构光的同门师弟。ToF测距有单点和多点两种,其中本发明上一般会用多点测距。多点测距的原理和脉冲的单点测距类似,但是其光接收部件为CCD,即带电荷保持的光敏二极管阵列,对光响应具有积分特性。基本原理是激光源发射一定视野角激光,其中激光时长为dt(从t1到t2),CCD每个像素利用两个同步触发开关S1(t1到t2)、S2(t2到t2+dt)来控制每个像素的电荷保持元件采集反射光强的时段,得到响应C1、C2。物体距离每个像素的距离L=0.5*c*dt*c2/(c1+c2),其中c是光速(该公式可以去除反射物反光特性差异对测距的影响)。简单来说就是,发出一道经过处理的光,碰到被测物体以后会反射回来,捕捉来回的时间,因为已知光速和调制光的波长,所以能快速准确计算出到物体的距离,由此获得被测对象的测度深度图。
扫描部件141直接设置在医疗器械110的柔性主体114的远端111上,图像处理传输装置可以直接做为光处理器130,也可以将其核心处理部分集成到新的处理器上,但是实现的功能还是图像处理功能即可。
考虑到柔性主体114的尺寸越小越好,因此,将柔性主体114的远端111的端部117,形成一容置空间,发射照明组件和光接收部件都设置在其内。
一种实例,端部117开设两个开口,分别作为投射窗口和接收窗口,用于所述发射照明组件通过投射窗口向所述解剖结构空间表面发射ToF激光/激光图案,在离所述投射窗口预先设定距离的位置上设置一接收窗口,并在接收窗口对应位置上设置所述光接收组件。
请参阅图2,发射照明组件和光接收部件的一种参考实例,以下仅为举例。其可包括投射器101(即上述发射照明组件的一种实例)、相机102(光接收部件的一种实例)以及控制器或控制器103(即可以是上述提及的光处理器130,也可以单独设置一控制器103在端部117内,使得处理数据更快。)。在操作中,控制器103将参考光图案104发送到投射器101,投射器101将参考光图案104投射到线105表示的场景上。相机102将具有被投射的参考光图案104的场景拍摄为图像106。图像106被传输到控制器103,控制器103基于图像106中拍摄的参考光图案相对于参考光图案104的视差来产生深度图107。深度图107包括与图像106(即上述提及的预采集位置的图像数据)的区块(patch)对应的预计的深度信息。一个实施例中,控制器103可按极线方式将投射器101和相机102控制为同步。此外,投射器101和相机102可形成超光子(metaphotonics)投射器/扫描器***,该***可用于以极线方式逐行地使用高峰值功率、短持续时间的光脉冲来照亮场景105。控制器103可以是经由软件指令、专用集成电路或者两者的组合编程的微处理器或个人计算机。在一个实施例中,由控制器103提供的处理可经由软件、被图形处理单元(GPU)加速的软件、多核***或能够实现处理操作的专用硬件来完整地实现。硬件配置和软件配置两者都可提供并行的不同阶段。
发射照明组件和光接收部件都设置在其柔性主体114的远端111的端部117,并在端部117上分别开设两开口,其可能具有一定的尺寸规格。
为此,本发明还可以在一个柔性主体沿所述柔性主体的长度上分别设置所述发射照明组件和光接收组件,即发射照明组件和光接收组件所对应的接收窗口和投射窗口分别开设在柔性主体的侧面,比如投射窗口位于侧面靠近端部位置,而接收窗口靠近投射窗口预先设定距离D的侧面上。这种设置方式,可以设置的柔性主体的端部更小。在接收时,只需要接收算法上加上接收窗口与投射窗口的D段距离即可。即,进一步包括在一个柔性主体沿所述柔性主体的长度上分别设置所述发射照明组件和光接收组件,柔性主体的长度的端部开设一开口作为投射窗口,用于所述发射照明组件通过投射窗口向所述解剖结构空间表面发射ToF激光/激光图案,在离所述投射窗口预先设定距离的位置上设置一接收窗口,并在接收窗口对应位置上设置所述光接收组件。
本发明还可以采用以下方案:至少两上柔性主体,在每一柔性主体的端部分别设置所述发射照明组件和光接收组件,对应开设投射窗口和接收窗口,所述投射窗口设置的位置与所述发射照明组件对应,所述接收窗口和所述光接收组件对应。这种方式也可以获得相对较小尺寸的端部,能进入更小的气管中。
超声检查是利用超声的物理特性和人体器官组织声学性质上的差异,以波形、曲线或图像的形式显示和记录,借以进行疾病诊断的检查方法。超声设备类型较多。其主要是由超声探头向人体预测部件发一束超声,并进行线形、扇型或其他形式的扫描,遇到不同声阻抗的二种组织的交界面,即有超声反射回来,由探头接收后,经过信号放大和信息处理后,可以显示于屏幕上,形成一幅人体的断层图像,称为声像图或超声图,供临床诊断用,连续多幅声像图在屏幕上显示,可以观察到动态的器官活动。由于体内器官组织界面的深浅不同,使其回声被接到到时间有先有后,借此可测知该界面的深度、测得脏器表面的深度和背面的深度。超声检查仪一般包括超声探头和超声处理器。现有的小尺寸超声探头可以做到非常小,几毫米甚至更小。本发明可以将超声探头也可以设置在医疗器械110的柔性主体114的远端111上,超声处理器可以用现有的超声图像处理部分,也可以单独将图像处理部分集成到新的处理器上,或者集成到光处理器130或其它处理装置上。
显示处理器150可以连接主显示屏以及辅助显示屏。优选是能够对***100的操作员显示三维图像的计算机监视器。然而,考虑到成本,主显示屏以及辅助显示屏中的任意一个或两者可以是仅能够显示二维图像的标准计算机监视器。或者直接做超声检查仪的显示部分。同理,主显示屏和辅助显示屏也可以仅一个显示屏。
医疗器械110具有柔性主体114、在其远端111处的可操纵的末端112、以及在其近端115处的控制部件116。控制电缆(未示出)或其他控制装置通常从控制部件116延伸到可操纵的末端112,以便末端112可以被可控地弯曲或转动,例如由弯曲的末端112的虚线形式所示的。医疗器械110可以是内窥镜、导管或具有柔性主体和可操纵的末端的其他医疗器具。在本实例中,末端112可以分别设置光扫描部件141、超声探头142、执行治疗和/或诊断医疗程序的执行机构143。
光扫描部件141、超声探头142和执行机构143可以被布置在远端111处,可以分别通过一个机械控制部分,分别进行前后移动融洽上医疗器械110。
一种实施方式为光扫描部件141、超声探头142和执行机构143分别通过一电缆连接至近端的控制部件116。而且在弹性纤维电缆与控制部件116之间可以设置一机械致动器,控制部件116通过给机械致动器以信号,控制可以前后伸缩,由此控制其对应前端的光扫描部件141、超声探头142和执行机构143的至少其中之一前后移动。比如,机械致动器可以控制电缆向前凸伸,向后回缩。这种机械结构非常多,在此不再详细说明。
另外,光扫描部件141、超声探头142和执行机构143可以分别通过自自电缆与各自的机械致动器连接。在结构设计时,光扫描部件141、超声探头142和执行机构143可以单独布置在远端111。
通过纤维电缆以便操纵末端112的致动器,以及用于前后移动整个医疗器械110的致动器,以便其通过入口——例如自然身体孔口或外科医生创建的一个孔口——可以被***患者以及从患者收回。控制部件116一个或更多计算机处理器或者不同的计算机处理器中的硬件、固件或软件(或其组合)。在该实施方式中,柔性主体114可以是被动或主动可弯曲的。
作为实例,医疗器械100的可选实施方式,其中手柄116被机电接口、控制器、以及用于远程操作医疗器械的输入装置代替。
作为实例,医疗器械110其通过入口***并且延伸进入患者的解剖结构中。在该实例中,解剖结构是一对肺,其具有包括气管、支气管和细支气管的多个自然身体通道;入口是患者的嘴;以及医疗器械110是支气管镜。由于肺的特性,医疗器械110可以被引导通过支气管树的若干连接的通道。这样做时,医疗器械110的柔性主体114贴合其行进通过的通道。虽然在本实例中示出一对肺,但是应当明白,除了呼吸***以外,本发明的各个方面对于其他解剖结构也是适用和有用的,例如心脏、脑、消化***、循环***、以及泌尿***。进一步地,虽然仅示出自然身体通道,但是本文所述的方法也适用于可在医疗程序期间或医疗程序之前形成并且被叠加在患者解剖的计算机模型上的人工通道或者外科医生创建的通道。
应用例1
三星电子株式会社韩国专利(10-2018-0092041 2018.08.07KR)中公开种结构光投影仪。该结构光投影仪的尺寸非常小,我司可以将该结构光投影仪经过二次改进后,直接应用到本发明的将器件导航至目标组织位置的快速导航***。即
结构光投影仪,包括:
光源,被配置为发射光;
结构光图案掩模,被配置为接收所述光源发射的光,所述结构光图案掩模包括第一区域和第二区域,所述第一区域被配置为产生具有第一偏振的第一结构光,所述第二区域被配置为产生具有与所述第一偏振不同的第二偏振的第二结构光;以及
偏振复用偏转器,被配置为使所述结构光图案掩模产生的所述第一结构光和所述第二结构光分别偏转到不同方向。
该结构光投影仪直接按装在柔性主体114的远端111的端部117,被配置为将第一结构光SL1和第二结构光SL2发射到肺部解剖结构OBJ中(解剖结构是一对肺,其具有包括气管、支气管和细支气管的多个自然身体通道)。
传感器,可以设置在另一个柔性主体114的远端111的端部,也可以设置在同一个柔性主体114的远端111靠近端部的侧面。被配置为接收从对象OBJ反射的光。
光处理器130,被配置为执行用于根据从传感器接收的光SL1r和SL2r来获得对象OBJ的形状信息的操作。结构光投影仪用光源发射的光形成第一偏振的第一结构光SL1和第二偏振的第二结构光SL2,并且使得第一结构光SL1和第二结构光SL2偏转到不同的方向,因此当光被发射到对象OBJ时,可以实现较宽的视场。
传感器可以感测由对象OBJ反射的结构光SL1r和SL2r。传感器可以包括光检测元件的阵列。传感器330还可以包括光色散元件,用于根据波长分析从对象OBJ反射的光。光处理器可以通过将被发射到对象OBJ的结构光SL1和SL2与从对象OBJ反射的结构光SL1r和SL2r进行比较来获得解剖结构OBJ的深度信息,并且可以分析解剖结构OBJ的3D形状。由结构光投影仪生成的每个结构光SL1和SL2可以是被数学编码以使得光线的角度和方向以及到达预定焦平面的亮点和暗点的位置坐标是唯一的图案。当这种图被具有3D形状的解剖结构OBJ反射时,每个反射的结构光SL1r和SL2r的图案可以不同于每个结构光SL1和SL2的图案。可以通过根据坐标比较图案和跟踪图案来提取解剖结构OBJ的深度信息,并且可以从深度信息中提取与解剖结构OBJ的形状。考虑到结构光投影仪应用到解剖结构的3D重构中,可以先建立模型。解剖结构是肺部时,可以初步预存肺部通用模型,当给某个个人使用时,直接将结构光投影仪在其内做个快速运动,即可重构出针对该个人对应的3D模型。
应用例2
本发明也可以直接用OPPO广东移动通信有限公司提供的201810200423.6上公开的结构光投射器和深度相机,光投射器和深度相机直接按装在柔性主体114的远端111的端部117结构光投射器包括光源、准直元件及衍射光学元件。光源用于发射激光。光源包括衬底及设置在衬底上的发光元件阵列。衬底包括第一区域和与第一区域相接的第二区域。第一区域的发光元件的密度与第二区域的发光元件的密度不同。准直元件用于准直激光。衍射光学元件用于衍射准直元件准直后的激光以形成激光图案。该结构光投射器、深度相机中,第一区域的发光元件的密度与第二区域的发光元件的密度不同,能够提高激光图案的不相关性,从而提高获取该激光图案的深度图像的速度及精度。
针对上述的***及以肺为实例,如图3所示,其为一种实现将器件导航至目标组织位置的快速导航方法的流程图。它包括:
S10:器件具有柔性主体和沿所述柔性主体的长度上设置至少一包含发射照明组件和光接收组件的光扫描部件,光扫描部件包括结构光/ToF激光扫描部件;
S20:利用发射照明组件主动对解剖结构投射结构光/ToF激光,结构光在解剖结构空间表面发生反射后被所述感光接收组件接收计算出所述结构光的变形来确定所述解剖结构深度或者ToF激光计算从发射到反射回来时间差或相位差来形成距离深度数据,以此建立所述解剖结构的计算机模型;
S30:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键位置的三维信息;
S40:当器械需要导航至目标组织位置时,将所述器械被设置在所述解剖结构的通道中;
S50:通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,实时获得所述柔性主体端部的光接收部件采集当前所述关键位置的三维信息,与所述计算机模型对应的三维信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
以下具体介绍每一步骤。
S10、S20:扫描并建立计算机模型。
医学CT影像对肺部进行扫描,然后图像分割处理3D建模,形成器官支气管的3D模型,这是现有医学常见的实现3D建模技术,有相应的软件来实现。本发明也可以采用其它现有不同技术来实现扫描个建模。比如,在《采用CT电影模式扫描的人体4D肺部模型构建》的论文提供的方案也可以为一种方案。
解剖结构被假定是这样的一种,其以可识别的方式在医疗程序期间运动,例如空气和血液循环***的周期运动或例如对刺激的身体反应的非周期运动。尽管在医疗程序期间当解剖结构不运动时本发明的方面仍然可以适用和有用,但是本发明的全部优势最好是其中解剖结构在医疗程序期间以可识别的或以其他已知方式运动的环境中体验。使用适当的成像技术获得患者的一组或更多组图像,由该图像可以生成一组解剖结构的三维(3-D)计算机模型,其中每个3-D计算机模型与一段时间内的不同时间点关联,以便时间表示第四维度,并且该图像在这里被称为四维(4-D)图像。另外的维度也可以被定义并且用于本文所述的方法中。这种成像技术的例子包括但不限于X线透视、磁共振成像、热相图法、X线体层照相术、超声波、光学干涉断层术、热成像、阻抗成像、激光成像、纳米管X射线成像等。
图像的被捕获的时间段内取决于解剖结构和关注的运动。例如,当解剖结构是肺时,一组图像可以用于周期运动,其中肺从最大呼气状态膨胀到最大吸气状态。另一组图像可以用于非周期运动,比如导致肺的运动的咳嗽或对刺激的其他身体反应。作为另一个例子,当解剖结构是心脏时,一组图像可以用于周期运动,比如血液循环。选择确定这种3-D计算机模型的数量的采样率,以便在这种期间的解剖结构的运动被充分描述,用于准确的配准和导航的目的。
光扫描部件包括结构光/ToF激光扫描部件。利用发射照明组件主动对解剖结构投射结构光/ToF激光,结构光在解剖结构空间表面发生反射后被所述感光接收组件接收计算出所述结构光的变形来确定所述解剖结构深度或者ToF激光计算从发射到反射回来时间差或相位差来形成距离深度数据,以此建立所述解剖结构的计算机模型。
步骤S30:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应的三维信息。
以图5为例,预先对所述规划路径的各个分叉口分别按照编号规则进行编号,比如,从入口进入后,经气管35、支气管21、20、22后再经细支气管23。其路径规划为35->21->20->22->23。而各个路径规划中两个路径的交叉口即为关键节点。在本实例中,35与21之间的交叉口为关键节点。同理,23与22、22与23、23与目标组织位置之间都为关键节点。
表1规划路路径表
Figure BDA0002846267230000201
确定关键节点对应的图像信息可以进一步包括:
预先建立关键节点相关的分叉口虚拟三维图像匹配库,所述分叉口虚拟三维图像匹配库中预先存储若干张虚拟图像,所述三维虚拟图像是通路(如气管35、支气管21、20、22后再经细支气管23)中分叉口前预先设定长度内,以预先设定的间距保存对应的三维信息。
如果三维信息可以二维特征信息,则可以是:每一虚拟图像数字化,提取包括中心点、面积、形状、纹理的至少一种特征信息。一般在3D建模后中通常设置对应的指令或操作即可获得符合操作人要求的虚拟图像,并可实时获得该虚拟图像上的特征信息。如:要求支气管21与20的分叉口某一特定点进行切片的图像,并且该软件中可以按照操作者的要求对该图像上的中心点、面积、形状在内的特征点进行提取并保存。但是,如果三维信息是一整个区域的三维信息,三维点云信息,或三维面片信息等,直接进行三维信息的对比即可。
如果是二维图片信息,可以采用:
在所述虚拟图像匹配库内,以分叉口为单元分别存储该分叉口的所述些虚拟图像对应的特征信息。
表2关键节点信息存储表
Figure BDA0002846267230000211
如果是三维点云信息,或三维面片信息,直接用三维对比软件完成三维图像的对比。
具体说明步骤S50。
通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置。当柔性主体伸入通道时,可以通过机械致动器控制其柔性主体伸入所述通道的长度。比如,机械致动器控制柔性主体伸入通道的长度为(比如:支气管35的长度118.448+支气管35离入口的长度-主体伸入的可能误差阈值),能保证包含光扫描部件141、超声探头142和执行机构143的柔性主***于关键点1的分叉口。一般来说,可以操控预性主体先离该关键点1分叉口为某一阈值距离,再进行N次的小幅度的伸入,来达到进入关键节点相关的关键位置。再通过查看气管的“平均平径(mm)”等参数,判断出光扫描部件141是否可以进入,如若尺寸无法进入,则启动控制超声探头142的伸入,其控制方式与前述一致。当达到目标组织位置时,可以仅操作执行机构143工作。
当光扫描部件141可伸入时,实时获得所述柔性主体端部的光接收部件采集当前所述关键位置的三维信息,直接与所述计算机模型对应的三维信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
如果是二维图像信息,配准所述特征信息与所述计算机模型对应位置的虚拟图像信息进一步包括:
所述柔性主体端部相应的部件采集当前所述关键位置的图像信息,预先判断出当前分叉口通道的数量;
若当前分叉口通道的数量大于二个通道,则提取各个通道所在中心,连接所述中心以得到几何形状,通过所述几何形状的角度与所述计算机模型对应的角度信息,配准得到出需被路由的通道;
若当前分叉口通道的数量为二个通道,则根据所述提取包括中心点、面积、形状、纹理的至少一种特征信息,与预先存储的所述计算机模型对应的特征信息,配准得到需被路由的通道。
确定所述器械到达每一关键节点相关的关键位置进一步还包括:
在解剖结构内通向目标组织位置的规划路径时,预先对所述规划路径的各个分叉口分别按照编号规则进行编号;
每一次确定关键节点相关的关键位置,通过所述编号判断出该关键节点是否是目标组织位置,若是则匹配获得所述器械与所述目标组织位置的位置关系信息,否则当匹配出所述器械在当前所述分岔路口需被路由的通道,按照所述编号规则编号下一个关键节点。
如果是三维信息,则步骤S30确定关键节点对应的三维信息进一步包括:
预先建立关键节点相关的分叉口虚拟三维信息匹配库,所述分叉口虚拟三维匹配库中预先存储若干包括三维点云信息、三维面片信息至少之一在内的三维信息,所述虚拟三维是通路中分叉口前预先设定长度内,以预先设定的间距或核心位置上采集的三维信息。
步骤S50中配准所述特征信息与所述计算机模型对应位置的三维信息进一步包括:
所述柔性主体端部光接收部件采集当前所述关键位置的三维信息,预先判断出当前分叉口通道的数量;
若当前分叉口通道的数量大于二个通道,则提取各个通道所在的三维信息,配准得到出需被路由的通道;
若当前分叉口通道的数量为二个通道,则根据所述提取三维信息,与预先存储的所述计算机模型对应的三维信息,配准得到需被路由的通道。
本方法还可以包括:
通过柔性主体端部设置的超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
其进一步包括:
当通道的窄度小于阈值或目标组织位置不在通道内时,启动超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道,其进一步包括:
启动超声探头,获得环扫超声图像,提取形状参数信息;
所述形状参数信息与所述计算机模型对应位置的图像信息进行匹配,以得到所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
所述器件还进一步设置手术机器人的器械操作部件;当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、多种能量消融、消融、切除的其中之一的器械操作。
本发明对建立的计算机模型进行路径规划时,预先确认关键节点,主要包括分岔路口和目标组织位置,在术中导航时只需要针对关键节点相关部分进行三维信息比对,确认器械路由的通道,目标组织精准位置主要获知当前器械所在位置与目标组织之间的位置关系。换句话来说,本发明人进行若干次关键节点相关的三维信息比对,更直接更有效地完成导航,对比次数有限且精度高、对比速度快。
第二实施例
当结构光/ToF激光技术更进一步的发展,可以提供更为细小的尺寸时,不需要超声这一套体***,直接将光扫描部件和光处理器来完成超声的上述功能。
第三实施例
本发明还可以增设置内窥镜***来做一个相应的图像采集和处理的补充。只需要端部加入内窥镜镜头,并在处理器上加入内窥镜图像处理器即可。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种应用光扫描部件来实现导航的方法,用以实现利用结构光/ToF激光扫描部件将器件导航至目标组织位置的快速导航,其特征在于,包括:
S10:器件具有柔性主体和沿所述柔性主体的长度上设置至少一包含发射照明组件和光接收组件的光扫描部件,光扫描部件包括结构光/ToF激光扫描部件;
S20:利用发射照明组件主动对解剖结构投射结构光/ToF激光,结构光在解剖结构空间表面发生反射后被所述感光接收组件接收计算出所述结构光的变形来确定所述解剖结构深度或者ToF激光计算从发射到反射回来时间差或相位差来形成距离深度数据,以此建立所述解剖结构的计算机模型;
S30:规划在解剖结构内通向目标组织位置的路径,确定包括分岔路口和目标组织位置在内的关键节点及对应三维信息;
S40:当器械需要导航至目标组织位置时,将所述器械被设置在所述解剖结构的通道中;
S50:通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,实时获得所述柔性主体端部采集当前所述关键位置的三维信息,提取关键位置所在三维信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
2.如权利要求1所述的方法,其特征在于,S10进一步包括在一个柔性主体沿所述柔性主体的长度上分别设置所述发射照明组件和光接收组件,柔性主体的长度的端部开设一开口作为投射窗口,用于所述发射照明组件通过投射窗口向所述解剖结构空间表面发射ToF激光/激光图案,在离所述投射窗口预先设定距离的位置上设置一接收窗口,并在接收窗口对应位置上设置所述光接收组件。
3.如权利要求1所述的方法,其特在于,S10进一步包括至少两上柔性主体,在每一柔性主体的端部分别设置所述发射照明组件和光接收组件,对应开设投射窗口和接收窗口,所述投射窗口设置的位置与所述发射照明组件对应,所述接收窗口和所述光接收组件对应。
4.如权利要求1所述的方法,其特征在于,还包括:
S60:通过柔性主体端部设置的超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
5.如权利要求1或4所述的方法,其特征在于,确定所述器械到达每一关键节点相关的关键位置进一步还包括:
在解剖结构内通向目标组织位置的规划路径时,预先对所述规划路径的各个分叉口分别按照编号规则进行编号;
每一次确定关键节点相关的关键位置,通过所述编号判断出该关键节点是否是目标组织位置,若是则匹配获得所述器械与所述目标组织位置的位置关系信息,否则当匹配出所述器械在当前所述分岔路口需被路由的通道,按照所述编号规则编号下一个关键节点。
6.如权利要求1或4所述的方法,其特征在于,步骤S30确定关键节点对应的三维信息进一步包括:
预先建立关键节点相关的分叉口虚拟三维信息匹配库,所述分叉口虚拟三维匹配库中预先存储若干包括三维点云信息、三维面片信息至少之一在内的三维信息,所述虚拟三维是通路中分叉口前预先设定长度内,以预先设定的间距或核心位置上采集的三维信息。
7.如权利要求6所述方法,其特征在于,步骤S50中与所述计算机模型对应位置的三维信息进行对比进一步包括:
所述柔性主体端部光接收部件采集当前所述关键位置的三维信息,预先判断出当前分叉口通道的数量;
若当前分叉口通道的数量大于二个通道,则提取各个通道所在的三维信息,配准得到出需被路由的通道;
若当前分叉口通道的数量为二个通道,则根据所述提取三维信息,与预先存储的所述计算机模型对应的三维信息,配准得到需被路由的通道。
8.如权利要求4所述的方法,其特征在于,步骤S60进一步包括:
当通道的窄度小于阈值或目标组织位置不在通道内时,启动超声探头超声探测,匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道,其进一步包括:
启动超声探头,获得环扫超声图像,提取形状参数信息;
所述形状参数信息与所述计算机模型对应位置的图像信息进行匹配,以得到所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
9.如权利要求1或4所述的方法,其特征在于,还包括:
所述器件还进一步设置手术机器人的器械操作部件;
当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、多种能量消融、消融、切除的其中之一的器械操作。
10.一种实现将器件导航至目标组织位置的快速导航***,其特征在于,包括:
存储装置:预先存储患者的解剖结构的计算机模型信息,并存储在解剖结构内通向目标组织位置的规划路径,确定并保存包括分岔路口和目标组织位置在内的关键节点及对应的图像信息;
医疗器械,其具有柔性主体和沿所述柔性主体的长度分布至少包含发射照明组件和光接收组件的光扫描部件,光扫描部件包括结构光/ToF激光扫描部件,利用发射照明组件主动对解剖结构投射结构光/ToF激光,结构光在解剖结构空间表面发生反射后被所述感光接收组件接收计算出所述结构光的变形来确定所述解剖结构深度或者ToF激光计算从发射到反射回来时间差或相位差来形成距离深度数据,以此建立所述解剖结构的计算机模型;
处理装置,至少包括光处理器和导航处理器,所述光处理器在所述***处理器的触发下实时获得所述柔性主体端部的光扫描部件采集当前所述关键位置的图像信息,提取关键位置所在图像的特征信息;所述***处理器通过器械的柔性主体伸入所述通道的长度信息来初步确定所述器械到达每一关键节点相关的关键位置,通过光处理器的关键位置所在三维信息,与所述计算机模型对应的三维信息,匹配出所述器械在当前所述分岔路口需被路由的通道信息以引导所述器械走所述通道。
11.如要求10所述的***,其特征在于,还包括:
沿所述柔性主体的长度分布至少一超声探头;
处理装置进一步包括超声处理器,所述超声处理器匹配获得所述器械与所述目标组织位置的位置关系信息或匹配获得需被路由的通道。
12.如权利要求10或11所述的***,其特征在于:还包括:
沿所述柔性主体的长度分布设置手术机器人的器械操作部件,用以当得到所述器械与所述目标组织位置的位置关系信息后,导航所述器械的器械操作部件运动至相关位置,以进行包括取活检、穿刺、多种能量消融、消融、切除的其中之一的器械操作。
CN202011514169.0A 2020-12-18 2020-12-18 应用光扫描部件来实现导航的方法及*** Active CN112741689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011514169.0A CN112741689B (zh) 2020-12-18 2020-12-18 应用光扫描部件来实现导航的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011514169.0A CN112741689B (zh) 2020-12-18 2020-12-18 应用光扫描部件来实现导航的方法及***

Publications (2)

Publication Number Publication Date
CN112741689A true CN112741689A (zh) 2021-05-04
CN112741689B CN112741689B (zh) 2022-03-18

Family

ID=75648290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011514169.0A Active CN112741689B (zh) 2020-12-18 2020-12-18 应用光扫描部件来实现导航的方法及***

Country Status (1)

Country Link
CN (1) CN112741689B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI810054B (zh) * 2022-09-02 2023-07-21 財團法人工業技術研究院 內視鏡導航方法及系統
WO2023165451A1 (zh) * 2022-03-01 2023-09-07 上海微创医疗机器人(集团)股份有限公司 三维模型建立方法、内窥镜及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查***
CN103371795A (zh) * 2012-04-18 2013-10-30 索尼公司 图像处理装置和图像处理方法
CN105208909A (zh) * 2013-04-17 2015-12-30 西门子公司 用于立体显示图像数据的方法和装置
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗***
CN109259806A (zh) * 2017-07-17 2019-01-25 云南师范大学 一种用于图像引导的肿瘤精准穿刺活检的方法
CN109381152A (zh) * 2017-08-04 2019-02-26 卡普索影像公司 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备
CN109998449A (zh) * 2016-03-31 2019-07-12 柯惠有限合伙公司 用于表面扫描的胸部内窥镜
CN110167477A (zh) * 2017-02-01 2019-08-23 直观外科手术操作公司 图像引导手术的配准***和方法
US20190349559A1 (en) * 2014-12-30 2019-11-14 Onpoint Medical, Inc. Augmented reality visualization and guidance for spinal procedures
WO2019245818A1 (en) * 2018-06-19 2019-12-26 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
CN110709894A (zh) * 2017-03-24 2020-01-17 西门子医疗有限公司 用于增强深度感知的虚拟阴影
US20200134832A1 (en) * 2018-02-21 2020-04-30 Covidien Lp Locating tumors using structured light scanning
CN211270627U (zh) * 2019-08-15 2020-08-18 成都术通科技有限公司 一种内窥镜三维采集镜头
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院(山东省肿瘤医院) 基于增强现实和深度学习的内窥镜手术导航方法、***和可读存储介质
CN211749480U (zh) * 2019-06-17 2020-10-27 深圳硅基智控科技有限公司 具备三维建模功能的胶囊内窥镜***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗***
CN103371795A (zh) * 2012-04-18 2013-10-30 索尼公司 图像处理装置和图像处理方法
CN105208909A (zh) * 2013-04-17 2015-12-30 西门子公司 用于立体显示图像数据的方法和装置
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查***
US20190349559A1 (en) * 2014-12-30 2019-11-14 Onpoint Medical, Inc. Augmented reality visualization and guidance for spinal procedures
CN109998449A (zh) * 2016-03-31 2019-07-12 柯惠有限合伙公司 用于表面扫描的胸部内窥镜
CN110167477A (zh) * 2017-02-01 2019-08-23 直观外科手术操作公司 图像引导手术的配准***和方法
CN110709894A (zh) * 2017-03-24 2020-01-17 西门子医疗有限公司 用于增强深度感知的虚拟阴影
CN109259806A (zh) * 2017-07-17 2019-01-25 云南师范大学 一种用于图像引导的肿瘤精准穿刺活检的方法
CN109381152A (zh) * 2017-08-04 2019-02-26 卡普索影像公司 用于肠胃图像中的兴趣对象的面积或体积的方法以及设备
US20200134832A1 (en) * 2018-02-21 2020-04-30 Covidien Lp Locating tumors using structured light scanning
WO2019245818A1 (en) * 2018-06-19 2019-12-26 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
CN211749480U (zh) * 2019-06-17 2020-10-27 深圳硅基智控科技有限公司 具备三维建模功能的胶囊内窥镜***
CN211270627U (zh) * 2019-08-15 2020-08-18 成都术通科技有限公司 一种内窥镜三维采集镜头
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院(山东省肿瘤医院) 基于增强现实和深度学习的内窥镜手术导航方法、***和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165451A1 (zh) * 2022-03-01 2023-09-07 上海微创医疗机器人(集团)股份有限公司 三维模型建立方法、内窥镜及存储介质
TWI810054B (zh) * 2022-09-02 2023-07-21 財團法人工業技術研究院 內視鏡導航方法及系統

Also Published As

Publication number Publication date
CN112741689B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
JP7433932B2 (ja) 定量的3次元イメージング及び手術用インプラントのプリント
US11730562B2 (en) Systems and methods for imaging a patient
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
US9554729B2 (en) Catheterscope 3D guidance and interface system
JP6976266B2 (ja) 多視点ポーズ推定を使用するための方法およびシステム
KR102661990B1 (ko) 관형 조직망의 탐색
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN112741692B (zh) 实现将器件导航至目标组织位置的快速导航方法及***
AU2015204201B2 (en) Surgical devices and methods of use thereof
US10543045B2 (en) System and method for providing a contour video with a 3D surface in a medical navigation system
CN112867427A (zh) 使用方位和方向(p&d)跟踪辅助的光学可视化的计算机化断层摄影(ct)图像校正
EP3494548B1 (en) System and method of generating and updating a three dimensional model of a luminal network
CN108451639B (zh) 用于定位与导航的多数据源集成
JP2019511931A (ja) 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ
JP2017513662A (ja) Q3d画像の3d画像とのアライメント
CN112741689B (zh) 应用光扫描部件来实现导航的方法及***
CN111281534B (zh) 生成手术部位的三维模型的***和方法
CN114286650A (zh) 使用干涉测量***配准磁跟踪***
EP3782529A1 (en) Systems and methods for selectively varying resolutions
US20230062782A1 (en) Ultrasound and stereo imaging system for deep tissue visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant