CN116172699A - 机器人导管导航***的风险管理 - Google Patents

机器人导管导航***的风险管理 Download PDF

Info

Publication number
CN116172699A
CN116172699A CN202211507769.3A CN202211507769A CN116172699A CN 116172699 A CN116172699 A CN 116172699A CN 202211507769 A CN202211507769 A CN 202211507769A CN 116172699 A CN116172699 A CN 116172699A
Authority
CN
China
Prior art keywords
catheter
actions
navigating
trajectory
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211507769.3A
Other languages
English (en)
Inventor
T·曼西
金荣浩
廖芮
张跃
P·夏尔马
D·科马尼丘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN116172699A publication Critical patent/CN116172699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了使用具有风险管理的机器人导航***在患者体内导航导管的***和方法。接收患者的输入医学图像。使用经训练的分割网络基于输入医学图像来确定用于将导管从患者体内的当前位置导航到目标位置的轨迹。用于将导管从当前位置朝向目标位置导航的机器人导航***的一个或多个动作以及与所述一个或多个动作相关联的置信度由经训练的AI（人工智能）代理并且基于所生成的轨迹和导管的当前视图来确定。响应于置信度水平满足阈值，基于根据一个或多个动作导航时的导管视图来评估一个或多个动作。根据基于评估的一个或多个动作，使用机器人导航***将导管从当前位置朝向目标位置导航。

Description

机器人导管导航***的风险管理
技术领域
本发明一般涉及机器人导管导航，并且特别涉及机器人导管导航***的风险管理。
背景技术
已经开发了机器人导管导航***，以协助外科医生施行微创手术。这样的机器人导管导航***减轻了外科医生训练的难度，并减少了外科医生暴露于辐射。然而，尽管有这些优势，机器人导管导航***尚未被广泛采用。这是由于与机器人导管导航***相关联的风险和不确定性。
发明内容
根据一个或多个实施例，提供了机器人导管导航***中的风险管理的***和方法。接收患者的输入医学图像。使用经训练的分割网络基于输入医学图像来确定用于将导管从患者体内的当前位置导航到目标位置的轨迹。用于将导管从当前位置朝向目标位置导航的机器人导航***的一个或多个动作以及与该一个或多个动作相关联的置信度由经训练的AI（人工智能）代理并且基于所生成的轨迹和导管的当前视图来确定。响应于置信度满足阈值，基于根据一个或多个动作导航时的导管视图来评估一个或多个动作。根据基于评估的一个或多个动作，使用机器人导航***将导管从当前位置朝向目标位置导航。
在一个实施例中，通过在输入医学图像中生成血管的彩色动态路线图来生成轨迹，包括指示不确定性的颜色编码。不确定性由经训练的分割网络量化。为了训练经训练的分割网络，接收训练图像集。基于由单个用户注释的训练图像集来训练初始分割网络。使用经训练的初始分割网络从训练图像集的子集分割血管。基于经分割的血管确定来自多个用户的针对训练图像子集的注释的可变性分布。基于可变性分布，对来自多个用户中的某些用户的训练图像集的注释进行加权。基于该训练图像集、加权注释和与每个加权注释相关联的不确定性来训练最终分割网络。输出经训练的最终分割网络。
在一个实施例中，响应于置信度不满足阈值，AI代理移动到轨迹中的先前位置。轨迹被优化用于将导管从先前位置导航到目标位置。AI代理被放置在最佳轨迹中最接近当前位置的位置。使用最佳轨迹中最接近当前位置的位置处的导管视图作为当前视图，重新开始AI代理对导管的导航。基于机器人导航***的可能动作和来自输入医学图像的血管分割来优化轨迹。
在一个实施例中，通过确定根据一个或多个动作导航时的导管视图是否在训练数据的域外来评估一个或多个动作，在所述训练数据上训练经训练的AI代理。在另一个实施例中，通过评估用于导航导管的导丝的弯曲应力和穿刺次数来评估一个或多个动作。
在一个实施例中，当用户施行导航导管的动作集合时，存储机器人导航***的配置。基于机器人导航***的存储配置重放该动作集合。
在一个实施例中，接收选择导管要导航的位置的用户输入。计算用于将导管导航到所选择的位置的运动学。基于所计算的运动学将导管导航到所选择的位置。
在一个实施例中，为输入医学图像中的路径计算安全裕度。基于导管相对于安全裕度的当前位置，向导航导管的用户提供触觉反馈。
通过参考以下详细描述和附图，本发明的这些和其它优势对本领域普通技术人员而言将是显而易见的。
附图说明
图1示出了根据一个或多个实施例的具有风险管理的自动导管导航的工作流程；
图2示出了根据一个或多个实施例的具有风险管理的自动导管导航的方法；
图3示出了根据一个或多个实施例的分割网络的示例性网络架构；
图4示出了根据一个或多个实施例的低置信度移动评定的工作流程；
图5示出了根据一个或多个实施例的导管状态评估的工作流程；
图6示出了根据一个或多个实施例的训练分割网络以用于分割血管并量化与分割相关联的不确定性水平的方法；
图7A示出了根据一个或多个实施例的“第一人称”渲染的图像；
图7B示出了根据一个或多个实施例的墨卡托渲染的图像；
图8示出了可以用于实现一个或多个实施例的示例性人工神经网络；
图9示出了可以用于实现一个或多个实施例的卷积神经网络；和
图10示出了可以用于实现一个或多个实施例的计算机的高级框图。
具体实施方式
本发明一般涉及机器人导管导航***的风险管理的方法和***。本文中描述了本发明的实施例，以给出对这样的方法和***的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。本文中对象的数字表示通常是依据对象的标识和操纵来描述的。这样的操纵是在计算机***的存储器或其它电路/硬件中完成的虚拟操纵。因此，应当理解，本发明的实施例可以使用存储在计算机***内的数据在计算机***内施行。
常规机器人导管导航***通常使用预训练的机器学习模型实现。使用传统机器人导管导航***的导管导航与多个风险因素相关联。例如，一个风险因素是域外输入数据，其中机器学习模型的输入数据在训练机器学习模型的训练数据的域外。另一个风险因素是模型限制，其中机器学习模型由于训练数据的注释中的不确定性或者由于有限的训练数据而受到限制。另外的风险因素是与导管/导丝相关联的风险，其中导管/导丝对血管边界的压力或穿刺可能导致出血或血肿。
本文中所描述的实施例提供管理与机器人导管导航***相关联的风险。在一个实施例中，提供了彩色动态路线图，以在导管导航期间用颜色编码路线图向用户暴露风险和不确定性。在另一个实施例中，低置信度移动风险、OOD（域外）风险和导管状态风险被量化，并且提供补救解决方案。有利地，本文中所描述的实施例有助于防止在导航导管时的高风险移动。
图1示出了根据一个或多个实施例的具有风险管理的自动导管导航的工作流程100。工作流程100包括两个阶段：轨迹生成阶段102，用于生成将导管从当前位置导航到目标位置的轨迹；以及代理导航阶段104，用于基于所生成的轨迹将导管从当前位置朝向目标位置导航。将关于图2-6继续参考图1。
图2示出了根据一个或多个实施例的具有风险管理的自动导管导航的方法200。方法200的步骤可以由一个或多个合适的计算设备（诸如例如图10的计算机1002）来施行。
在图2的步骤202处，接收患者的输入医学图像。输入医学图像可以描绘患者的血管（例如，冠状动脉），导管要在该血管中被导航。输入医学图像可以具有任何合适的模态，诸如例如MRI（磁共振成像）、CT（计算机断层摄影）、US（超声）、x射线和/或任何其它医学成像模态或医学成像模态的组合。输入医学图像可以是2D（二维）图像或3D（三维）体积，并且可以包括单个图像或多个图像（例如，形成2.5D图像）。当图像被获取时，输入医学图像可以直接从图像获取设备（诸如例如CT扫描仪）接收，或者可以通过从计算机***（例如PACS（图片存档和通信***））的存储装置或存储器加载先前获取的图像或者通过接收已经从远程计算机***传输的图像来接收。
在图2的步骤204处，基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹。在一个示例中，如图1中所示出的，轨迹可以在工作流程100的轨迹生成阶段102期间生成。
在轨迹生成阶段102期间，首先从输入医学图像生成CDRM（彩色动态路线图）112。CDRM 112是患者血管的路线图，其具有颜色编码以指示不确定性水平。不确定性可能是由于数据注释不确定性和模型预测不确定性。通过使用经训练的基于机器学***的血管的逐像素分割。图3中示出了示例性的基于机器学***。
图3示出了根据一个或多个实施例的分割网络300的示例性网络架构。分割网络300在图3中被实现为denseUNet。分割300接收血管造影图像302作为输入，并生成概率热图304作为输出。概率热图304具有与血管造影图像302相同的大小。概率热图304的每个像素具有介于0和1之间的值，表示与血管分割相关联的不确定性水平，使得0指示没有血管示出在对应的像素上，而1指示100%确定（即，没有不确定性）血管示出在对应的像素上。因此，热图304可能表示来自血管造影图像302的血管分割，其中编码有不确定性水平。虽然分割网络300在图3中被示出为实现为denseUNet，但是应该理解，分割网络300可以根据任何合适的基于机器学习的网络（诸如例如UNet、全卷积网络等）来实现。
返回到图1的轨迹生成阶段102，用于将导管从当前位置导航到目标位置的轨迹从CDRM 112确定。为了生成轨迹，通过标识当前位置和目标位置，在CDRM 112中施行终点标识114。例如，可以接收标识CDRM 112中的当前位置和目标位置的用户输入。从CDRM 112提取当前位置和目标位置之间的血管路径作为轨迹。如果轨迹被确定为模糊的，则在决策框116处，请求附加的锚点（例如，来自用户）。附加锚点包括将在轨迹中当前位置和目标位置之间的一个或多个点。基于附加锚点连同当前位置和目标位置，从CDRM 112提取轨迹。如果轨迹被确定为不模糊，则在决策框116处，轨迹被输出到代理导航阶段104中的AI（人工智能）代理，以将导管从当前位置导航到目标位置。
在一个实施例中，在当前位置和目标位置之间沿着血管的路径不连续的情况下，轨迹是模糊的。这可能是由于来自CDRM 112的分割误差或者由于用户设置的错误点。在这种场景中，从描画非连续部分的用户手册接收用户输入，或者校正该输入以定义从当前位置到目标位置的路径。在另一个实施例中，在存在多条路径将当前位置连接到目标位置的情况下，轨迹是模糊的。由于在现实世界中，血管是3D结构，并且分割的CDRM 112是其2D投影，因此可能存在血管的自交叉（图1中决策框116处所示）。从图像角度来看，存在多条路径可以从当前位置通向目标位置。然而，给定3D血管的树形结构，在现实世界中，通常仅存在一条路径。在这种场景中，从用户接收用户输入，手动突出显示正确的路径并移除不正确的路径。
在图2的步骤206处，由经训练的AI代理并基于所生成的轨迹和导管的当前视图，确定1）用于将导管从当前位置朝向目标位置导航的机器人导航***的一个或多个动作，以及2）与一个或多个动作相关联的置信度。在一个示例中，如图1中所示，AI代理120被训练来观察当前状态si 118，以预测与用于导航导管的机器人导航***的每个可能动作相关联的Q值122和不确定性C 124。当前状态si 118是导管的当前视图的图像。Q值122表示采取相关联动作的预期回报。在一个示例中，用于导航导管的机器人导航***的可能动作包括缩回时旋转（ROR，在缩回时自动旋转导丝）、摆动（在前进期间自动振荡导丝）、旋转（导丝的旋转）、标点（随着导管前进的来回运动）和恒定速度。机器人导航***的可能动作受到生成的轨迹的约束。AI代理120不能施行将它从生成的轨迹移开的动作。AI代理120（从受约束的动作集）选择具有最高Q值122的动作。AI代理120可以根据已知的技术来实现。
在图2的步骤208处，响应于置信度满足阈值，基于根据一个或多个动作导航时的导管视图来评估一个或多个动作。
如图1中所示，置信度由低置信度移动评定组件106来评估。低置信度移动评定组件106解决由于所确定的动作具有高不确定性所致的不确定性。将参考图4来描述低置信度移动评定组件106，图4示出了根据一个或多个实施例的低置信度移动评定的工作流程400。
在图4的步骤402处，AI代理导航并卡（get stuck）在具有低置信度的位置处。不确定性C 124与预确定阈值τ相比较，以确定AI代理120是否位于具有低置信度的位置。如果不确定性C 124满足阈值τ（例如，C > τ，意味着不低的置信度），则工作流程100继续前进到伪移动126，其中基于根据一个或多个动作导航时的导管视图（即，基于下一状态si+1）来评估一个或多个动作。如果不确定性C 124不满足阈值τ（例如，C < τ，意味着低置信度），则AI代理移动回到轨迹中先前位置处的先前状态，并确定从先前位置到目标位置的优化轨迹。在一个示例中，如图4中所示，在步骤404处，AI代理滚动回到先前的位置t0，并且在步骤406处，求解最优轨迹。
使用轨迹优化算法来确定最优轨迹。给定初始轨迹
Figure DEST_PATH_IMAGE002
，每一步ti被表示为指示图像中导管尖端的x，y坐标的两个值（xi，yi）的元组。用于确定最优轨迹的目标函数给出如下：
Figure DEST_PATH_IMAGE004
其中s（T）表示在血管上轨迹T的总弯曲势（potential）。轨迹优化可以描述为如下的非凸问题：
Figure DEST_PATH_IMAGE006
受以下约束：
Figure DEST_PATH_IMAGE008
其中函数gw表示机器人导航***的所有可能动作的动作空间，而V表示来自输入医学图像的分割血管。
在第一个约束中，
Figure DEST_PATH_IMAGE010
，由于导管的导丝的材料性质，轨迹被约束到机器人导航***的可能动作。导丝不能在空间中施行任意移动，而代替地，给定当前位置t0，下一个位置t1的选择仅可能具有有限的可能性。从数学上讲，该约束等同于以下内容：
Figure DEST_PATH_IMAGE012
其中
Figure DEST_PATH_IMAGE014
，并且w1、w2、w3、w4为权重。
在第二约束
Figure DEST_PATH_IMAGE016
中，轨迹的每一步均被约束在由CDRM 112给出的分割血管V中。该约束确保轨迹必须在血管内。
这个优化问题是非凸的（即存在多于一个最优解），并且由于从约束
Figure DEST_PATH_IMAGE017
开始的指数搜索空间增长而难以解决。因此，这个约束随着l 1 松弛而松弛，即/>
Figure DEST_PATH_IMAGE019
。然后，优化问题变成（用拉格朗日算符）：
Figure DEST_PATH_IMAGE021
受以下约束：
Figure DEST_PATH_IMAGE023
。
解决上面的优化问题可以给出最优轨迹T。如果最优轨迹T是可解的，则在确定框128处，用最优轨迹更新轨迹，并且工作流程100继续前进到伪移动126。AI代理定位在最优轨迹中最接近当前位置但更接近目标位置的位置处，并且AI代理使用其自己的网络继续导航。例如，在图4的步骤408处，AI代理被放置在位置tk处，并且导航被重新开始。因此，方法200使用位置tk处的导管视图作为当前视图返回到步骤206。否则，如果最优轨迹T是不可解的，则在确定框128处，产生请求用户输入的标志130。用户输入可以包括例如导管的手动导航或机器人重新定位。
由于轨迹优化与图像特征无关，因此不会立即施行确定最优轨迹。正如在优化问题中所看到的，仅血管树位置特征V被包括在优化中，并且没有使用图像特征或血管外观特征。另一方面，AI代理利用视觉特征，并且可以自适应地做出动作决策。例如，由轨迹优化产生的一些步ti可能太接近容器的边界，在那里操作机器人可能带来高风险。AI代理可能找到使操作风险保持低的更好的轨迹。
在伪移动126处，当根据一个或多个动作（即，基于下一状态）导航时，基于导管的视图来评估一个或多个动作。在OOD检测组件108处，下一状态si+1 132被评估以确定下一状态si+1 132是否在训练AI代理120的训练数据的域外，所述下一状态si+1 132表示根据一个或多个动作导航时的导管视图的图像。换句话说，OOD检测确定AI代理120以前在训练期间是否已经看到过这个图像。OOD检测组件108防止AI代理120进行随机移动。
在一个实施例中，为了提供对下一状态si+1 132的OOD估计，从训练AI代理120的训练数据（例如，随机地）提取补丁（patch）。使用以下规则对每个相应补丁施行二进制标记。首先，如果在相应补丁中没有描绘血管，则将相应补丁标记为0。其次，如果在相应的补丁中描绘了血管，则将AI代理120应用于相应的补丁。如果AI代理120能够施行正确的导航（即，移动是合法的），则将相应的补丁标记为1，而否则标记为0。然后训练一个二进制分类器，以使用标记的补丁将图像分类为OOD。
如果下一状态si+1 132被确定为OOD并因此是风险，则在决策框134处，产生请求用户输入的标志136。用户输入可以包括例如导管的手动导航，直到达到不是OOD的状态（即，在训练AI代理120的训练数据的分布中）为止。如果下一状态si+1 132被确定为不是OOD，则在决策框134处，工作流程100继续进行到导管状态评估组件110。
在导管状态评估组件110处，评估导管的总体状态，包括弯曲应力和自导航开始以来导丝在血管壁上的穿刺总数。高压或频繁穿刺可能引起严重出血或血肿。这样对患者的损害可能无法从荧光透视图像直接可视化。将参考图5描述导管状态评估组件110，图5示出了根据一个或多个实施例的导管状态评估的工作流程500。
状态评估138通过首先分割血管和导丝以提取导丝相对于血管的相对位置来评估导管的弯曲应力。例如，如图5中所示，在步骤504处，从荧光透视图像502施行血管和导丝分割。然后估计导丝的弹性势。给定分割的导丝（即一条线），导丝被离散成段。导丝的弹性势基于段之间的角度进行估计如下：
Figure DEST_PATH_IMAGE025
其中E是导丝的杨氏模量，I是惯性矩，以及
Figure DEST_PATH_IMAGE027
是两个连续段之间的角度。例如，如图5中所示，在步骤506处施行离散化和力估计。两段之间的弯曲应力与两段之间的角度成比例，即/>
Figure DEST_PATH_IMAGE029
。给定导管的一条轨迹/>
Figure DEST_PATH_IMAGE030
，通过将/>
Figure DEST_PATH_IMAGE032
定义为/>
Figure DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE036
之间的角度，轨迹s（T）的弹性势可以根据等式2计算。例如，在步骤508处，基于关节之间的角度来确定弯曲势估计。
可以使用任何合适的方法来确定导丝在血管壁上穿刺的总数。在一个实施例中，穿刺的总数可以通过用户手动检查血管壁（例如，根据X射线成像）、通过自动计数机器人用力推动血管边界多少次（什么是“用力”的定义由用户确定）、或者通过在导丝的尖端添加小压力传感器并计数压力高于用户定义的阈值的次数来确定。
在导丝的弯曲应力或穿刺次数不满足预确定阈值的情况下，状态评估138未通过。如果状态评估138未通过，则工作流程100返回到决策框128，以确定最优轨迹是否可解。如果不是，则产生标志130。例如，标志130可以是对用户的过度紧张警报。如果状态评估138通过，则根据所确定的一个或多个动作来导航导管。
在图2的步骤210处，根据基于评估的一个或多个动作，使用机器人导航***将导管从当前位置朝向目标位置导航。方法200可以返回到步骤206，使用如根据一个或多个动作导航的导管视图作为当前视图重复步骤206-210任何次数的迭代，以将导管迭代导航到目标位置。
图6示出了根据一个或多个实施例的训练分割网络以用于分割血管并量化与分割相关联的不确定性水平的方法600。方法600的步骤可以由一个或多个合适的计算设备（诸如例如图10的计算机1002）来施行。施行方法600的步骤以在先前的离线或训练阶段训练分割网络。一旦被训练，经训练的分割网络在在线或测试阶段被应用以从输入医学图像分割血管，并量化与分割相关联的不确定性水平。在一个示例中，可以施行方法600来训练在图2的步骤204处用于生成CDRM的分割网络。
在图6的步骤602处，接收训练图像集。训练图像集被标示为xi，其中i=1，…，n。训练图像描绘了患者的血管。训练图像可以具有任何合适的模态，诸如例如MRI、CT、US、x射线和/或任何其它医学成像模态或医学成像模态的组合。训练图像可以是2D图像或3D体积，并且可以包括单个图像或多个图像（例如，形成2.5D图像）。训练图像可以在图像被获取时直接从图像获取设备（诸如例如CT扫描仪）接收，或者可以通过从计算机***（例如PACS）的存储装置或存储器加载先前获取的图像或者通过接收已经从远程计算机***传输的图像来接收。
在图6的步骤604处，基于由单个用户注释的训练图像集来训练初始分割网络M0。初始分割网络M0可以根据图3的网络架构300来实现。
在图6的步骤606处，使用经训练的初始分割网络M0从训练图像的子集分割血管。
在图6的步骤608处，基于分割的血管确定训练图像子集上来自多个用户的注释的可变性分布。训练图像的子集可以是（例如，随机地）训练图像集的采样子集。可变性分布为要注释的每个像素定义了有多少用户对其进行了注释（例如，作为背景）。换句话说，可变性分布是每个像素的二进制分布，对将像素注释为血管与背景的用户数量进行计数。对于远离血管或血管部分非常清晰的像素，应该是非常一致的，但是对于不太清晰的像素，诸如在次要血管分支或血管边界上的像素，则出现可变性。可变性分布可以通过评估经训练的初始分割网络的准确度来确定，该评估是通过将使用经训练的初始分割网络确定的分割血管与来自多个用户的注释进行比较来进行的。然后，对准确度施行K均值聚类。
在图6的步骤610处，基于可变性分布对来自多个用户中的某些用户的训练图像集的注释进行加权。某些用户可以（例如，任意地）从多个用户选择。加权注释被标示为
Figure DEST_PATH_IMAGE038
，其中wi表示与某个用户i相关联的权重，而yi表示由某个用户i注释的二进制掩码。权重wi意指聚合来自所有用户的注释，同时提升来自更有经验的注释者的注释。权重wi可以是用户定义的，使得较大的权重可以分配给更有经验的用户。所有权重wi都是非负的。
在图6的步骤612处，基于该训练图像集、加权注释和与每个加权注释相关联的不确定性来训练最终分割网络Mf。与每个加权注释相关联的不确定性计算如下：
Figure DEST_PATH_IMAGE040
其中xc表示经注释的血管分割的中心线。根据等式3，注释血管分割的不确定性被定义为从血管的中心线到血管的边界增加。
在图6的步骤614处，输出经训练的最终分割网络。例如，可以通过将经训练的最终分割网络存储在计算机***的存储器或存储装置上，或者通过将经训练的最终分割网络传输到远程计算机***，来输出经训练的最终分割网络。可以在在线或推断阶段期间（例如，在图2的步骤204处）应用经训练的最终分割网络以用于生成CDRM。
有时，用户可以经由机器人导航***手动导航导管。如下提供各种实施例，以便于用户导航导管。
在一个实施例中，提供了基于轨迹的导航。在基于轨迹的导航中，包括由用户在程序期间在初始时间施行的动作集合的机器人轨迹可以在程序期间的任何未来时间重放。机器人轨迹是简单（例如，平移、旋转等）的组合和/或用户在程序期间施行的复杂的（例如，快速旋转和推动、旋转和缩回等）动作。为了记录机器人轨迹，当用户施行该动作集合时，机器人导航***的配置被存储（例如，在存储器或存储装置中）。机器人导航***的保存的配置然后可以在未来的时间点被检索以重放机器人轨迹。可以使用轨迹有界控制来重放机器人轨迹，使得轨迹的动作以加速度或减速度等在向前或向后的方向上再现。基于轨迹的导航使得能够用简单且明确的一维用户接口重复非常精确的操纵，这可以使用运动感测、脚踏板、语音控制等来实现。有利的是，例如，机器人轨迹可以在特定导管的程序开始时被存储，并在有线（over-the-wire）设置中为其它导管重放。此外，存储的轨迹可以用于使得非专业操作员操作机器人来处理潜在的复杂情况，例如，在远程设置中的多操作员设置中。在机器人操纵成像导管的情况下，轨迹可以被重放以在例如疗法递送或并发症监测的程序中以高精度若干次可视化相同的位置。
在一个实施例中，提供了“跟我来”导航。在该实施例中，用户不直接操纵导管，而是选择用户接口上距导管当前位置相对短距离的点。用户由此逐渐将导管拉到目标位置。对于每个选择，从导管尖端的当前位置到所选择的点的路径是在程序开始时计划的总路径上计算的。计算从尖端位置到机器人关节空间的反向运动学，并将计算的扭矩应用于机器人，以将导管尖端导航到所选择的位置。这个过程可以重复，直到用户停止选择的点或者直到到达目标位置为止。有利的是，“跟我来”导航提供了一种控制导管的直观方式，因为用户可以聚焦于应该在哪里导航导管，而不是如何操纵导管。因此，学习曲线显著更低。机器人控制也可以在移动设备上施行，允许以更高效的方式布置操作室。先进的安全机制也可以通过例如看门狗规则来实现，以防止导管刺穿血管、在错误的方向上走等。
在一个实施例中，基于实时成像、来自术前图像（例如，CT/MR图像）的先验信息、血管和血管/导管相互作用的计算建模以及机器人状态传感器，提供基于视觉的触觉反馈。基于视觉的触觉反馈使得当导管导航到安全裕度之外（例如，朝向血管壁）时，用户能够感觉到操纵操纵杆的反馈。为了实现基于视觉的触觉反馈，从术前图像或多个血管视图计算血管树中的路径规划。如果使用术前图像，则施行3D/2D可变形配准以将路径计划融合到患者解剖结构。如果使用多个血管视图，从血管造影片分割血管，施行多个视图中分割之间的点匹配，并且从多个视图重建3D血管内腔和中心线。然后从路径规划和血管内腔计算安全裕度。安全裕度可以考虑例如内腔分割和导管跟踪的不确定性、血管健康/斑块的存在、导管的已知硬度等。在机器人操纵期间，导管尖端被自动跟踪。当导管尖端在安全裕度内时，可以提供视觉反馈和/或触觉反馈。触觉反馈可以是正在导航导管的操纵杆上的力，该力与安全裕度内导管尖端的距离成比例。替代地，反馈可以是操纵杆上的力，该力与由血管壁施加到导管的等同力相关，使用血管-导管相互作用的成像和实时计算建模来估计。术前图像被重新配准到实时图像，以在无论何时需要都保持准确度（例如，由准确度看门狗模块触发）。用该***，用户接收触觉反馈，这可能潜在地比用户在操纵导管时常规感觉的更完整，因为触觉反馈将与导管尖端的位置直接相关。此外，反馈可以以各种方式传输：视觉上的、操纵杆或其它用户接口中的阻力、移动设备或可穿戴设备的振动等。
在一个实施例中，提供了血管的可视化。该实施例通过“第一人称”渲染或墨卡托渲染提供了在程序期间对导管运动进行可视化。“第一人称”渲染是导管视图的可视化。墨卡托渲染是来自3D术前图像的血管的展平可视化。为了生成可视化（“第一人称”或墨卡托），将术前图像与实时血管造影图像共同配准。实时（即，以与荧光透视图像相同的帧速率）施行以下操作：1）组合机器人信息，施行荧光透视图像中导管尖端的实时跟踪；2）将导管位置映射到术前图像；3）生成血管的“第一人称”渲染视图；4）在血管的墨卡托图上投影导管尖端位置，并在图上可视化导管；以及5）在“第一人称”渲染和墨卡托图二者中，基于例如图像分割，对组织类型进行颜色编码以更容易导航。术前图像被重新配准到实时血管造影图像，以在需要时保持准确度。根据一个或多个实施例，图7A示出了“第一人称”渲染的图像700，而图7B示出了墨卡托渲染的图像710。本文中提供的可视化允许对导管周围的组织环境进行更精确的分析，同时通过移除从投影的血管造影/荧光透视图像到3D血管解剖结构所必需的心理投影，实现更直观的导航方式。可视化将有助于保持对血管及其环境的聚焦，潜在地提高效率、安全性，并降低学习曲线。
本文中所描述的实施例关于要求保护的***以及要求保护的方法进行描述。本文中的特征、优势或替代实施例可以分配给其它要求保护的对象，并且反之亦然。换句话说，***的权利要求可以用在方法的上下文中描述或要求保护的特征来改进。在这种情况下，该方法的功能特征由提供***的目标单元来体现。
此外，本文中所描述的某些实施例是关于利用经训练的基于机器学习的网络（或模型）的方法和***，以及关于用于训练基于机器学习的网络的方法和***进行描述的。本文中的特征、优势或替代实施例可以分配给其它要求保护的对象，并且反之亦然。换句话说，用于训练基于机器学习的网络的方法和***的权利要求可以用在用于利用经训练的基于机器学习的网络的方法和***的上下文中描述或要求保护的特征来改进，并且反之亦然。
特别地，本文中所描述的实施例中应用的经训练的基于机器学习的网络可以由用于训练基于机器学习的网络的方法和***进行适配。此外，经训练的基于机器学习的网络的输入数据可以包括训练输入数据的有利特征和实施例，并且反之亦然。此外，经训练的基于机器学习的网络的输出数据可以包括输出训练数据的有利特征和实施例，并且反之亦然。
一般而言，经训练的基于机器学习的网络模仿人类与其它人类思维相关联的认知功能。特别地，通过基于训练数据的训练，经训练的基于机器学习的网络能够适应新的环境，并检测和推断模式。
一般而言，基于机器学习的网络的参数可以借助于训练进行适配。特别地，可以使用监督训练、半监督训练、非监督训练、强化学习和/或主动学习。此外，可以使用表示学习（替代术语是“特征学习”）。特别地，经训练的基于机器学习的网络的参数可以通过若干训练步骤来迭代地适配。
特别地，经训练的基于机器学习的网络可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，和/或经训练的基于机器学习的网络可以基于k均值聚类、Q学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。
图8示出了根据一个或多个实施例的人工神经网络800的实施例。“人工神经网络”的替代术语是“神经网络”、“人工神经网络”或“神经网络”。可以使用人工神经网络800来实现本文中描述的机器学习网络，诸如例如用于生成图1中的CDRM 112、AI代理120和用于确定OOD数据的分类网络的分割网络、在步骤204处利用的分割网络、步骤206的经训练AI代理和在图2的步骤208处利用的分类网络、图3中所示出的分割网络以及根据图6的方法600训练的机器学习网络。
人工神经网络800包括节点802-822和边832，834，…，836，其中每个边832，834，…，836是从第一节点802-822到第二节点802-822的有向连接。一般而言，第一节点802-822和第二节点802-822是不同的节点802-822，也有可能第一节点802-822和第二节点802-822是相同的。例如，在图8中，边832是从节点802到节点806的有向连接，而边834是从节点804到节点806的有向连接。从第一节点802-822到第二节点802-822的边832、834、…、836也被标示为第二节点802-822的“输入边”和第一节点802-822的“输出边”。
在该实施例中，人工神经网络800的节点802-822可以布置在层824-830中，其中层可以包括由节点802-822之间的边832、834、…、836引入的固有次序。特别地，边832、834、…、836可能仅存在于相邻的节点层之间。在图8中所示出的实施例中，存在输入层824仅包括节点802和804，没有输入边，输出层830仅包括节点822，没有输出边，以及隐藏层826、828在输入层824和输出层830之间。一般而言，隐藏层826、828的数量可以任意选择。输入层824内的节点802和804的数量通常与神经网络800的输入值的数量相关，并且输出层830内的节点822的数量通常与神经网络800的输出值的数量相关。
特别地，可以将（实）数作为值分配给神经网络800的每个节点802-822。这里，x（n） i标示第n层824-830的第i个节点802-822的值。输入层824的节点802-822的值等同于神经网络800的输入值，输出层830的节点822的值等同于神经网络800的输出值。此外，每个边832、834、…、836可以包括作为实数的权重，特别地，该权重是区间[-1，1]内或区间[0，1]内的实数。这里，w（m,n） i，j标示第m层824-830的第i个节点802-822和第n层824-830的第j个节点802-822之间的边的权重。此外，缩写w（n） i，j被定义为权重w（n,n+1） i，j。
特别地，为了计算神经网络800的输出值，输入值通过神经网络传播。特别地，第（n+1）层824-830的节点802-822的值可以基于第n层824-830的节点802-822的值通过下式来计算
Figure DEST_PATH_IMAGE042
。
本文中，函数f为传递函数（另一术语为“激活函数”）。已知的传递函数是阶跃函数、sigmoid函数（例如，逻辑函数、广义逻辑函数、双曲正切函数、反正切函数、误差函数、平滑阶跃函数）或修正函数。传递函数主要用于标准化目的。
特别地，值通过神经网络逐层传播，其中输入层824的值由神经网络800的输入给出，其中第一隐藏层826的值可以基于神经网络的输入层824的值计算，其中第二隐藏层828的值可以基于第一隐藏层826的值计算，等等。
为了设置边的值w（m,n） i，j，必须使用训练数据训练神经网络800。特别地，训练数据包括训练输入数据和训练输出数据（标示为ti）。对于训练步骤，神经网络800被应用于训练输入数据以生成计算的输出数据。特别地，训练数据和计算的输出数据包括多个值，所述数量等于输出层的节点数量。
特别地，计算的输出数据和训练数据之间的比较用于递归适配神经网络800内的权重（反向传播算法）。特别地，权重根据下式而改变
Figure DEST_PATH_IMAGE044
其中γ是学习率，并且数
Figure DEST_PATH_IMAGE046
可以递归地计算为
Figure DEST_PATH_IMAGE048
基于
Figure DEST_PATH_IMAGE050
，如果第（n+1）层不是输出层，并且
Figure DEST_PATH_IMAGE052
如果第（n+1）层是输出层830，其中f’是激活函数的一阶导数，而y（n+1） j是输出层830的第j个节点的比较训练值。
图9示出了根据一个或多个实施例的卷积神经网络900。可以使用卷积神经网络900来实现本文中描述的机器学习网络，诸如例如用于生成图1中的CDRM 112、AI代理120和用于确定OOD数据的分类网络的分割网络、在步骤204处利用的分割网络、步骤206的经训练AI代理和图2的步骤208处利用的分类网络、图3中所示出的分割网络以及根据图6的方法600训练的机器学习网络。
在图9中所示出的实施例中，卷积神经网络包括900输入层902、卷积层904、池化层906、全连接层908和输出层910。替代地，卷积神经网络900可以包括若干卷积层904、若干池化层906和若干全连接层908、以及其它类型的层。层的次序可以任意选择，通常全连接层908被用作输出层910之前的最后层。
特别地，在卷积神经网络900内，一层902-910的节点912-920可以视为布置为d维矩阵或d维图像。特别地，在二维情况下，在第n层902-910中用i和j索引的节点912-920的值可以标示为x（n） [i，j]。然而，一层902-910的节点912-920的布置照此对卷积神经网络900内执行的计算没有影响，因为这些仅由边的结构和权重给出。
特别地，卷积层904的特征在于基于一定数量的核形成卷积运算的输入边的结构和权重。特别地，选择输入边的结构和权重，使得卷积层904的节点914的值x（n） k被计算为基于前一层902的节点912的值x（n-1）的卷积
Figure DEST_PATH_IMAGE054
，其中卷积*在二维情况下被定义为
Figure DEST_PATH_IMAGE056
。/>
这里，第k个核Kk为d维矩阵（在该实施例中为二维矩阵），其与节点912-918的数量相比通常是小的（例如，3×3矩阵或5×5矩阵）。特别地，这意味着输入边的权重不是独立的，而是被选择为使得它们产生所述卷积等式。特别地，对于作为3×3矩阵的核，仅存在9个独立的权重（核矩阵的每个条目对应于一个独立的权重），而与相应层902-910中的节点912-920的数量无关。特别地，对于卷积层904，卷积层中的节点914的数量等同于前一层902中的节点912的数量乘以核的数量。
如果前一层902的节点912布置为d维矩阵，使用多个核可以解释为添加另外的维度（标示为“深度”维度），使得卷积层904的节点914布置为（d+1）维矩阵。如果前一层902的节点912已经被布置为包括深度维度的（d+1）维矩阵，则使用多个核可以被解释为沿着深度维度扩展，使得卷积层904的节点914也被布置为（d+1）维矩阵，其中关于深度维度的（d+1）维矩阵的大小比前一层902中的更大核数量倍。
使用卷积层904的优势在于，可以通过在相邻层的节点之间实施局部连接模式，特别是通过每个节点仅连接到前一层节点的小区域，来利用输入数据的空间局部相关性。
在图9中所示出的实施例中，输入层902包括36个节点912，布置为二维6×6矩阵。卷积层904包括72个节点914，布置为两个二维6×6矩阵，这两个矩阵中的每一个均是输入层的值与核的卷积的结果。等同地，卷积层904的节点914可以被解释为布置为三维6×6×2矩阵，其中最后一个维度是深度维度。
池化层906的特征可以在于输入边的结构和权重及其节点916的激活函数，基于非线性池化函数f形成池化操作。例如，在二维情况下，池化层906的节点916的值x（n）可以基于前一层904的节点914的值x（n-1）计算为
Figure DEST_PATH_IMAGE058
换句话说，通过使用池化层906，可以通过以下方式减少节点914、916的数量，即用单个节点916替换前一层904中相邻节点914的数量
Figure DEST_PATH_IMAGE060
，所述单个节点916作为池化层中所述相邻节点数量的值的函数进行计算。特别地，池化函数f可以是最大函数、平均值或L2范数。特别地，对于池化层906，输入边的权重是固定的，并且不通过训练来修改。
使用池化层906的优势在于减少了节点914、916的数量和参数的数量。这导致网络中的计算量减少并控制过拟合。
在图9中所示出的实施例中，池化层906为最大池化，仅用一个节点替换四个相邻节点，该值为四个相邻节点的最大值。最大池化被应用于前一层的每个d维矩阵；在该实施例中，最大池化被应用于两个二维矩阵中的每一个，将节点的数量从72个减少到18个。
全连接层908的特征可以在于，存在前一层906的节点916和全连接层908的节点918之间的大多数边、特别是所有边，并且其中每个边的权重可以单独调整。
在该实施例中，全连接层908的前一层906的节点916显示为二维矩阵，并且附加地显示为不相关的节点（指示为一行节点，其中为了更好地呈现，减少了节点数量）。在该实施例中，全连接层908中的节点918的数量等于前一层906中的节点916的数量。替代地，节点916、918的数量可以不同。
此外，在该实施例中，通过将Softmax函数应用到前一层908的节点918的值上，确定输出层910的节点920的值。通过应用Softmax函数，输出层910的所有节点920的值的总和是1，并且输出层的所有节点920的所有值是0和1之间的实数。
卷积神经网络900还可以包括具有非线性传递函数的ReLU（修正线性单元）层或激活层。特别地，ReLU层中包含的节点数量和节点结构等同于前一层中包含的节点数量和节点结构。特别地，ReLU层中每个节点的值是通过对前一层的对应节点的值应用修正函数来计算的。
不同卷积神经网络块的输入和输出可以使用求和（残差/密集神经网络）、逐元素乘法（注意）或其它可微分算子进行连接。因此，如果整个流水线是可微分的，则卷积神经网络架构可以是嵌套的，而不是顺序的。
特别地，可以基于反向传播算法训练卷积神经网络900。为了防止过拟合，可以使用正则化方法，例如，节点912-920的丢弃、随机池化、人工数据的使用、基于L1或L2范数或最大范数约束的权重衰减。不同的损失函数可以被组合用于训练相同的神经网络，以反映联合训练目标。可以从优化排除神经网络参数的子集，以保留在另一个数据集上预先训练的权重。
本文中所描述的***、装置和方法可以使用数字电路，或使用一个或多个使用众所周知的计算机处理器、存储单元、存储设备、计算机软件和其它组件的计算机来实现。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
本文中所描述的***、装置和方法可以使用以客户端-服务器关系操作的计算机实现。通常，在这样的***中，客户端计算机位于远离服务器计算机，并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。
本文中所描述的***、装置和方法可以在基于网络的云计算***中实现。在这样的基于网络的云计算***中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。例如，客户端计算机可以经由驻留在客户端计算机上并在其上操作的网络浏览器应用与服务器通信。客户端计算机可以在服务器上存储数据，并经由网络访问数据。客户端计算机可以经由网络向服务器传输数据请求或在线服务请求。服务器可以施行所请求的服务并向（一个或多个）客户端计算机提供数据。服务器还可以传输适于使客户端计算机施行指定功能的数据，例如施行计算、在屏幕上显示指定数据等。例如，服务器可以传输适于使客户端计算机施行本文中描述的方法和工作流程的一个或多个步骤或功能的请求，包括图1-2和6的一个或多个步骤或功能。本文中描述的方法和工作流程的某些步骤或功能，包括图1-2和6的一个或多个步骤或功能，可以由基于网络的云计算***中的服务器或另一个处理器来施行。本文中描述的方法和工作流程的某些步骤或功能，包括图1-2和6的一个或多个步骤，可以由基于网络的云计算***中的客户端计算机来施行。本文中描述的方法和工作流程的步骤或功能，包括图1-2和6的一个或多个步骤，可以由基于网络的云计算***中的服务器和/或客户端计算机以任何组合来施行。
本文中所描述的***、装置和方法可以使用有形地体现在信息载体中的计算机程序产品实现，例如，在非暂时性机器可读存储设备中，由可编程处理器执行；并且本文中描述的方法和工作流程步骤，包括图1-2和6的一个或多个步骤或功能，可以使用可由这样的处理器执行的一个或多个计算机程序来实现。计算机程序是计算机程序指令集，其可以在计算机中直接或间接使用，以施行某个活动或带来某个结果。计算机程序可以以任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合供计算环境中使用的其它单元。
在图10中描绘了可以用于实现本文中所描述的***、装置和方法的示例计算机1002的高级框图。计算机1002包括可操作地耦合到数据存储设备1012和存储器1010的处理器1004。处理器1004通过执行定义这样的操作的计算机程序指令来控制计算机1002的总体操作。计算机程序指令可以存储在数据存储设备1012或其它计算机可读介质中，并且在期望执行计算机程序指令时加载到存储器1010中。因此，图1-2和6的方法和工作流程步骤或功能可以由存储在存储器1010和/或数据存储设备1012中的计算机程序指令来定义，并且由执行计算机程序指令的处理器1004来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以施行图1-2和6的方法和工作流程步骤或功能。因此，通过执行计算机程序指令，处理器1004执行图1-2和6的方法和工作流程步骤或功能。计算机1002还可以包括一个或多个网络接口1006，用于经由网络与其它设备通信。计算机1002还可以包括一个或多个输入/输出设备1008（例如，显示器、键盘、鼠标、扬声器、按钮等），其使得用户能够与计算机1002交互。
处理器1004可以包括通用和专用微处理器二者，并且可以是计算机1002的唯一处理器或多个处理器之一。例如，处理器1004可以包括一个或多个中央处理单元（CPU）。处理器1004、数据存储设备1012和/或存储器1010可以包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA），或者由一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）补充或并入其中。
数据存储装置1012和存储器1010每个包括有形非暂时性计算机可读存储介质。数据存储设备1012和存储器1010可以每个包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双数据速率同步动态随机存取存储器（DDR RAM）或其它随机存取固态存储设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备，诸如内部硬盘和可移除盘、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备，诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、压缩碟只读存储器（CD-ROM）、数字通用碟只读存储器（DVD-ROM）或其它非易失性固态存储设备。
输入/输出设备1008可以包括***设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备1008可以包括用于向用户显示信息的诸如阴极射线管（CRT）或液晶显示器（LCD）监视器之类的显示设备、键盘和诸如鼠标或轨迹球之类的定点设备，用户可以通过它们向计算机1002提供输入。
图像获取装置1014可以连接到计算机1002，以将图像数据（例如，医学图像）输入到计算机1002。有可能将图像获取设备1014和计算机1002实现为一个设备。图像获取设备1014和计算机1002也可能通过网络无线通信。在可能的实施例中，计算机1002可以相对于图像获取设备1014远程定位。
可以使用一个或多个计算机（诸如计算机1002）实现本文中讨论的任何或所有***和装置。
本领域技术人员将认识到，实际计算机或计算机***的实现可以具有其它结构，并且也可以包含其它组件，并且图10是出于说明性目的的这样的计算机的一些组件的高级表示。
前述详细描述应理解为在每一方面说明性和示例性的，而非限制性的，并且本文中公开的发明范围不由详细描述确定，而是由如根据专利法准许的完整宽度解释的权利要求确定。将理解，本文中所示出和描述的实施例仅是本发明原理的说明，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下进行各种修改。在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种其它特征组合。

Claims (25)

1.一种计算机实现的方法，包括：
接收患者的输入医学图像；
使用经训练的分割网络基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹；
由经训练的AI（人工智能）代理并基于所生成的轨迹和导管的当前视图，确定1）用于将导管从当前位置朝向目标位置导航的机器人导航***的一个或多个动作，以及2）与一个或多个动作相关联的置信度；
响应于置信度满足阈值，基于根据所述一个或多个动作导航时的导管视图评估所述一个或多个动作；和
根据基于评估的所述一个或多个动作，使用机器人导航***将导管从当前位置朝向目标位置导航。
2.根据权利要求1所述的计算机实现的方法，其中使用经训练的分割网络基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹包括：
生成输入医学图像中的血管的彩色动态路线图，包括指示不确定性的颜色编码。
3.根据权利要求2所述的计算机实现的方法，其中所述不确定性由经训练的分割网络来量化，所述经训练的分割网络通过以下方式来训练：
接收训练图像集；
基于由单个用户注释的训练图像集来训练初始分割网络；
使用经训练的初始分割网络从训练图像集的子集分割血管；
基于分割的血管为训练图像的子集确定来自多个用户的注释的可变性分布；
基于可变性分布对来自多个用户中的某些用户的训练图像集的注释进行加权；
基于训练图像集、加权注释和与每个加权注释相关联的不确定性来训练最终分割网络；和
输出经训练的最终分割网络。
4.根据权利要求1所述的计算机实现的方法，进一步包括：
响应于置信度不满足阈值：
将AI代理移动到轨迹中的先前位置；
优化用于将导管从先前位置导航到目标位置的轨迹；
将AI代理放置在最优轨迹中最接近当前位置的位置；和
由AI代理使用最优轨迹中最接近当前位置的位置处的导管视图作为当前视图来重新开始导管的导航。
5.根据权利要求4所述的计算机实现的方法，其中优化用于将导管从先前位置导航到目标位置的轨迹包括：
基于机器人导航***的可能动作和来自输入医学图像的血管分割来优化轨迹。
6.根据权利要求1所述的计算机实现的方法，其中基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作包括：
确定根据所述一个或多个动作导航时的导管视图是否在训练经训练的AI代理的训练数据的域外。
7.根据权利要求1所述的计算机实现的方法，其中基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作包括：
评估用于导航导管的导丝的弯曲应力和穿刺次数。
8. 根据权利要求1所述的计算机实现的方法，进一步包括：
当用户施行导航导管的动作集合时，存储机器人导航***的配置；和
基于机器人导航***的存储配置重放动作集合。
9.根据权利要求1所述的计算机实现的方法，进一步包括：
接收选择导管要导航的位置的用户输入；
计算用于将导管导航到所选择的位置的运动学；和
基于所计算的运动学将导管导航到所选择的位置。
10. 根据权利要求1所述的计算机实现的方法，进一步包括：
计算输入医学图像中路径的安全裕度；和
基于导管相对于安全裕度的当前位置，向导航导管的用户提供触觉反馈。
11.一种装置，包括：
用于接收患者的输入医学图像的部件；
用于使用经训练的分割网络基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹的部件；
用于通过经训练的AI（人工智能）代理并基于所生成的轨迹和导管的当前视图来确定1）用于将导管从当前位置朝向目标位置导航的机器人导航***的一个或多个动作以及2）与一个或多个动作相关联的置信度的部件；
用于响应于置信度满足阈值，基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作的部件；和
用于根据基于评估的所述一个或多个动作使用机器人导航***将导管从当前位置朝向目标位置导航的部件。
12.根据权利要求11所述的装置，其中用于使用经训练的分割网络基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹的部件包括：
用于在输入医学图像中生成血管的彩色动态路线图的部件，所述彩色动态路线图包括指示不确定性的颜色编码。
13.根据权利要求12所述的装置，其中所述不确定性由经训练的分割网络量化，所述经训练的分割网络由以下各项训练：
用于接收训练图像集的部件；
用于基于由单个用户注释的训练图像集来训练初始分割网络的部件；
用于使用经训练的初始分割网络从训练图像集的子集分割血管的部件；
用于基于分割的血管为训练图像的子集确定来自多个用户的注释的可变性分布的部件；
用于基于可变性分布对来自多个用户中的某些用户的训练图像集的注释进行加权的部件；
用于基于训练图像集、加权注释和与每个加权注释相关联的不确定性来训练最终分割网络的部件；和
用于输出经训练的最终分割网络的部件。
14.根据权利要求11所述的装置，进一步包括：
响应于置信度不满足阈值：
用于将AI代理移动到轨迹中的先前位置的部件；
用于优化将导管从先前位置导航到目标位置的轨迹的部件；
用于将AI代理放置在最优轨迹中最接近当前位置的位置的部件；和
用于由AI代理使用最优轨迹中最接近当前位置的位置处的导管视图作为当前视图来重新开始导管的导航的部件。
15.根据权利要求14所述的装置，其中用于优化将导管从先前位置导航到目标位置的轨迹的部件包括：
用于基于机器人导航***的可能动作和来自输入医学图像的血管分割来优化轨迹的部件。
16.根据权利要求11所述的装置，其中用于基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作的部件包括：
用于确定根据所述一个或多个动作导航时的导管视图是否在训练经训练的AI代理的训练数据的域外的部件。
17.根据权利要求11所述的装置，其中用于基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作的部件包括：
用于评估用于导航导管的导丝的弯曲应力和穿刺次数的部件。
18. 根据权利要求11所述的装置，进一步包括：
用于当用户施行导航导管的动作集合时存储机器人导航***的配置的部件；和
用于基于机器人导航***的存储配置重放动作集合的部件。
19.一种存储计算机程序指令的非暂时性计算机可读介质，当由处理器执行时，所述计算机程序指令使处理器施行操作，包括：
接收患者的输入医学图像；
使用经训练的分割网络基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹；
由经训练的AI（人工智能）代理并基于所生成的轨迹和导管的当前视图，确定1）用于将导管从当前位置朝向目标位置导航的机器人导航***的一个或多个动作，以及2）与一个或多个动作相关联的置信度；
响应于置信度满足阈值，基于根据所述一个或多个动作导航时的导管视图评估所述一个或多个动作；和
根据基于评估的所述一个或多个动作，使用机器人导航***将导管从当前位置朝向目标位置导航。
20.根据权利要求19所述的非暂时性计算机可读介质，其中使用经训练的分割网络基于输入医学图像生成用于将导管从患者体内的当前位置导航到目标位置的轨迹包括：
生成输入医学图像中的血管的彩色动态路线图，包括指示不确定性的颜色编码。
21.根据权利要求19所述的非暂时性计算机可读介质，所述操作进一步包括：
响应于置信度不满足阈值：
将AI代理移动到轨迹中的先前位置；
优化用于将导管从先前位置导航到目标位置的轨迹；
将AI代理放置在最优轨迹中最接近当前位置的位置；和
由AI代理使用最优轨迹中最接近当前位置的位置处的导管视图作为当前视图来重新开始导管的导航。
22.根据权利要求19所述的非暂时性计算机可读介质，其中基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作包括：
确定根据所述一个或多个动作导航时的导管视图是否在训练经训练的AI代理的训练数据的域外。
23.根据权利要求19所述的非暂时性计算机可读介质，其中基于根据所述一个或多个动作导航时的导管视图来评估所述一个或多个动作包括：
评估用于导航导管的导丝的弯曲应力和穿刺次数。
24.根据权利要求19所述的非暂时性计算机可读介质，所述操作进一步包括：
接收选择导管要导航的位置的用户输入；
计算用于将导管导航到所选择的位置的运动学；和
基于所计算的运动学将导管导航到所选择的位置。
25. 根据权利要求19所述的非暂时性计算机可读介质，所述操作进一步包括：
计算输入医学图像中路径的安全裕度；和
基于导管相对于安全裕度的当前位置，向导航导管的用户提供触觉反馈。
CN202211507769.3A 2021-11-29 2022-11-29 机器人导管导航***的风险管理 Pending CN116172699A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/456681 2021-11-29
US17/456,681 US20230165638A1 (en) 2021-11-29 2021-11-29 Risk management for robotic catheter navigation systems

Publications (1)

Publication Number Publication Date
CN116172699A true CN116172699A (zh) 2023-05-30

Family

ID=84536981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211507769.3A Pending CN116172699A (zh) 2021-11-29 2022-11-29 机器人导管导航***的风险管理

Country Status (3)

Country Link
US (1) US20230165638A1 (zh)
EP (1) EP4186455A1 (zh)
CN (1) CN116172699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992248A (zh) * 2023-09-27 2023-11-03 国网江苏省电力有限公司电力科学研究院 基于突短试验的卷铁心变压器抗短路能力评估方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018188466A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
US11497564B2 (en) * 2019-06-07 2022-11-15 Verb Surgical Inc. Supervised robot-human collaboration in surgical robotics
US11197725B1 (en) * 2020-06-19 2021-12-14 Remedy Robotics, Inc. Systems and methods for guidance of intraluminal devices within the vasculature

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992248A (zh) * 2023-09-27 2023-11-03 国网江苏省电力有限公司电力科学研究院 基于突短试验的卷铁心变压器抗短路能力评估方法及装置
CN116992248B (zh) * 2023-09-27 2023-12-05 国网江苏省电力有限公司电力科学研究院 基于突短试验的卷铁心变压器抗短路能力评估方法及装置

Also Published As

Publication number Publication date
US20230165638A1 (en) 2023-06-01
EP4186455A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
US11354813B2 (en) Dilated fully convolutional network for 2D/3D medical image registration
EP3142033B1 (en) Physiology-driven decision support for therapy planning
US20230289664A1 (en) System for monitoring object inserted into patient&#39;s body via image processing
US11514571B2 (en) Hierarchical analysis of medical images for identifying and assessing lymph nodes
US20230044399A1 (en) Data analysis based methods and systems for optimizing insertion of a medical instrument
EP3579189B1 (en) Adaptive nonlinear optimization of shape parameters for object localization in 3d medical images
EP4160529A1 (en) Probabilistic tree tracing and large vessel occlusion detection in medical imaging
CN114072838A (zh) 根据2d医学图像进行3d血管中心线重建
CN113614781A (zh) 用于标识图像中物体的***和方法
EP4186455A1 (en) Risk management for robotic catheter navigation systems
CN113574610A (zh) 用于成像的***和方法
US20210145412A1 (en) Assisted steering of intracardiac echocardiogram catheters
JP7490737B2 (ja) 心腔内エコー法のスマートイメージナビゲーション
US20210383565A1 (en) Training a machine learning algorithm using digitally reconstructed radiographs
EP4248404B1 (en) Determining interventional device shape
EP4154810A1 (en) System and device control using shape clustering
US20240029868A1 (en) Ai-based analysis of coronary angiograms
EP4246457A1 (en) Multi-view matching across coronary angiogram images
EP3821440B1 (en) Training a machine learning algorithm using digitally reconstructed radiographs
US20240115320A1 (en) Automatic planning and guidance of liver tumor thermal ablation using ai agents trained with deep reinforcement learning
EP4345830A1 (en) Automatic planning and guidance of liver tumor thermal ablation using ai agents trained with deep reinforcement learning
Zhao et al. Surgical GAN: Towards Real-Time Path Planning for Passive Flexible Tools in Soft Tissue Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination