CN111353524A - 用于定位患者特征的***和方法 - Google Patents

用于定位患者特征的***和方法 Download PDF

Info

Publication number
CN111353524A
CN111353524A CN201911357754.1A CN201911357754A CN111353524A CN 111353524 A CN111353524 A CN 111353524A CN 201911357754 A CN201911357754 A CN 201911357754A CN 111353524 A CN111353524 A CN 111353524A
Authority
CN
China
Prior art keywords
features
patient
computer
input image
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911357754.1A
Other languages
English (en)
Other versions
CN111353524B (zh
Inventor
阿伦·因南耶
吴子彦
斯里克里希纳·卡拉南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN111353524A publication Critical patent/CN111353524A/zh
Application granted granted Critical
Publication of CN111353524B publication Critical patent/CN111353524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了用于定位患者的一个或多个目标特征的方法和***。例如，一种计算机实施的方法，包括：接收第一输入图像；接收第二输入图像；生成对应于所述第一输入图像的第一患者表征；生成对应于所述第二输入图像的第二患者表征；确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导。

Description

用于定位患者特征的***和方法
技术领域
本发明的某些实施例涉及特征可视化。更具体地，本发明的一些实施例提供了用于定位患者特征的方法和***。仅仅通过示例的方式，本发明的一些实施例已经被应用于为医疗过程提供视觉指导。但是可以认识到，本发明具有更宽泛的适用范围。
背景技术
各种疾病的治疗涉及体格检查并伴随有诊断扫描，例如X射线(X-ray)扫描、电脑断层(CT)扫描、核磁共振(MR)扫描、正电子发射断层成像术(PET)扫描或单光子发射计算机断层成像术(SPECT)扫描。医护人员或医生通常依靠分析扫描结果来帮助诊断一种或多种症状的成因并且确定出治疗计划。对于涉及手术程序(例如外科手术、放射治疗和其他介入性治疗)的治疗计划，通常借助扫描结果来确定出感兴趣区域。因此，非常希望的是能够以高准确度和高精度确定出与所感兴趣区域相关联的信息，例如位置、大小和形状。例如，对于因患有癌症而接受治疗的患者进行放射治疗时，需要确定出肿瘤的位置、形状和大小，例如关于在患者坐标系中的坐标。对感兴趣区域的任何程度的错误预测都是不希望的，并且还会导致代价高昂的错误，例如健康组织的损伤或损失。在许多医疗过程中对于目标组织在患者坐标系中的定位是必不可少的步骤，并且被证明为是一种难以被自动化的问题。因此，许多工作流依赖于人的输入，例如依赖于经验丰富的医生的输入。其中一些涉及在感兴趣区域周围手动地设置永久纹身(tattoo)，并且利用监测***来跟踪已标记的区域。这些手动和半自动的方法通常会损失资源并且容易发生人为错误。因此，用于以高准确性、高精度并且可选地实时地对患者特征进行定位的***和方法是非常有意义的。
发明内容
本发明的某些实施例涉及特征可视化。更具体地，本发明的一些实施例提供了用于定位患者特征的方法和***。仅仅通过示例的方式，本发明的一些实施例已经被应用于为医疗过程提供视觉指导。但是可以认识到，本发明具有更宽泛的适用范围。
在各个实施例中，一种用于定位患者的一个或多个目标特征的计算机实施的方法，包括：接收第一输入图像；接收第二输入图像；生成对应于所述第一输入图像的第一患者表征(patient representation)；生成对应于所述第二输入图像的第二患者表征；确定在特征空间(feature space)中对应于所述第一患者表征的一个或多个第一特征；确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；至少部分地基于所述一个或多个结合的特征来确定一个或多个界标(landmark)；和至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导。在某些示例中，所述计算机实施的方法由一个或多个处理器来执行。
在各个实施例中，一种用于定位患者的一个或多个目标特征的***，包括：图像接收模块，其被配置以接收第一输入图像和接收第二输入图像；表征生成模块，其被配置以生成对应于所述第一输入图像的第一患者表征和生成对应于所述第二输入图像的第二患者表征；特征确定模块，其被配置以确定在特征空间中对应于所述第一患者表征的一个或多个第一特征和确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；特征结合模块，其被配置以将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；界标确定模块，其被配置以至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；以及指导提供模块，其被配置以至少部分地基于与所述一个或多个界标相关联的信息来提供视觉指导。
在各个实施例中，一种在其上存储有指令的非瞬时性计算机可读介质，当所述指令被处理器执行时，执行以下过程：接收第一输入图像；接收第二输入图像；生成对应于第一医疗图像的第一患者表征；生成对应于第二医疗图像的第二患者表征；确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导。
根据实施例，可以实现一种或多种益处。本发明的这些益处和各种附加目的、特征和优势可以参考下面的详细描述和附图而被充分理解。
附图说明
图1是示出了根据一些实施例的用于定位患者的一个或多个目标特征的***的简化图。
图2是示出了根据一些实施例的用于定位患者的一个或多个目标特征的方法的简化图。
图3是示出了根据一些实施例的用于训练被配置以用于定位患者的一个或多个目标特征的机器学习模型的方法的简化图。
图4是示出了根据一些实施例的计算***的简化图。
图5是示出了根据一些实施例的神经网络的简化图。
具体实施方式
本发明的某些实施例涉及特征可视化。更具体地，本发明的一些实施例提供了用于定位患者特征的方法和***。仅仅通过示例的方式，本发明的一些实施例已经被应用于为医疗过程提供视觉指导。但是可以认识到，本发明具有更宽泛的适用范围。
图1是示出了根据一些实施例的用于定位患者的一个或多个目标特征的***的简化图。该图仅是一个示例，而不应不适当地限制权利要求的范围。本领域的普通技术人员将会意识到许多变化、替代和修改。在一些示例中，***10包括：图像接收模块12、表征生成模块14、特征确定模块16、特征结合模块18、界标确定模块20、以及指导提供模块22。在某些示例中，***10还包括或者耦合至训练模块24。在各个示例中，***10是用于定位患者的一个或多个目标特征(例如，组织、器官)的***。尽管上文使用了一组选定的部件来进行显示，但是也可以有许多替代、修改和变化。例如，可以将其中一些部件进行扩展和/或组合。也可以移除一些部件。还可以将其他部件并入到上述部分。根据该实施例，一些部件的布置可以与其他替换的部件进行互换。
在各个实施例中，所述图像接收模块12被配置以接收一个或多个图像，例如，一个或多个输入图像、一个或多个训练图像、和/或一个或多个患者图像。在一些示例中，所述一个或多个图像包括患者视觉图像，所述患者视觉图像是利用视觉传感器，例如RGB传感器、RGBD传感器、激光传感器、FIR(远红外)传感器、NIR(近红外)传感器、X射线传感器、或激光雷达(lidar)传感器来获得的。在各个示例中，所述一个或多个图像包括扫描图像，所述扫面图像是利用医疗扫描仪，例如超声波扫描仪、X射线扫描仪、MR(核磁共振)扫描仪、CT(电脑断层)扫描仪、PET(正电子发射断层成像术)扫描仪、SPECT(单光子发射计算机断层成像术)扫描仪、或RGBD扫描仪来获得的。在某些示例中，所述患者视觉图像是二维的和/或所述扫描图像是三维的。在一些示例中，***10还包括图像获取模块，该图像获取模块被配置以利用视觉传感器来获取所述患者视觉图像并且利用医疗扫描仪来获取所述扫描图像。
在各个实施例中，所述表征生成模块14被配置以例如至少部分地基于所述一个或多个图像，来生成一个或多个患者表征。在一些示例中，所述一个或多个患者表征包括：对应于所述患者视觉图像的第一患者表征和对应于所述扫描图像的第二患者表征。在各个示例中，患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，患者表征包括：对应于一个或多个患者特征的信息。在某些实施例中，表征生成模块14被配置以通过机器学习模型来生成所述一个或多个患者表征，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述特征确定模块16被配置以确定用于所述一个或多个患者表征中的每一个患者表征的一个或多个患者特征。在一些示例中，特征确定模块16被配置以确定在特征空间中对应于所述第一患者表征的一个或多个第一患者特征。在某些示例中，特征确定模块16被配置以确定在特征空间中对应于所述第二患者表征的一个或多个第二患者特征。例如，所述一个或多个第一患者特征和所述一个或多个第二患者特征在同一个共同的特征空间中。在一些示例中，特征空间被称为潜在空间(latent space)。在各个示例中，对应于患者表征的所述一个或多个患者特征包括：姿态、表面特征、和/或解剖学界标(例如，组织、器官、外来物体)。在某些示例中，特征确定模块16被配置以确定对应于所述一个或多个患者特征中的每一个患者特征的一个或多个特征坐标。例如，特征确定模块16被配置以确定对应于所述一个或多个第一患者特征的一个或多个第一特征坐标并且确定对应于所述一个或多个第二患者特征的一个或多个第二特征坐标。在某些实施例中，表征确定模块16被配置以通过机器学习模型来确定所述一个或多个患者特征，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述特征结合模块18被配置以将在所述特征空间中的第一特征与在所述特征空间中的第二特征结合。在某些示例中，特征结合模块18被配置以将对应于所述第一患者表征和所述患者视觉图像的第一患者特征与对应于所述第二患者表征和所述扫描图像的第二患者特征结合。在一些示例中，特征结合模块18被配置以将所述一个或多个第一患者特征和所述一个或多个第二患者特征结合为一个或多个结合的患者特征。在各个示例中，特征结合模块18被配置以将所述一个或多个第一患者特征与所述一个或多个第二患者特征进行匹配。例如，特征结合模块18被配置以识别所述一个或多个第一患者特征中的每个第一患者特征对应于所述一个或多个第二患者特征中的哪个第二患者特征。在某些示例中，特征结合模块18被配置以将所述一个或多个第一患者特征与所述一个或多个第二患者特征进行对准(align)。例如，特征结合模块18被配置以将所述特征空间中的所述一个或多个第一患者特征相对于所述一个或多个第二患者特征的分布进行转换，例如通过平移和/或旋转转换进行转换，以将所述一个或多个第一患者特征与所述一个或多个第二患者特征进行对准。在各个示例中，特征结合模块18被配置以将所述一个或多个第一特征坐标与所述一个或多个第二特征坐标进行对准。在某些示例中，一个或多个锚定特征(anchor feature)被用于指导所述对准。例如，包括在所述一个或多个第一患者特征和所述一个或多个第二患者特征中的一个或多个锚定特征与所述特征空间中的同一坐标基本上对准。
在各个示例中，特征结合模块18被配置以将所述一个或多个第一患者特征中的每一个第一患者特征与所述第一个或多个第二患者特征中的第二患者特征进行配对。例如，特征结合模块18被配置以将对应于所述第一患者特征的信息与对应于所述第二患者特征的信息进行配对(例如，链接、组合、共享)。在某些示例中，对应于已配对的特征的已配对的信息被用于使来自经由不同的成像模态而获得的图像的共同的解剖学特征(例如，界标)的信息偏差最小化。例如，将基于患者视觉图像而确定的第一未配对信息与基于扫描图像而确定的第二未配对信息进行配对，以生成用于目标特征的已配对的信息。在某些示例中，特征结合模块18被配置以，至少部分地基于与来自多个图像的共同特征相关联的信息，通过在所述共同特征空间中将结合的坐标分配至结合的患者特征，在所述共享空间中嵌入由所述多个图像共享的所述共同特征，所述多个图像由多个模态(例如，图像获取设备)来获得。在一些示例中，所述共同特征在所有不同的模态中共享。在一些示例中，所述共同特征对于每一对模态是不同的。在某些实施例中，特征结合模块18被配置以通过机器学习模型将所述特征空间中的第一患者特征与所述共同特征空间中的第二患者特征结合，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述界标确定模块20被配置以至少部分地基于一个或多个结合的患者特征来确定一个或多个界标。例如，所述一个或多个界标包括：患者组织、器官、或解剖学结构。在某些示例中，界标确定模块20被配置以将每一个界标与所述患者的参考医疗成像数据进行匹配。例如，所述参考医疗成像数据对应于所述共同特征空间。在各个示例中，界标确定模块20被配置以通过识别签名(例如，形状、位置)和/或由不同模态获得的图像间所共享的特征表征来确定界标(例如，解剖学界标)。在一些示例中，界标确定模块20被配置以将所述界标映射和/或内插到患者坐标系和/或显示器坐标系上。在某些示例中，界标确定模块20被配置以在具有所述患者坐标系的视觉显示器中准备用于导航和/或定位的界标。在某些实施例中，界标确定模块20被配置以通过机器学习模型来确定所述一个或多个界标，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述指导提供模块22被配置以至少部分地基于与所述一个或多个界标相关联的信息来提供视觉指导。例如，所述与所述一个或多个界标相关联的信息包括：界标名称、界标坐标、界标尺寸、和/或界标属性。在一些示例中，指导提供模块22被配置以在所述患者坐标系和/或所述显示器坐标系中提供已映射和已内插的一个或多个界标的视觉内容。在各个示例中，指导提供模块22被配置以至少部分地基于已选定的目标界标将显示区域定位(例如，缩小、聚焦、设置)到目标区域上。例如，当所述已选定的目标界标为心脏时，所述目标区域跨越胸腔。在某些示例中，例如当所述医疗过程为介入性过程时，指导提供模块22被配置以提供与一个或多个感兴趣的目标相关联的信息，该信息包括若干目标、一个或多个目标坐标、一个或多个目标尺寸、和/或一个或多个目标形状。在某些示例中，例如当所述医疗过程为放射治疗时，指导提供模块22被配置以提供与包括有区域大小和/或区域形状的感兴趣区域相关联的信息。在各个示例中，指导提供模块22被配置以向视觉显示器提供视觉指导，所述视觉显示器例如为在手术室中的可观察的、可导航的和/或可定位的视觉显示器。
在某些示例中，***10被配置以使指导提供模块22能够例如响应于患者的操作(例如，患者姿态的改变)，实时地或近似实时地提供与所述一个或多个界标相关联的信息的更新。例如，所述图像接收模块12被配置以从一个或多个模态中持续性地或间歇性地接收(例如，从所述图像获取模块接收)对应于所述患者的新的图像，所述表征生成模块14被配置以基于所述新的图像来生成新的患者表征，所述特征确定模块16被配置以基于所述新的患者表征来生成新的患者特征，所述特征结合模块18被配置以结合一个或多个新的患者特征，所述界标确定模块20被配置以基于一个或多个结合的新的患者特征来确定一个或多个已更新的界标，并且所述指导提供模块22被配置以提供指导，该指导包括与所述一个或多个已更新的界标相关联的信息。
在各个实施例中，所述训练模块24被配置以改善***10，例如改善提供有与一个和多个界标相关联的信息的***10的准确性、精度、和/或速度。在一些示例中，训练模块24被配置以训练表征生成模块14、特征确定模块16、特征结合模块18、和/或界标确定模块20。例如，训练模块24被配置以训练由一个或多个模块使用的机器学习模型，例如神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。在某些示例中，训练模块24被配置以，通过至少确定所述一个或多个第一患者特征与所述一个或多个第二患者特征之间的一个或多个损失以及通过至少部分地基于所述一个或多个损失来修改所述机器学习模型的一个或多个参数，来训练所述机器学习模型。在一些示例中，所述至少部分地基于所述一个或多个损失来修改所述机器学习模型的一个或多个参数包括：修改所述机器学习模型的一个或多个参数以减少(最小化)所述一个或多个损失。
在某些实施例中，***10被配置以，通过使用一个或多个视觉传感器和一个或多个医疗扫描器、匹配并对准患者特征、确定并定位界标、以及配对并表征交叉参考的界标坐标，来使所述特征定位过程自动化。在一些示例中，***10被配置以为放射治疗提供视觉指导，例如定位肿瘤或癌组织，以改善的准确性和精度来辅助治疗。在各种实例中，***10被配置以为介入性过程提供视觉指导，例如在患者内定位一个或多个囊肿，以指导外科手术。在某些示例中，***10被配置以利用投影技术(例如增强的现实)，例如实时地将由***10确定的界标信息(例如，位置、形状、大小)覆盖到所述患者上，以在整个医疗过程中指导医生。
图2是示出了根据一些实施例的用于定位患者的一个或多个目标特征的方法的简化图。该图仅是一个示例，而不应不适当地限制权利要求的范围。本领域的普通技术人员将会意识到许多变化、替代和修改。在一些示例中，方法S100包括：接收第一输入图像的过程S102、接收第二输入图像的过程S104、生成第一患者表征的过程S106、生成第二患者表征的过程S108、确定一个或多个第一特征的过程S110、确定一个或多个第二特征的过程S112、将所述一个或多个第一特征和所述一个或多个第二特征结合的过程S114、确定一个或多个界标的过程S116、和为医疗过程提供视觉指导的过程S118。在各个示例中，方法S100是用于定位患者的一个或多个目标特征的方法。在一些示例中，例如利用机器学习模型通过一个或多个处理器来执行方法S100。尽管上面使用了一组选定的用于所述方法的过程来进行显示，但是也可以有许多替代、修改和变化。例如，可以将其中一些过程进行扩展和/或组合。还可以将其他过程并入到上述部分。也可以移除一些过程。根据该实施例，一些过程的次序可以与其他替换的过程进行互换。
在各个实施例中，所述接收第一输入图像的过程S102包括：接收利用视觉传感器来获得的第一输入图像，所述视觉传感器例如为RGB传感器、RGBD传感器、激光传感器、FIR传感器、NIR传感器、X射线传感器、或激光雷达传感器。在某些示例中，所述第一输入图像是二维的。在各个示例中，方法S100包括：利用视觉传感器来获取所述第一输入图像。
在各个实施例中，所述接收第二输入图像的过程S104包括：接收利用医疗扫描仪来获得的第二输入图像，所述医疗扫描仪例如为超声波扫描仪、X射线扫描仪、MR扫描仪、CT扫描仪、PET扫描仪、SPECT扫描仪、或RGBD扫描仪。在某些示例中，所述第二输入图像是三维的。在各个示例中，方法S100包括：利用医疗扫描仪来获取所述第二输入图像。
在各个实施例中，所述生成第一患者表征的过程S106包括：生成对应于所述第一输入图像的第一患者表征。在各个示例中，所述第一患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第一患者表征包括：对应于一个或多个第一患者特征的信息。在某些实施例中，所述生成第一患者表征包括：通过机器学习模型来生成第一患者表征，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述生成第二患者表征的过程S108包括：生成对应于所述第二输入图像的第二患者表征。在各个示例中，所述第二患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第二患者表征包括：对应于一个或多个第二患者特征的信息。在某些实施例中，所述生成第二患者表征包括：通过机器学习模型来生成第二患者表征，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述确定一个或多个第一特征的过程S110包括：确定在共同特征空间中对应于所述第一患者表征的一个或多个第一特征。在各个示例中，所述一个或多个第一特征包括：姿态、表面特征、和/或解剖学界标(例如，组织、器官、外来物体)。在一些示例中，所述确定对应于所述第一患者表征的一个或多个第一特征包括：确定(例如，在所述特征空间中)对应于所述一个或多个第一特征的一个或多个第一坐标。在某些实施例中，所述确定一个或多个第一特征包括：通过机器学习模型来确定所述一个或多个第一特征，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述确定一个或多个第二特征的过程S112包括：确定在所述共同特征空间中对应于所述第二患者表征的一个或多个第二特征。在各个示例中，所述一个或多个第二特征包括：姿态、表面特征、和/或解剖学界标(例如，组织、器官、外来物体)。在一些示例中，所述确定对应于所述第二患者表征的一个或多个第二特征包括：确定(例如，在所述特征空间中)对应于所述一个或多个第二特征的一个或多个第二坐标。在某些实施例中，所述确定一个或多个第二特征包括：通过机器学习模型来确定所述一个或多个第二特征，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合的过程S114包括：将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征。在一些示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征包括：将所述一个或多个第一特征与所述一个或多个第二特征进行匹配的过程S120。例如，所述将所述一个或多个第一特征与所述一个或多个第二特征进行匹配包括：识别所述一个或多个第一患者特征中的每个第一患者特征对应于所述一个或多个第二特征中的哪个第二特征。在某些示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：将所述一个或多个第一特征与所述一个或多个第二特征进行对准的过程S122。例如，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：将所述共同特征空间中的所述一个或多个第一特征相对于所述一个或多个第二特征的分布进行转换，例如通过平移和/或旋转转换进行转换。在某些示例中，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：将对应于所述一个或多个第一特征的所述一个或多个第一坐标与对应于所述一个或多个第二特征的所述一个或多个第二坐标进行对准。在某些示例中，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：利用一个或多个锚定特征作为指导。例如，包括在所述一个或多个第一特征和所述一个或多个第二特征中的所述一个或多个锚定特征与所述共同特征空间中的同一坐标基本上对准。
在各个示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：将所述一个或多个第一特征中的每一个第一特征与所述一个或多个第二特征中的第二特征进行配对。例如，将所述第一特征与所述第二特征进行配对包括：将对应于所述第一特征的信息与对应于所述第二特征的信息进行配对(例如，进行链接、组合、共享)。在某些示例中，方法S100包括：利用对应于共同的解剖学特征的已配对的信息，将来自通过不同的成像模态而获得的图像中的共同的解剖学特征(例如，界标)的信息偏差最小化。在某些示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：在所述共享空间中嵌入由多个图像共享的共同特征，所述多个图像由多个模态(例如，图像获取设备)来获得。例如，所述嵌入共同特征包括：至少部分地基于与来自多个图像的共同特征相关联的信息，在所述共同特征空间中将结合的坐标分配至结合的患者特征。在某些实施例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：通过机器学习模型来将所述一个或多个第一特征和所述一个或多个第二特征结合，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述确定一个或多个界标的过程S116包括：至少部分地基于一个或多个结合的特征来确定一个或多个界标。在一些示例中，所述一个或多个界标包括：患者组织、器官、或解剖学结构。在某些示例中，所述确定一个或多个界标包括：将每一个界标与所述患者的参考医疗成像数据进行匹配。例如，所述参考医疗成像数据对应于所述共同特征空间。在各个示例中，所述确定一个或多个界标包括：识别一个或多个签名(例如，形状、位置)和/或由不同模态获得的图像间所共享的特征。在某些实施例中，所述确定一个或多个界标包括：通过机器学习模型来确定所述一个或多个界标，所述机器学习模型例如为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。
在各个实施例中，所述为医疗过程提供视觉指导的过程S118包括：至少部分地基于与所述一个或多个界标相关联的信息来提供视觉指导。在一些示例中，所述与所述一个或多个界标相关联的信息包括：界标名称、界标坐标、界标尺寸、和/或界标属性。在各个示例中，所述为医疗过程提供视觉指导包括：将所述一个或多个界标映射并内插到患者坐标系上。在一些示例中，所述提供视觉指导包括：在患者坐标系和/或显示器坐标系中提供一个或多个已映射的且已内插的界标的视觉内容。在各个示例中，所述提供视觉指导包括：至少部分地基于已选定的目标界标将显示区域定位到目标区域上。例如，当所述已选定的目标界标为心脏时，所述目标区域跨越胸腔。在某些示例中，例如当所述医疗过程为介入性过程时，所述提供视觉指导包括：提供与一个或多个感兴趣的目标相关联的信息，该信息包括若干目标、一个或多个目标坐标、一个或多个目标尺寸、和/或一个或多个目标形状。在某些示例中，例如当所述医疗过程为放射治疗时，所述提供视觉指导包括：提供与包括有区域大小和/或区域形状的感兴趣区域相关联的信息。在各个示例中，所述提供视觉指导包括：向视觉显示器提供视觉指导，所述视觉显示器例如为在手术室中的可观察的、可导航的和/或可定位的视觉显示器。
图3是示出了根据一些实施例的用于训练被配置以用于定位患者的一个或多个目标特征的机器学习模型的方法的简化图。该图仅是一个示例，而不应不适当地限制权利要求的范围。本领域的普通技术人员将会意识到许多变化、替代和修改。在一些示例中，方法S200包括：接收第一训练图像的过程S202、接收第二训练图像的过程S204、生成第一患者表征的过程S206、生成第二患者表征的过程S208、确定一个或多个第一特征的过程S210、确定一个或多个第二特征的过程S212、将所述一个或多个第一特征和所述一个或多个第二特征结合的过程S214、确定一个或多个损失的过程S216、和修改所述机器学习模型的一个或多个参数的过程S218。在各个示例中，所述机器学习模型为神经网络，该神经网络例如为深度神经网络(如卷积神经网络)。在某些示例中，所述机器学习模型，例如一旦根据方法S200进行训练，则被配置以由方法S100的一个或多个过程来使用。尽管上面使用了一组选定的用于所述方法的过程来进行显示，但是也可以有许多替代、修改和变化。例如，可以将其中一些过程进行扩展和/或组合。还可以将其他过程并入到上述部分。也可以移除一些过程。根据该实施例，一些过程的次序可以与其他替换的过程进行互换。
在各个示例中，所述接收第一训练图像的过程S202包括：接收利用视觉传感器来获得的第一训练图像，所述视觉传感器例如为RGB传感器、RGBD传感器、激光传感器、FIR传感器、NIR传感器、X射线传感器、或激光雷达传感器。在某些示例中，所述第一训练图像是二维的。
在各个示例中，所述接收第二训练图像的过程S204包括：接收利用医疗扫描仪来获得的第二训练图像，所述医疗扫描仪例如为超声波扫描仪、X射线扫描仪、MR扫描仪、CT扫描仪、PET扫描仪、SPECT扫描仪、或RGBD扫描仪。在某些示例中，所述第二训练图像是三维的。
在各个实施例中，所述生成第一患者表征的过程S206包括：生成对应于所述第一训练图像的第一患者表征。在各个示例中，所述第一患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第一患者表征包括：对应于一个或多个第一患者特征的信息。在某些实施例中，所述生成第一患者表征包括：通过所述机器学习模型来生成所述第一患者表征。
在各个实施例中，所述生成第二患者表征的过程S208包括：生成对应于所述第二训练图像的第二患者表征。在各个示例中，所述第二患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第二患者表征包括：对应于一个或多个第二患者特征的信息。在某些实施例中，所述生成第二患者表征包括：通过所述机器学习模型来生成所述第二患者表征。
在各个实施例中，所述确定一个或多个第一特征的过程S210包括：确定在共同特征空间中对应于所述第一患者表征的一个或多个第一特征。在各个示例中，所述一个或多个第一特征包括：姿态、表面特征、和/或解剖学界标(例如，组织、器官、外来物体)。在一些示例中，所述确定对应于所述第一患者表征的一个或多个第一特征包括：确定(例如，在所述特征空间中)对应于所述一个或多个第一特征的一个或多个第一坐标。在某些实施例中，所述一个或多个第一特征包括：通过所述机器学习模型来确定一个或多个第一特征。
在各个实施例中，所述确定一个或多个第二特征的过程S212包括：确定在所述共同特征空间中对应于所述第二患者表征的一个或多个第二特征。在各个示例中，所述一个或多个第二特征包括：姿态、表面特征、和/或解剖学界标(例如，组织、器官、外来物体)。在一些示例中，所述确定对应于所述第二患者表征的一个或多个第二特征包括：确定(例如，在所述特征空间中)对应于所述一个或多个第二特征的一个或多个第二坐标。在某些实施例中，所述一个或多个第二特征包括：通过所述机器学习模型来确定一个或多个第二特征。
在各个实施例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合的过程S214包括：将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征。在一些示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征包括：将所述一个或多个第一特征与所述一个或多个第二特征进行匹配的过程S220。例如，所述将所述一个或多个第一特征与所述一个或多个第二特征进行匹配包括：识别所述一个或多个第一患者特征中的每个第一患者特征对应于所述一个或多个第二特征中的哪个第二特征。在某些示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：将所述一个或多个第一特征与所述一个或多个第二特征进行对准的过程S222。例如，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：将所述共同特征空间中的所述一个或多个第一特征相对于所述一个或多个第二特征的分布进行转换，例如通过平移和/或旋转转换进行转换。在某些示例中，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：将对应于所述一个或多个第一特征的所述一个或多个第一坐标与对应于所述一个或多个第二特征的所述一个或多个第二坐标进行对准。在某些示例中，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：利用一个或多个锚定特征作为指导。例如，包括在所述一个或多个第一特征和所述一个或多个第二特征中的所述一个或多个锚定特征与所述共同特征空间中的同一坐标基本上对准。
在各个示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合的过程S214还包括：将所述一个或多个第一特征中的每一个第一特征与所述一个或多个第二特征中的第二特征进行配对。例如，将所述一个或多个第一特征中的第一特征与所述一个或多个第二特征中的第二特征进行配对包括：将对应于所述第一特征的信息与对应于所述第二特征的信息进行配对(例如，进行链接、组合、共享)。在某些示例中，方法S200包括：利用对应于共同的解剖学特征的已配对的信息，将通过不同的成像模态而获得的图像中的共同的解剖学特征(例如，界标)的信息偏差最小化。在某些示例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：通过至少部分地基于与来自多个图像的共同特征相关联的信息在所述共同特征空间中将结合的坐标分配至结合的患者特征，在所述共享空间中嵌入由多个图像共享的所述共同特征，所述多个图像由多个模态(例如，图像获取设备)来获得。在某个实施例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合包括：通过所述机器学习模型来将所述一个或多个第一特征和所述一个或多个第二特征结合。
在各个实施例中，所述确定一个或多个损失的过程S216包括：至少部分地基于所述一个或多个第一特征和所述一个或多个第二特征来确定一个或多个损失。在某些示例中，所述确定一个或多个损失的过程S216包括：至少部分地基于一个或多个结合的特征来确定一个或多个损失。例如，所述一个或多个损失对应于在进行结合、对准、匹配、和/或配对之前或之后的所述一个或多个第一特征与所述一个或多个第二特征之间的偏差。在一些示例中，所述一个或多个偏差包括：一个或多个距离，例如在所述共同特征空间中的一个或多个距离。
在各个实施例中，所述修改所述机器学习模型的一个或多个参数的过程S218包括：至少部分地基于所述一个或多个损失来修改或改变所述机器学习模型的一个或多个参数。在一些示例中，所述修改所述机器学习模型的一个或多个参数包括：修改所述机器学习模型的一个或多个参数以减少(最小化)所述一个或多个损失。在某些示例中，所述修改所述机器学习模型的一个或多个参数包括：例如根据一个或多个梯度和/或反向传播过程来改变所述机器学习模型的一个或多个权重和/或偏倚。在各个实施例中，所述修改所述机器学习模型的一个或多个参数的过程S218包括：重复过程S202、S204、S206、S208、S210、S212、S214、S216和S218中的一个或多个过程。
图4是示出了根据一些实施例的计算***的简化图。该图仅是一个示例，而不应不适当地限制权利要求的范围。本领域的普通技术人员将会意识到许多变化、替代和修改。在某些示例中，计算***6000是一种通用目的计算设备。在一些示例中，计算***6000包括：一个或多个处理单元6002(例如，一个或多个处理器)、一个或多个***存储器6004、一个或多个总线6006、一个或多个输入/输出(I/O)接口6008、和/或一个或多个网络适配器6012。在某些示例中，一个或多个总线6006连接各个***部件，这些***部件例如包括：一个或多个***存储器6004、一个或多个处理单元6002、一个或多个输入/输出(I/O)接口6008、和/或一个或多个网络适配器6012。尽管上面已经使用用于所述计算***的一组选定的部件来进行显示，但是也可以有许多替代、修改和变化。例如，可以将其中一些部件进行扩展和/或组合。还可以将其他部件并入到上述部分。也可以移除一些部件。根据该实施例，一些部件的布置可以与其他替换的部件进行互换。
在某些示例中，计算***6000是计算机(例如，服务器计算机、客户端计算机)、智能手机、平板电脑、或可穿戴设备。在一些示例中，所述方法S100和/或方法S200中的一些过程或所有过程(例如，步骤)由计算***6000来执行。在某些示例中，方法S100和/或方法S200中的一些过程或所有过程(例如，步骤)通过由一个或多个代码引导的一个或多个处理单元6002来执行。例如，所述一个或多个代码被存储在一个或多个***存储器6004(例如，一个或多个非瞬时性计算机可读介质)中，并且可以由计算***6000读取(例如，可以由一个或多个处理单元6002读取)。在各个示例中，一个或多个***存储器6004包括：一个或多个易失性存储器形式的计算机可读介质，例如随机存取存储器(RAM)6014、高速缓存存储器6016、和/或存储***6018(例如，软盘、CD-ROM、和/或DVD-ROM)。
在一些示例中，计算***6000的一个或多个输入/输出(I/O)接口6008被配置以与一个或多个外部设备6010(例如，键盘、指点设备和/或显示器)通信。在某些示例中，计算***6000的一个或多个网络适配器6012被配置以与一个或多个网络(例如，局域网(LAN)、广域网(WAN)、和/或公共网络(例如，因特网)通信。在各个示例中，其他硬件和/或软件模块(例如一个或多个微代码和/或一个或多个设备驱动程序)被用于与计算***6000结合使用。
图5是示出了根据某些实施例的神经网络的简化图。该图仅是一个示例，而不应不适当地限制权利要求的范围。本领域的普通技术人员将会意识到许多变化、替代和修改。神经网络800是人工神经网络。在一些示例中，神经网络8000包括：输入层8002、一个或多个隐藏层8004、和输出层8006。例如，所述一个或多个隐藏层8004包括L个神经网络层，其包括：第一神经网络层，…，第i神经网络层，…，和第L神经网络层，其中L是正整数，i是大于或等于1且小于或等于L的整数。尽管上面使用了用于神经网络的一组选定的部件来进行显示，但是也可以有许多替代、修改和变化。例如，可以将其中一些部件进行扩展和/或组合。还可以将其他部件并入到上述部分。也可以移除一些部件。根据该实施例，一些部件的布置可以与其他替换的部件进行互换。
在一些示例中，方法S100和/或方法S200的部分或全部过程(例如，步骤)由神经网络8000(例如，使用计算***6000)来执行。在某些示例中，方法S100和/或方法S200的一些或全部过程(例如，步骤)由一个或多个处理单元6002来执行，所述处理单元6002由实施了神经网络8000的一个或多个代码来引导。例如，用于神经网络8000的一个或多个代码被存储在一个或多个***存储器6004(例如，一个或多个非瞬时性计算机可读介质)中，并且可以由计算***6000(例如由一个或多个处理单元6002)来读取。
在某些示例中，神经网络8000是深度神经网络(例如，卷积神经网络)。在一些示例中，一个或多个隐藏层8004中的每一个神经网络层包括多个子层。例如，第i神经网络层包括卷积层、激励层和池化层(pooling layer)。例如，所述卷积层被配置以对输入(例如，由输入层接收或从先前神经网络层接收的输入)执行特征提取，所述激励层被配置以将非线性激励函数(例如，RelU函数)应用到卷积层的输出，所述池化层被配置以压缩(例如，通过例如执行最大池化或平均池化进行下采样)激励层的输出。例如，输出层8006包括一个或多个完全连接的层。
如上面所讨论并在此进行进一步强调的，图5仅是一个示例，而不应不适当地限制权利要求的范围。本领域的普通技术人员将会意识到许多变化、替代和修改。例如，神经网络8000可以由并不是人工神经网络的算法来替代。例如，神经网络8000可以由并不是人工神经网络的机器学习模型来替代。
在各个实施例中，一种用于定位患者的一个或多个目标特征的计算机实施的方法，包括：接收第一输入图像；接收第二输入图像；生成对应于所述第一输入图像的第一患者表征；生成对应于所述第二输入图像的第二患者表征；确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导。在某些示例中，所述计算机实施的方法由一个或多个处理器来执行。在一些示例中，所述计算机实施的方法根据图2中的方法S100和/或图3中的方法S200来实施。在某些示例中，所述计算机实施的方法通过图1中的***10来实施。
在一些实施例中，所述计算机实施的方法进一步包括：利用视觉传感器来获取所述第一输入图像；和利用医疗扫描仪来获取所述第二输入图像。
在一些实施例中，所述视觉传感器包括：RGB传感器、RGBD传感器、激光传感器、FIR传感器、NIR传感器、X射线传感器、和/或激光雷达传感器。
在一些实施例中，所述医疗扫描仪包括：超声波扫描仪、X射线扫描仪、MR扫描仪、CT扫描仪、PET扫描仪、SPECT扫描仪、和/或RGBD扫描仪。
在一些实施例中，所述第一输入图像是二维的，和/或所述第二输入图像是三维的。
在一些实施例中，所述第一患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第二患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、点云、和/或三维体积。
在一些实施例中，所述一个或多个第一特征包括：姿态、表面、和/或解剖学界标。在某些示例中，所述一个或多个第二特征包括：姿态、表面、和/或解剖学界标。
在一些实施例中，所述将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征包括：将所述一个或多个第一特征与所述一个或多个第二特征进行匹配，和/或将所述一个或多个第一特征与所述一个或多个第二特征进行对准。
在一些实施例中，所述将所述一个或多个第一特征与所述一个或多个第二特征进行匹配包括：将所述一个或多个第一特征中的每一个第一特征与所述一个或多个第二特征中的第二特征进行配对。
在一些实施例中，所述确定在特征空间中对应于所述第一患者表征的一个或多个第一特征包括：确定对应于所述一个或多个第一特征的一个或多个第一坐标。在某些示例中，所述确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征包括：确定对应于所述一个或多个第二特征的一个或多个第二坐标。在各个示例中，所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：将所述一个或多个第一坐标与所述一个或多个第二坐标进行对准。
在一些实施例中，所述与所述一个或多个界标相关联的信息包括：界标名称、界标坐标、界标尺寸、和/或界标属性。
在一些实施例中，所述为医疗过程提供视觉指导包括：至少部分地基于已选定的目标界标将显示区域定位到目标区域上。
在一些实施例中，所述为医疗过程提供视觉指导包括：将所述一个或多个界标映射并内插到患者坐标系上。
在一些实施例中，所述医疗过程为介入性过程。在某些示例中，所述为医疗过程提供视觉指导包括：提供与一个或多个感兴趣的目标相关联的信息。在各个示例中，该信息包括若干目标、一个或多个目标坐标、一个或多个目标尺寸、和/或一个或多个目标形状。
在一些实施例中，所述医疗过程为放射治疗。在某些示例中，所述为医疗过程提供视觉指导包括：提供与感兴趣区域相关联的信息。在各个示例中，该信息包括区域大小和/或区域形状。
在一些实施例中，利用机器学习模型由一个或多个处理器来执行所述计算机实施的方法。
在一些实施例中，所述计算机实施的方法进一步包括：通过至少确定所述一个或多个第一特征与所述一个或多个第二特征之间的一个或多个损失以及通过至少部分地基于所述一个或多个损失来修改所述机器学习模型的一个或多个参数，来训练所述机器学习模型。
在一些实施例中，所述至少部分地基于所述一个或多个损失来修改所述机器学习模型的一个或多个参数包括：修改所述机器学习模型的一个或多个参数以减少所述一个或多个损失。
在各个实施例中，一种用于定位患者的一个或多个目标特征的***，包括：图像接收模块，其被配置以接收第一输入图像和接收第二输入图像；表征生成模块，其被配置以生成对应于所述第一输入图像的第一患者表征和生成对应于所述第二输入图像的第二患者表征；特征确定模块，其被配置以确定在特征空间中对应于所述第一患者表征的一个或多个第一特征和确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；特征结合模块，其被配置以将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；界标确定模块，其被配置以至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；以及指导提供模块，其被配置以至少部分地基于与所述一个或多个界标相关联的信息来提供视觉指导。在一些示例中，所述***根据图1中的***10来实施，和/或被配置以执行图2中的方法S100和/或图3中的方法S200。
在一些实施例中，***还包括图像获取模块，其被配置以利用视觉传感器来获取所述第一输入图像并且利用医疗扫描仪来获取所述第二输入图像。
在一些实施例中，所述视觉传感器包括：RGB传感器、RGBD传感器、激光传感器、FIR传感器、NIR传感器、X射线传感器、和/或激光雷达传感器。
在一些实施例中，所述医疗扫描仪包括：超声波扫描仪、X射线扫描仪、MR扫描仪、CT扫描仪、PET扫描仪、SPECT扫描仪、和/或RGBD扫描仪。
在一些实施例中，所述第一输入图像是二维的，和/或所述第二输入图像是三维的。
在一些实施例中，所述第一患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第二患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、点云、和/或三维体积。
在一些实施例中，所述一个或多个第一特征包括：姿态、表面、和/或解剖学界标。在某些示例中，所述一个或多个第二特征包括：姿态、表面、和/或解剖学界标。
在一些实施例中，所述特征结合模块被进一步配置以：将所述一个或多个第一特征与所述一个或多个第二特征进行匹配，和/或将所述一个或多个第一特征与所述一个或多个第二特征进行对准。
在一些实施例中，所述特征结合模块被进一步配置以：将所述一个或多个第一特征中的每一个第一特征与所述第一个或多个第二特征中的第二特征进行配对。
在一些实施例中，所述特征确定模块被进一步配置以：确定对应于所述一个或多个第一特征的一个或多个第一坐标并且确定对应于所述一个或多个第二特征的一个或多个第二坐标。在各个示例中，所述特征结合模块被进一步配置以：将所述一个或多个第一坐标与所述一个或多个第二坐标进行对准。
在一些实施例中，所述与所述一个或多个界标相关联的信息包括：界标名称、界标坐标、界标尺寸、和/或界标属性。
在一些实施例中，所述指导提供模块被进一步配置以：至少部分地基于已选定的目标界标将显示区域定位到目标区域上。
在一些实施例中，所述指导提供模块被进一步配置以：将所述一个或多个界标映射并内插到患者坐标系上。
在一些实施例中，所述医疗过程为介入性过程。在某些示例中，所述指导提供模块被进一步配置以：提供与一个或多个感兴趣的目标相关联的信息。在各个示例中，该信息包括若干目标、一个或多个目标坐标、一个或多个目标尺寸、和/或一个或多个目标形状。
在一些实施例中，所述医疗过程为放射治疗。在某些示例中，所述指导提供模块被进一步配置以：提供与感兴趣区域相关联的信息。在各个示例中，该信息包括区域大小和/或区域形状。
在一些实施例中，所述***使用机器学习模型。
在各个实施例中，一种在其上存储有指令的非瞬时性计算机可读介质，当所述指令被处理器执行时使所述处理器执行以下一个或多个过程：接收第一输入图像；接收第二输入图像；生成对应于第一医疗图像的第一患者表征；生成对应于第二医疗图像的第二患者表征；确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导。在一些示例中，所述在其上存储有指令的非瞬时性计算机可读介质根据图2中的方法S100来实施，和/或通过图1中的***10(例如终端)来实施。
在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：利用视觉传感器来获取所述第一输入图像并且利用医疗扫描仪来获取所述第二输入图像。
在一些实施例中，所述视觉传感器包括：RGB传感器、RGBD传感器、激光传感器、FIR传感器、NIR传感器、X射线传感器、和/或激光雷达传感器。
在一些实施例中，所述医疗扫描仪包括：超声波扫描仪、X射线扫描仪、MR扫描仪、CT扫描仪、PET扫描仪、SPECT扫描仪、和/或RGBD扫描仪。
在一些实施例中，所述第一输入图像是二维的，和/或所述第二输入图像是三维的。
在一些实施例中，所述第一患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、和/或点云。在某些示例中，所述第二患者表征包括：解剖学图像、运动模型、骨骼模型、表面模型、网格模型、点云、和/或三维体积。
在一些实施例中，所述一个或多个第一特征包括：姿态、表面、和/或解剖学界标。在某些示例中，所述一个或多个第二特征包括：姿态、表面、和/或解剖学界标。
在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：将所述一个或多个第一特征与所述一个或多个第二特征进行匹配，和/或将所述一个或多个第一特征与所述一个或多个第二特征进行对准。
在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：将所述一个或多个第一特征中的每一个第一特征与所述第一个或多个第二特征中的第二特征进行配对。
在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：确定对应于所述一个或多个第一特征的一个或多个第一坐标；确定对应于所述一个或多个第二特征的一个或多个第二坐标；以及将所述一个或多个第一坐标与所述一个或多个第二坐标进行对准。
在一些实施例中，所述与所述一个或多个界标相关联的信息包括：界标名称、界标坐标、界标尺寸、和/或界标属性。
在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：至少部分地基于已选定的目标界标将显示区域定位到目标区域上。
在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：将所述一个或多个界标映射并内插到患者坐标系上。
在一些实施例中，所述医疗过程为介入性过程。在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：提供与一个或多个感兴趣的目标相关联的信息。在各个示例中，该信息包括若干目标、一个或多个目标坐标、一个或多个目标尺寸、和/或一个或多个目标形状。
在一些实施例中，所述医疗过程为放射治疗。在一些实施例中，所述非瞬时性计算机可读介质，当由处理器执行时进一步使所述处理器执行：提供与感兴趣区域相关联的信息。在各个示例中，该信息包括区域大小和/或区域形状。
例如，本发明各实施例的一些或全部部件(单独地和/或与至少另一个部件组合)使用一个或多个软件部件、一个或多个硬件组件和/或软件和硬件部件的一个或多个组合来实施。在另一个示例中，本发明的各个实施例的一些或全部组件(单独和/或与至少另一个组件组合)在一个或多个电路(例如一个或多个模拟电路和/或一个或多个数字电路)中实施。在又一个示例中，尽管上述实施例提及特定的特征，但本发明的范围也包括具有不同特征组合的实施例以及并非包括所有所述特征的实施例。在又一个示例中，可以将本发明的各个实施例和/或示例进行组合。
此外，本文描述的方法和***可以通过程序代码在许多不同类型的处理设备上实施，所述程序代码包括由设备处理子***可执行的程序指令。该软件程序指令可以包括源代码、目标代码、机器代码或可操作以使处理***执行本文所述的方法和操作的存储的任何其他数据。然而，也可以使用其他实施方式，例如固件，甚至是被配置以执行本文所述的方法和***的适当设计的硬件。
这些***的和这些方法的数据(例如，关联、映射、数据输入、数据输出、中间数据结果、最终数据结果等)可以被存储和实施在一个或多个不同类型的计算机实施的数据存储器中，例如不同类型的存储设备和编程结构(如RAM、ROM、EEPROM、闪存、平面文件、数据库、编程数据结构、编程变量、IF-THEN(或类似类型)语句结构、应用编程接口等)。需要指出的是，所述数据结构描述了用于组织和存储数据库、程序、存储器或计算机程序所使用的其他计算机可读介质中的数据的格式。
所述***和方法可以被提供在许多不同类型的计算机可读介质上，该计算机可读介质包括计算机存储机制(如CD-ROM、软盘、RAM、闪存、计算机硬盘驱动器、DVD等)，所述计算机存储机制包含用于由处理器实行以执行本文所描述的方法的操作和实施所述***的指令(例如，软件)。本文所描述的计算机部件、软件模块、功能、数据存储器和数据结构可以直接或间接地相互连接，以便允许它们的操作所需的数据的流动。还需要指出的是，模块或处理器包括代码单元，其执行软件操作，并且可以例如被实施为代码的子例程单元、或实施为代码的软件功能单元、或实施为对象(如面向对象范型)、或实施为小程序、或以计算机脚本语言实施、或为实施其他类型的计算机代码。所述软件部件和/或功能可以位于一台计算机上，也可以分布在多台计算机上，这取决于当前情况。
所述计算***可以包括客户端设备和服务器。客户端设备和服务器通常是彼此之间远程设置的，并且典型地通过通信网络进行交互。所述客户端设备与服务器的关系是通过运行在相应计算机上并且具有客户端设备与服务器之间相互关系的计算机程序而产生。
本说明书包含了许多特定实施例的细节。在本说明书中在各个不同实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地实施或者以任何合适的子组合来实施。此外，尽管上述特征可被描述为作用于某些组合，但在某些情况下，该组合中的一个或多个特征可从组合中移除，并且该组合可以例如涉及子组合或子组合的变化。
同样，虽然在附图中以特定顺序描述了操作，但这不应理解为要求这些操作以所示的特定顺序或以有序的顺序来执行，或要求执行所有所示的操作，以取得所期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，在上述实施例中，各种***部件的分离不应理解为在所有实施例中都需要这种分离，并且应当理解的是，所描述的程序组件和***通常可以被集成在单个软件产品中或被打包到多个软件产品中。
尽管已经描述了本发明的具体实施例，但本领域技术人员将理解，还存在与所描述的实施例等效的其他实施例。因此，应当理解，本发明不应受到所示具体实施例的限制。

Claims (20)

1.一种用于定位患者的一个或多个目标特征的计算机实施的方法，所述方法包括：
接收第一输入图像；
接收第二输入图像；
生成对应于所述第一输入图像的第一患者表征；
生成对应于所述第二输入图像的第二患者表征；
确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；
确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；
将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；
至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和
至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导；
其中，所述计算机实施的方法由一个或多个处理器来执行。
2.根据权利要求1所述的计算机实施的方法，其特征在于，进一步包括：
利用视觉传感器来获取所述第一输入图像；和
利用医疗扫描仪来获取所述第二输入图像。
3.根据权利要求2所述的计算机实施的方法，其特征在于，所述视觉传感器包括以下项中的至少一个：RGB传感器、RGBD传感器、激光传感器、FIR传感器、NIR传感器、X射线传感器、以及激光雷达传感器。
4.根据权利要求2所述的计算机实施的方法，其特征在于，所述医疗扫描仪包括以下项中的至少一个：超声波扫描仪、X射线扫描仪、MR扫描仪、CT扫描仪、PET扫描仪、SPECT扫描仪、以及RGBD扫描仪。
5.根据权利要求1所述的计算机实施的方法，其特征在于，
所述第一输入图像是二维的；和
所述第二输入图像是三维的。
6.根据权利要求1所述的计算机实施的方法，其特征在于，
所述第一患者表征包括选自解剖学图像、运动模型、骨骼模型、表面模型、网格模型、以及点云中的一个；和
所述第二患者表征包括选自解剖学图像、运动模型、骨骼模型、表面模型、网格模型、点云、以及三维体积中的一个。
7.根据权利要求1所述的计算机实施的方法，其特征在于，
所述一个或多个第一特征包括选自姿态、表面、以及解剖学界标中的一个；和
所述一个或多个第二特征包括选自姿态、表面、以及解剖学界标中的一个。
8.根据权利要求1所述的计算机实施的方法，其特征在于，所述将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征包括：
将所述一个或多个第一特征与所述一个或多个第二特征进行匹配；和
将所述一个或多个第一特征与所述一个或多个第二特征进行对准。
9.根据权利要求8所述的计算机实施的方法，其特征在于，所述将所述一个或多个第一特征与所述一个或多个第二特征进行匹配包括：将所述一个或多个第一特征中的每一个第一特征与所述一个或多个第二特征中的第二特征进行配对。
10.根据权利要求8所述的计算机实施的方法，其特征在于，
所述确定在特征空间中对应于所述第一患者表征的一个或多个第一特征包括：确定对应于所述一个或多个第一特征的一个或多个第一坐标；
所述确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征包括：确定对应于所述一个或多个第二特征的一个或多个第二坐标；和
所述将所述一个或多个第一特征与所述一个或多个第二特征进行对准包括：将所述一个或多个第一坐标与所述一个或多个第二坐标进行对准。
11.根据权利要求1所述的计算机实施的方法，其特征在于，所述与所述一个或多个界标相关联的信息包括：界标名称、界标坐标、界标尺寸、以及界标属性中的一个。
12.根据权利要求1所述的计算机实施的方法，其特征在于，所述为医疗过程提供视觉指导包括：至少部分地基于已选定的目标界标将显示区域定位到目标区域上。
13.根据权利要求1所述的计算机实施的方法，其特征在于，所述为医疗过程提供视觉指导包括：将所述一个或多个界标映射并内插到患者坐标系上。
14.根据权利要求1所述的计算机实施的方法，其特征在于，
所述医疗过程为介入性过程；和
所述为医疗过程提供视觉指导包括：提供与一个或多个感兴趣的目标相关联的信息，所述信息包括若干目标、一个或多个目标坐标、一个或多个目标尺寸、或一个或多个目标形状。
15.根据权利要求1所述的计算机实施的方法，其特征在于，
所述医疗过程为放射治疗；和
所述为医疗过程提供视觉指导包括：提供与感兴趣区域相关联的信息，所述信息包括区域大小或区域形状。
16.根据权利要求1所述的计算机实施的方法，其特征在于，利用机器学习模型由一个或多个处理器来执行所述计算机实施的方法。
17.根据权利要求16所述的计算机实施的方法，其特征在于，进一步包括：至少通过以下步骤来训练所述机器学习模型：
确定所述一个或多个第一特征与所述一个或多个第二特征之间的一个或多个损失；和
至少部分地基于所述一个或多个损失来修改所述机器学习模型的一个或多个参数。
18.根据权利要求17所述的计算机实施的方法，其特征在于，所述至少部分地基于所述一个或多个损失来修改所述机器学习模型的一个或多个参数包括：
修改所述机器学习模型的一个或多个参数以减少所述一个或多个损失。
19.一种用于定位患者的一个或多个目标特征的***，所述***包括：
图像接收模块，其被配置以：
接收第一输入图像；和
接收第二输入图像；
表征生成模块，其被配置以：
生成对应于所述第一输入图像的第一患者表征；和
生成对应于所述第二输入图像的第二患者表征；
特征确定模块，其被配置以：
确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；和
确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；
特征结合模块，其被配置以将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；
界标确定模块，其被配置以至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和
指导提供模块，其被配置以至少部分地基于与所述一个或多个界标相关联的信息来提供视觉指导。
20.一种非瞬时性计算机可读介质，在其上存储有指令，当所述指令被处理器执行时使所述处理器执行以下一个或多个过程：
接收第一输入图像；
接收第二输入图像；
生成对应于所述第一输入图像的第一患者表征；
生成对应于所述第二输入图像的第二患者表征；
确定在特征空间中对应于所述第一患者表征的一个或多个第一特征；
确定在所述特征空间中对应于所述第二患者表征的一个或多个第二特征；
将所述一个或多个第一特征和所述一个或多个第二特征结合为一个或多个结合的特征；
至少部分地基于所述一个或多个结合的特征来确定一个或多个界标；和
至少部分地基于与所述一个或多个界标相关联的信息来为医疗过程提供视觉指导。
CN201911357754.1A 2019-10-28 2019-12-25 用于定位患者特征的***和方法 Active CN111353524B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/665,804 2019-10-28
US16/665,804 US20210121244A1 (en) 2019-10-28 2019-10-28 Systems and methods for locating patient features

Publications (2)

Publication Number Publication Date
CN111353524A true CN111353524A (zh) 2020-06-30
CN111353524B CN111353524B (zh) 2024-03-01

Family

ID=71193953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911357754.1A Active CN111353524B (zh) 2019-10-28 2019-12-25 用于定位患者特征的***和方法

Country Status (2)

Country Link
US (1) US20210121244A1 (zh)
CN (1) CN111353524B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111686379A (zh) * 2020-07-23 2020-09-22 上海联影医疗科技有限公司 一种放射治疗***和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106937B2 (en) * 2019-06-07 2021-08-31 Leica Geosystems Ag Method for creating point cloud representations
EP4124992A1 (en) * 2021-07-29 2023-02-01 Siemens Healthcare GmbH Method for providing a label of a body part on an x-ray image
US11948250B2 (en) * 2021-10-28 2024-04-02 Shanghai United Imaging Intelligence Co., Ltd. Multi-view patient model construction

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090275936A1 (en) * 2008-05-01 2009-11-05 David Muller System and method for applying therapy to an eye using energy conduction
US20170014203A1 (en) * 2014-02-24 2017-01-19 Universite De Strasbourg (Etablissement Public National A Caractere Scientifiqu, Culturel Et Prof Automatic multimodal real-time tracking of a moving marker for image plane alignment inside a mri scanner
CN107016717A (zh) * 2015-09-25 2017-08-04 西门子保健有限责任公司 用于患者的透视视图的***和方法
CN107077736A (zh) * 2014-09-02 2017-08-18 因派克医药***有限公司 依据基于解剖学界标的特征分割医学图像的***和方法
CN108701375A (zh) * 2015-12-18 2018-10-23 连接点公司 用于术中图像分析的***和方法
CN108852513A (zh) * 2018-05-15 2018-11-23 中国人民解放军陆军军医大学第附属医院 一种骨科手术导引***的器械导引方法
US20180374234A1 (en) * 2017-06-27 2018-12-27 International Business Machines Corporation Dynamic image and image marker tracking
CN109313698A (zh) * 2016-05-27 2019-02-05 霍罗吉克公司 同步的表面和内部肿瘤检测
CN109410273A (zh) * 2017-08-15 2019-03-01 西门子保健有限责任公司 根据医学成像中表面数据的定位片预测
CN109427058A (zh) * 2017-08-17 2019-03-05 西门子保健有限责任公司 医学图像中的自动变化检测

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3509527A4 (en) * 2016-09-09 2020-12-30 Mobius Imaging LLC METHODS AND SYSTEMS FOR DISPLAYING PATIENT DATA IN COMPUTER-ASSISTED SURGERY
US10636323B2 (en) * 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090275936A1 (en) * 2008-05-01 2009-11-05 David Muller System and method for applying therapy to an eye using energy conduction
US20170014203A1 (en) * 2014-02-24 2017-01-19 Universite De Strasbourg (Etablissement Public National A Caractere Scientifiqu, Culturel Et Prof Automatic multimodal real-time tracking of a moving marker for image plane alignment inside a mri scanner
CN107077736A (zh) * 2014-09-02 2017-08-18 因派克医药***有限公司 依据基于解剖学界标的特征分割医学图像的***和方法
CN107016717A (zh) * 2015-09-25 2017-08-04 西门子保健有限责任公司 用于患者的透视视图的***和方法
CN108701375A (zh) * 2015-12-18 2018-10-23 连接点公司 用于术中图像分析的***和方法
CN109313698A (zh) * 2016-05-27 2019-02-05 霍罗吉克公司 同步的表面和内部肿瘤检测
US20180374234A1 (en) * 2017-06-27 2018-12-27 International Business Machines Corporation Dynamic image and image marker tracking
CN109410273A (zh) * 2017-08-15 2019-03-01 西门子保健有限责任公司 根据医学成像中表面数据的定位片预测
CN109427058A (zh) * 2017-08-17 2019-03-05 西门子保健有限责任公司 医学图像中的自动变化检测
CN108852513A (zh) * 2018-05-15 2018-11-23 中国人民解放军陆军军医大学第附属医院 一种骨科手术导引***的器械导引方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. UDIN HARUN AL RASYID 等: "Monitoring System of Patient Po sition Based On Wireless Body Area Sensor Network", 《2015 INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS-TAIWAN (ICCE-TW)》, 31 December 2015 (2015-12-31), pages 396 - 397 *
邓晓奇: "室性早搏和非持续性室速的心电图表现、定位及消融", 《实用心电学杂志》, vol. 27, no. 6, 31 December 2018 (2018-12-31), pages 437 - 442 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111686379A (zh) * 2020-07-23 2020-09-22 上海联影医疗科技有限公司 一种放射治疗***和方法
CN111686379B (zh) * 2020-07-23 2022-07-22 上海联影医疗科技股份有限公司 一种放射治疗***

Also Published As

Publication number Publication date
US20210121244A1 (en) 2021-04-29
CN111353524B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的***和方法
CN111353524B (zh) 用于定位患者特征的***和方法
US11135016B2 (en) Augmented reality pre-registration
US8457372B2 (en) Subtraction of a segmented anatomical feature from an acquired image
US20220249038A1 (en) Determining Rotational Orientation Of A Deep Brain Stimulation Electrode In A Three-Dimensional Image
CN110770792B (zh) 确定临床靶体积
US9155470B2 (en) Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
RU2711140C2 (ru) Редактирование медицинских изображений
EP2189942A2 (en) Method and system for registering a medical image
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
Eiben et al. Symmetric biomechanically guided prone-to-supine breast image registration
JP2018507073A (ja) 放射線治療のための可搬型ｃｔスキャナーの使用
EP3720554B1 (en) Patient positioning using a skeleton model
US11593519B2 (en) Anonymisation of medical patient images using an atlas
US20220215551A1 (en) Atlas-based location determination of an anatomical region of interest
US11042993B2 (en) Soft tissue stereo-tracking
CN108430376B (zh) 提供投影数据集
US9254106B2 (en) Method for completing a medical image data set
US11938344B2 (en) Beam path based patient positioning and monitoring
WO2023209014A1 (en) Registering projection images to volumetric images
US20240185509A1 (en) 3d reconstruction of anatomical images
WO2023055556A2 (en) Ai-based atlas mapping slice localizer for deep learning autosegmentation
US11501442B2 (en) Comparison of a region of interest along a time series of images
JP2019500114A (ja) 位置合わせ精度の決定
Habert et al. [POSTER] Augmenting Mobile C-arm Fluoroscopes via Stereo-RGBD Sensors for Multimodal Visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant