CN116547699A - 一种用于放射治疗中的临床靶标勾画方法 - Google Patents

一种用于放射治疗中的临床靶标勾画方法 Download PDF

Info

Publication number
CN116547699A
CN116547699A CN202080107224.6A CN202080107224A CN116547699A CN 116547699 A CN116547699 A CN 116547699A CN 202080107224 A CN202080107224 A CN 202080107224A CN 116547699 A CN116547699 A CN 116547699A
Authority
CN
China
Prior art keywords
target
sample
target volume
ctv
boundary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080107224.6A
Other languages
English (en)
Inventor
S·博思
徐璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Publication of CN116547699A publication Critical patent/CN116547699A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • A61N5/1039Treatment planning systems using functional images, e.g. PET or MRI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种用于放射治疗中的临床靶标勾画方法,可以包括获取对象的一个或多个目标图像。对象可以包括放射治疗所针对的目标区域。该方法还可以包括获取根据机器学习技术训练的目标体积分割模型。该方法进一步可以包括基于一个或多个目标图像和目标体积分割模型,确定与目标体积有关的边界信息,所述目标体积包括目标区域的至少一部分。

Description

一种用于放射治疗中的临床靶标勾画方法
技术领域
本申请总体上涉及放射治疗(RT)技术,更具体地,涉及用于确定与放射治疗中的目标体积相关的边界信息的***和方法。
背景技术
放射治疗技术广泛应用于疾病治疗。在治疗规划中,需要分割对象(例如,癌症患者)的目标体积(例如,总的肿瘤体积(GTV)、临床目标体积(CTV)或规划目标体积(PTV)),并作为生成对象治疗计划的基础。目标体积的准确分割在治疗计划中至关重要。
发明内容
根据本申请的一方面,可以提供一种用于放射治疗中的临床靶标(clinicaltarget)勾画***。所述***可以包括少一个存储设备和至少一个处理器。少一个存储设备包括一组指令集。至少一个处理器被配置为与所述至少一个存储设备通信,其中,当执行所述指令集时,所述至少一个处理器被配置为指示所述***执行以下操作中的一个或多个。所述***可以获取对象的一个或多个目标图像,所述对象包括放射治疗所针对的目标区域。所述***也可以获取根据机器学习技术训练的目标体积分割模型。进一步地,所述***可以基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述对象的目标体积有关的边界信息,所述目标体积包括所述目标区域的至少一部分。
在一些实施例中,目标体积可以包括所述对象的总的肿瘤体积(GTV)、临床目标体积(CTV)或计划目标体积(PTV)中的至少一种。
在一些实施例中,目标体积分割模型已经根据损失函数被训练,所述损失函数可以根据用于描绘所述目标区域和所述目标区域附近的一个或多个处于危险中的器官(OAR)的勾画指南进行构建。
在一些实施例中,所述目标体积可以包括所述对象的CTV,所述目标体积分割模型可以包括CTV分割模型。可以根据用于描绘所述目标区域的CTV的勾画指南,构建损失函数,使得所述CTV包括所述目标区域和所述目标区域附近的一个或多个OAR。为了基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述目标体积的有关的边界信息,改***可以基于所述目标图像和所述CTV分割模型,确定与所述对象的CTV有关的边界信息。
在一些实施例中,为了基于一个或多个目标图像和CTV分割模型确定与对象的CTV相关的边界信息,所述***可以执行以下操作中的一个或多个。对于所述一个或多个OAR中的每一个,所述***可以获取所述OAR的分割图像。针对所述对象的每个物理点,所述***可以获取所述物理点的位置信息。进一步地,所述***可以通过使用所述CTV分割模型处理所述对象的所述一个或多个分割图像、所述位置信息和所述一个或多个目标图像,确定与所述对象的CTV有关的所述边界信息。
在一些实施例中,对于对象的每个物理点,物理点的位置信息可以包括沿与所述对象的轴向平面相垂直的方向的所述物理点的位置信息,沿与所述对象的冠状面相垂直的方向的所述物理点的位置信息,或者沿与所述对象的矢状面相垂直的方向的所述物理点的位置信息。
在一些实施例中,为了生成CTV分割模型,***可以获取初始模型和多个训练样本。所述多个训练样本中的每一个训练样本包括样本对象的一个或多个样本图像和与所述样本对象的样本CTV有关的真值(ground truth)边界信息。所述样本CTV包括所述样本对象的样本目标区域和所述样本目标区域附近的一个或多个样本OAR。所述***可以基于所述勾画指南构建所述损失函数。进一步地,所述***可以根据所述损失函数,使用所述多个训练样本训练所述初始模型,生成所述CTV分割模型。
在一些实施例中,为了基于勾画指南构建损失函数,所述***可以将所述勾画指南转换为一个或多个逻辑约束。进一步地,所述***可以基于所述一个或多个逻辑约束构建所述损失函数。
在一些实施例中,根据所述损失函数使用所述多个训练样本训练所述初始模型包括迭代操作,所述迭代操作包括一次或多次迭代,并且所述一次或多次迭代中的至少一次迭代包括一下操作中的一个或多个。对所述多个训练样本的至少一部分中的每一个训练样本,所述***可以基于在上一次迭代中生成的经更新的初始模型,获取所述训练样本的所述样本CTV的预测边界信息。所述***也可以基于所述多个训练样本中的所述至少一部分的每一个训练样本的所述预测边界信息,确定所述损失函数的值。进一步地,所述***可以根据所述损失函数的值,确定所述经更新的初始模型的评估结果。
在一些实施例中,为了基于所述一个或多个逻辑约束构建所述损失函数,改***可以构建用于评估训练样本的所述预测边界信息是否满足所述一个或多个逻辑约束的第一损失函数。所述***也可以构建用于衡量训练样本的所述预测边界信息与所述真值边界信息之间的差异的第二损失函数。进一步地,所述***可以基于所述第一损失函数和所述第二损失函数,构建所述损失函数。
在一些实施例中,一个或多个逻辑约束可以包括多个逻辑约束,并且所述第一损失函数可以包括所述多个逻辑约束中的每一个逻辑约束的权重。
在一些实施例中,多个训练样本中的每一个训练样本进一步包括所述样本对象的所述一个或多个样本OAR中的每一个样本OAR的样本分割图像,以及所述样本对象的每个样本物理点的样本位置信息。
在一些实施例中,至少一个处理器进一步被配置为指示所述***执行以下操作。所述***可以基于与所述对象的目标体积有关的边界信息,生成针对所述目标区域的治疗计划。
在一些实施例中,为了基于所述一个或多个目标图像和目标体积分割模型,确定与所述目标体积有关的边界信息,所述***可以基于所述一个或多个目标图像,确定所述目标体积分割模型的模型输入。所述***也可以将所述模型输入输入到所述目标体积分割模型中,得到所述目标体积分割模型的模型输出。进一步地,所述***可以基于所述模型输出,确定与所述目标体积有关的所述边界信息。所述模型输出包括与所述目标体积有关的边界信息和与所述目标区域附近的所述一个或多个OAR有关的边界信息。
在一些实施例中,为了基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述目标体积有关的边界信息,所述***可以获取与所述目标区域附近的所述一个或多个OAR有关的边界信息。进一步地,所述***可以基于所述一个或多个目标图像、所述目标体积分割模型和与所述一个或多个OAR有关的边界信息,确定与所述目标体积有关的边界信息。
在一些实施例中,为了获取与所述目标区域附近的所述一个或多个OAR有关的所述边界信息,所述***可以获取一个或多个OAR分割模型。进一步地,所述***可以基于所述一个或多个目标图像和所述一个或多个OAR分割模型,确定与所述目标区域附近的所述一个或多个OAR有关的所述边界信息。
在一些实施例中,为了基于所述一个或多个目标图像、所述目标体积分割模型和与所述一个或多个OAR有关的所述边界信息,确定与所述目标体积有关的所述边界信息,所述***可以基于所述一个或多个目标图像和与所述一个或多个OAR有关的所述边界信息,确定所述目标区域的分期。进一步地,所述***可以基于所述一个或多个目标图像、所述目标体积分割模型、与所述一个或多个OAR有关的所述边界信息以及所述目标区域的所述分期,确定与所述目标体积有关的所述边界信息。
根据本申请的另一方面,可以提供一种用于放射治疗中的临床靶标勾画方法。所述方法可以在具有至少一个处理器和至少一个存储设备的计算设备上实施。所述方法可以包括获取所述对象的一个或多个目标图像,所述对象包括放射治疗所针对的目标区域。所述方法也可以包括获取根据机器学习技术训练的目标体积分割模型。所述方法可以进一步包括基于所述一个或多个目标图像和所述目标体积分割模型,确定与目标体积有关的边界信息,所述目标体积包括所述目标区域的至少一部分。
根据本申请的又一方面,可以提供一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以包括一组用于放射治疗中的临床靶标勾画的指令。当由至少一个处理器执行时,所述一组指令指示所述至少一个处理器实现一种方法。所述方法可以包括获取所述对象的一个或多个目标图像,所述对象包括放射治疗所针对的目标区域。所述方法也可以包括获取根据机器学习技术训练的目标体积分割模型。所述方法可以进一步包括基于所述一个或多个目标图像和所述目标体积分割模型,确定与目标体积有关的边界信息,所述目标体积包括所述目标区域的至少一部分。
本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解,本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过实践或使用下面讨论的详细示例中阐述的方法、工具和组合的各个方面来实现和获取。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例,在这些实施例中,各图中相同的编号表示相似的结构,并且其中:
图1是根据本申请的一些实施例所示的示例性RT***的示意图;
图2是根据本申请的一些实施例所示的计算设备的示例性硬件和/或软件组件的示意图;
图3是根据本申请的一些实施例所示的示例性移动设备的硬件和/或软件组件的示意图;
图4A和4B是根据本申请的一些实施例所示的示例性处理设备的框图;
图5是根据本申请的一些实施例所示的用于确定与对象的目标体积相关的边界信息的示例性过程的流程图;
图6是根据本申请的一些实施例所示的用于确定与对象的CTV相关的边界信息的示例性过程的流程图;
图7是根据本申请的一些实施例所示的CTV分割模型的示例性模型输入的示意图;
图8是根据本申请的一些实施例所示的用于生成CTV分割模型的示例性过程的流程图;
图9是根据本申请的一些实施例所示的用于构建损失函数的示例性过程的流程图;
图10是根据本申请的一些实施例所示的训练初始模型的示例性当前迭代的示意图。
图11是根据本申请的一些实施例所示的用于确定与对象的目标体积相关的边界信息的示例性过程的示意图;
图12是根据本申请的一些实施例所示的用于确定与对象的目标体积相关的边界信息的示例性过程的示意图;
图13A是根据本申请的一些实施例所示的对象的示例性OAR分割图像的示意图;以及
图13B是根据本申请的一些实施例所示的对象的示例性CTV分割图像的示意图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。然而,本领域技术人员应该明白,可以在没有这些细节的情况下实施本申请。在其它情况下,为了避免不必要地使本申请的各方面变得晦涩难懂,已经在较高的层次上描述了众所周知的方法、过程、***、组件和/或电路。对于本领域的普通技术人员来讲,显然可以对所披露的实施例作出各种改变,并且在不偏离本申请的原则和范围的情况下,本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此,本申请不限于所示的实施例,而是符合与申请专利范围一致的最广泛范围。
本申请中所使用的术语仅出于描述特定示例实施例的目的,而非限制性的。如本申请使用的单数形式“一”、“一个”及“该”同样可以包括复数形式,除非上下文明确提示例外情形。还应当理解,如在本申请说明书中使用的术语“包括”、“包含”仅提示存在所述特征、整数、步骤、操作、组件和/或部件,但并不排除存在或添加一个或以上其它特征、整数、步骤、操作、组件、部件和/或其组合的情况。
应理解,此处使用的术语“***”、“发动机”、“单元”、“模块”和/或“块”是一种按升序区分不同级别的不同部件、元件、部件、部件或组件的方法。然而,如果可以达到相同的目的,这些术语也可以被其他表达替换。
通常,这里使用的词语“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑,或者是软件指令的集合。此处描述的模块、单元或块可以被实现为软件和/或硬件,并且可以被存储在任何类型的非暂时性计算机可读介质或另一存储设备中。在一些实施例中,可以编译软件模块/单元/块并将其链接到可执行程序中。应当理解,软件模块可以从其他模块/单元/块或从它们自身调用,和/或可以响应检测到的事件或中断来调用。被配置用于在计算设备(例如图2中所示的处理器210)上执行的软件模块/单元/块可以被提供在计算机可读介质上,或者作为数字下载(并且可以最初以压缩或可安装格式存储,在执行之前需要安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中,并应用在计算设备的操作之中。软件指令可以嵌入到固件中,例如EPROM。还应当理解,硬件模块/单元/块可以包括在连接的逻辑组件中,例如门和触发器,和/或可以包括可编程单元,例如可编程门阵列或处理器。这里描述的模块/单元/块或计算设备功能可以实现为软件模块/单元/块,但是可以用硬件或固件表示。通常,这里描述的模块/单元/块指的是逻辑模块/单元/块,其可以与其他模块/单元/块组合或者分成子模块/子单元/子块,尽管它们是物理组织或存储器件。该描述可适用于***、引擎或其一部分。
可以理解的是,除非上下文另有明确说明,当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接”或“耦合至”另一单元、引擎、模块或块时,其可以直接在其它单元、引擎、模块或块上,与其连接或耦合或与之通信,或者可能存在中间单元、引擎、模块或块。在本申请中,术语“和/或”可包括任何一个或以上相关所列条目或其组合。
本申请中的术语“图像”用于统称图像数据(例如,扫描数据、投影数据)和/或各种形式的图像,包括二维(2D)图像、三维(3D)图像、四维(4D)等。本申请中的术语“像素”和“体素”可互换使用以指代图像的元素。本申请中的术语“解剖结构”可以指对象的气体(例如,空气)、液体(例如,水)、固体(例如,石头)、细胞、组织、器官或其任何组合,其可以显示在图像中(例如,第二图像或第一图像等)并且真实存在于对象体内或体表。本申请中的术语“区域”、“位置”和“区域”可以指图像中显示的解剖结构的位置或存在于对象体内或体表的解剖结构的实际位置,因为图像可能指示存在于对象体内或体表的特定解剖结构的实际位置。术语“器官”和“组织”可互换使用,指的是对象的一部分。
根据以下对附图的描述,本申请的这些和其它的特征、特点以及相关结构元件的功能和操作方法,以及部件组合和制造经济性,可以变得更加显而易见,这些附图都构成本申请说明书的一部分。然而,应当理解的是,附图仅仅是为了说明和描述的目的,并不旨在限制本申请的范围。应当理解的是,附图并不是按比例绘制的。
本申请使用的流程图示出了根据本申请公开的一些实施例所示的***所执行的操作。应明确理解,流程图的操作可以不按顺序实现。相反,这些操作可以以相反的顺序或同时执行。同时,也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
本文提供用于非侵入性成像和/或治疗的***和组件,例如用于疾病诊断、治疗或研究目的。在一些实施例中,***可以包括RT***、计算机断层扫描(CT)***、发射计算机断层扫描(ECT)***、X射线摄影***、磁共振成像(MRI)***等,或任何它们的组合。为了说明的目的,本申请描述了用于放射治疗的***和方法。
放射疗法广泛用于癌症治疗和其他治疗。通常,针对对象(例如,癌症患者)的治疗计划是在治疗开始之前基于对象的目标体积的边界信息生成的。例如,目标体积可包括对象的GTV、CTV和PTV中的一项或多项。GTV可能包括肿瘤。对象的CTV可以包括一定概率水平的临床恶性组织(例如GTV)和/或亚临床恶性组织。PTV可以包括CTV和围绕CTV的附加边缘。准确确定目标体积的边界信息在治疗计划中至关重要。
然而,目标体积的边界信息难以准确确定。例如,CTV通常包括具有潜在肿瘤或亚临床疾病的组织,这些组织在规划图像中几乎检测不到。此外,计划图像中的CTV通常具有低对比度可见性和高噪声水平,这可能导致计划图像中CTV与正常组织之间的边界模糊。此外,CTV的描绘高度依赖于用户(例如,医生)的知识和经验。因此,开发一种自动绘制CTV轮廓的方法比绘制危险器官(OAR)轮廓要困难得多。术语“自动”和“自动化”可互换使用,指的是分析信息并在很少或没有直接人为干预的情况下生成结果的方法和***。
最近,已经提出了一些基于神经网络模型的CTV轮廓自动化方法。例如,神经网络模型被训练并用于自动从图像中分割出CTV的边界。然而,传统神经网络的分割结果具有有限的准确性和临床可接受性,因为它们不满足用户(例如,临床医生)的实际需求和/或由例如肿瘤放射治疗协作组织(RTOG)、澳大利亚皇家协会和新西兰放射科医师学院(RANZCR)或其他实体指定的勾画指南。分割结果需要用户进行大量编辑才能满足用户的实际需要或勾画指南。因此,可能希望通过考虑勾画指南来开发用于自动CTV轮廓线的***和方法,从而提高CTV轮廓的效率和/或精度。
本申请的一个方面涉及用于放射治疗中的临床目标轮廓的***和方法。***可以获取对象的一个或多个目标图像和目标体积分割模型。对象可以包括放射治疗所针对的目标区域。***可以进一步基于一个或多个目标图像和目标体积分割模型来确定与对象的目标体积相关的边界信息。
在一些实施例中,目标体积可以包括对象的CTV,并且目标体积分割模型可以包括CTV分割模型。CTV分割模型可能已经根据特定设计的损失函数进行了训练,该损失函数是根据用于描绘目标区域的CTV的勾画指南构建的,使得CTV包括目标区域和目标区域附近的一个或多个OAR。例如,RTOG制定的直肠癌勾画指南可用于构建直肠癌CTV分割模型的损失函数。以此方式,由CTV分割模型确定的CTV的边界信息可以更好地满足勾画指南,并且需要用户更少或不需要编辑,这反过来可以提高治疗效率和准确性,并减少用户间的差异。用于CTV轮廓的***和方法可以以少量的或最少的或没有用户干预的方式实现,这是省时、更有效和准确的。
本申请的另一方面涉及用于生成CTV分割模型的***和方法。例如,***可以获取初始模型和多个训练样本。该***还可以基于用于CTV勾画的勾画指南构建损失函数,并且通过根据损失函数使用多个训练样本训练初始模型来生成CTV分割模型。在一些实施例中,在损失函数的构建中,***可以采用特定机制将勾画指南转换成一个或多个逻辑约束,并基于逻辑约束构建损失函数。逻辑约束可被视为勾画指南的数学表达式,其可包括一个或多个逻辑运算符。使用特定机制,可以将勾画指南添加到任何合适类型的机器学习模型(例如,神经网络模型)。
图1是根据本申请的一些实施例所示的示例性RT***100的示意图。RT***100可以包括RT设备110、网络120、一个或多个终端130、处理设备140和存储设备150。在一些实施例中,RT***100的两个或更多个组件可以经由无线连接(例如,网络120)、有线连接或其组合彼此连接和/或通信。RT***100的组件之间的连接可以是可变的。仅作为示例,RT设备110可以通过网络120或直接连接到处理设备140。作为进一步的例子,存储设备150可以通过网络120或直接连接到处理设备140。
RT设备110可以被配置为对对象进行放射治疗。例如,治疗设备可以将一个或多个辐射束发射到对象的治疗区域(例如,肿瘤)以使得对象症状缓解。辐射束可以包括多个辐射子束。在本申请中,“目标对象”和“对象”可互换使用。对象可以包括任何生物对象(例如,人类、动物、植物或其一部分)和/或非生物对象(例如,模体)。例如,对象可以包括对象的身体的特定部分,例如头部、胸部、腹部等或其组合。在一些实施例中,治疗设备可以是适形放射治疗设备、图像引导放射治疗(IGRT)设备、调强放射治疗(IMRT)设备、调强电弧治疗(IMAT)设备、发射引导放射治疗(EGRT)等。
在一些实施例中,RT设备110可以是IGRT设备,其被配置为获取与对象相关的图像数据并对对象执行放射治疗。例如,如图1所示,RT设备110可以包括成像组件113、治疗组件116、扫描床(或称为扫描台)114等。成像组件113可以被配置为在放射治疗之前、放射治疗期间和/或放射治疗之后获取对象的图像。在一些实施例中,成像组件113可以包括计算机断层扫描(CT)设备(例如,锥形束CT(CBCT)设备、扇束CT(FBCT)设备)、磁共振成像(MRI)设备、超声成像设备、荧光透视成像设备、单光子发射计算机断层扫描(SPECT)设备、正电子发射断层扫描(PET)设备、X射线成像设备等,或其任何组合。
在一些实施例中,成像组件113可以包括成像辐射源115、检测器112、机架111等。成像辐射源115和检测器112可以安装在机架111上。成像辐射源115可以向对象发射放射线。检测器112可以检测从成像组件113的成像区域发射的辐射事件(例如,x射线光子、伽马射线光子)。在一些实施例中,检测器112可以包括一个或多个检测器单元。检测器单元可以包括闪烁检测器(例如,碘化铯检测器、硫氧化钆检测器)、气体检测器等。检测器单元可包括单排检测器和/或多排检测器。
治疗组件116可以被配置为向对象进行放射治疗。治疗组件116可包括治疗辐射源117、机架118和准直器119。治疗辐射源117可以被配置为向对象发射治疗放射线。在一些实施例中,治疗辐射源117可以包括线性加速器(LINAC)。准直器119可以被配置为控制由治疗辐射源117产生的治疗放射线的形状。
在一些实施例中,成像组件113可以与治疗组件116间隔一定距离。在一些实施例中,成像组件113的机架111和治疗组件116的机架118的旋转轴可以相同或不同。对象可以位于扫描床114上的不同位置以用于成像和治疗。在一些实施例中,成像辐射源115和治疗辐射源117可以集成为一个辐射源以对对象进行成像和/或治疗。在一些实施例中,成像组件113和治疗组件116可以使用相同的机架。例如,治疗辐射源117可以安装在成像组件113的机架111上。对象可以被放置在扫描床114上用于治疗和/或成像。
扫描床114可以被配置成支撑待治疗和/或成像的对象。在一些实施例中,如图1所示,扫描床114可以沿着坐标系160的Y轴方向在治疗组件116和成像组件113之间移动。在一些实施例中,扫描床114可以被配置成沿不同方向旋转和/或平移以将对象移动到期望位置(例如,成像组件113下方的成像位置用于成像,治疗组件116下方的治疗位置用于治疗等)。
网络120可以包括可以促进RT***100的信息和/或数据交换的任何合适的网络。在一些实施例中,RT***100的一个或多个组件(例如,RT设备110、终端130、处理设备140、存储设备150等)可以经由网络120与一个或多个其他组件传送信息和/或数据。例如,处理设备140可经由网络120从RT设备110获取图像数据。作为另一示例,处理设备140可以经由网络120从终端130获取用户(例如,医生、放射科医师)的用户指令。网络120可以是或包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN))、有线网络、无线网络(例如,802.11网络、Wi-Fi网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任何组合。例如,网络120可以包括有线网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网络(PSTN)、BluetoothTM网络、ZigBeeTM网络、近场通信(NFC)网络等或其任何组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线和/或无线网络接入点(例如,基站和/或互联网交换点),RT***100的一个或多个组件可以通过它们连接到网络120以交换数据和/或信息。
终端130可以实现用户与RT***100之间的用户交互。在一些实施例中,终端130可以连接到RT设备110、处理设备140和/或存储设备150和/或与之通信。例如,终端130可以显示从处理设备140获取的对象的治疗图像。在一些实施例中,终端130可以包括移动设备131、平板计算机132、膝上型计算机133等或其任何组合。在一些实施例中,移动设备131可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等或其任意组合。仅作为示例,终端130可以包括如图3所示的移动设备。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器的控制设备、智能监控设备、智能电视、智能摄像机、对讲机等或其任意组合。在一些实施例中,可穿戴设备可以包括手环、鞋类、眼镜、头盔、手表、衣服、背包、智能配件等,或其任意组合。在一些实施例中,移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、平板计算机、台式计算机或喜欢,或其任何组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实贴片、增强现实头盔、增强现实眼镜、增强现实贴片等,或者它们的任何组合。例如,虚拟现实设备和/或增强现实设备可以包括GoogleGlassTM、OculusRiftTM、HololensTM、GearVRTM等。在一些实施例中,终端130可以是处理设备140的一部分。
处理设备140可以处理从RT设备110、终端130和/或存储设备150获取的信息。例如,处理设备140可以从RT***100的一个或多个组件(例如,成像组件113、终端130、存储设备150)或外部源获取对象的一个或者多个目标图像(例如,CT图像、MRI图像)。根据一个或多个目标图像和目标体积分割模型,处理设备140可以确定与对象的目标体积相关的边界信息。
在一些实施例中,处理设备140可以生成一个或多个训练模型(例如,CTV分割模型、OAR分割模型),其可以用于放射治疗中的目标体积轮廓绘制。附加地或备选地,处理设备140可以应用训练后的模型来确定与目标体积相关的边界信息。在一些实施例中,训练模型可以由处理设备生成,而模型的应用可以在不同的处理设备上执行。在一些实施例中,训练模型可以由不同于RT***100的***的处理设备或不同于在其上执行模型的应用的处理设备140的服务器生成。例如,训练模型可以由提供和/或维护这种模型的供应商的第一***生成,而使用训练模型的目标体积轮廓绘制可以在第二***上执行供应商的客户。在一些实施例中,可以响应于对临床目标轮廓的请求,在线执行训练模型的应用。在一些实施例中,训练模型可以离线生成。
在一些实施例中,训练模型可以由例如RT设备110的制造商或供应商生成和/或更新(或维护)。例如,制造商或供应商可以在安装RT设备110和/或处理设备140之前或期间将模型加载到RT***100或其一部分(例如,处理设备140)中,不时(定期或不定期)维护或更新模型。维护或更新可以通过安装存储在存储设备(例如,光盘、USB驱动器等)上的程序来实现,或者通过从外部源(例如,制造商或供应商维护的服务器)检索网络150。该程序可以包括新模型(例如,一个或多个新模型)或部分模型,该部分模型用于替代或补充模型的对应部分。
在一些实施例中,处理设备140可以是单个服务器或服务器组。服务器组可以是集中式的,也可以是分布式的。在一些实施例中,处理设备140可以是本地的或远程的。例如,处理设备140可以经由网络120访问存储在RT设备110、终端130和/或存储设备150中的信息。作为另一个例子,处理设备140可以直接连接到RT设备110、终端130和/或存储设备150以访问存储的信息。在一些实施例中,处理设备140可以在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或其任何组合。在一些实施例中,处理设备140可以由具有如图2所示的一个或多个组件的计算设备200实现。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从RT设备110、终端130和/或处理设备140获取的数据。例如,存储设备150可以存储对象的目标图像和/或扫描数据。在一些实施例中,存储设备150可以存储数据和/或指令,处理设备140可以执行或使用这些数据和/或指令来执行本申请中描述的示例性方法。在一些实施例中,存储设备150可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或其任意组合。示例性大容量存储设备可以包括磁盘、光盘、固态驱动器等。示例性可移动存储设备可以包括存储器驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用盘只读存储器等。在一些实施例中,存储设备150可以在云平台上实现。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,存储设备150可以连接到网络120以与RT***100的一个或多个其他组件(例如,RT设备110、处理设备140、终端130)通信。RT***100的一个或多个组件可以通过网络120访问存储在存储设备150中的数据和/或指令。在一些实施例中,存储设备150可以直接连接到RT***100的一个或多个其他组件(例如,RT设备110、处理设备140、终端130)或与之通信。在一些实施例中,存储设备150可以是处理设备140的一部分。
为了说明的目的,在图1中提供了坐标系160。坐标系160可以是包括X轴、Y轴和Z轴的笛卡尔坐标系。图1中所示的X轴和Y轴可以是水平的,Z轴可以是垂直的。如图所示,沿X轴的正X方向可以是从面向RT设备110的正面的方向看的扫描床114的左侧到右侧;沿着图1所示的Y轴的正Y方向可以是从扫描床114的端部到头部;沿着图1中所示的Z轴的正Z方向可以是从RT设备110的下部到上部。
需要说明的是,上述关于RT***100的描述仅是为了说明的目的,而不是为了限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改并不脱离本申请的范围。在一些实施例中,RT***100可包括一个或多个附加组件和/或可省略上述RT***100的一个或多个组件。例如,可以省略RT设备110中的治疗组件116。在一些实施例中,RT***100的组件可以在两个或更多个子组件上实现。RT***100的两个或多个组件可以集成到单个组件中。例如,RT设备110中的治疗组件116可以集成到成像组件113中。
图2是根据本申请的一些实施例所示的计算设备200的示例性硬件和/或软件组件的示意图。计算设备200可用于实现如本文所述的RT***100的任何组件。例如,处理设备140和/或终端130可以分别通过其硬件、软件程序、固件或其组合实现在计算设备200上。尽管仅示出了一个这样的计算设备,但是为了方便起见,可以在多个类似平台上以分布式方式实现与本文所述的RT***100相关的计算机功能,以分配处理负载。如图2所示,计算设备200可以包括处理器210、存储设备220、输入/输出(I/O)230和通信端口240。
处理器210可以执行计算机指令(例如,程序代码)并根据本文描述的技术执行处理设备140的功能。计算机指令可以包括例如例程、程序、主题、组件、数据结构、过程、模块和功能,它们执行本文描述的特定功能。例如,处理器210可以处理从RT设备110、终端130、存储设备150和/或RT***100的任何其他组件获取的图像数据。在一些实施例中,处理器210可以包括一个或多个硬件处理器,例如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)、能够执行一个或多个功能的任何电路或处理器等,或其任何组合。
仅仅为了说明,在计算设备200中仅描述了一个处理器。然而,需要注意的是,本申请中的计算设备200也可以包括多个处理器,因此本申请中描述的由一个处理器执行的操作和/或方法操作也可以由多个共同或单独地执行。处理器。例如,如果在本申请中计算设备200的处理器同时执行操作A和操作B,则应当理解,操作A和操作B也可以由计算设备中的两个或多个不同的处理器共同或单独地执行200(例如,第一处理器执行操作A并且第二处理器执行操作B,或者第一处理器和第二处理器联合执行操作A和B)。
存储设备220可以存储从RT***100的一个或多个组件获取的数据。在一些实施例中,存储设备220可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或其任意组合。在一些实施例中,存储设备220可以存储一个或多个程序和/或指令以执行本申请中描述的示例性方法。例如,存储设备220可以存储供处理设备140执行以应用CTV分割模型来确定对象的CTV的边界信息的程序。作为另一示例,存储设备220可以存储供处理设备140执行以通过模型训练生成CTV分割模型的程序。
I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中,I/O230可以实现与处理设备140的用户交互。在一些实施例中,I/O230可以包括输入设备和输出设备。输入设备可以包括字母数字键和其他键,这些键可以通过键盘、触摸屏(例如,具有触觉或触觉反馈)、语音输入、眼睛跟踪输入、大脑监测***或任何其他类似输入来输入机制。通过输入设备接收的输入信息可以经由例如总线被传输到另一组件(例如,处理设备140)以用于进一步处理。其他类型的输入设备可以包括光标控制设备,例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器(例如,液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏)、扬声器、打印机等,或其组合。
通信端口240可以连接到网络(例如,网络120)以促进数据通信。通信端口240可以在处理设备140和RT设备110、终端130和/或存储设备150之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其他通信连接、和/或这些连接的任何组合。有线连接可包括例如电缆、光缆、电话线等或其任何组合。无线连接可以包括例如蓝牙TM链接、Wi-FiTM链接、WiMaxTM链接、WLAN链接、ZigBeeTM链接、移动网络链接(例如,3G、4G、5G),或者像,或它们的组合。在一些实施例中,通信端口240可以是和/或包括标准化通信端口,例如RS232、RS485等。在一些实施例中,通信端口240可以是专门设计的通信端口。例如,通信端口240可以根据医学数字成像和通信(DICOM)协议来设计。
图3是根据本申请的一些实施例所示的示例性移动设备300的示例性硬件和/或软件组件的示意图。在一些实施例中,一个或多个终端130和/或处理设备140可以分别实现在移动设备300上。
如图3所示,移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、存储器360和存储器390。在一些实施例中,任何其他合适的组件,包括但不限于***总线或控制器(未示出),也可以包括在移动设备300中。在一些实施例中,移动操作***370(例如,iOSTM、AndroidTM、WindowsPhoneTM)和一个或多个应用程序380可以从存储器390加载到存储器360中以便由CPU340执行。应用程序380可以包括浏览器或用于接收和呈现与RT***100有关的信息的任何其他合适的移动应用程序。用户与信息流的交互可以通过I/O350实现并通过网络120提供给处理设备140和/或RT***100的其他组件。
为了实施本申请描述的各种模块、单元及其功能,计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化,计算机亦可用作服务器。
图4A和4B是根据本申请的一些实施例所示的示例性处理设备140A和140B的框图。处理设备140A和140B可以是结合图1描述的处理设备140的示例性实施例。在一些实施例中,处理设备140A可以被配置为应用一个或多个机器学习模型来确定与对象的目标体积相关的边界信息。处理设备140B可以被配置为生成一个或多个机器学习模型。在一些实施例中,处理设备140A和140B可以分别在处理单元(例如,图2所示的处理器210或图3所示的CPU340)上实现。仅作为示例,处理设备140A可以在终端设备的CPU340上实现,并且处理设备140B可以在计算设备200上实现。或者,处理设备140A和140B可以在相同的计算设备200或相同的CPU340上实现。例如,处理设备140A和140B可以在同一计算设备200上实现。
如图4A所示,处理设备140A可以包括获取模块402、确定模块404和生成模块406。
获取模块402可以被配置为获取与RT***100有关的信息。例如,获取模块402可以获取对象的一个或多个目标图像。对象的目标图像可以包括2D图像(例如,切片图像)、3D图像、4D图像(例如,随时间推移的一系列3D图像)和/或任何相关图像数据(例如,扫描数据、投影数据)等,或其任何组合。关于获取对象的一个或多个目标图像的更多描述可以在本申请的其他地方找到,例如,参见图5中的操作502及其相关描述。又例如,获取模块402可以获取根据机器学习技术训练的目标体积分割模型。如本文所述,目标体积分割模型是指用于目标体积分割的模型(例如,机器学习模型)或算法。关于获取目标体积分割模型的更多描述可以在本申请的其他地方找到,例如,参见图5中的操作504及其相关描述。
确定模块404可以被配置为基于一个或多个目标图像和目标体积分割模型,确定与对象的目标体积相关的边界信息。目标体积可包括对象的GTV、CTV和PTV中的一项或多项。与对象的目标体积相关的边界信息可包括可用于识别或定位目标体积的边界(例如,在物理域和/或图像域中)的任何信息关于确定与目标体积相关的边界信息的更多描述可以在本申请的其他地方找到,例如,参见图5中的操作506及其相关描述。
生成模块406可以被配置为基于与对象的目标体积相关的边界信息生成针对目标区域的治疗计划。治疗计划可以描述计划如何对对象执行放射治疗以治疗目标区域。治疗计划可包括多种信息,例如,在持续特定时间段(例如,数天)的治疗过程中的每个治疗期期间如何将一个或多个放射束发射至对象的目标区域。关于治疗计划的生成的更多描述可以在本申请的其他地方找到,例如,参见图5中的操作508及其相关描述。
如图4B所示,处理设备140B可以包括获取模块408、构建模块410和模型生成模块412。
获取模块408可以被配置为获取一个或多个训练样本和初始模型。关于训练样本的获取和初始模型的更多描述可以在本申请的其他地方找到,例如,参见图8中的操作802和804及其相关描述。
构建模块410可以被配置为构建损失函数。例如,构建模块410可以构建CTV分割模型的损失函数。在一些实施例中,可以基于用于描绘目标区域的CTV的勾画指南具体设计损失函数,使得CTV包括目标区域和目标区域附近的一个或多个OAR。关于损失函数的构建的更多描述可以在本申请的其他地方找到。例如,参见图8的操作806、图9及其相关描述。
模型生成模块412可以被配置为通过模型训练生成一个或多个机器学习模型。在一些实施例中,一个或多个机器学习模型可以根据机器学习算法生成。机器学习算法可以包括但不限于人工神经网络算法、深度学习算法、决策树算法、关联规则算法、归纳逻辑规划算法、支持向量机算法、聚类算法、贝叶斯网络算法、强化学习算法、表示学习算法、相似度和度量学习算法、稀疏字典学习算法、遗传算法、基于规则的机器学习算法等,或其任何组合。用于生成一个或多个机器学习模型的机器学习算法可以是监督学习算法、半监督学习算法、无监督学习算法等。关于一个或多个机器学习模型的生成的更多描述可以在本申请的其他地方找到,例如,参见图8中的操作808、图11中的操作1104、图12中的操作1210及其相关描述。
应当注意的是,以上描述仅出于说明的目的而提供,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改并不脱离本申请的范围。在一些实施例中,处理设备140A和/或处理设备140B可以共享两个或多个模块,并且任何一个模块可以分为两个或多个单元。例如,处理设备140A和140B可以共享同一个获取模块,即,获取模块402和获取模块408为同一个模块。在一些实施例中,处理设备140A可以包括一个或多个附加模块,例如用于存储数据的存储模块(未示出)。在一些实施例中,处理设备140A和处理设备140B可以集成到一个处理设备140中。
图5是根据本申请的一些实施例所示的用于确定与对象的目标体积相关的边界信息的示例性过程的流程图。在一些实施例中,过程500可以由RT***100执行。例如,过程500可以被实现为存储在存储设备(例如,存储设备150、存储设备220和/或存储器390)中的指令集(例如,应用程序)。在一些实施例中,处理设备140A(例如,计算设备200的处理器210、移动设备300的CPU340和/或图4A中所示的一个或多个模块)可以执行该指令集并且可以因此被指示执行过程500。
如本文所述,对象可包括患者、患者的一部分(例如,患者的胸部、***和/或腹部)或需要由放射治疗设备(例如,RT设备110)治疗的任何生物体。对象可以包括放射治疗所针对的目标区域。例如,目标区域可以包括对象的区域,该区域包括临床上恶性组织的至少一部分(例如,肿瘤、癌症多发的器官或放射治疗的非癌性目标)。仅作为示例,目标区域可以包括需要通过放射治疗的肿瘤、具有肿瘤或另一种类型病变的器官、具有肿瘤或另一种类型病变的组织或其任何组合。
目标体积可以包括目标区域的至少一部分。例如,目标体积可包括对象的GTV、CTV或PTV中的至少一种。仅作为示例,目标区域包括肿瘤,并且GTV指的是肿瘤本身。CTV是指包含一定概率水平的临床恶性组织(即,靶区)和/或亚临床恶性组织的组织体积。亚临床恶性组织可包括具有很少或没有通过临床检测能检测到的体征或症状的恶性组织。例如,亚临床恶性组织可包括目标区域附近的一个或多个OAR。一个或多个OAR可以包括器官和/或组织,这些器官和/或组织靠近目标区域并且不打算经受辐射,但是由于其靠近目标区域而处于辐射损伤的风险之下。仅作为示例,如果器官与目标区域之间的距离低于阈值距离,则该器官可被视为OAR。阈值距离可以包括图像域中的像素/体素距离(例如,1个像素/体素、2个像素/体素、5个像素/体素等)和/或物理空间中的实际距离(例如,0.1cm、0.2cm、0.3cm等)。阈值距离可以是RT***100的默认设置,可以由用户手动设置,或者由处理设备140A根据实际需要调整。PTV是指CTV周围具有附加边缘的区域,允许相对于CTV的计划和/或治疗中的变化和/或不确定性。例如,附加边缘可以允许由对象的定位误差引起的变化。附加边缘的大小可以是RT***100的默认设置,可以由用户手动设置,也可以由处理设备140A根据实际需要调整。
在502,处理设备140A(例如,获取模块402)可以获取对象的一个或多个目标图像。
对象的目标图像可以包括对象的目标区域和目标区域附近的一个或多个OAR的表示。在一些实施例中,对象的目标图像可以包括2D图像(例如,切片图像)、3D图像、4D图像(例如,随时间推移的一系列3D图像)和/或任何相关的图像数据(例如,扫描数据、投影数据)等,或其任何组合。目标图像可包括一幅或多幅灰度图像和/或一幅或多幅彩色图像。在一些实施例中,目标图像可以包括由本申请其他地方描述的生物医学成像技术生成的医学图像。例如,目标图像可以包括CT图像(例如,锥束CT(CBCT)图像、扇束CT(FBCT)图像)、MR图像、PET图像、X射线图像、透视图像、超声图像、放射治疗射线照相图像、SPECT图像等或其组合。在一些实施例中,目标图像可以包括对象的CT图像和MR图像。在一些实施例中,目标图像可以包括对象的多个切片图像。例如,对于对象的多个轴向平面(或称为切片)中的每一个,可以获取轴向平面的2DCT图像和2DMR图像作为对象的目标图像。
在一些实施例中,可以基于使用RT***100的成像组件113或外部成像设备获取的图像数据来生成目标图像。例如,诸如CT设备、MRI设备、X射线设备、PET设备等的成像组件113可以被引导以扫描对象或对象的一部分(例如,胸部的主题)。处理设备140A可基于成像组件113获取的图像数据生成目标图像。在一些实施例中,目标图像可以预先生成并存储在存储设备(例如,存储设备150、存储设备220、存储器390或外部源)中。处理设备140A可以从存储设备中检索目标图像。
在504,处理设备140A(例如,采集模块402)可以获取根据机器学习技术训练的目标体积分割模型。
如本文所述,目标体积分割模型是指用于目标体积分割的模型(例如,机器学习模型)或算法。仅作为示例,目标体积分割模型可以接收模型输入(例如,目标图像和/或与对象相关的其他信息),并且目标体积分割模型可以输出与对象的目标体积相关的边界信息。在一些实施例中,目标体积分割模型可以输出与对象的目标体积相关的边界信息以及与目标体积附近的一个或多个OAR相关的边界信息。关于目标体积分割模型的模型输入和模型输出的更多描述可以在本申请的其他地方找到,例如,参见图6、11和12及其相关描述。在一些实施例中,目标体积分割模型可以包括CTV分割模型。关于CTV分割模型的更多描述可以在本申请的其他地方找到,例如,图6-10及其相关描述。
在一些实施例中,目标体积分割模型(例如,CTV分割模型)可以是机器学习模型。例如,目标体积分割模型可以包括神经网络模型,例如,深度神经网络(DNN)模型、卷积神经网络(CNN)模型、深度扩张残差网络(DDRESNET)模型、残差网络(ResNet))模型、递归神经网络(RNN)模型或特征金字塔网络(FPN)模型等。示例性CNN模型可以包括V-Net模型、U-Net模型等或其任何组合。
在一些实施例中,处理设备140A(例如,获取模型402)可以经由网络(例如,网络120),从RT***100的一个或多个组件(例如,存储设备150、终端130)或外部源获取目标体积分割模型。例如,目标体积分割模型可以预先由计算设备(例如,处理设备140B)训练,并存储在RT***100的存储设备(例如,存储设备150、存储设备220和/或存储设备390)中。处理设备140A可以访问存储设备并检索目标体积分割模型。在一些实施例中,目标体积分割模型可以根据本申请其他地方描述的机器学习算法生成(例如,图4B和相关描述)。
在506,处理设备140A(例如,确定模块404)可以基于一个或多个目标图像和目标体积分割模型,确定与目标体积相关的边界信息。
与对象的目标体积相关的边界信息可包括可用于识别或定位目标体积的边界(例如,在物理域和/或图像域中)的任何信息。例如,对于对象的每个物理点或对象的一部分(例如,对象的某个切片),边界信息可以包括指示物理点是在对象的目标体积内部、外部还是在边界上的分类,物理点在目标体积边界内的概率值,物理点在目标体积边界外的概率值,物理点位于目标体积边界上的概率值等。如本文所述,对象的物理点是指与对象的目标图像或对象的另一图像中的体素或像素点对应的部分。应当注意,与物理点有关的信息也可以由对应于该物理点的像素点或体素有关的信息来表示。例如,物理点位于目标体积的内部、外部或边界上的概率可以分别由与物理点相对应的像素(或体素)位于目标图像中的目标体积的外部、内部或边界上的概率来表示。为了说明的目的,下面的描述参考基于对象的物理点的目标体积轮廓来描述,并且不旨在限制本申请的范围。
作为另一个示例,边界信息可以包括目标体积的分割图像。在一些实施例中,目标体积的分割图像可以是二值图像,其中对应于目标体积的像素(或体素)显示为白色,而其他像素(或体素)显示为黑色。作为另一个例子,目标体积的分割图像可以通过在对象的目标图像上注释目标体积(例如,用特定颜色)来生成。作为又一示例,目标体积的分割图像可以表示为矩阵,其中具有标签“1”的元素表示目标体积的物理点,具有标签“0”的元素代表目标体积外的物理点。作为又一示例,边界信息可以包括目标体积内和/或目标体积的边界上的物理点的坐标信息。
在一些实施例中,处理设备140A可以确定或获取模型输入,并且使用目标体积分割模型处理模型输入(例如,目标图像和/或与对象相关的其他信息)。仅作为示例,模型输入可以输入到目标体积分割模型中,并且目标体积分割模型可以直接输出与对象的目标体积相关的边界信息。或者,可以基于目标体积分割模型的输出来确定与对象的目标体积相关的边界信息。例如,目标体积分割模型可以输出对象的每个物理点在目标体积边界上的概率值。处理设备140A可以通过选择概率值超过阈值的物理点来确定目标体积的边界。
在一些实施例中,处理设备140A可以预处理模型输入并将处理后的模型输入输入到目标体积分割模型中。例如,处理设备140A可以执行一个或多个图像处理操作,例如图像去噪、图像增强、图像平滑、图像变换、图像重采样、图像归一化等,或其任何组合,在模型输入中包含的一张或多张图像上。在一些实施例中,目标体积分割模型已经根据损失函数进行了训练,其中损失函数可以根据用于描绘目标区域和目标区域附近的一个或多个OAR的勾画指南进行构建。在一些实施例中,目标体积分割模型可以包括CTV分割模型,并且处理设备140A可以通过执行结合图6描述的过程600来确定与对象的CTV相关的边界信息。
在508,处理设备140A(例如,生成模块406)可以基于与对象的目标体积相关的边界信息,生成针对目标区域的治疗计划。
治疗计划可以描述计划如何对对象执行放射治疗以治疗目标区域。治疗计划可包括信息,例如,在持续特定时间段(例如,数天)的治疗过程中的每个治疗期期间如何将一个或多个射束发射至对象的目标区域。例如,治疗计划可以提供总剂量(例如,0.1Gy、10Gy、50Gy、100Gy等)和目标区域中的剂量分布。在一些实施例中,可以基于边界信息生成治疗计划,使得在治疗期间,对象的目标体积可以接收足够的剂量(例如,超过阈值剂量的剂量),同时将发射到目标体积之外的区域的剂量最小化。
需要说明的是,上述关于流程500的描述仅是为了说明的目的,而不是为了限制本申请的范围。对于本领域的普通技术人员来说,可以在本申请的教导下做出多种变化和修改。然而,这些变化和修改并不脱离本申请的范围。在一些实施例中,过程500可以用一个或多个未描述的附加操作和/或不用上面讨论的一个或多个操作来完成。例如,过程500可以包括额外的发送操作以将确定的治疗计划发送到终端设备(例如,医生的终端130)以供显示。作为另一示例,过程500可以包括附加存储操作,将信息和/或数据(例如,一个或多个目标图像、与目标体积相关的边界信息、治疗计划等)存储在本申请其他地方公开的存储设备(例如,存储设备150)中。作为又一示例,可以省略操作508。
图6是根据本申请的一些实施例所示的用于确定与对象的CTV相关的边界信息的示例性过程的流程图。在一些实施例中,过程600可以由RT***100执行。例如,过程600可以被实现为存储在存储设备(例如,存储设备150、存储设备220和/或存储器390)中的指令集(例如,应用程序)。在一些实施例中,处理设备140A(例如,计算设备200的处理器210、移动设备300的CPU340和/或图4A中所示的一个或多个模块)可以执行指令集并且可以因此被指示执行过程600。
在602中,处理设备140A(例如,获取模块402)可以获取根据损失函数训练的CTV分割模型。
CTV分割模型是指用于CTV分割的模型(例如,机器学习模型)或算法。仅作为示例,CTV分割模型可以接收模型输入(例如,目标图像和/或与对象相关的其他信息),并且CTV分割模型可以输出与对象的CTV相关的边界信息。
在一些实施例中,CTV分割模型的损失函数可以根据用于描绘目标区域的CTV的勾画指南构建,使得CTV包括目标区域和目标区域附近的一个或多个特定OAR。例如,勾画指南可以指定目标区域周围的某些边缘应该包括在目标区域的CTV中。仅作为示例,直肠癌勾画指南可能规定在低骨盆区域,直肠CTV的后侧边缘应延伸至骨盆外侧肌肉或骨骼。在一些实施例中,勾画指南可由用户(例如,医生或放射科医师)或组织(例如,RTOG、RANZCR)确定。在一些实施例中,不同的病变类型(例如,肿瘤类型)可以具有不同的勾画指南。可以根据特定病变类型的勾画指南构建对应于特定病变类型的CTV分割模型的损失函数。关于CTV分割模型的生成和损失函数的构建的更多描述可以在本申请的其他地方找到(例如,图8-9及其描述)。
在604,处理设备140A(例如,确定模块404)可以基于一个或多个目标图像和CTV分割模型,确定与对象的CTV有关的边界信息。
与对象的CTV相关的边界信息可以类似于操作508描述的目标体积的边界信息。在一些实施例中,处理设备140A可确定或获取模型输入,并使用CTV分割模型处理模型输入。仅举例来说,模型输入可以输入到CTV分割模型中,CTV分割模型可以直接输出与对象的CTV相关的边界信息。或者,可以基于CTV分割模型的输出,确定与对象的CTV相关的边界信息。例如,CTV分割模型可以输出对象的每个物理点在CTV边界上的概率值。处理设备140A可以通过选择概率值超过阈值的物理点来确定CTV的边界。
在一些实施例中,处理设备140A可以预处理模型输入并将处理后的模型输入输入到CTV分割模型中。例如,处理设备140A可以执行一个或多个图像处理操作,例如,在模型输入中包含的一张或多张图像上进行图像去噪、图像增强、图像平滑、图像变换、图像重采样、图像归一化等,或其任何组合。
在一些实施例中,模型输入可以包括在操作502中获取对象的目标图像。在一些实施例中,目标图像可包括对象的3D图像,并且处理设备140A可从3D图像中提取一个或多个切片图像作为模型输入(或其一部分)。附加地或替代地,模型输入还可以包括目标区域的每个OAR的分割图像、对象的每个物理点的位置信息、目标区域的分割图像、OAR的每个物理位置到目标区域的边界之间的距离、CTV的参考分割图像、目标区域的分期等或其任意组合。
OAR的分割图像可以表示从502中获取的目标图像或对象的另一图像中分割出的对象的OAR。例如,分割图像可以包括OAR的二元分割掩模(例如,如图7所示的器官掩模704)。在二进制分割掩模中,对应于OAR的像素(或体素)可以显示为黑色,对应于剩余区域的像素(或体素)可以显示为白色。作为另一示例,二进制分割掩模可以表示为矩阵,其中具有标签“1”的元素表示OAR的物理点,具有标签“0”的元素代表OAR之外的物理点。
为了便于说明,下面描述基于对象的目标图像生成OAR的分割图像。在一些实施例中,OAR可以由用户(例如,医生、成像专家、技术人员)通过例如在用户界面上显示的目标图像上绘制边界框来从目标图像手动分割。可选地,OAR的分割图像可以由处理设备140A根据图像分析算法(例如,图像分割算法)自动生成。举例来说,处理设备140A可使用图像分割算法对目标图像进行图像分割。示例性图像分割算法可以包括阈值分割算法、基于压缩的算法、边缘检测算法、基于机器学习的分割算法等,或其任意组合。或者,OAR的分割图像可以由处理设备140A基于图像分析算法结合用户提供的信息半自动地生成。由用户提供的示例性信息可以包括与图像分析算法相关的参数、与要分割的OAR对应的区域相关的位置参数、对处理设备140A生成的初步分割结果的调整、拒绝或确认等。
在一些实施例中,处理设备140A可以通过使用一个或多个机器学习模型(例如,图12描述的训练后的OAR分割模型)处理目标图像来生成OAR的分割图像。在一些实施例中,可以在502中获取多个目标图像,并且处理设备140A可以基于每个目标图像(或其一部分)生成OAR的分割图像。在一些实施例中,OAR的分割图像可以由另一计算设备(例如,第三方的图像处理设备)生成并发送到处理设备140A。或者,OAR的分割图像可以预先生成并存储在存储设备(例如,存储设备150、存储设备220、存储器390或外部源)中。处理设备140A可以从存储设备中检索分割图像。在一些实施例中,目标区域可具有多个OAR,其中一部分可在勾画指南中提及。处理设备140A可以为勾画指南中提到的一个或多个OAR生成分割图像。
对象的物理点的位置信息可以包括,例如,在垂直于对象的轴向平面的方向(或称为轴向)上物理点的位置信息、在垂直于对象冠状面的方向(或称为冠状方向)上物理点的位置信息、或在垂直于对象矢状面的方向(或称为矢状方向)上物理点的位置信息等,或其任何组合。
在轴向上物理点的位置信息可以包括,例如,在轴向上物理点的坐标、在轴向上物理点所处位置的分类等,或其任意组合。例如,可以在轴向方向上,将对象划分为上部区域(例如,靠近对象头部的区域)、中部区域(例如,靠近对象腹部的区域)和下部区域(例如,区域靠近对象的脚)。物理点在轴向上的位置信息可以包括指示物理点位于轴向上的哪个区域的标签,例如,对应于下部区域的标签“1”、对应于中间区域的标签“2”和对应于上部区域的标签”3”。
在冠状方向上物理点的位置信息可以包括,例如,在冠状方向上物理点的坐标、在冠状方向上物理点所处位置的分类等,或其任何组合。例如,可以在冠状方向上将对象分为前部区域(例如,包括对象胸部的区域)、第一中央区域(例如,在对象中部的区域)和后部区域(例如,包括对象背部的区域)。物理点在冠状方向上的位置信息可以包括指示物理点位于冠状方向上哪个区域的标签,例如,对应于前部区域的标签“4”、对应于第一中心区域的标签“5”和对应于后部区域的标签”6“。
在矢状方向上物理点的位置信息可以包括,例如,在矢状方向上物理点的坐标在矢状方向上物理点所处位置的分类等,或其任意组合。例如,在矢状方向,对象可以被划分为左区域(例如,包括对象的左臂的区域)、第二中心区域(例如,包括对象的胸部的区域)和右区域(例如,包括对象的右臂的区域)。在矢状方向上物理点的位置信息可以包括指示物理点位于矢状方向的哪个区域的标签,例如,对应于右侧区域的标签“7”、对应于第二中心区域的标签“8”和对应于左侧区域的标签”9”。
在一些实施例中,对象在轴向、冠状方向和/或矢状方向上的划分可以根据RT***100的默认设置执行,或者由用户手动执行,或者由处理设备140A根据实际需要执行。仅举例来说,可以将对象沿轴向均匀地划分为三个区域,其中三个区域可以分别指定为上部区域、中部区域和下部区域。又如,可以将对象沿矢状方向平均分为四个区域,其中对象右侧的区域指定为右区域,对象左侧的区域指定为左区域,对象中间的两个区域被指定为第二中心区域。
目标区域的分割图像可以表示从502中获取的目标图像或对象的另一图像中分割出的对象的目标区域。目标区域分割图像的生成可以与OAR的分割图像类似,在此不再赘述。OAR的物理点到目标区域的边界之间的距离可以包括物理空间中的实际距离或图像域中的距离,该距离通过,例如,像素/体素数(计数)、长度等表示。
GTV的分割图像(或称为GTVmask)可以指示从502中获取的目标图像或对象的另一图像分割出的对象的GTV。GTV分割图像的生成可以与OAR分割图像类似,在此不再赘述。
CTV的参考分割图像可以基于GTV(例如,肿瘤)的分割图像生成。仅举例来说,参考分割图像可以通过在GTV的分割图像中在不同方向(例如,轴向、冠状方向和矢状方向)上扩大GTV的边界来生成。在一些实施例中,GTV的边界的扩大可以根据勾画指南来执行。
目标区域的分期可以反映目标区域中病变的严重程度。例如,肿瘤的分期可以反映肿瘤的恶性程度。在一些实施例中,处理设备140A可以基于,例如,大小、位置、肿瘤是否已经扩散到附近器官等或其任何组合来确定目标区域的分期。仅作为示例,处理设备140A可以根据TNM分期***确定肿瘤的分期(例如,第0分期、第1分期、第2分期、第3分期、第4分期等)。作为另一示例,处理设备140A可以使用分期确定模型,基于肿瘤的目标图像、肿瘤附近的一个或多个OAR的一个或多个分割图像和/或与肿瘤有关的其他信息(例如,诊断信息),确定肿瘤的分期。分期确定模型可以是配置用于基于其输入的分期确定的模型(例如,机器学习模型)或算法。
在一些实施例中,在操作602中,处理设备140A可以确定目标区域的分期,并获取或生成对应于目标区域分期的特定CTV分割模型。例如,不同分期的肿瘤可能具有不同的轮廓线,可以生成多个对应于不同分期的CTV分割模型并存储在存储设备(例如,存储设备150)中。处理设备140A可从多个CTV分割模型中选择对应于目标区域分期的特定CTV分割模型,并利用特定CTV分割模型来确定对象的CTV的边界信息。又例如,处理设备140A可获取对应于目标区域分期的轮廓线,并进一步根据所获取的轮廓线生成特定的CTV分割模型。
图7是根据本申请的一些实施例所示的CTV分割模型的示例性模型输入700的示意图。如图7所示,CTV分割模型的模型输入可以包括患者的切片701的一个或多个目标图像702、患者的一个或者多个OAR的一个或多个器官掩模704、与切片701的物理点相关的位置信息706以及患者的GTV掩模708。
仅作为示例,目标图像702可以包括切片701的CT切片图像A和MR切片图像B。器官掩模704(或称为分割图像)可以包括患者的四个OAR的器官掩模C、D、E和F。在OAR的器官掩模中,包含标记为“1”的元素的区域对应于患者的OAR,其余区域(即包含标记为“0”的元素的区域)为背景区域。在一些实施例中,器官掩模可以反映多个OAR的边界信息。例如,对应于不同OAR的元素可以在器官掩模中用不同的标签(例如,“1”、“2”和“3”)注释。类似于器官掩模,在GTV掩模708中,包括标记为“1”的元素的区域对应于患者的GTV,而剩余区域(即,包括标记“0”的元素)是背景区域。
切片701中的物理点的位置信息706可以包括如图7所示的与轴向方向相对应的位置图G、对应于冠状方向的位置图H和对应于矢状方向的位置地图P。在位置图G中,物理点的标签“1”表示物理点位于患者的下部区域,标签“2”表示物理点位于患者的中部区域,而标签“3”则表示物理点位于患者的上部区域。在位置图H中,物理点的标签“4”表示物理点位于患者的前方区域,标签“5”表示物理点位于患者的第一中心区域,标签“6”表示物理点位于患者背部。在位置图P中,物理点的标签“7”表示物理点位于患者右侧区域,标签“8”表示物理点位于患者第二中心区域,标签“9”表示物理点位于患者的左侧区域。
如图7所示,切片701中的所有物理点都位于患者轴向的中间区域,四分之一的物理点位于冠状方向的前部区域,一半的物理点处于冠状方向的第一个中央区域,四分之一的物理点位于冠状方向的后部区域中,四分之一物理点位于矢状方向的左侧区域中,一半物理点位于第二中心区域中,而四分之一物理点位于矢方向的右侧区域中。
在一些实施例中,如果患者的目标图像是2D灰度图像,则可以将目标图像表示为尺寸为w×h的矩阵,其中w表示目标图像的宽度,h表示目标图像高度。如果目标图像为二维彩色图像,则目标图像可以表示为w×h×C维的矩阵,其中C为RGB通道数。通常情况下,彩色图像通常具有三个RGB通道,分别对应于红色、绿色和蓝色。当二维彩色图像被输入到CTV分割模型中时,二维卷积层可以接收二维彩色图像作为输入并输出维度为w'×h'×C'的激活图,其中w'是指激活图的宽度,h'指激活图的高度,C'指输出通道数。
在一些实施例中,对于患者的一个或多个切片中的每一个,可以获取或生成切片的一个或多个切片图像(例如,从患者的3D目标图像中提取)。切片的切片图像的总计数表示为t,每个切片图像的宽度表示为w,每个切片的高度表示为h,并且每个切片的RGB通道的计数表示为C。在这种情况下,CTV分割模型的输入维度可以是(w×h×t)×C。
在一些实施例中,CTV分割模型的输入可以包括关于患者的每个切片的多个通道(或称为特征维度)。例如,假设患者目标区域的勾画指南指定在确定目标区域的CTV时需要考虑一组OAR(O1、O2、至ON)。CTV分割模型的输入可以包括用于患者的每个切片的(M+N+4)个通道,如下表1所示,其中M是指用于获取切片图像的成像模态的计数,并且N为OAR的个数,3为与切片位置信息相关通道的个数。
表1示例性的患者切片通道
通道索引 通道编码信息
通道0 由第一成像模态(例如,CT)采集的切片的切片图像
通道1 由第二成像模态(例如,MRI)采集的切片的切片图像
通道(M-1) 通过第M-1个成像模态获取的切片的切片图像
通道M到通道M+N-1 切片中OAR O1-ON的分割图像
通道M+N 切片中目标区域的分割图像
通道M+N+1 包括在轴向上切片的每个物理点的位置信息的位置图
通道M+N+2 包括在冠状方向上切片的每个物理点的位置信息的位置图
通道M+N+3 包括矢状方向上切片的每个物理点的位置信息的位置图
需要说明的是,上述关于CTV分割模型的模型输入的描述仅仅是为了说明的目的,而不是为了限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不脱离本申请的范围。仅作为示例,CTV分割模型的输入可以包括与患者有关的其他信息。附加地或替代地,可以省略上面讨论的一些信息。作为另一示例,目标图像、器官掩模和/或患者的切片701的位置图可以以任何其他形式表示。
图8是根据本申请的一些实施例所示的用于生成CTV分割模型的示例性过程的流程图。在一些实施例中,过程800可以由RT***100执行。例如,过程800可以被实现为存储在存储设备(例如,存储设备150、存储设备220和/或存储器390)中的指令集(例如,应用程序)。在一些实施例中,处理设备140B(例如,计算设备200的处理器210、移动设备300的CPU340和/或图4B中所示的一个或多个模块)可以执行指令集并且可以因此被指示执行过程800。在一些实施例中,可以根据过程800获取图6中的操作602描述的CTV分割模型。在一些实施例中,过程800可以由不同于RT***100的另一设备或***执行,例如,CTV分割模型的供应商或制造商的设备或***。为了便于说明,以处理设备140B执行流程800为例进行说明。
在802,处理设备140B(例如,获取模块408)可以获取初始模型。
初始模型是指待训练的模型。初始模型可以是如本申请的其他地方(例如,图5和相关描述)所述的任何类型的模型(例如,机器学习模型)。在一些实施例中,处理设备140B可以经由网络(例如,网络120)从RT***100的一个或多个组件(例如,存储设备150、终端130)或外部源(例如,第三方的数据库)获取初始模型。
初始模型可以包括多个模型参数。例如,初始模型可以是CNN模型,并且初始模型的示例性模型参数可以包括层的数量(或计数)、核的数量(或者计数)、内核大小、步长、每个卷积层的填充等,或者它们的任何组合。在训练之前,第三初始模型的模型参数可以具有各自的初始值。例如,处理设备140B可初始化第三预备模型的模型参数的参数值。
在804中,处理设备140B(例如,获取模块408)可以获取多个训练样本。
每个训练样本可以包括样本对象的一个或多个样本图像和与样本对象的样本CTV相关的真值边界信息,其中样本CTV可以包括样本对象的样本目标区域和样本目标区域附近的一个或者多个样本OAR。样本对象的样本目标区域可以是具有某种需要放射治疗的病灶的区域。
在一些实施例中,不同训练样本的样本目标区域可能具有相同类型的病变。如果两个病灶,例如,位于同一器官或组织,具有相同或相似的症状等,或者它们的任何组合,则可以认为它们属于同一类型。例如,不同训练样本的样本目标区域可能都患有肝癌。由于不同的病变类型可能有不同的勾画指南,因此可能需要为不同的病变类型生成不同的CTV分割模型。例如,为了生成用于胃癌的CTV轮廓绘制的CTV分割模型,可以获取多个胃癌样本患者的多个训练样本,并且每个样本患者的样本目标区域可以包括样本患者的胃。在一些实施例中,如图5所述,每个训练样本的样本目标区域可以具有与对象的目标区域相同类型的损伤(例如,肿瘤)。样本对象的样本OAR可以类似于图5描述的目标区域的OAR。
样本对象的样本图像可以包括,例如,样本对象的CT图像、MR图像、PET图像等或其任意组合。样本对象的样本图像可以类似于操作502描述的对象的目标图像。与样本对象的样本CTV相关的真值边界信息是指可用于识别或定位样本CTV的边界的边界信息。样本CTV的边界可以由用户根据用于描绘样本对象的样本目标区域的CTV的勾画指南来确定或确认。例如,肺癌样本患者的样本图像可以显示在用户终端上,并且医生可以根据对应于肺癌的勾画指南在样本图像上绘制样本患者的肺部的CTV的边界。又例如,可以通过计算设备确定样本患者肺部CTV的初步边界,医生可以调整初步边界使其符合肺癌对应的轮廓线。
在一些实施例中,样本对象的训练样本可以进一步包括样本对象的每个样本OAR的样本分割图像、样本对象的每一个样本物理点的样本位置信息、样本对象样本目标区域的样本分割图像、以及样本对象的样本对象区域的样本图像、样本OAR的每个样本物理点与样本对象的样本目标区域的边界之间的样本距离等或其任意组合。样本OAR的样本分割图像可以类似于操作604描述的OAR的分割图像。样本对象的样本物理点的样本位置信息可以类似于操作604描述的对象的物理点的位置信息。例如,样本对象的样本物理点的样本位置信息可以包括沿着样本对象的轴向的样本位置、沿着样本对象冠状方向的样本位置和沿着样本对象矢状方向的样本信息等,或者它们的任意组合。
在一些实施例中,处理设备140B可以经由网络(例如,网络120),从RT***100的一个或多个组件(例如,存储设备150、终端130)或外部源(例如,第三方的数据库)获取训练样本(或其一部分)。仅作为示例,处理设备140B可以基于样本对象的样本图像,生成样本对象的样本OAR的样本分割图像。
在一些实施例中,处理设备140B可以基于训练样本,确定要输入到初始模型(或经更新的初始模型)中的样本模型输入。例如,对于训练样本的样本对象的每个样本物理点,处理设备140B可以构建第一5D张量作为关于样本物理点的样本模型输入。样本物理点的第一5D张量可以包括5个维度,包括批次索引(例如,样本物理点所属的训练样本的标识)、通道索引、切片索引、行索引和列指数。批索引、切片索引、行索引和列索引可用于标识样本物理点的物理位置。样本物理点可以具有要由(经更新的)初始模型处理的多个第一通道(或称为特征维度),并且通道索引可以用于标识第一通道中的特定通道。
在一些实施例中,样本物理点的第一通道可以类似于表1中所示的患者切片的通道。仅作为示例,样本物理点可以位于样本对象的特定切片中,并且样本物理点的第一通道可以包括特定切片的切片图像中的样本物理点像素/体素值、样本对象的样本OAR的样本分割图像中的样样物理点的标签、以及样本对象的第一通道、在样本对象的冠状方向上样本物理点的样本位置信息、在样本对象轴向上样本物理点的样本位置信息、在样本对象矢状方向上样本物理点的样本位置信息等,或其任意组合。需要说明的是,上述针对样本物理点的样本模型输入仅用于说明目的,并非用于限制本申请的范围。关于样本物理点的样本模型输入可以以任何形式表示,例如,具有任意维数的向量、平面阵列等。
在806,处理设备140B(例如,构建模块410)可以获取损失函数。
损失函数可以评估初始模型或从初始模型更新得到的经更新的初始模型的准确性。例如,损失函数可用于评估由经更新的初始模型输出的预测结果(例如,预测的边界信息)是否满足勾画指南和/或预测结果是否与训练样本的真值边界信息一致。在一些实施例中,可以基于勾画指南专门设计损失函数,使得(经更新的)初始模型可以学习满足勾画指南的CTV勾画机制。在一些实施例中,处理设备140B可将轮廓线转换成一个或多个逻辑约束,并基于一个或多个逻辑约束构建损失函数。关于损失函数的构建的更多描述可以在本申请的其他地方找到。
在808中,处理设备140B(例如,模型生成模块412)可以根据损失函数,使用多个训练样本训练初始模型,生成CTV分割模型。
在初始模型的训练过程中,处理设备140B可以根据损失函数将初始模型的模型参数的参数值从初始值更新为训练值,从而生成CTV分割模型。例如,初始模型的训练可以包括迭代操作,迭代操作包括一次或多次迭代。为了说明的目的,在下文中描述了当前迭代的实现。当前迭代可以基于训练样本的至少一部分来执行。在一些实施例中,可以在训练初始模型的不同迭代中使用相同组或不同组的训练样本。为了描述方便,本次迭代中使用的至少一部分训练样本称为目标训练样本。
仅举例而言,在当前迭代中,对于每个目标训练样本,处理设备140B可以基于在先前迭代中生成的经更新的初始模型,获取目标训练样本的样本CTV的预测边界信息。例如,对于目标训练样本,处理设备140B可以生成样本模型输入并将样本模型输入输入到经更新的初始模型中。经更新的初始模型可输出目标训练样本的预测边界信息,或需要由处理设备140B处理以产生预测边界信息的其他信息。如果当前迭代是训练过程中的第一次迭代,则处理设备140B可以基于原始初始模型获取目标训练样本的预测边界信息。
在一些实施例中,如操作804所描述的,处理设备140B可以确定关于训练样本的每个样本物理点的样本模型输入。关于样本物理点的样本模型输入可以表示为第一5D张量,包括批索引、通道索引、切片索引、行索引和列索引的维度。经更新的初始模型可以被配置为生成关于样本物理点的样本输出。例如,样本输出可以表示为第二5D张量,其包括与第一5D张量相同的维度。第二5D张量的通道索引可以用于标识经更新的初始模型输出的样本物理点的特定第二通道(或称为特征维度)。
处理设备140B还可以根据每个目标训练样本的预测边界信息,确定损失函数的值。进一步的,处理设备140B可以基于损失函数的值,确定经更新的初始模型的评估结果。评估结果可以指示经更新的初始模型是否被充分训练。例如,处理设备140B可根据损失函数的值,判断本次迭代是否满足终止条件。一个示例性的终止条件可以是本次迭代中损失函数的值小于阈值、前一次迭代与本次迭代中得到的损失函数值之间的差值(或一定次数的连续迭代得到的损失函数值之间的差值)小于某个阈值等,或其任何组合。其他示例性终止条件可以包括已经执行了最大数量(或计数)的迭代。
响应于确定在当前迭代中不满足终止条件,处理设备140B可以确定经更新的初始模型未被充分训练,并且进一步基于损失函数的值,更新经更新的初始模型。仅作为示例,处理设备140B可以根据反向传播算法,例如,随机梯度下降反向传播算法,更新经更新的初始模型的至少一些参数值。处理设备140B可进一步进行下一次迭代,直至终止条件被满足。响应于确定在当前迭代中满足终止条件,处理设备140B可以确定经更新的初始模型被充分训练并且终止训练过程。经更新的初始模型可以指定为CTV分割模型。
图9是根据本申请的一些实施例所示的用于构建CTV分割模型的损失函数的示例性过程的流程图。在一些实施例中,可以执行过程900的一个或多个操作以提供如图8所描述的操作806中涉及的损失函数。
在902,处理设备140B(例如,构建模块410)可以将勾画指南转换成一个或多个逻辑约束。
逻辑约束可以被视为勾画指南的数学表达式。例如,逻辑约束可以包括一个或多个逻辑运算符,例如和、或、否定(即,不)、条件语句(例如,“如果…然后......”)来表达勾画指南。在一些实施例中,在模型训练期间,逻辑约束可用于评估初始模型或从初始模型更新得到的经更新的初始模型的准确性。例如,逻辑约束可以评估被预测为样本CTV的边界物理点的样本物理点是否满足勾画指南。
为了说明的目的,下文提供了将轮廓线转换成逻辑约束的示例性实施例。仅作为示例,一个或多个逻辑约束可以包括多个逻辑运算符,如下面的等式(1)至(5)所示:
A&B=max{A+B-1,0}, (1)
A OR B=min{A+B,1}, (2)
A1^A2^An=∑Ai/N,, (3)
其中,A和B指的是两个待分析的数据字段,“&”和“^”可以起到类似逻辑与运算符的作用,“&”可以作为选择运算符,“^”可以是一个平均运算符。
例如,直肠癌的第一个勾画指南可能规定,在低骨盆区域,直肠CTV的后侧边缘应延伸到骨盆外侧肌肉或骨骼。处理设备140B可将第一轮廓线转换成如下式(6)所示的第一逻辑约束:
[Inferior==axial(X[b,M+N+1,d,r,c])]&[Boundary_CTV==class(Y[b,0,d,r,c])]&[Back==Coronal(X[b,M+N+2,d,r,c])OR Left==sagittal(X[b,M+N+3,d,r,c])ORRight==sagittal(X[b,M+N+3,d,r,c])]=>[1==X[b,p1,d,r,c]OR 1==X[b,p2,d,r,c]],, (6)
其中,b表示样本对象的样本物理点的批索引,(M+N+1)表示轴向位置信息对应的通道索引,(M+N+2)表示冠状方向位置信息对应的通道索引,(M+N+3)表示矢状方向位置信息对应的通道索引,d表示样本物理点所在样本切片的切片索引,r表示样本切片中的物理点的行索引,c表示样本切片中样本物理点的列索引,p1表示骨盆骨的通道索引,p2表示盆腔肌肉的通道索引。
在第一逻辑约束中,第一个子句[Inferior==axial(X[b,M+N+1,d,r,c])]可用于判断样本物理点是否位于样本对象在轴向方向上的下部区域;如果样本物理点位于下部区域,则可以等于1;如果样本物理点不位于下部区域,则可以等于0。第二个子句[Boundary_CTV==class(Y[b,0,d,r,c])]可用于判断样本物理点是否被预测为在直肠的样本CTV的边界上,如果预测样本物理点在边界上,则等于1;如果预测样本物理点不在边界上,则等于0。第三子句[Back==coronal(X[b,M+N+2,d,r,c])ORLeft==sagittal(X[b,M+N+3,d,r,c])ORRight==sagittal(X[b,M+N+3,d,r,c])]可用于判断样本物理点是否位于在冠状方向上样本对象的背部区域,或者在矢状方向上样本对象的左侧区域或右侧区域;如果样本物理点位于背部区域、或者左侧区域、或者右侧区域,则可以等于1;如果样本物理点不位于背部区域、或者左侧区域、或者右侧区域,则可以等于0。第四个子句[1==X[b,pl,d,r,c]OR1==X[b,p2,d,r,c]]可用于判断样本物理点是否属于骨盆样本对象的骨骼或骨盆肌肉;如果样本物理点属于骨盆骨或骨盆肌肉,则可以等于1;如果样本物理点既不属于骨盆骨,也不是骨盆肌肉,则可以等于0。
第一个逻辑约束中的逻辑运算符“=>”可以用来判定样本物理点是否位于在轴向方向上样本对象的下部区域,并且也位于冠状方向上的后部区域或矢状方向上左侧或右侧区域;如果样本物理点被预测为直肠的CTV样本的边界物理点,则样本物理点也属于盆骨或盆腔肌肉。第二子句[Boundary_CTV==class(Y[b,0,d,r,c]]的取值可以根据在模型训练过程中,初始模型或经更新的初始模型输出的样本物理点的预测结果来确定。如果第一逻辑约束等于1,则可以认为判定为真,并且关于样本物理点的预测结果满足直肠癌第一勾画指南;如果第一逻辑约束等于0,则判定可以被认为是错误的并且关于样本物理点的预测结果不满足第一勾画指南。仅举例来说,只有当第一子句、第二子句和第三子句的值都等于1时,逻辑运算符“=>”的左边才可以等于1,否则,左边可能等于0。如果样本物理点既不属于骨盆肌肉也不属于骨盆骨,则逻辑运算符“=>”右边可以等于0,否则右边可以等于1。如果左边等于1,右边等于0,则第一个逻辑约束可能等于0,判定被认为是假的。换句话说,一个不属于骨盆肌肉或骨盆骨的样本物理点被(经更新的)初始模型确定为在直肠样本CTV的边界上,表明(经更新的)初始模型模型输出错误预测,需要“惩罚”。如果左边等于1,右边等于1,则第一个逻辑约束可能等于1,判定被认为是真实的。换言之,(经更新的)初始模型确定属于骨盆肌肉或骨盆骨的样本物理点位于直肠CTV的边界上,表明(经更新的)初始模型输出了真实的预测,不需要被“惩罚”。
再举一个例子,直肠癌的第二勾画指南可能规定,在中骨盆区域,直肠的CTV应覆盖直肠、直肠系膜、髂内血管和骶前间隙。处理设备140B可将第二轮廓线转换为第二逻辑约束条件,如下式(7)所示:
[Middle==axial(X[b,M+N+1,d,r,c])]&[1==X[b,p3,d,r,c]OR 1==X[b,p4,d,r,c]OR 1==X[b,p5,d,r,c]]OR 1==X[b,p6,d,r,c]]=>[Inside-CTV==class(Y[b,0,d,r,c])], (7)
其中,p3表示直肠的通道索引,p4表示直肠系膜的通道索引,p5表示髂内血管的通道索引,p6表示骶前空间的通道索引。
在第二逻辑约束中,子句[Middle==axial(X[b,M+N+1,d,r,c])]可以用来判断样本物理点是否位于轴方向上的样本对象的中间区域;如果样本物理点位于中间区域则可以等于1;如果样本物理点不位于中间区域则可以等于0。子句[1==X[b,p3,d,r,c]OR1==X[b,p4,d,r,c]OR1==X[b,p5,d,r,c]]OR 1==X[b,p6,d,r,c]]可用于判断样本物理点是否属于样本的直肠、直肠系膜、髂内血管或骶前间隙之一;如果样本物理点属于直肠、直肠系膜、髂内血管或骶前间隙之一,则可以等于1;如果样本物理点不属于直肠、直肠系膜、髂内血管或骶前间隙中任何一个,则可以等于0。子句[Inside_CTV==class(Y[b,0,d,r,c])]可用于判断样本物理点是否被预测为在直肠的样本CTV内部;如果样本物理点被预测在直肠的样本CTV内部,则可以等于1,如果样本物理点被预测不在该样本CTV内,则可以等于0。第二逻辑约束的实现可以与第一逻辑约束类似,此处不再赘述。
在904中,处理设备140B(例如,构建模块410)可以构建第一损失函数,用于评估训练样本的预测边界信息是否满足一个或多个逻辑约束。
训练样本的预测边界信息可以在模型训练期间,由初始模型或经更新的初始模型输出。第一损失函数可以用于评估预测的边界信息是否满足逻辑约束。例如,直肠癌的第一轮廓线可以转换为如前所述的等式(6)中定义的第一轮廓线。对于训练样本的每个样本物理点,处理设备140B可以确定第一逻辑约束的值。当第一逻辑约束的值等于1时,第一损失函数可以具有比当第一逻辑约束的值等于0时更小的值。
在一些实施例中,一个或多个逻辑约束可以包括多个逻辑约束。第一损失函数可以合并多个逻辑约束中的每一个的权重。例如,具有较高权重的逻辑约束在CTV轮廓线绘制中可能具有更大的重要性。仅作为示例,假设勾画指南被转换成一组逻辑约束R1、R2、…和Rm,并且权重λi被分配给第i个逻辑约束。对于训练样本的样本物理点v,样本模型关于样本物理点v的输入记为X(v),样本关于样本物理点v的输出记为Y(v),将样本物理点v是否满足第i个逻辑约束的评价结果表示为Ri(X(v),Y(v))(其取值范围为[0,1])。第一损失函数可以根据如下等式(8)构建:
LogicLoss(v)=-(q(v)*log(Y(v)+(1-q(v))*log(1-Y(v)))), (8)
其中,LogicLoss(v)表示与样本物理点v对应的第一损失函数的值,q(v)表示与逻辑约束的评估结果相关的逻辑评估输出。例如,q(v)可根据如下等式(9)确定:
其中C表示调整系数。在一些实施例中,可以调整调整系数的值以获取不同的损失函数。例如,调整系数的值可以根据RT***100的默认设置调整,也可以由用户手动调整,或者由处理设备140A根据实际需要调整。
在906中,处理设备140B(例如,构建模块410)可以构建第二损失函数,用于衡量训练样本的预测边界信息和真值边界信息之间的差异。
示例性第二损失函数可以包括焦点损失函数、对数损失函数、交叉熵损失、Dice比率等。仅作为示例,第二损失函数可以根据如下等式(10)构建:
crossEntropyLOSS(v)=-(GT(v)*(Y(v)+(1-GT(v))*(1-Y(v)), (10)
其中,crossEntropyLOSS(v)表示对应于样本物理点v的第二损失函数的值,GT(v)表示与样本物理点v相关的真值边界信息,GT(v)表示与样本物理点v相关的预测边界信息。
在908,处理设备140B(例如,构建模块410)可以基于第一损失函数和第二损失函数,构建损失函数。例如,损失函数可以是第一损失函数和第二损失函数的和或加权和。仅举例来说,处理设备140B可根据以下等式(11),构建损失函数:
Loss(v)=W*LogicLoss(v)+(1-W)*crossEntropyLoss(v), (11)
其中,Loss(v)表示样本物理点v对应的损失函数的值,W表示LogicLoss(v)的权重,(1-W)表示crossEntropyLoss(v)的权重。
在一些实施例中,损失函数可用于训练初始模型。为了说明的目的,图10是根据本申请的一些实施例所示的用于训练初始模型的示例性当前迭代的示意图。当前迭代可以使用一个或多个目标训练样本来执行。如图10所示,在当前迭代中,可以将每个目标训练样本的每个样本物理点v的样本模型输入输入到在先前迭代中生成的经更新的初始模型中。经更新的初始模型可输出各样本物理点v的预测边界信息,或需要由处理设备140B处理以产生预测边界信息的其他信息。
对每个样本物理点v,处理设备140B可以确定LogicLoss(v)(即,第一损失函数的值)和crossEntropyLoss(v)(即,第二损失函数的值)。然后,对每个样本物理点v,处理设备140B可以基于样本物理点v的LogicLoss(v)以及crossEntropyLoss(v),确定Loss(v)。处理设备140B可以基于每个样本物理点v的Loss(v),对经更新的初始模型执行反向传播。在一些实施例中,处理设备140B可以确定损失函数的最终值。例如,,处理设备140B可以确定每个物理点v的Loss(v)的平均值作为损失函数的最终值。处理设备140A可以于损失函数的最终值更新该经更新的初始模型。
应当注意,以上关于图8-10的描述仅仅是为了说明的目的而提供的,而不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改并不脱离本申请的范围。例如,可以使用不同于等式(1)-(5)中定义的一个或多个逻辑运算符来构建逻辑约束。作为另一示例,上面提供的等式可以根据实际需要进行修改,例如,包括一个或多个附加系数或者没有如上所述的一个或多个系数。
图11是根据本申请的一些实施例所示的用于确定与对象的目标体积相关的边界信息的示例性过程的示意图。过程1100可以是图5描述的过程500的示例性实施例。
在1102,处理设备140A(例如,获取模块402)可以获取对象的一个或多个目标图像。对象可以包括放射治疗所针对的目标区域。可以按照与操作502类似的方式来执行操作1102,在此不再赘述。
在1104中,处理设备140A(例如,获取模块402)可以获取根据机器学习技术训练的目标体积分割模型M1。
在一些实施例中,目标体积分割模型M1可以被配置为接收目标图像,并输出与目标体积相关的边界信息(例如,GTV、CTV、PTV)以及与目标区域附近的一个或多个OAR相关的边界信息。使用目标体积分割模型M1可以提高临床目标轮廓绘制的效率,提供更全面的目标区域相关信息,从而提高诊断效率和准确性。
在一些实施例中,可以通过使用多个第二训练样本训练第二初始模型,以生成目标体积分割模型M1。第二训练样本中的每一个可以包括样本对象的一个或多个样本图像、与样本对象的样本目标体积相关的真值边界信息以及与样本对象的一个或多个样本OAR相关的真值边界信息。第二初始模型的训练可以类似于图8描述的初始模型的训练,,在此不再赘述。
在1106中,处理设备140A(例如,确定模块404)可以基于目标图像和目标体积分割模型M1,确定与目标体积相关的边界信息和与一个或多个OAR相关的边界信息。可以按照与操作506类似的方式来执行操作1106,在此不再赘述。
过程1200可以是图5描述的过程500的示例性实施例。过程1200可以是图5描述的过程500的示例性实施例。
如图12所示,在1202中,处理设备140A(例如,获取模块402)可以获取对象的一个或多个目标图像。可以按照与操作502类似的方式来执行操作1202,在此不再赘述。
在1204,处理设备140A(例如,采集模块402)可以获取一个或多个OAR分割模型。
OAR分割模型可以对应于一个或多个特定的器官或组织。例如,脑分割模型可以对应于人脑并用于脑分割。仅作为示例,大脑分割模型可以接收模型输入(例如,目标图像和/或与患者相关的其他信息),并输出与患者大脑相关的边界信息。在一些实施例中,OAR分割模型可以包括深度学习模型,例如,深度神经网络(DNN)模型、卷积神经网络(CNN)模型、递归神经网络(RNN)模型、特征金字塔网络(FPN))模型等。示例性CNN模型可以包括V-Net模型、U-Net模型、Link-Net模型等或其任何组合。
OAR分割模型可以由计算设备(例如,处理设备140B或另一计算设备(例如,分割模型的供应商的处理设备))根据如本申请其他地方所述的机器学习算法(例如,图4B和相关描述)来生成。仅举例来说,可以使用人脑的多个训练图像来训练大脑分割模型,其中每个训练图像中的大脑已经被医生注释或确认。在一些实施例中,OAR分割模型的获取可以与本申请其他部分描述的目标体积分割模型的获取方式类似,在此不再赘述。
在1206中,处理设备140A(例如,确定模块404)可以基于目标图像和OAR分割模型,确定与目标区域附近的一个或多个OAR相关的边界信息。
例如,对于目标区域附近的特定器官,处理设备140A可以将目标图像输入到与特定器官相对应的特定OAR分割模型中,并且特定OAR分段模型可以输出与特定OAR相关的边界信息。在一些实施例中,使用OAR分割模型确定与OAR相关的边界信息可以以与操作506描述的使用目标体积分割模型确定与目标体积相关的边界信息类似的方式来执行,此处不再赘述。
在1208,处理设备140A(例如,确定模块404)可以确定目标区域的分期。
例如,处理设备140A可以基于一个或多目标图像、目标区域附近的一个或多个OAR的边界信息和/或与目标区域有关的其他信息(例如,诊断信息),使用分期确定模型确定目标区域的分期。关于目标区域分期的确定的更多描述可以在本申请的其他地方找到,参见,例如,操作604及其相关描述。
在1210中,处理设备140A(例如,获取模块402)可以获取根据机器学习技术训练的目标体积分割模型M2。
在一些实施例中,目标体积分割模型M2可以是机器学习模型,其被配置为接收目标图像、与一个或多个OAR相关的边界信息、目标区域的分期,并且输出与目标体积(例如,GTV、CTV、PTV)相关的边界信息。例如,可以通过使用多个第三训练样本训练第三初始模型来生成目标体积分割模型M2。每个第三训练样本可以包括样本对象的一个或多个样本图像、样本对象的样本目标区域的样本分期、与样本对象的一个或多个样本OAR相关的样本真值边界信息以及与样本对象的样本目标体积有关的真值边界信息。第三初始模型的训练可以与图8描述的初始模型的训练类似,,在此不再赘述。
在1212中,处理设备140A(例如,确定模块404)可以基于目标图像、与一个或多个OAR相关的边界信息和目标区域的分期,使用目标体积分割模型M2确定与目标体积相关的边界信息。可以以与操作506类似的方式来执行操作1212,在此不再赘述。在一些实施例中,与一个或多个OAR相关的边界信息和目标区域的分期可以提供与目标体积相关的参考信息并且促进目标体积的分割。
需要说明的是,以上关于过程1100和/或1200的描述仅仅是为了说明的目的,而不是为了限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不脱离本申请的范围。在一些实施例中,过程500可以用一个或多个未描述的附加操作和/或不用上面讨论的一个或多个操作来完成。
例如,可以省略操作1208,并且处理设备140A可以基于与一个或多个OAR相关的边界信息和目标图像,使用目标体积分割模型确定与目标体积相关的边界信息。附加地或备选地,在1210中,处理设备140A可以获取对应于目标区域的分期的目标体积分割模型M2。作为另一示例,可以省略操作1204,并且可以由用户(医生)手动确定与一个或多个OAR相关的边界信息。
图13A是根据本申请的一些实施例所示的对象的示例性OAR分割图像的示意图。如图13A所示,对象的OAR分割图像包括与对象的轴向平面相对应的OAR分割图像1302、与对象的矢状面相对应的OAR分割图像1304、与对象的冠状面相对应的分割图像1306,以及对象的3D OAR分割图像1308。在OAR分割图像1302、1304和1306中的每个分割图像中,表示对象的OAR的区域(例如,血管、骨骼、膀胱、直肠和肌肉)由虚线注释。
图13B是根据本申请的一些实施例所示的对象的示例性CTV分割图像的示意图。如图13B所示,对象的CTV分割图像包括对应于对象轴向平面的CTV分割图像1310、对应于对象矢状平面的CTV分割图像1312、对应于对象冠状平面的CTV分割图像1314,和对象的3D CTV分割图像1316。在CTV分割图像1310、1312和1314中的每一个中,用虚线注释表示对象的CTV的区域。CTV分割图像是使用本申请的目标体积分割模型生成的。
上文已对基本概念做了描述,显然,对于阅读此申请后的本领域的普通技术人员来说,上述发明披露仅作为示例,并不构成对本申请的限制虽然此处并未明确说明,但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域的普通技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的过程、机器、产品或物质的组合,或对其任何新的和有用的改进。因此,本申请的各方面可以完全由硬件、完全由软件(包括固件、驻留软件、微代码等)或结合软件和硬件实现来实现,这些实现在本文中通常称为“单元”、“模块”或“***”。此外,本申请的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或更多个计算机可读媒体具有体现在其上的计算机可读程序代码。
计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号,例如,在基带上或作为载波的一部分此类传播信号可以有多种形式,包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行***、设备或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF等,或任何上述介质的组合。
可以用一种或多种编程语言的任意组合来编写用于执行本申请各方面的操作的计算机程序代码,包括面向主题的编程语言,例如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,传统过程编程语言,例如“C”编程语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言,例如Python、Ruby和Groovy,或其他编程语言语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者可以与外部计算机建立连接(例如,通过使用网络服务提供商的网络)或在云计算环境中或作为服务提供,例如,软件服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,尽管上述各种组件的实现可以体现在硬件设备中,但也可以实现为纯软件解决方案,例如,在现有服务器或移动设备上的安装。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请的实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,本申请的该方法不应被解释为反映所声称的待对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (22)

1.一种用于放射治疗中的临床靶标勾画***,包括:
至少一个存储设备,包括一组指令集;和
至少一个处理器,被配置为与所述至少一个存储设备通信,其中,当执行所述指令集时,所述至少一个处理器被配置为指示所述***执行操作,所述操作包括:
获取对象的一个或多个目标图像,所述对象包括放射治疗所针对的目标区域;
获取根据机器学习技术训练的目标体积分割模型;以及
基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述对象的目标体积有关的边界信息,所述目标体积包括所述目标区域的至少一部分。
2.如权利要求1所述的***,其特征在于,所述目标体积包括所述对象的总的肿瘤体积(GTV)、临床目标体积(CTV)或计划目标体积(PTV)中的至少一种。
3.根据权利要求1所述的***,其特征在于,所述目标体积分割模型已经根据损失函数被训练,所述损失函数根据用于描绘所述目标区域和所述目标区域附近的一个或多个处于危险中的器官(OAR)的勾画指南被构建。
4.如权利要求3所述的***,其特征在于,
所述目标体积包括所述对象的CTV,
所述目标体积分割模型包括CTV分割模型,
根据用于描绘所述目标区域的CTV的勾画指南,构建损失函数,使得所述CTV包括所述目标区域和所述目标区域附近的一个或多个OAR,以及
所述基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述目标体积的有关的边界信息包括:基于所述目标图像和所述CTV分割模型,确定与所述对象的CTV有关的边界信息。
5.如权利要求4所述的***,其特征在于,所述基于所述一个或多个目标图像和CTV分割模型,确定与所述对象的CTV有关的边界信息包括:
对于所述一个或多个OAR中的每一个,获取所述OAR的分割图像;
针对所述对象的每个物理点,获取所述物理点的位置信息;以及
通过使用所述CTV分割模型处理所述对象的所述一个或多个分割图像、所述位置信息和所述一个或多个目标图像,确定与所述对象的CTV有关的所述边界信息。
6.根据权利要求5所述的***,其特征在于,对于所述对象的每个物理点,所述物理点的所述位置信息包括以下中的至少一者:
沿与所述对象的轴向平面相垂直的方向的所述物理点的位置信息,
沿与所述对象的冠状面相垂直的方向的所述物理点的位置信息,或者
沿与所述对象的矢状面相垂直的方向的所述物理点的位置信息。
7.如权利要求4所述的***,其特征在于,所述CTV分割模型通过模型训练过程生成,所述模型训练过程包括:
获取初始模型;
获取多个训练样本,所述多个训练样本中的每一个训练样本包括样本对象的一个或多个样本图像和与所述样本对象的样本CTV有关的真值边界信息,所述样本CTV包括所述样本对象的样本目标区域和所述样本目标区域附近的一个或多个样本OAR;
基于所述勾画指南构建所述损失函数;以及
根据所述损失函数,使用所述多个训练样本训练所述初始模型,生成所述CTV分割模型。
8.如权利要求7所述的***,其特征在于,所述基于所述勾画指南,构建损失函数包括:
将所述勾画指南转换为一个或多个逻辑约束;以及
基于所述一个或多个逻辑约束构建所述损失函数。
9.如权利要求8所述的***,其特征在于,所述根据所述损失函数,使用所述多个训练样本训练所述初始模型包括迭代操作,所述迭代操作包括一次或多次迭代,并且所述一次或多次迭代中的至少一次迭代包括:
对所述多个训练样本的至少一部分中的每一个训练样本,基于在上一次迭代中生成的经更新的初始模型,获取所述训练样本的所述样本CTV的预测边界信息;
基于所述多个训练样本中的所述至少一部分的每一个训练样本的所述预测边界信息,确定所述损失函数的值;以及
根据所述损失函数的值,确定所述经更新的初始模型的评估结果。
10.如权利要求9所述的***,其特征在于,所述基于所述一个或多个逻辑约束构建所述损失函数包括:
构建第一损失函数,用于评估训练样本的所述预测边界信息是否满足所述一个或多个逻辑约束;
构建第二损失函数,用于衡量训练样本的所述预测边界信息与所述真值边界信息之间的差异;以及
基于所述第一损失函数和所述第二损失函数,构建所述损失函数。
11.根据权利要求8所述的***,其特征在于,所述一个或多个逻辑约束包括多个逻辑约束,并且所述第一损失函数包括所述多个逻辑约束中的每一个的权重。
12.如权利要求7所述的***,其特征在于,所述多个训练样本中的每一个训练样本进一步包括:
所述样本对象的所述一个或多个样本OAR中的每一个样本OAR的样本分割图像;以及
所述样本对象的每个样本物理点的样本位置信息。
13.根据权利要求1所述的***,其特征在于,所述至少一个处理器进一步被配置为指示所述***执行操作,所述操作包括:
基于与所述对象的目标体积有关的边界信息,生成针对所述目标区域的治疗计划。
14.如权利要求1所述的***,其特征在于,所述基于所述一个或多个目标图像和目标体积分割模型,确定与所述目标体积有关的边界信息包括:
基于所述一个或多个目标图像,确定所述目标体积分割模型的模型输入;
将所述模型输入输入到所述目标体积分割模型中,得到所述目标体积分割模型的模型输出;以及
基于所述模型输出,确定与所述目标体积有关的所述边界信息,其中,所述模型输出包括与所述目标体积有关的边界信息和与所述目标区域附近的所述一个或多个OAR有关的边界信息。
15.如权利要求1所述的***,其特征在于,所述基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述目标体积有关的边界信息包括:
获取与所述目标区域附近的所述一个或多个OAR有关的边界信息;以及
基于所述一个或多个目标图像、所述目标体积分割模型和与所述一个或多个OAR有关的边界信息,确定与所述目标体积有关的边界信息。
16.如权利要求15所述的***,其特征在于,所述获取与所述目标区域附近的所述一个或多个OAR有关的所述边界信息包括:
获取一个或多个OAR分割模型;以及
基于所述一个或多个目标图像和所述一个或多个OAR分割模型,确定与所述目标区域附近的所述一个或多个OAR有关的所述边界信息。
17.如权利要求15所述的***,其特征在于,所述基于所述一个或多个目标图像、所述目标体积分割模型和与所述一个或多个OAR有关的所述边界信息,确定与所述目标体积有关的所述边界信息包括:
基于所述一个或多个目标图像和与所述一个或多个OAR有关的所述边界信息,确定所述目标区域的分期;以及
基于所述一个或多个目标图像、所述目标体积分割模型、与所述一个或多个OAR有关的所述边界信息以及所述目标区域的所述分期,确定与所述目标体积有关的所述边界信息。
18.一种用于放射治疗中的临床靶标勾画方法,所述方法在具有至少一个处理器和至少一个存储设备的计算设备上实施,所述方法包括:
获取所述对象的一个或多个目标图像,所述对象包括放射治疗所针对的目标区域;
获取根据机器学习技术训练的目标体积分割模型;以及
基于所述一个或多个目标图像和所述目标体积分割模型,确定与目标体积有关的边界信息,所述目标体积包括所述目标区域的至少一部分。
19.根据权利要求18所述的方法,其特征在于,所述目标体积包括所述目标区域的总的肿瘤体积(GTV)、临床目标体积(CTV)或计划目标体积(PTV)中的至少一个。
20.根据权利要求18所述的方法,其特征在于,所述目标体积分割模型已经根据损失函数被训练,所述损失函数根据用于描绘所述目标区域和所述目标区域附近的一个或多个处于危险中的器官(OAR)的勾画指南构建。
21.如权利要求20所述的方法,其特征在于,
所述目标体积包括所述目标区域的CTV,
所述目标体积分割模型包括CTV分割模型,
根据用于描绘所述目标区域的CTV的勾画指南,构建所述损失函数,使得所述CTV包括所述目标区域和所述目标区域附近的一个或多个OAR,以及
所述基于所述一个或多个目标图像和所述目标体积分割模型,确定与所述目标体积有关的边界信息包括:基于所述目标图像和所述CTV分割模型,确定与所述对象的CTV有关的边界信息。
22.一种非暂时性计算机可读介质,包括用于放射治疗中的临床靶标勾画的一组指令,其特征在于,当由至少一个处理器执行时,所述一组指令指示所述至少一个处理器实现一种方法,所述方法包括:
获取对象的一个或多个目标图像,所述对象包括放射治疗所针对的目标区域;
获取根据机器学习技术训练的目标体积分割模型;以及
基于所述一个或多个目标图像和所述目标体积分割模型,确定与目标体积有关的边界信息,所述目标体积包括所述目标区域的至少一部分。
CN202080107224.6A 2020-12-17 2020-12-17 一种用于放射治疗中的临床靶标勾画方法 Pending CN116547699A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/137161 WO2022126475A1 (en) 2020-12-17 2020-12-17 Systems and methods for clinical target contouring in radiotherapy

Publications (1)

Publication Number Publication Date
CN116547699A true CN116547699A (zh) 2023-08-04

Family

ID=82059948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080107224.6A Pending CN116547699A (zh) 2020-12-17 2020-12-17 一种用于放射治疗中的临床靶标勾画方法

Country Status (3)

Country Link
US (1) US20230290480A1 (zh)
CN (1) CN116547699A (zh)
WO (1) WO2022126475A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194698A (zh) * 2023-11-07 2023-12-08 清华大学 一种基于oar语义知识库的任务处理***和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115547481A (zh) * 2021-06-29 2022-12-30 富联精密电子(天津)有限公司 疾病辨别模型训练方法、装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709930B (zh) * 2016-12-29 2020-03-31 上海联影医疗科技有限公司 三维医学图像的感兴趣体积分割方法及装置
CN107392897B (zh) * 2017-07-17 2021-02-02 上海联影医疗科技股份有限公司 器官轮廓获取方法、影像设备、放疗计划***及存储介质
CN109727235B (zh) * 2018-12-26 2021-05-11 苏州雷泰医疗科技有限公司 一种基于深度学习的器官自动勾画算法
US11748887B2 (en) * 2019-04-08 2023-09-05 Nvidia Corporation Segmentation using an unsupervised neural network training technique

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194698A (zh) * 2023-11-07 2023-12-08 清华大学 一种基于oar语义知识库的任务处理***和方法
CN117194698B (zh) * 2023-11-07 2024-02-06 清华大学 一种基于oar语义知识库的任务处理***和方法

Also Published As

Publication number Publication date
WO2022126475A1 (en) 2022-06-23
US20230290480A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US11869202B2 (en) Method and system for processing multi-modality image
US20210201066A1 (en) Systems and methods for displaying region of interest on multi-plane reconstruction image
AU2017209046B2 (en) Systems and methods for segmentation of intra-patient medical images
US20230394719A1 (en) System and method for image processing
CN112546461B (zh) 放射治疗重新计划中误差检查的***和方法
US20190350550A1 (en) Method and system for determining irradiation dose
CN111275762B (zh) 病人定位的***和方法
US20230290480A1 (en) Systems and methods for clinical target contouring in radiotherapy
US20220061781A1 (en) Systems and methods for positioning
US11605164B2 (en) Systems and methods for lung nodule evaluation
US11672496B2 (en) Imaging systems and methods
CN115297926A (zh) 用于生成自适应放射治疗计划的***和方法
WO2022062566A1 (en) Systems and methods for image segmentation
US20230169668A1 (en) Systems and methods for image registration
US20220387822A1 (en) Systems and methods for radiotherapy planning
WO2020215311A1 (en) Systems and methods for robust radiation treatment planning
US11861856B2 (en) Systems and methods for image processing
US20230342974A1 (en) Imaging systems and methods
CN116261743A (zh) 用于生成放射治疗计划的***和方法
US20230191158A1 (en) Systems and methods for radiotherapy
大矢めぐみ et al. Investigation of clinical target volume segmentation for whole breast irradiation using three-dimensional convolutional neural networks with gradient-weighted class activation mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination