CN109949300B - 解剖树结构分析的方法、***和计算机可读介质 - Google Patents

解剖树结构分析的方法、***和计算机可读介质 Download PDF

Info

Publication number
CN109949300B
CN109949300B CN201910232872.3A CN201910232872A CN109949300B CN 109949300 B CN109949300 B CN 109949300B CN 201910232872 A CN201910232872 A CN 201910232872A CN 109949300 B CN109949300 B CN 109949300B
Authority
CN
China
Prior art keywords
tree structure
task
anatomical tree
anatomical
rnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910232872.3A
Other languages
English (en)
Other versions
CN109949300A (zh
Inventor
王昕�
尹游兵
曹坤琳
白军杰
陆易
欧阳滨
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keya Medical Technology Co Ltd
Original Assignee
Beijing Curacloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/138,946 external-priority patent/US10431328B1/en
Application filed by Beijing Curacloud Technology Co Ltd filed Critical Beijing Curacloud Technology Co Ltd
Publication of CN109949300A publication Critical patent/CN109949300A/zh
Application granted granted Critical
Publication of CN109949300B publication Critical patent/CN109949300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Bioethics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种解剖树结构分析的方法、***和计算机可读介质。该方法可以始于接收解剖树结构分析的任务。然后，可以由处理器设置或接收解剖树结构中的一组位置，作为用于模型输入和模型输出的采样位置。可以由处理器基于任务在采样位置确定模型输入。可以由处理器基于任务为一组位置中各个位置选择编码器。编码器可以配置为接收各位置的模型输入并为对应位置提取特征。之后，可以由处理器构建树结构的递归神经网络(RNN)，其节点对应于一组位置且与对应的编码器相连。可以基于任务选择各节点的RNN单元，并可以基于解剖树结构中的一组位置的空间约束条件设置节点间的信息传播。可以提供生成的树结构的RNN用于执行解剖树结构分析的任务。

Description

解剖树结构分析的方法、***和计算机可读介质
交叉引用
本申请要求于2018年6月3日提交的申请号为62/679,868的美国临时申请的优先权，其全部内容通过引用结合于此。
技术领域
本公开大体涉及图像处理和分析。更具体地，本公开涉及解剖树结构分析的方法和***。
背景技术
解剖树结构广泛存在于人体中，包括人体呼吸道、血管(诸如动脉、静脉、毛细血管等)、神经组织和从***延伸的乳腺导管等。近来在医学成像(计算机断层摄影(CT)、核磁共振成像(MRI)、数字减影血管造影(DSA)成像等)的技术进步使得可以以非侵入方式采集不同维度的医学图像，诸如包括解剖树结构的2D、3D、4D等维度的医学图像。临床医生依赖于放射科专家对于医学图像的解读来执行各种疾病诊断，包括但不限于异常检测(诸如腔狭窄/扩张检测、钙化检测、斑块检测等)、异常分类(诸如在正常、狭窄、扩张、钙化斑块、非钙化斑块和混合斑块等之中的斑块类型分类)、参数量化(诸如异常(窄化、扩张、钙化)度的量化、生理测量(直径、面积、流率等)的估计、血流储备分数(FFR)估计)、树分支标注(诸如对提取的分支标注它们的解剖学名称)、以及分割(诸如血管腔分割)等。
通常，在临床实践中，解剖树结构分析是由放射科专家人工执行的，这劳动强度大且耗时，并且结果可能是主观的。因此，可以采用自动化/半自动化的计算机实现的解剖树结构分析来协助放射科专家提高图像分析的效率、准确度和一致性。
虽然基于机器学习的算法已经被引入到解剖树结构的这种半自动或自动化的图像分析，这些算法典型地依赖于沿着各个分支采样的单个中心线点或一系列的中心线点的局部特征，因此仅仅能够获得单点或序列分析。更重要的是，对于同个解剖树结构，这些算法需要异步地分析各个分支，这可能在交叉区域和重叠分支区域中获得不一致的分析结果，降低了分析的准确度和效率。
提出本公开以解决以上问题。
发明内容
本公开意图提供一种解剖树结构分析的方法和***，其中，可以为解剖树结构分析的具体任务生成基于树结构的模型。所生成的模型并非独立地考虑解剖树结构中的各个采样位置的特征。而是，其在模型中的递归神经网络部的节点之间(尤其是节点之间的信息传播)嵌入树结构的空间关系，并将整个树结构中的采样位置的全局相关性考虑在内。因此，所生成的模型可以提高分析准确度和效率。此外，所生成的模型可以同时地获得解剖树结构中的分支各处的所有采样位置的分析结果，以避免由分支的异步分析所导致的可能错误。
在一个方面，本公开旨在提供一种解剖树结构分析的计算机实现的方法和***。该方法可以始于接收解剖树结构分析的任务。然后，可以由处理器设置解剖树结构中的一组位置，作为用于模型输入和模型输出的采样位置。然后，可以由所述处理器基于所述任务确定在所述一组位置中各个位置处的模型输入。可以由所述处理器基于所述任务选择用于各个位置的编码器。所述编码器可以被配置为接收各个位置处的所述模型输入并提取相应的采样位置的特征。此后，可以由所述处理器构建节点与所述一组位置对应且与相应各个编码器连接的树结构的递归神经网络(RNN)。所生成的模型因此适用于所述任务。可以基于所述任务选择用于各个节点的RNN单元，并可以根据所述解剖树结构中的所述一组位置的空间约束关系来设置节点间的信息传播。可以提供所述树结构的RNN用于执行所述解剖树结构分析的所述任务。
在另一方面，本公开旨在提供一种解剖树结构分析的计算机实现的方法。可以接收由图像采集装置采集的解剖树结构图像。然后，可以接收用于解剖树结构分析的特定任务的分析模型。所述分析模型可以通过连接用于解剖树结构中的一组位置的编码器和树结构的递归神经网络(RNN)的相应节点来构造。所述节点对应于所述一组位置。所述模型输入、编码器以及各个节点的RNN单元基于任务选择，并且，节点间的信息传播可以基于解剖树结构中的所述一组位置的空间约束条件。可以由处理器从所述解剖树结构图像计算所述一组位置的模型输入。然后，可以由所述处理器通过基于所计算的模型输入使用所述分析模型来执行解剖树结构分析的特定任务。
在另一方面，本公开旨在提供一种解剖树结构分析的***。所述***可以包括配置为接收解剖树结构图像的接口以及处理器。所述处理器可以配置为接收解剖树结构分析的任务。所述处理器可以进一步配置为设置解剖树结构中的一组位置并基于所述任务确定所述一组位置中各个位置的模型输入。所述处理器可以配置为基于所述任务来选择用于各个位置的编码器，所述编码器则配置为接收各个位置的模型输入并提取相应位置的特征。所述处理器可以配置为：通过基于所述任务选择用于各个节点的RNN单元，并基于所述解剖树结构中的所述一组位置的空间约束关系来设置节点之间的信息传播，来构建节点对应于所述一组位置的树结构的RNN。所述处理器可以配置为将树结构的RNN的节点与相应编码器连接。所述处理器可以进一步配置为提供所述树结构的RNN用于执行解剖树结构分析的任务。
在另一方面，本公开旨在提供一种非暂时性的计算机可读介质，其上存储有指令。所述指令当由处理器执行时，可以执行如上所述的解剖树结构分析的方法。
应当理解，前面的大体描述以及后续的详细描述只是例示性的和说明性的，并非对所要求保护的本发明的限制。
附图说明
在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。适合时，在附图各处使用相同的附图标记来表示相同或相似的部件。这些实施例是说明性的，而不意图是本公开的方法、装置或其上具有用于实现所述方法的指令的非暂时性计算机可读介质的穷尽性或排他性的实施例。
图1示出根据本公开实施例的用于解剖树结构分析的示例性计算机实现的流程；
图2示出根据本公开实施例的示例性的解剖树结构分析***；
图3示出根据本公开实施例的示例性的基于树结构的学习模型；
图4示出根据本公开实施例的示例性的血管狭窄度预测流程；
图5示出根据本公开实施例的示例性的基于树结构的学习模型；
图6示出根据本公开实施例的示例性的基于树结构的学习模型；
图7示出根据本公开实施例的示例性的使用分割模型进行的血管狭窄分割流程；
图8示出根据本公开实施例的示例性的基于树结构的学习模型训练流程；
图9是示出根据本公开实施例的示例性的解剖树结构分析***的框图。
具体实施方式
在本公开中以下技术术语具有统一的含义。技术术语“树结构”可以表示一个以上分支。技术术语“分支”表示源自于分叉点的生理管道(例如血管)中的一种。技术术语“路径”表示解剖树结构的从入口到出口的通路。
图1示出根据本公开实施例的解剖树结构分析的示例性的计算机实现的方法100。如图1中所示，方法100始于接收解剖树结构分析的任务(步骤101)。在一些实施例中，解剖树结构分析的任务可以由用户通过在图像分析软件的菜单中选择分析任务选项来指定。例如，当用户勾选了“FFR预测”选项时，则在步骤101接收到“FFR预测”任务。在一些实施例中，解剖树结构分析的任务可以利用图像分析软件为客户定制。例如，应用户要求，可以定制血管斑块分割任务，并可以在步骤101接收到定制的血管斑块分割任务。在一些实施例中，方法100可以由图像分析软件来实现以执行适应性的图像分析功能。不同于当前图像分析软件具有固定框架的图像分析模型，实现方法100的图像分析软件允许针对各种分析任务的适应性建模。
在步骤102，可以由处理器设置或接收解剖树结构中的一组位置，作为用于模型输入和模型输出的采样位置。在一些实施例中，可以由处理器自动地设置所述一组位置。例如，在接收到血管树结构图像后，处理器可以执行血管壁和中心线(作为骨架线的示例)提取，并设置沿着中心线的采样位置。例如，可以包括中心线的分叉点，其通常承载解剖含义丰富的信息并协助树结构的RNN准确地计入整个树中的位置的全局相关性。在一些实施例中，所述处理器可以提取血管树结构中的分支和分叉点，并且除了分叉点之外额外设置各个分支中的至少一个点作为所述一组采样位置。以此方式，树结构的RNN可以准确且完整地考虑到整个树中的位置的全局相关性。
在一些实施例中，可以由处理器半自动地设置所述一组位置。例如，用户(例如放射科专家、内科医生、临床医生等)可以手动地指定分叉点以外的各个分支中的点的数量，或者指定分析分辨率(例如0.2mm)，以及处理器可以据此设置采样位置。
在一些实施例中，可以由用户手动地设定所述一组位置。例如，可以获取解剖树结构图像并呈现给用户，让用户手动地设置采样位置。又例如，可以提取解剖树结构的骨架线并呈现给用户，让用户沿着骨架线手动地设置采样位置。以此方式，用户可以将关注点，诸如狭窄候选点、分叉点等，包含到采样位置中，以确保模型可以如诊断所需获取采样位置处的分析结果。
在步骤103，可以由处理器基于任务选择在采样位置处的模型输入。对于基于神经网络的分析模型，可以采用各种模型输入，包括但不限于特征(几何特征、流动特征等)或沿着解剖树结构的骨架线的图像块。在步骤103，可以基于具体任务来选择适当类型的模型输入。例如，在任务是异常检测(例如疾病检测)、异常分类(例如疾病标注)、参数量化(例如量化与解剖树结构相关联的持续测量)、或标注(利用其解剖名称标注所提取的分支)中的任何一种的情况下，可以选择图像块或特征矢量作为模型输入。又例如，在任务是分割(例如肿块分割、狭窄分割等)的情况下，可以采用图像块作为模型输入。
在步骤104，可以由处理器基于任务为所述一组位置中的各个位置选择编码器。所述编码器可以配置为接收各个位置的模型输入并为相应位置提取特征。所述编码器可以为相应采样位置处的模型输入提取特征，从其可以提取局部相关信息。所述特征可以形成用于异常检测、异常分类或参数量化任务的特征矢量，和/或可以是用于分割任务的特征映射。与使用固定特征作为模型输入相比，本公开的编码器可以编码隐式特征信息，尤其是较高级别的特征信息。在一些实施例中，为了执行诸如异常检测、异常分类或参数量化的任务，卷积神经网络(CNN)、全卷积神经网络(FCN)和多层感知器(MLP)中的至少一种可以被选择作为编码器。在一些实施例中，在任务是分割的情况下，可以选择CNN或FCN作为编码器。
此后，在步骤105，可以由处理器构建节点与所述一组位置对应的树结构的递归神经网络(RNN)。在一些实施例中，基于任务可以为各个节点选择适当的RNN单元。例如，为了执行诸如异常检测、异常分类或参数量化的任务，可以选择长短期记忆(LSTM)或门控递归单元(GRU)作为RNN单元。又例如，为了执行分割任务，可以选择卷积LSTM(CLSTM)或卷积GRU(CGRU)作为RNN单元。
在一些实施例中，RNN模型被设计为包括编码器，以转换各个模型输入来产生其特征矢量/映射表示，其将被传递到树结构的RNN模型。结果是，RNN模型适用于该任务。在一些实施例中，可以基于任务选择用于各个节点的RNN单元，以及可以基于解剖树结构中的所述一组位置的空间约束关系来设置节点之间的信息传播。利用节点之间的信息传播，来自整个树中的采样位置的信息可以被无缝整合以提高图像分析的准确度。另外，可以同时地获得所有采样位置的分析结果，其通过避免由不同位置/分支的异步处理导致的额外耗时以及可能的错误和不一致性，进一步提高了分析准确度和效率。
在一些实施例中，树结构的RNN的节点之间的信息传播可以被设置为与解剖树结构中的所述一组采样位置的空间约束关系相符。例如，如果血管分支中两个采样位置空间相连，则相应的两个节点也相连。又例如，如果第一采样位置和第二采样位置位于两个相应的血管分支中，且经由分叉点处的第三采样位置彼此连接，则第三采样位置对应的第三节点将第一采样位置对应的第一节点与第二采样位置对应的第二节点相连。在一些实施例中，在解剖树结构的路径中的两个相邻位置对应的各对节点之间，可以允许双向信息传播。或者，在解剖树结构的路径中的两个相邻位置对应的至少一对节点之间，可以设置从远侧到根部的单向信息传播。以此方式，节点树结构保持了解剖树结构的拓扑结构，且准确地模拟了解剖树结构中的各点的全局物理作用机制，这提高了分析模型的分析准确度和效率。
在步骤106，可以使用该适应性地生成的分析模型来实现可变化的解剖树结构分析任务。特别地，可以获取解剖树结构图像。如上所述，可以通过将用于解剖树结构中的一组位置的编码器与树结构的RNN的相应节点相连来构建所述分析模型，其中，所述树结构的RNN的节点与所述一组位置对应，模型输入、编码器和各个节点的RNN单元是基于任务的，且节点之间的信息传播基于解剖树结构中的所述一组位置的空间约束关系。为了应用所述分析模型，可以从为解剖树结构分析的特定任务采集的解剖树结构图像计算在所述一组位置处的模型输入。所计算的模型输入然后可以输入到所述分析模型。
图2示出根据本公开实施例的示例性的解剖树结构分析***200。如图2中所示，解剖树结构分析***200可以包括分析模型生成单元202、分析模型训练单元203以及分析单元204。分析模型生成单元202可以配置为：接收任务选项、采样位置选项以及模型输入选项；基于所接收的选项，选择并从神经网络库201取得适当的编码器和RNN单元；以及利用取得的编码器和RNN单元生成所述分析模型。在一些实施例中，所述分析模型可以由编码器连接树结构的RNN模型的各个节点构成，其中，RNN节点对应于采样位置。所取得的编码器可以用于编码器部分的各个节点，所取得的RNN单元可以用于树结构的RNN部分的各个节点，以及树结构的RNN部分的节点之间的信息传播可以基于解剖树结构中的采样位置的空间约束关系来设置。
在一些实施例中，分析模型可以从分析模型生成单元202传输到分析模型训练单元203以供训练。在一些实施例中，分析模型训练单元203可以基于任务选项、采样位置选项以及模型输入选项从训练样本数据库207获得对应的训练样本，并利用获得的训练样本来训练分析模型。例如，对于诸如“血管狭窄标签预测”的任务选项，诸如“均匀间隔的中心线点”的采样位置选项，以及诸如“血管直径”的模型输入选项，可以从训练样本数据库207获得标注有血管直径和狭窄标签的血管图像作为训练样本，来对分析模型进行训练。
在一些实施例中，训练好的分析模型可以从分析模型训练单元203传输到分析单元204。分析单元204可以从模型输入提取单元205接收模型输入，并基于所接收的模型输入使用训练好的分析模型来执行分析。模型输入提取单元205可以接收采样位置选项和模型输入选项，并基于所接收的采样位置选项和模型输入选项从其自医学图像数据库206接收的医学图像中提取模型输入。例如，对于诸如“均匀间隔的中心线点”的采样位置选项以及诸如“血管直径”的模型输入选项，模型输入提取单元205可以从医学图像数据库206获得不同投影角度的血管造影图像，由所获得的血管造影图像重建3D血管模型，并提取均匀间隔的中心线点处的血管直径作为模型输入。
图3示出根据本公开实施例的示例性的基于树结构的学***特征信息。树结构的RNN部分可以由对应于中心线采样点的节点组成，且以双向RNN作为节点。特征信息(诸如特征矢量或特征映射)可以从各个编码器传输到树结构的RNN部分的相应节点。可以在血管树的路径中的两个相邻的中心线采样点所对应的各对节点之间设置双向信息传播，以便应对血管树中的空间约束关系。树结构的RNN部分的节点可以整合在整个血管树中的所有中心线采样点处的特征信息，以同时对血管树中的所有中心线采样点做出预测(预测结果y)。其可以避免由前处理或后处理导致的可能错误。如图3中所示，沿着中心线的两个分叉点被包含到采样点中。例如，血管树的每个分支可以包括除了分叉点以外的至少一个采样点。
图4示出根据本公开实施例的示例性的血管狭窄度预测流程400。该预测流程400始于中心线提取401。在一些实施例中，可以使用成像装置来采集血管图像，并且可以从所采集的血管图像中提取中心线。然后，可以在中心线上提取图像块或特征(步骤402)，作为由编码器和双向树结构的RNN构成的预测模型的输入。如果使用沿着中心线的几何特征作为模型输入，则可以从所采集的血管图像提取中心线和血管壁以重建3D血管模型，并沿着中心线提取所述几何特征。模型输入可以馈送到训练好的预测模型(步骤403)，以输出沿着中心线的血管狭窄度的预测结果。
在一些实施例中，血管狭窄度预测流程400可以使用图5中所示的示例性的基于树结构的学习模型。如图5中所示，x可以是图像块或特征矢量，y可以是沿着血管中心线的依序的参数值(例如血管狭窄度)，编码器可以是CNN和/或MLP，以及RNN可以是双向LSTM(BLSTM)和/或GRU。
图6示出根据本公开实施例的示例性的基于树结构的学习模型。如图6中所示，x可以是图像块，y可以是分割蒙版，编码器可以是CNN和/或FCN，以及RNN可以是CLSTM和/或CGRU。图6中所示的学习模型可以用作用于图像分割任务例如血管狭窄分割流程的分割模型。
图7示出使用由根据本公开实施例的方法生成的分割模型的示例性血管狭窄分割流程700。血管狭窄分割流程700可以以在线方式执行，并可以始于接收血管树图像，其可以由各种成像装置来采集和传输(步骤701)。在步骤702，可以从所接收的血管树图像提取中心线，以及可以在沿着中心线的采样位置处提取图像块作为模型输入。然后，可以将沿着中心线的采样位置处的图像块馈送(一对一地)到训练好的分割模型的编码器，以计算沿着中心线的采样位置处的分割蒙版作为模型输出(步骤703)。此后，可以将所计算的分割蒙版转换到血管树图像的坐标系中并映射到血管树上(步骤704)，以便以直观方式向用户呈现分割结果。利用血管狭窄分割流程700，可以自动端到端地执行血管狭窄分割。也就是说，用户可以输入所采集的血管树图像并直接接收血管狭窄分割结果，其可以呈现在显示器上。
在一些实施例中，上述的分析模型可以以离线方式来训练。图8示出根据本公开实施例的示例性的分析模型训练流程800。流程800可以始于接收训练数据集(步骤801)。所接收的训练数据集可以划分为批次(步骤802)，其可以被独立地加载作为当前的训练数据(步骤803)。例如，分析模型的输入可以分别表示为X＝{x1,x2,…,xt}，且分析模型的输出可以分别表示为Y={y1,y2,…,yt}。对于不同的图像分析任务，输入X可以是从中心线点处的解剖树结构提取的图像块或特征矢量，以及Y可以是疾病类型标签、连续测量、分割蒙版等。
分析模型的参数可以基于一批次的训练数据来确定(步骤804)，并针对损失函数来验证(步骤805)以针对该批次的训练数据实现优化。如上所述，分析模型可以通过将编码器与树结构的RNN的相应节点连接来构建。由此，分析模型可以包含参数(V，W)，其中参数V用于编码器部分而参数W用于树结构的RNN。在一些实施例中，参数(V，W)可以通过最小化损失函数来联合优化。例如，损失函数可以是在所述批次中的各个位置t处的地面真值输出
Figure BDA0002007265890000101
和模型输出值yt的均方差。在一些实施例中，分析模型可以使用梯度下降相关方法来训练，以在各个批次上相对于所有参数(V，W)来优化损失函数。例如，对于各个批次，可以为批次中的每个训练样本计算均方差，并基于其计算梯度和平均。分析模型，尤其其参数，可以基于平均后的梯度来更新。虽然公开了梯度下降相关方法和均方差作为示例，也可以采用其他函数，包括但不限于交叉熵等，以及也可以采用其他参数优化方法，包括但不限于适应性矩估计等。在步骤806确认处理了所有批次之后，可以输出参数已经在所有批次上得到了优化的分析模型(步骤807)。
流程800可以采用小批次梯度下降方法作为示例。作为替代方案，其也可以采用梯度下降或随机梯度下降方法。小批次梯度下降方法可以获得更鲁棒性的收敛，同时以相对高的计算效率有效避免局部优化。此外，存储器无需完整地加载大量的用于医学图像分析的训练数据集。而是，训练样本可以分批次加载，其缓解了存储器的工作负荷且提高了其工作效率。
图9示出了根据本公开实施例的示例性的解剖树结构分析***900的框图。解剖树结构分析***900可以包括网络接口908，解剖树结构分析***900可以利用该网络接口908连接到网络(未示出)，诸如但不限于医院中的局域网或互联网。所述网络可以将解剖树结构分析***900与外部装置连接，外部装置诸如图像采集装置(未示出)、医学图像数据库905以及图像数据存储装置906。图像采集装置可以是任何类型的成像模态，诸如但不限于计算机断层摄影(CT)、数字减影血管造影(DSA)、磁共振成像(MRI)、功能性MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层摄影(CBCT)、正电子发射断层摄影(PET)、单光子发射计算断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像。
在一些实施例中，解剖树结构分析装置900可以是专用智能装置或通用智能装置。例如，该装置900可以是为图像数据采集和图像数据处理任务定制的计算机，或位于云端的服务器。例如，装置900可以被集成到图像采集装置中。可选地，在装置900中的(至少一个)图像处理程序903可以包括或与3D重建单元协作，该3D重建单元用于基于由图像采集装置采集的2D血管图像来重建血管的3D模型，以及在一组中心线点处从3D模型提取几何特征作为图像分析模型输入X＝{x1，x2，...，xt}。
解剖树结构分析***900可以包括图像处理器901和存储器902，以及可另外包括输入/输出907和图像显示器909中的至少一种。
图像处理器901可以是包括一个或多个处理装置的处理装置，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，图像处理器901可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。图像处理器901还可以是一个或多个专用处理装置，诸如专用集成电路(ASICs)、现场可编程门阵列(FPGAs)、数字信号处理器(DSPs)，片上***(SoCs)等。如本领域技术人员将理解的，在一些实施例中，图像处理器901可以是专用处理器，而不是通用处理器。图像处理器901可以包括一个或多个已知的处理装置，例如来自IntelTM制造的PentiumTM、CoreTM、XeonTM或
Figure BDA0002007265890000121
系列的微处理器，由AMDTM制造的TurionTM、AthlonTM、SempronTM、OpteronTM、FXTM、PhenomTM系列，或由SunMicrosystems制造的各种处理器。图像处理器901还可以包括图形处理单元，诸如来自
Figure BDA0002007265890000122
的GPU，由NvidiaTM制造的
Figure BDA0002007265890000123
系列，由IntelTM制造的GMA，IrisTM系列，或由AMDTM制造的RadeonTM系列。图像处理器901还可以包括加速处理单元，例如由AMDTM制造的Desktop A-4(9,9)系列，由IntelTM制造的Xeon PhiTM系列。所公开的实施例不限于任何类型的处理器或处理器电路，其以其他方式被配置为满足识别、分析、维护、生成、和/或提供大量成像数据或操纵这样的成像数据或与所公开的实施例一致地操纵任何其他类型的数据的计算需求。另外，术语“处理器”或“图像处理器”可以包括一个以上的处理器，例如，多核设计或多个处理器，每个处理器具有多核设计。图像处理器901可以执行存储在存储器902中的计算机程序指令序列，以执行本文公开的各种操作、过程和方法。
图像处理器901可以通信地耦合到存储器902并且被配置为执行存储在其中的计算机可执行指令。存储器902可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，计算机可执行指令以任何格式存储在其上。在一些实施例中，存储器902可以存储一个或多个图像处理程序903的计算机可执行指令。计算机程序指令可以由图像处理器901访问，从ROM或者任何其他合适的存储器位置读取，并且加载在RAM中以供图像处理器901执行。例如，存储器902可以存储一个或多个软件应用程序。存储在存储器902中的软件应用程序可以包括，例如，用于普通计算机***的操作***(未示出)以及用于软控制装置的操作***。
此外，存储器902可以存储整个软件应用程序或仅存储可由图像处理器901执行的软件应用程序的一部分(例如，图像处理程序903)。此外，存储器902可以存储多个软件模块，用于实现与本公开相符的用于解剖树结构分析的方法的各个步骤。例如，分析模型生成单元202、分析模型训练单元203、分析单元204以及模型输入提取单元205(如图2中所示)，可以实现为存储在存储器902上的软件模块。又例如，至少分析单元204和模型输入提取单元205可以实现为存储在存储器902上的软件模块，分析模型生成单元202和分析模型训练单元203可以位于远离解剖树结构分析***900处，并且与分析单元204通信以使其能够接收到更新后的分析模型，该分析模型可由分析模型生成单元202基于具体任务来生成，并由分析模型训练单元203利用来自训练样本数据库207(在离线训练流程中)的训练样本和/或来自分析单元204的训练样本(也就是从其自动或半自动生成(具有或不具有用户的手动修正)的分析结果连同相应提取的模型输入)(在在线训练流程中)来训练。
此外，存储器902可以存储当计算机程序执行时生成/缓存的数据，例如，医学图像数据904，包括从图像采集装置、医学图像数据库905、图像数据存储装置906等传输的医学图像。在一些实施例中，医学图像数据904可以包括所接收的血管树的图像，(至少一个)图像处理程序903要对该血管树的图像实现中心线提取和3D模型重建、自动几何特征提取(作为模型输入)以及进一步的图像分析(例如血管狭窄度预测结果)。在一些实施例中，医学图像数据904可以包括所接收的血管树的容积图像，(至少一个)图像处理程序903要对该血管树的容积图像实现自动几何特征提取(作为模型输入)以及进一步的图像分析(例如血管狭窄度预测结果)。在一些实施例中，存储器902可以加载来自医学图像数据库905的一批训练样本，并临时将其作为医学图像数据904存储，以供分析模型训练单元203用于小批量训练。在一些实施例中，存储器902可以临时地存储与实际模型输入相关联的自动图像分析结果，作为在线训练样本。作为医学图像数据904存储的训练样本可以在利用其的训练完成之后被删除，以释放存储器902的空间，并提高其容量以及性能。
在一些实施例中，为任务生成的分析模型可以存储在医学图像数据904中，并在下一次相同任务的图像分析中使用(训练好后)。在一些实施例中，训练好的分析模型的更新和优化后的参数可以存储在医学图像数据904中，其然后可以用于相同患者的下一次相同任务的图像分析。例如，面对冠脉狭窄度预测的任务，图像处理器901可以从医学图像数据904取得相应的已经生成和/或训练好的预测模型，然后对其进行利用(例如在基于新训练样本进行转换训练后使用该模型)。又例如，面对相同患者的冠脉狭窄度预测的任务，图像处理器901可以从医学图像数据904获得对于同个患者最近更新过的预测模型并直接使用该预测模型。
在一些实施例中，图像处理器901，在执行图像分析任务时，可以将树结构的图像与分析结果相关联作为医学图像数据904，用于呈现和/或传输。在一些实施例中，树结构图像连同分析结果，例如血管树图像和腔定义分割结果，可以显示在图像显示器909上供用户查看。例如，图像显示器909可以是LCD、CRT或LED显示器。以此方式，用户可以利用输入/输出907确认并修正所显示的分析结果，如果需要。以及，确认并修正后的图像分析结果可以与模型输入相关联地临时存储在存储器902中作为医学图像数据904，并且可以传输到医学图像数据库905，以在需要时供另一医学装置(例如其他解剖树结构分析装置900)访问、获得和使用。
在一些实施例中，存储器902可以与医学图像数据库905通信，以向其中与自动或半自动获得的分析结果相关联地传输并保存所提取的模型输入，作为一条训练数据，其可以用于离线训练。以此方式，如图2中所示的训练样本数据库204可以结合到医学图像数据库905中。
此外，所生成和/或训练好的分析模型的参数可以存储在医学图像数据库905中，以供其他解剖树结构分析装置900访问、获得和使用，如果需要。在一些实施例中，图2中所示的神经网络库201可以被包括在医学图像数据库905中，以便分析模型生成单元202，如果被包括作为(至少一个)图像处理程序903，可以从医学图像数据库905中的神经网络库201，取得编码器和/或树结构的RNN。
在一些实施例中，图2中所示的医学图像数据库206可以被包含到医学图像数据库905，其可以根据患者保持解剖树结构的医学图像和/或3D模型和/或骨架线。从而，存储器902可以与医学图像数据库905通信以获得当前用户的解剖树结构的图像和/或3D模型和/或骨架线。
在一些实施例中，可以提供图像数据存储装置906以与医学图像数据库905交换图像数据。例如，图像数据存储装置906可以驻留在其他医学图像采集装置中，例如对患者执行容积扫描的CT。患者的容积图像可以被传输并保存到医学图像数据库905，以及解剖树结构分析装置900可以从医学图像数据库905取得特定患者的容积图像和分析模型并基于其做出图像分析。
输入/输出907可以被配置为允许解剖树结构分析装置900接收和/或发送数据。输入/输出907可以包括允许装置900与用户或其他机器和装置通信的一个或多个数字和/或模拟通信装置。例如，输入/输出907可以包括允许用户提供输入的键盘和鼠标，该输入包括但不限于如图2所示的任务选项、采样位置选项、模型输入选项等。
网络接口908可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤、USB 9.0、闪电的高速数据传输适配器、、例如Wi-Fi适配器的无线网络适配器、电信(9G、4G/LTE等)适配器。装置900可以通过网络接口908连接到网络。网络可以提供局域网(LAN)、无线网络、云计算环境(例如，作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(WAN)等的功能。
本文描述了各种操作或功能，其可以实现为软件代码或指令或者定义为软件代码或指令。这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器(例如，计算装置，电子***等)可访问的形式存储信息的任何机构，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。
已经出于说明的目的呈现了前面的描述。它并非穷尽的，并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，实施例的修改和改编将是显而易见的。
在本文件中，术语“一”或“个”，如专利文献中常见的那样，包括一个或多个，独立于“至少一个”或“一个以上”的任何其他实例或用法。因此，例如，提到“级别”包括多个这样的级别等。
在本文件中，除非另有说明，否则术语“或”用于表示非排他性的或，即“A或B”包括“A但不是B”，“B但不是A”和“A和B”。在本文中，术语“包括(including)”和“其中(inwhich)”用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在随附权利要求中，术语“包括(including)”和“包括(comprising)”是开放式的。也就是说，术语“包括(comprising)”，与“包括(including)”、“包含(containing)”或“其特征在于(characterized by)”同义，是包容性或开放式的，并不排除另外、未陈述的要素或方法步骤。“包括(comprising)”是权利要求语言中使用的专用术语，其意味着所称的要素是必要的，但其他要素可以被添加而依然形成权利要求的范围内的构想。包括除了那些在权利要求中在该术语后列出的要素以外的要素的设备、***、装置、制品、组成、配方或过程，也被视为落入该权利要求的保护范围内。此外，在下面的权利要求中，术语“第一”、“第二”和“第三”等仅被用作标签，并不旨在对其对象施加数值上的要求。
这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子装置执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用Java、Python、C、C++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机***和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAMs)，只读存储器(ROMs)等。
如本文中所使用的，当在列举实体的上下文中使用时，术语“和/或”表示被单独或组合呈现的实体。因此，例如，短语“A、B、C和/或D”包括独立的A、B、C和D，但也包括A、B、C和D中的任何一个以及所有的组合和子组合。
此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效要素、修改、省略、组合(例如，跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例，这些示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或***或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (20)

1.一种解剖树结构分析的计算机实现的方法，包括以下步骤：
接收解剖树结构分析的任务；
由处理器，设置解剖树结构中的一组位置，其中所述解剖树结构代表血管或呼吸道；
由所述处理器，基于所述任务确定在所述一组位置中各个位置处的模型输入；
由所述处理器，基于所述任务选择用于各个位置的编码器，其中，所述编码器被配置为接收各个位置处的所述模型输入并提取相应位置的特征；
由所述处理器，通过如下来构建树结构的递归神经网络RNN，其节点与所述一组位置对应：基于所述任务选择用于各个节点的递归神经网络RNN单元，并根据所述解剖树结构中的所述一组位置的空间约束关系来设置节点间的信息传播，其中，各个编码器与所述树结构的递归神经网络RNN的相应节点连接；以及
提供所述树结构的递归神经网络RNN用于执行所述解剖树结构分析的所述任务。
2.根据权利要求1所述的方法，其中，设置所述解剖树结构中的一组位置包括：提取解剖树结构的骨架线及其中的分叉点的分支；并设置所述分叉点和除了分叉点以外的各个分支中的至少一个点作为所述一组位置。
3.根据权利要求1所述的方法，其中，基于所述任务选择模型输入包括：当所述任务是异常检测、异常分类或参数量化中的任何一种时，选择图像块或特征向量作为模型输入。
4.根据权利要求1所述的方法，其中，基于所述任务选择编码器包括：当所述任务是异常检测、异常分类或参数量化中的任何一种时，选择卷积神经网络CNN、全卷积神经网络FCN和多层感知器MLP中的至少一个作为所述编码器。
5.根据权利要求1所述的方法，其中，基于所述任务选择用于各个节点的递归神经网络RNN单元包括：当所述任务是异常检测、异常分类或参数量化中的任何一种时，选择长短期记忆LSTM或门控递归单元GRU作为递归神经网络RNN单元。
6.根据权利要求1所述的方法，其中，基于所述任务选择模型输入包括：当任务是分割时，选择图像块作为模型输入。
7.根据权利要求1所述的方法，其中，基于所述任务选择编码器包括：当所述任务是分割时，选择卷积神经网络CNN或全卷积神经网络FCN作为所述编码器。
8.根据权利要求1所述的方法，其中，基于所述任务选择用于各个节点的递归神经网络RNN单元包括：当所述任务是分割时，选择卷积长短期记忆CLSTM或卷积门控递归单元CGRU作为所述递归神经网络RNN单元。
9.根据权利要求1所述的方法，其中，基于所述解剖树结构中的所述一组位置的空间约束关系来设置节点间的信息传播包括：在所述解剖树结构的路径中两个相邻位置所对应的每对节点间设置双向信息传播。
10.根据权利要求1所述的方法，其中，基于所述解剖树结构中的所述一组位置的空间约束关系设置节点间的信息传播包括：在所述解剖树结构的路径中两个相邻位置所对应的至少一对节点间设置从远侧向根部的单向信息传播。
11.根据权利要求1所述的方法，进一步包括：由所述处理器利用对应于所述解剖树结构分析的任务的训练样本对模型进行训练。
12.根据权利要求11所述的方法，其中，训练模型包括对所述编码器和所述树结构的递归神经网络RNN的参数进行联合优化。
13.一种解剖树结构分析的计算机实现的方法，包括：
接收图像采集装置采集的解剖树结构图像，其中所述解剖树结构代表血管或呼吸道；
接收用于解剖树结构分析的任务的分析模型，所述分析模型通过连接解剖树结构中的一组位置的编码器和树结构的递归神经网络RNN的相应节点来构造，其中，所述节点对应于所述一组位置，其中，模型输入、编码器以及各个节点的递归神经网络RNN单元基于所述任务选择，并且，节点间的信息传播基于所述解剖树结构中的所述一组位置的空间约束关系来设置；
由处理器，计算所述解剖树结构图像中的所述一组位置的模型输入；以及
由所述处理器，通过将所述分析模型应用于所计算的模型输入来执行所述解剖树结构分析的任务。
14.根据权利要求13所述的方法，其中，所述一组位置沿着所述解剖树结构的骨架线并包括分叉点。
15.一种解剖树结构分析的***，包括：
接口，其配置为接收由图像采集装置采集的解剖树结构图像，其中所述解剖树结构代表血管或呼吸道；以及
处理器，其配置为：
接收解剖树结构分析的任务；
设置解剖树结构中的一组位置；
基于所述任务确定所述一组位置中的各个位置的模型输入；
基于所述任务选择用于各个位置的编码器，所述编码器配置为接收各个位置的模型输入并提取对应位置的特征；
通过基于所述任务选择用于各个节点的递归神经网络RNN单元，根据所述解剖树结构中的所述一组位置的空间约束关系来设置节点间的信息传播，来构建节点与所述一组位置对应的树结构的递归神经网络RNN，并将所述树结构的递归神经网络RNN的节点与相应编码器连接；以及
提供所述树结构的递归神经网络RNN用于执行所述解剖树结构分析的所述任务。
16.根据权利要求15所述的***，其中，所述处理器进一步配置为利用对应于所述任务的训练样本来训练所述树结构的递归神经网络RNN。
17.根据权利要求15所述的***，其中，所述处理器进一步配置为：
从采集的解剖树结构图像中提取解剖树结构的骨架线；以及
在用户界面上呈现提取的骨架线让用户设置所述一组位置。
18.根据权利要求15所述的***，其中，所述处理器进一步配置为：
从采集的解剖树结构图像中提取骨架线以及其中的分叉点的分支；以及
设置所述分叉点和除了分叉点以外的各个分支中的至少一个点作为所述一组位置。
19.根据权利要求16所述的***，其中，所述处理器进一步配置为：
从所述解剖树结构图像提取所述一组位置处的选择的模型输入；以及
基于所提取的所述一组位置处的模型输入，利用训练好的模型来执行所述解剖树结构分析的任务。
20.一种其上存储有指令的非暂时性的计算机可读介质，所述指令当由处理器执行时，执行一种用于解剖树结构分析的方法，包括如下步骤：
接收解剖树结构分析的任务；
设置解剖树结构中的一组位置，其中所述解剖树结构代表血管或呼吸道；
基于所述任务确定在所述一组位置中的各个位置的模型输入；
基于所述任务选择用于各个位置的编码器，所述编码器配置为接收各个位置的模型输入并提取对应位置的特征；
通过基于所述任务选择用于各个节点的递归神经网络RNN单元，根据所述解剖树结构中的所述一组位置的空间约束关系来设置节点间的信息传播，来构建节点与所述一组位置对应的树结构的递归神经网络RNN，并将所述树结构的递归神经网络RNN的节点与相应编码器连接；以及
提供所述树结构的递归神经网络RNN用于执行所述解剖树结构分析的所述任务。
CN201910232872.3A 2018-06-03 2019-03-26 解剖树结构分析的方法、***和计算机可读介质 Active CN109949300B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862679868P 2018-06-03 2018-06-03
US62/679,868 2018-06-03
US16/138,946 2018-09-21
US16/138,946 US10431328B1 (en) 2018-06-03 2018-09-21 Method and system for anatomical tree structure analysis

Publications (2)

Publication Number Publication Date
CN109949300A CN109949300A (zh) 2019-06-28
CN109949300B true CN109949300B (zh) 2020-07-17

Family

ID=67011589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910232872.3A Active CN109949300B (zh) 2018-06-03 2019-03-26 解剖树结构分析的方法、***和计算机可读介质

Country Status (2)

Country Link
US (1) US20230037338A1 (zh)
CN (1) CN109949300B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7114528B2 (ja) * 2019-07-08 2022-08-08 株式会社東芝 推論装置、学習装置、推論方法及び学習方法
CN110473172B (zh) * 2019-07-24 2022-07-05 上海联影智能医疗科技有限公司 医学图像解剖中线确定方法、计算机设备和存储介质
CN113434684B (zh) * 2021-07-01 2022-03-08 北京中科研究院 自监督学习的谣言检测方法、***、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US10115039B2 (en) * 2016-03-10 2018-10-30 Siemens Healthcare Gmbh Method and system for machine learning based classification of vascular branches
CN106980899B (zh) * 2017-04-01 2020-11-17 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和***
CN109615636B (zh) * 2017-11-03 2020-06-12 杭州依图医疗技术有限公司 Ct影像的肺叶段分割中的血管树构造方法、装置

Also Published As

Publication number Publication date
US20230037338A1 (en) 2023-02-09
CN109949300A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
US11538161B2 (en) Systems and methods for determining blood vessel conditions
CN108550388B (zh) 基于血管造影的计算血管血流参数的装置和***
US11508460B2 (en) Method and system for anatomical tree structure analysis
US11495357B2 (en) Method and device for automatically predicting FFR based on images of vessel
CN111429502B (zh) 用于生成对象的中心线的方法和***以及计算机可读介质
US11389130B2 (en) System and methods for fast computation of computed tomography based fractional flow reserve
US10548552B2 (en) Method and device for generating anatomical labels for a physiological tree structure
US20180315505A1 (en) Optimization of clinical decision making
CN109635876B (zh) 为生理树结构生成解剖标签的计算机实现的方法、装置和介质
US20230037338A1 (en) Method and system for anatomical tree structure analysis
EP3657437A1 (en) Automatic detection and quantification of the aorta from medical images
CN111476791B (zh) 图像处理方法、图像处理装置和非暂时性计算机可读介质
EP3786972A1 (en) Improving performance of machine learning models for automatic quantification of coronary artery disease
EP3564963A1 (en) System and methods for fast computation of computed tomography based fractional flow reserve
EP3428925B1 (en) Method and system for clinical decision support with local and remote analytics
CN114596311B (zh) 基于血管图像的血管功能评估方法和血管功能评估装置
CN110070534B (zh) 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置
US20240221156A1 (en) Methods and systems for determining hemodynamic parameters
CN110599444B (zh) 预测血管树的血流储备分数的设备、***以及非暂时性可读存储介质
US10909676B2 (en) Method and system for clinical decision support with local and remote analytics
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、***及存储介质
US11030490B2 (en) Performance of machine learning models for automatic quantification of coronary artery disease
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
US20220392059A1 (en) Method and system for representation learning with sparse convolution
CN118365581A (zh) 血液流场信息确定方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Patentee after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Patentee before: BEIJING CURACLOUD TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP03 Change of name, title or address

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Patentee after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Patentee before: Beijing Keya ark Medical Technology Co.,Ltd.

CP03 Change of name, title or address
CP01 Change in the name or title of a patent holder

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Patentee after: Keya Medical Technology Co.,Ltd.

Address before: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Patentee before: Beijing Keya ark Medical Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder