CN115424720A - 管状结构断裂补全方法、装置及计算机设备 - Google Patents

管状结构断裂补全方法、装置及计算机设备 Download PDF

Info

Publication number
CN115424720A
CN115424720A CN202211062401.0A CN202211062401A CN115424720A CN 115424720 A CN115424720 A CN 115424720A CN 202211062401 A CN202211062401 A CN 202211062401A CN 115424720 A CN115424720 A CN 115424720A
Authority
CN
China
Prior art keywords
tubular structure
mask
completion
structure mask
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211062401.0A
Other languages
English (en)
Inventor
李想
郑介志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202211062401.0A priority Critical patent/CN115424720A/zh
Publication of CN115424720A publication Critical patent/CN115424720A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种管状结构断裂补全方法、装置及计算机设备，该方法包括：获取目标对象的医学图像，对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜，将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜，将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜。采用上述方法可以通过神经网络模型实现管状结构断裂补全处理，得到目标管状结构掩膜，该过程不需要人工参与，避免了人工参与产生的补全误差，从而提高了管状结构断裂补全结果的准确性。

Description

管状结构断裂补全方法、装置及计算机设备
技术领域
本申请涉及医学技术领域，特别是涉及一种管状结构断裂补全方法、装置及计算机设备。
背景技术
管状结构(如血管、气管、胰管和输尿管等等)对维持人体的生理功能起着重要作用。通常，在临床手术规划前都需要准确判断管状结构与病灶的位置关系，以提高手术效果。但是，由于管状结构的复杂性以及医学图像的分辨率有限，从医学图像中提取出的管状结构往往会出现断裂的情况，从而会影响临床实际应用。
相关技术中，采用手动标注的方式对管状结构进行断裂补全，得到完整的管状结构。然而，相关技术需要人工手动参与，会导致管状结构断裂补全结果不够准确。
发明内容
基于此，有必要针对上述技术问题，提供一种管状结构断裂补全方法、装置及计算机设备，能够避免人工手动参与管状结构断裂补全，使得管状结构断裂补全结果更加准确。
第一方面，本申请提供了一种管状结构断裂补全方法，该方法包括：
获取目标对象的医学图像，医学图像包括管状结构；
对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜；
将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜；
将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜；误差信息用于补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
在其中一个实施例中，管状结构补全模型包括：第一下采样编码器、潜在分布空间学习层和第一上采样解码器；将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜，包括：
将初始管状结构掩膜输入至第一下采样编码器，得到第一特征；第一特征为第一下采样编码器对初始管状结构掩膜进行下采样处理得到的结果；
将第一特征输入至潜在分布空间学***均值及标准差分布，再对平均值及标准差分布进行采样处理后得到第二特征；
将第二特征输入至第一上采样解码器，得到补全管状结构掩膜；补全管状结构掩膜为第一上采样解码器对第二特征进行上采样处理得到的结果。
在其中一个实施例中，将初始管状结构掩膜输入至第一下采样编码器，得到第一特征，包括：
对初始管状结构掩膜进行分块处理，得到多个图像块；
将多个图像块输入至第一下采样编码器，得到多个图像块对应的多个第一特征。
在其中一个实施例中，将第一特征输入至潜在分布空间学习层，得到第二特征，包括：
将多个第一特征输入至潜在分布空间学习层；
通过潜在分布空间学习层对各第一特征进行求均值处理以及求方差处理得到均值向量和方差向量，根据均值向量和方差向量得到初始分布，并对初始分布进行采样处理得到第二特征。
在其中一个实施例中，管状结构补全模型的训练过程包括：
获取第一训练样本集，第一训练样本集包括管状结构掩膜样本以及对应的补全管状结构掩膜金标准；
将管状结构掩膜样本依次输入至第一下采样编码器和潜在分布空间学习层，得到对预测初始分布进行采样处理后的样本特征；
将样本特征输入至第一上采样解码器，得到预测补全管状结构掩膜；
根据初始预测分布与对应的理想分布之间的第一差异，以及预测补全管状结构掩膜与补全管状结构掩膜金标准之间的第二差异，调整第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数，直到收敛为止，得到管状结构补全模型。
在其中一个实施例中，误差学习模型包括：第二下采样编码器和第二上采样解码器；将补全管状结构掩膜以及医学图像输入至误差学习网络模型中，得到误差信息，包括
将补全管状结构掩膜以及医学图像输入至第二下采样编码器，得到第三特征；第三特征为第二下采样编码器对补全管状结构掩膜和医学图像进行下采样处理得到的结果；
将第三特征输入至第二上采样解码器，得到误差信息；误差信息为第二上采样解码器对第三特征进行上采样处理得到的结果。
在其中一个实施例中，误差学习模型的训练过程包括：
获取第二训练样本集；第二训练样本集包括医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准；
将医学图像样本和补全管状结构掩膜样本依次输入至第二下采样编码器和第二上采样解码器，得到预测误差信息；
根据预测误差信息与理想误差信息之间的差异，调整第二下采样编码器和第二上采样解码器的网络参数，直到收敛为止，得到误差学习模型；理想误差信息用于表征补全管状结构掩膜样本与补全管状结构掩膜金标准之间的差异。
在其中一个实施例中，基于补全管状结构掩膜和误差信息得到目标管状结构掩膜，包括：
将补全管状结构掩膜与误差信息叠加，得到目标管状结构掩膜。
第二方面，本申请提供了一种管状结构断裂补全装置，该装置包括：
医学图像获取模块，用于获取目标对象的医学图像，医学图像包括管状结构；
分割处理模块，用于对医学图像中的管状结构进行分割处理，得到初始管状掩膜；
补全处理模块，用于将初始管状掩膜输入至管状结构补全模型中，以对初始管状掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜；
补全结果修复模块，用于将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜；误差信息用于表征补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
第三方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述第一方面中任一实施例的方法的步骤。
本申请实施例提供了一种管状结构断裂补全方法、装置及计算机设备，该方法包括：获取目标对象的医学图像，对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜，将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜，将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜；该方法可以通过神经网络模型实现管状结构断裂补全处理，得到目标管状结构掩膜，该过程不需要人工参与，避免了人工参与产生的补全误差，从而提高了管状结构断裂补全结果的准确性，并且还可以提高管状结构断裂补全的速度，同时，该方法不需要人工参与，断裂补全方式变得简单化，并且节省了人力资源，降低了管状结构的断裂补全成本；另外，基于准确的管状结构断裂补全结果，还可以准确地确定目标对象的管状结构与病灶区域的位置关系，进一步提高手术规划的精度。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中管状结构断裂补全方法的流程示意图；
图3为一个实施例中气管断裂补全的过程图；
图4为一个实施例中肝门静脉断裂补全的过程图；
图5为一个实施例中一医学图像进行管状结构断裂补全的过程图；
图6为另一个实施例中管状结构断裂补全方法的流程示意图；
图7为另一个实施例中管状结构断裂补全方法的流程示意图；
图8为另一个实施例中管状结构断裂补全方法的流程示意图；
图9为另一个实施例中管状结构断裂补全方法的流程示意图；
图10为另一个实施例中管状结构断裂补全方法的流程示意图；
图11为一个实施例中管状结构补全模型和误差学习模型的整体模型结构图；
图12为一个实施例中管状结构断裂补全装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在临床手术技术中，例如管状结构相关手术，主要是临床手术前对管状结构与病灶区域之间位置关系的确定。具体地，确定管状结构与病灶区域之间的位置关系通常要依赖于医学图像的三维重建图像，并且手动对器官的管状结构进行分割重建，然后在分割重建的基础上采用多层面重建MPR、虚拟现实VR等可视化技术，对管状结构与病灶区域之间的位置关系进行确定。其中，精确的管状结构分割结果还能够提高后续其它任务处理的准确性，例如计算血液动力学、内窥镜路线规划、相关疾病预测和建模等。在实际处理过程中，由于管状结构弯曲、粗细程度差别等等特性的复杂度以及医学图像的分辨率有限，分割后重建出的管状结构往往会出现断裂的情况，从而影响后续任务处理，进一步影响临床实际使用。为了解决这些问题，通常需要对分割重建出的管状结构进行断裂补全处理。
相关技术中，大多数采用手动补全方式来实现管状结构断裂补全。或者，结合图像处理的方法，例如，辅助主动形状模型调整、区域生长和中心线生长等等来实现管状结构断裂补全。然后，采用相关技术会导致管状结构断裂补全结果不够准确。
基于此，本申请实施例提供了一种管状结构断裂补全方法，可以提高管状结构断裂补全结果的准确度。其中，该管状结构断裂补全方法适用于图1所示的计算机设备中，该计算机设备可以为独立的服务器或者是多个服务器组成的服务器集群来实现，还可以为但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。下面实施例将对管状结构断裂补全方法的实现过程进行说明。
如图2所示，为本申请实施例提供的管状结构断裂补全方法的流程示意图，该管状结构断裂补全方法可以包括以下步骤：
S100、获取目标对象的医学图像。其中，医学图像包括管状结构。
具体地，上述医学图像可以为X线图像、电子计算机断层扫描(ComputedTomography，CT)图像、磁共振(Magnetic Resonance Imaging，MRI)图像或者超声图像等等。
其中，医学图像可以为医学扫描设备实时对目标对象的全身部位或者目标部位进行扫描得到的医学数据，并将医学数据发送给计算机设备，计算机设备对医学数据进行重建得到的图像。或者，该医学图像可以为医学扫描设备预先对目标对象的全身部位或者目标部位进行扫描得到的医学数据，并将医学数据发送给计算机设备，计算机设备对医学数据进行重建得到的图像，且该医学图像可以存储至云端、网盘、硬件或本地等位置，在实际处理时，计算机设备可以从云端、网盘、硬件或本地等位置获取目标对象的医学图像。
S200、对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜。
需要说明的是，计算机设备可以根据医学图像中管状结构所在位置，对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜。或者，为了提高分割处理结果的准确性，降低分割误差，可以将目标对象的医学图像输入至预先训练好的管状结构分割模型，得到初始管状结构掩膜。这里需要说明的是，管状结构分割模型可以由全卷积神经网络模型(如V-Net、U-Net和VBNet等网络模型)、循环神经网络模型、对抗神经网络模型中的至少一种组成的网络模型。
其中，初始管状结构掩膜可以理解为医学图像中管状结构分割结果对应的管状结构标签掩膜，其中，初始管状结构掩膜与医学图像的大小相同，但是初始管状结构掩膜中管状结构区域内每个像素点的像素值均为1，管状结构区域外每个像素点的像素值均为0。另外，初始管状结构掩膜的均值可以为1，初始管状结构掩膜的标准差可以为0。
另外，本申请实施例还可以对医学图像进行去噪、增强、归一化等预处理，得到预处理后的图像，然后再对预处理后的图像进行分割处理，得到初始管状结构掩膜，从而提高分割处理的准确度，进一步可以提高管状结构断裂补全结果的准确性。这里需要说明的是，归一化可以理解为基于均值和标准差进行归一化的过程。
S300、将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜。
上述管状结构补全模型也可以为由卷积神经网络模型、循环神经网络模型、对抗神经网络模型中的至少一种组成的网络模型，但是，管状结构补全模型与管状结构分割模型的内部连接结构不同。在本申请实施例中，管状结构补全模型还可以为由一种或多种其它神经网络模型组成的网络模型。
基于上述步骤中获取到的初始管状结构掩膜，可以将初始管状结构掩膜输入至管状结构补全模型中，通过管状结构补全模型对初始管状结构掩膜中管状结构的缺失部分进行补全处理得到补全管状结构掩膜。这里需要说明的是，补全管状结构掩膜与初始管状结构掩膜的大小相同，且补全管状结构掩膜与初始管状结构掩膜中对应位置的像素值也可以相同，也可以不相同。
S400、将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜；误差信息用于表征补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
这里需要说明的是，管状结构补全模型对补全管状结构掩膜进行补全处理时，可能会存在处理误差，从而导致补全管状结构掩膜中的管状结构也并非是完整的管状结构补全掩膜，所以可以将前文步骤中获取到的补全管状结构掩膜和医学图像输入至误差学习模型中，得到误差信息，即补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
可选地，误差学习模型也可以为由全卷积神经网络模型(如V-Net、U-Net和VBNet等网络模型)、循环神经网络模型、对抗神经网络模型中的至少一种组成的网络模型，但是，误差学习模型与管状结构补全模型和管状结构分割模型的内部连接结构不同。在本申请实施例中，误差学习模型还可以为由一种或多种其它神经网络模型组成的网络模型。
进一步，基于前文步骤中获取到的误差信息，可以对补全管状结构掩膜和误差信息进行处理，得到目标管状结构掩膜，即医学图像对应的完整的管状结构补全掩膜。
在本申请实施例中，上述S400中的基于补全管状结构掩膜和误差信息得到目标管状结构掩膜的步骤，可以包括：将补全管状结构掩膜与误差信息叠加，得到目标管状结构掩膜。
这里需要说明的是，通过补全管状结构掩膜与医学图像对应的完整的管状结构补全掩膜之间的差异即误差信息，可以对补全管状结构掩膜进行管状结构断裂补全修复，即将补全管状结构掩膜与误差信息叠加得到医学图像对应的完整的管状结构补全掩膜，即目标管状结构掩膜。
在实际应用中，误差信息与补全管状结构掩膜的大小相同，其中，该误差信息也可以通过误差掩膜表示，若该误差信息均为像素值为0的像素点，则相当于误差信息为0，此时，可以将补全管状结构掩膜确定为目标管状结构掩膜，也就是，管状结构断裂补全方法不需要执行S400中基于补全管状结构掩膜和误差信息得到目标管状结构掩膜的步骤。
示例性地，分别以管状结构为气管和肝门静脉为例来展示管状结构断裂补全的过程图。图3所示为气管断裂补全的过程图，图3中(a)为气管对应的初始气管掩膜(圈圈内示出了气管中的断裂部分)，(b)为对(a)中初始气管掩膜进行补全处理后得到的补全气管掩膜(圈圈内示出了图3(b)中断裂部分对应的断裂补全后的管状结构)，(c)为对(b)中补全气管掩膜进行气管断裂补全修复得到目标气管掩膜(圈圈内示出了图3(a)中断裂部分对应的补全修复后的管状结构)。另外，图4所示为肝门静脉断裂补全的过程图，图4中(a)为肝门静脉对应的初始肝门静脉掩膜(圈圈内示出了肝门静脉中的断裂部分)，(b)为对(a)中初始肝门静脉掩膜进行补全处理后得到的补全肝门静脉掩膜(圈圈内示出了图4(a)中断裂部分对应的断裂补全后的管状结构)，(c)为对(b)中补全肝门静脉掩膜进行肝门静脉断裂补全修复得到目标肝门静脉掩膜(圈圈内示出了图4(a)中断裂部分对应的补全修复后的管状结构)。
又一示例，图5中示出了一医学图像进行管状结构断裂补全过程中，对应生成的初始管状结构掩膜和目标管状结构掩膜，该管状结构可以为血管、气管、胰管和输尿管等等。图5中(a)为医学图像O，(b)为(a)对应的初始管状结构图像O1(虚线框内示出了初始管状结构图像O1中的断裂部分)，(c)为(b)对应的目标管状结构图像O2(虚线框内示出了初始管状结构图像O1中断裂部分对应的修复后的管状结构)。其中，初始管状结构图像是初始管状结构掩膜对应的医学图像，目标管状结构图像是目标管状结构掩膜对应的医学图像。
本申请实施例中的管状结构断裂补全方法，可以获取目标对象的医学图像，对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜，将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜，将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜；该方法可以通过神经网络模型实现管状结构断裂补全处理，得到目标管状结构掩膜，该过程不需要人工参与，避免了人工参与产生的补全误差，从而提高了管状结构断裂补全结果的准确性，并且还可以提高管状结构断裂补全的速度，同时，该方法不需要人工参与，断裂补全方式变得简单化，并且节省了人力资源，降低了管状结构的断裂补全成本；另外，基于准确的管状结构断裂补全结果，还可以准确地确定目标对象的管状结构与病灶区域的位置关系，进一步提高手术规划的精度。
基于上述实施例，下面对上述管状结构补全模型以及将初始管状结构掩膜输入至管状结构补全模型中，以对初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜的过程进行说明。则一实施例中，管状结构补全模型包括：第一下采样编码器、潜在分布空间学习层和第一上采样解码器；如图6所示，上述S300包括以下步骤：
S310、将初始管状结构掩膜输入至第一下采样编码器，得到第一特征；第一特征为第一下采样编码器对初始管状结构掩膜进行下采样处理得到的结果。
在本申请实施例中，管状结构补全模型包括第一下采样编码器、潜在分布空间学习层和第一上采样解码器。其中，第一下采样编码器、潜在分布空间学习层和第一上采样解码器之间依次连接，第一下采样编码器为管状结构补全模型的输入端，第一上采样解码器为管状结构补全模型的输出端。
需要说明的是，计算机设备可以将前文步骤中获取到的初始管状结构掩膜输入至管状结构补全模型中的第一下采样编码器中，第一下采样编码器对初始管状结构掩膜进行下采样处理，得到特征图，即第一特征。其中，第一下采样编码器为预先训练好的网络层。
S320、将第一特征输入至潜在分布空间学***均值及标准差分布，再对平均值及标准差分布进行采样处理后得到第二特征。
基于前文步骤中获取到的第一特征，可以将第一特征输入至管状结构补全模型中的潜在分布空间学***均值及标准差分布，然后对平均值及标准差分布进行采样处理得到第二特征的过程。
其中，潜在分布空间学习层为预先训练好的网络层。可选地，上述运算处理可以为加法运算、减法运算、乘法运算和/或除法运算等等。
S330、将第二特征输入至第一上采样解码器，得到补全管状结构掩膜；补全管状结构掩膜为第一上采样解码器对第二特征进行上采样处理得到的结果。
在获取到第二特征后，可以将第二特征输入至管状结构补全模型中的第一上采样解码器中，第一上采样解码器对第二特征进行上采样处理，得到特征图，即补全管状结构掩膜。其中，第一上采样编码器为预先训练好的网络层。
在本申请实施例中，上述补全管状结构掩膜可以理解为初步管状结构的补全掩膜。
本申请实施例中的管状结构断裂补全方法，可以通过第一下采样编码器、潜在分布空间学习层和第一上采样解码器依次对初始管状结构掩膜进行处理，得到补全管状结构掩膜，该方法可以通过神经网络模型实现管状结构断裂补全处理，得到补全管状结构掩膜，该过程不需要人工参与，避免了人工参与产生的补全误差，从而提高了管状结构断裂补全结果的准确性，并且还可以提高管状结构断裂补全的速度。
下面对上述将初始管状结构掩膜输入至第一下采样编码器，得到第一特征的过程进行说明。则一实施例中，如图7所示，上述S310可以包括以下步骤：
S311、对初始管状结构掩膜进行分块处理，得到多个图像块。
具体地，若初始管状结构掩膜较大时，为了提高管状结构补全模型的处理速度和效率，可以先对初始管状结构掩膜进行分块处理，得到大小相同的多个图像块，进一步管状结构补全模型再对分块处理结果进行处理。在本申请实施例中，具体图像块的大小可以根据管状结构补全模型在最优处理过程中所能处理的数据量的大小确定。同时，还可以设定初始管状结构掩膜的分辨率，尽可能让获取到的初始管状结构掩膜的分辨率更高，以提高管状结构断裂补全结果的准确性。
例如，以气管为例，图像块的优选大小为128*128*128，且初始管状结构掩膜的分辨率根据实际情况选择，如气管对应的初始管状结构掩膜的分辨率优选0.7mm，这些数据本申请不做限定，也可以根据实际情况调整。
S312、将多个图像块输入至第一下采样编码器，得到多个图像块对应的多个第一特征。
基于上述步骤获取到的初始管状结构掩膜对应的多个图像块，可以将多个图像块输入至第一下采样编码器，得到多个图像块对应的多个第一特征，即每个图像块均得到一个对应第一特征。其中，第一特征的大小与对应图像块的大小相同。
进一步，基于前文步骤中获取到的多个第一特征，下面对上述将第一特征输入至潜在分布空间学习层，得到第二特征的过程进行说明。则一实施例中，上述S320可以包括以下步骤：将多个第一特征输入至潜在分布空间学习层，通过潜在分布空间学习层对各第一特征进行求均值处理以及求方差处理得到均值向量和方差向量，根据均值向量和方差向量得到初始分布，并对初始分布进行采样处理得到第二特征。
需要说明的是，基于获取到的初始管状结构掩膜对应的多个图像块的第一特征，可以将多个第一特征直接输入至潜在分布空间学习层。这里需要说明的是，通过潜在分布空间学习层分别对各第一特征中的数据进行求均值处理得到各第一特征对应的均值，并根据各第一特征对应的均值得到均值向量，同时，分别对各第一特征中的数据进行求方差处理得到各第一特征对应的方差，并根据各第一特征对应的方差得到方差向量，进一步基于获取到的均值向量和方差向量，计算均值向量与方差向量之间服从的初始分布，之后对初始分布进行采样处理得到第二特征。
可选地，均值向量与方差向量之间服从的初始分布可以为正态分布、泊松分布、指数分布、F分布或者0-1分布等等。例如，计算均值向量与方差向量之间服从的初始分布，可以将均值向量和方差向量输入至预先训练好的算法模型，该算法模型输出均值向量与方差向量之间的服从的初始分布。
本申请实施例中的管状结构断裂补全方法，可以对初始管状结构掩膜进行分块处理，得到多个图像块，将多个图像块输入至第一下采样编码器，得到多个图像块对应的多个第一特征，进一步对多个第一特征得到补全管状结构掩膜，该方法可以将大数据分成小数据来处理，从而能够减少数据运算的复杂度，避免运算出错的概率，提高管状结构断裂补全结果的准确性。
下面对上述步骤中管状结构补全模型的获取过程进行说明，其中，管状结构补全模型是对管状结构补全网络进行训练得到的。基于此，在则一实施例中，如图8所示，上述管状结构补全模型的训练过程包括：
S340、获取第一训练样本集，第一训练样本集包括管状结构掩膜样本以及对应的补全管状结构掩膜金标准。
具体地，不同对象体内同一类型管状结构是不同的，并且即使是同一对象体内不同类型管状结构也是不同的，所以在对管状结构补全网络进行训练过程中，为了提高管状结构补全网络的泛化能力和管状结构断裂补全的鲁棒性，获取的第一训练样本集中可以包括不同对象不同类型的管状结构对应的多个管状结构掩膜，即管状结构掩膜样本，以及管状结构掩膜对应的补全管状结构掩膜金标准。补全管状结构掩膜金标准可以理解为理想的补全管状结构掩膜。
在管状结构补全网络训练前，医学扫描设备可以预先对不同对象的全身部位或者目标部位进行扫描得到的医学数据，并将医学数据发送给计算机设备，计算机设备对医学数据进行重建得到医学图像，然后对医学图像中的管状结构进行分割处理得到管状结构掩膜样本。其中，这些管状结构掩膜样本和对应的补全管状结构掩膜金标准可以存储至云端、网盘、硬件或本地等位置，在对管状结构补全网络进行训练时，计算机设备可以从云端、网盘、硬件或本地等位置获取预先存储的管状结构掩膜样本和对应的补全管状结构掩膜金标准。
在本申请实施例中，第一训练样本集中的数据量较大，以训练得到最优的管状结构补全模型，从而能够使得管状结构补全模型在执行断裂补全处理时引导管状结构拓扑的一致性。
S350、将管状结构掩膜样本依次输入至第一下采样编码器和潜在分布空间学习层，得到对预测初始分布进行采样处理后的样本特征。
其中，可以通过管状结构掩膜样本和对应的补全管状结构掩膜金标准对管状结构补全网络进行训练，得到管状结构补全模型。在管状结构补全网络训练过程中，可以先将第一训练样本集中的多个管状结构掩膜样本依次输入至管状结构补全网络中的第一下采样编码器和潜在分布空间学习层，得到潜在分布空间学习层输出的对预测初始分布进行采样处理后的样本特征。其中，潜在分布空间学习层具体是先得到预测初始分布，然后在对预测初始分布进行采样处理输出样本特征。
这里需要说明的是，在管状结构补全网络训练过程中，多个管状结构掩膜样本的大小相同，若第一训练样本集中的多个管状结构掩膜样本的大小不同时，可以先将多个管状结构掩膜样本裁剪成大小相同图像后再依次输入至第一下采样编码器和潜在分布空间学习层。另外，上述预测初始分布可以为管状结构掩膜样本对应的训练均值向量和训练方差向量之间服从的初始分布，其中，预测初始分布也可以为正态分布、泊松分布、指数分布、F分布或者0-1分布等等。
同时，在本申请实施例中，潜在分布空间学习层执行的处理过程可以为基于变分自编码网络模型的处理过程设计的。
S360、将样本特征输入至第一上采样解码器，得到预测补全管状结构掩膜。
在获取到样本特征后，可以将样本特征继续输入至管状结构补全网络中的第一上采样解码器中，得到预测补全管状结构掩膜。其中，预测补全管状结构掩膜与管状结构掩膜样本的大小相同。
S370、根据初始预测分布与对应的理想分布之间的第一差异，以及预测补全管状结构掩膜与补全管状结构掩膜金标准之间的第二差异，调整第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数，直到收敛为止，得到管状结构补全模型。
在本申请实施例中，初始预测分布与对应的理想分布的类型，如正态分布、泊松分布、指数分布、F分布或者0-1分布等等，可以相同，也可以不相同，但是，理想分布的类型是固定的。
基于上述获取到的初始预测分布，可以通过第一损失函数计算初始预测分布与对应的理想分布之间的第一差异，以及通过第二损失函数计算预测补全管状结构掩膜与补全管状结构掩膜金标准之间的第二差异，进一步根据第一差异和第二差异调整管状结构补全网络中第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数，然后继续执行上述S350-S370中的步骤，直到管状结构补全网络收敛为止，得到训练好的管状结构补全模型，即训练好的第一下采样编码器、潜在分布空间学习层和第一上采样解码器。其中，上述第一损失函数和第二损失函数均可以为L1范数损失函数、交叉熵损失函数、均方误差损失函数、二进制交叉熵损失函数等等。
这里需要说明的是，在对管状结构补全网络进行训练时，管状结构补全网络中的第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数可以通过初始化得到。上述管状结构补全网络的收敛条件可以为第一差异和第二差异均小于第一预设差异阈值，或者循环迭代执行S350-S370的次数大于或等于第一预设迭代次数阈值。其中，第一预设差异阈值可以为逼近于0的正数，第一预设迭代次数阈值可以为大于0的数值。
本申请实施例中的管状结构断裂补全方法，可以对管状结构补全网络进行训练，得到最优的管状结构补全模型，从而提高通过最优的管状结构补全模型得到的补全管状结构掩膜的准确性。
基于上述实施例，下面对上述将补全管状结构掩膜和医学图像输入至误差学习网络模型中，得到误差信息的过程进行说明。则一实施例中，误差学习模型包括：第二下采样编码器和第二上采样解码器；如图9所示，上述S400包括以下步骤：
S410、将补全管状结构掩膜以及医学图像输入至第二下采样编码器，得到第三特征。其中，第三特征为第二下采样编码器对补全管状结构掩膜和医学图像进行下采样处理得到的结果。
在本申请实施例中，误差学习模型包括第二下采样编码器和第二上采样解码器。其中，第二下采样编码器和第二上采样解码器之间依次连接，第二下采样编码器为误差学习模型的输入端，第二上采样解码器为误差学习模型的输出端。
需要说明的是，计算机设备可以将前文步骤中获取到的补全管状结构掩膜和医学图像输入至误差学习模型中的第二下采样编码器中，第二下采样编码器对补全管状结构掩膜和医学图像进行下采样处理，得到特征图，即第三特征。其中，第二下采样编码器为预先训练好的。
S420、将第三特征输入至第二上采样解码器，得到误差信息。其中，误差信息为第二上采样解码器对第三特征进行上采样处理得到的结果。
在获取到第三特征后，可以将第三特征输入至误差学习模型中的第二上采样解码器中，第二上采样解码器对第三特征进行上采样处理，得到误差信息。其中，第二上采样编码器为预先训练好的。
本申请实施例中的管状结构断裂补全方法，可以通过第二下采样编码器和第二上采样解码器依次对补全管状结构掩膜和医学图像进行处理，得到误差信息，该方法可以通过神经网络模型对补全管状结构掩膜进行处理，以获取补全管状结构掩膜中未补全的管状结构掩膜即误差信息，该过程不需要人工参与，避免了人工参与误差，从而可以提高获取到的未补全的管状结构掩膜的准确性，并为进一步获取准确地目标管状结构掩膜做依据。
下面对上述步骤中误差学习模型的获取过程进行说明，其中，误差学习模型是对误差学习网络进行训练得到的。基于此，在则一实施例中，如图10所示，上述误差学习模型的训练过程包括：
S430、获取第二训练样本集；第二训练样本集包括医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准。
具体地，不同对象体内同一类型管状结构是不同的，并且即使是同一对象体内不同类型管状结构也是不同的，所以在对误差学习网络进行训练过程中，为了提高误差学习网络的泛化能力和误差学习的鲁棒性，获取的第二训练样本集中可以包括不同对象不同类型的管状结构对应的医学图像即医学图像样本、医学图像样本对应的补全管状结构掩膜样本和补全管状结构掩膜样本对应的补全管状结构掩膜金标准。其中，该步骤中的补全管状结构掩膜金标准与上文S340中的补全管状结构掩膜金标准相同。
其中，医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准均是误差学习网络训练前预先获取到的，可以预先存储在云端、网盘、硬件或本地等位置，在对误差学习网络进行训练时，计算机设备可以从云端、网盘、硬件或本地等位置获取预先存储的医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准。
S440、将医学图像样本和补全管状结构掩膜样本依次输入至第二下采样编码器和第二上采样解码器，得到预测误差信息。
其中，可以通过医学图像样本、补全管状结构掩膜样本和对应的补全管状结构掩膜金标准，对误差学习网络进行训练，得到误差学习模型。在对误差学习网络进行训练的过程中，可以先将第二训练样本集中的医学图像样本和补全管状结构掩膜样本依次输入至误差学习网络中的第二下采样编码器和第二上采样解码器，得到第二上采样解码器输出的预测误差信息。
这里需要说明的是，医学图像样本和补全管状结构掩膜样本的大小均相同，若第二训练样本集中的医学图像样本和补全管状结构掩膜样本的大小不同时，可以先将医学图像样本和补全管状结构掩膜样本裁剪成大小相同的图像后再依次输入至第二下采样编码器和第二上采样解码器。
S450、根据预测误差信息与误差信息金标准之间的差异，调整第二下采样编码器和第二上采样解码器的网络参数，直到收敛为止，得到误差学习模型；误差信息金标准用于表征补全管状结构掩膜样本与补全管状结构掩膜金标准之间的差异。
基于上文步骤获取到的预测误差信息后，可以通过第三损失函数计算预测误差信息与误差信息金标准之间的差异，并根据该差异调整第二下采样编码器和第二上采样解码器的网络参数，然后继续执行上述S440-S450中的步骤，直到误差学习网络收敛为止，得到训练好的误差学习模型，即训练好的第二下采样编码器和训练好的第二上采样解码器。其中，第三损失函数与第二损失函数以及第一损失函数可以相同，也可以不相同，对此本申请实施例不做限定。在本申请实施例中，第三损失函数为均方损失函数。
这里需要说明的是，在对误差学习网络训练前，误差学习网络中的第二下采样编码器和第二上采样解码器的网络参数可以通过初始化得到。上述误差学习网络的收敛条件可以为预测误差信息与误差信息金标准之间的差异小于第二预设差异阈值，或者循环迭代执行S440-S450的次数大于或等于第二预设迭代次数阈值。
其中，第二预设差异阈值可以为逼近于0的正数，第二预设迭代次数阈值可以为大于0的数值。在本申请实施例中，第二预设差异阈值与第一预设差异阈值可以相等或者不相等，第二预设迭代次数阈值与第一预设迭代次数阈值可以相等或者不相等。
示例性的，下面以管状结构补全网络和误差学***均值处理，Std表示求方差处理。
图11中第一下采样编码器D1包括五个矩形框，每个矩形框表示一个网络层，左侧第一层表示一个卷积层，右侧四层表示四个下采样层；图11中第一上采样编码器U1包括五个矩形框，每个矩形框也表示一个网络层，左侧四层表示上采样层，右侧一层表示一个卷积层。对应地，图11中的第二下采样编码器D2和第二上采样解码器U2中的采样层和卷积层的位置也类型，对此不再赘述。另外，图11中的R、P、L、S和I均表示管状结构上不同位置基于目标对象矢状面的方向，R表示右，P表示后，L表示左，S表示上，I表示下。
该示例中，理想分布可以设定为标准正态分布，在训练过程中，还设定第一损失函数为KL散度损失函数来作为预测初始分布与理想分布之间的约束，通过调整第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数，来强迫使得预测初始分布趋近于理想分布。但是，在实际模型训练过程中，为了训练得到更优的网络参数，优选地，在训练过程中设定第一损失函数为KL散度加交叉熵损失函数，并且设定该损失函数的最小化作为优化目标，α为调节参数，并采用Adam参数优化方法来实现网络参数优化处理，即迭代处理调整网络参数。
本申请实施例中的管状结构断裂补全方法，可以对误差学习网络进行训练，得到最优的误差学习模型，从而使得该方法能够通过最优的误差学习模型进一步对补全管状结构掩膜进行断裂补全误差检测，以根据误差检测结果即误差信息，对补全管状结构掩膜进行修复，使得该方法通过双重补全过程对管状结构进行断裂补全，可以极大程度上提高管状结构断裂补全结果的精度，以及提高管状结构断裂补全结果的完整性。
在一个实施例中，本申请还提供一种管状结构断裂补全方法，该方法包括以下过程：
(1)获取目标对象的医学图像，医学图像包括管状结构。
(2)对医学图像中的管状结构进行分割处理，得到初始管状结构掩膜。
(3)对初始管状结构掩膜进行分块处理，得到多个图像块。
(4)将多个图像块输入至管状结构补全模型中的第一下采样编码器，得到多个图像块对应的多个第一特征；第一特征为第一下采样编码器对初始管状结构掩膜进行下采样处理得到的结果。
(5)将多个第一特征输入至潜在分布空间学习层。
(6)通过潜在分布空间学习层先对各第一特征进行求均值处理以及求方差处理得到均值向量和方差向量，再根据均值向量和方差向量得到初始分布，最后对初始分布进行采样处理得到第二特征；第二特征为潜在分布空间学习层对第一特征进行运算处理和采样处理得到的结果。
(7)将第二特征输入至管状结构补全模型中的第一上采样解码器，得到补全管状结构掩膜；补全管状结构掩膜为第一上采样解码器对第二特征进行上采样处理得到的结果。
其中，管状结构补全模型的训练过程包括：
(8)获取第一训练样本集，第一训练样本集包括管状结构掩膜样本以及对应的补全管状结构掩膜金标准。
(9)将管状结构掩膜样本依次输入至管状结构补全网络中的第一下采样编码器和潜在分布空间学习层，得到对预测初始分布进行采样处理后的样本特征。
(10)将样本特征输入至第一上采样解码器，得到预测补全管状结构掩膜。
(11)根据初始预测分布与对应的理想分布之间的第一差异，以及预测补全管状结构掩膜与补全管状结构掩膜金标准之间的第二差异，调整第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数，直到收敛为止，得到管状结构补全模型。
(12)将补全管状结构掩膜以及医学图像输入至误差学习模型中的第二下采样编码器，得到第三特征；第三特征为第二下采样编码器对补全管状结构掩膜和医学图像进行下采样处理得到的结果。
(13)将第三特征输入至误差学习模型中的第二上采样解码器，得到误差信息；误差信息为第二上采样解码器对第三特征进行上采样处理得到的结果；误差信息用于表征补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
其中，误差学习模型的训练过程包括：
(14)获取第二训练样本集；第二训练样本集包括医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准。
(15)将医学图像样本和补全管状结构掩膜样本依次输入至误差学习网络中第二下采样编码器和第二上采样解码器，得到预测误差信息。
(16)根据预测误差信息与误差信息金标准之间的差异，调整第二下采样编码器和第二上采样解码器的网络参数，直到收敛为止，得到误差学习模型；误差信息金标准用于表征补全管状结构掩膜样本与补全管状结构掩膜金标准之间的差异。
(17)将补全管状结构掩膜与误差信息叠加，得到目标管状结构掩膜。
以上(1)至(17)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的管状结构断裂补全方法的管状结构断裂补全装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个管状结构断裂补全装置实施例中的具体限定可以参见上文中对于管状结构断裂补全方法的限定，在此不再赘述。
在一个实施例中，图12为本申请一个实施例中管状结构断裂补全装置的结构示意图，本申请实施例提供的管状结构断裂补全装置可以应用于计算机设备中。如图12所示，本申请实施例的管状结构断裂补全装置，可以包括：医学图像获取模块11、分割处理模块12、补全处理模块13和补全结果修复模块14。
其中，医学图像获取模块11，用于获取目标对象的医学图像，医学图像包括管状结构；
分割处理模块12，用于对医学图像中的管状结构进行分割处理，得到初始管状掩膜；
补全处理模块13，用于将初始管状掩膜输入至结构补全模型中，以对初始管状掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜；
补全结果修复模块14，用于将补全管状结构掩膜以及医学图像输入至误差学习模型中，得到误差信息，并基于补全管状结构掩膜和误差信息得到目标管状结构掩膜；误差信息用于表征补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，管状结构补全模型包括：第一下采样编码器、潜在分布空间学习层和第一上采样解码器；补全处理模块13包括：第一下采样处理单元、运算处理单元和第一上采样处理单元。
其中，第一下采样处理单元，用于将初始管状结构掩膜输入至第一下采样编码器，得到第一特征；第一特征为第一下采样编码器对初始管状结构掩膜进行下采样处理得到的结果；
运算处理单元，用于将第一特征输入至潜在分布空间学***均值及标准差分布，再对平均值及标准差分布进行采样处理后得到第二特征；
第一上采样处理单元，用于将第二特征输入至第一上采样解码器，得到补全管状结构掩膜；补全管状结构掩膜为第一上采样解码器对第二特征进行上采样处理得到的结果。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，第一下采样处理单元具体用于：
对初始管状结构掩膜进行分块处理，得到多个图像块；
将多个图像块输入至第一下采样编码器，得到多个图像块对应的多个第一特征。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，第一上采样处理单元具体用于：
将多个第一特征输入至潜在分布空间学习层；
通过潜在分布空间学习层对各第一特征进行求均值处理以及求方差处理得到均值向量和方差向量，根据均值向量和方差向量得到初始分布，并对初始分布进行采样处理得到第二特征。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，管状结构断裂补全装置还包括：补全网络训练模块。
其中，补全网络训练模块具体用于：
获取第一训练样本集，第一训练样本集包括管状结构掩膜样本以及对应的补全管状结构掩膜金标准；
将管状结构掩膜样本依次输入至第一下采样编码器和潜在分布空间学习层，得到对预测初始分布进行采样处理后的样本特征；
将样本特征输入至第一上采样解码器，得到预测补全管状结构掩膜；
根据初始预测分布与对应的理想分布之间的第一差异，以及预测补全管状结构掩膜与补全管状结构掩膜金标准之间的第二差异，调整第一下采样编码器、潜在分布空间学习层和第一上采样解码器的网络参数，直到收敛为止，得到管状结构补全模型。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，误差学习模型包括：第二下采样编码器和第二上采样解码器；补全结果修复模块14包括：第二下采样处理单元和第二上采样处理单元。
其中，第二下采样处理单元，用于将补全管状结构掩膜以及医学图像输入至第二下采样编码器，得到第三特征；第三特征为第二下采样编码器对补全管状结构掩膜和医学图像进行下采样处理得到的结果；
第二上采样处理单元，用于将第三特征输入至第二上采样解码器，得到误差信息；误差信息为第二上采样解码器对第三特征进行上采样处理得到的结果。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，管状结构断裂补全装置还包括：误差学习网络训练模块。
其中，误差学习网络训练模块具体用于：
获取第二训练样本集；第二训练样本集包括医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准；
将医学图像样本和补全管状结构掩膜样本依次输入至第二下采样编码器和第二上采样解码器，得到预测误差信息；
根据预测误差信息与理想误差信息之间的差异，调整第二下采样编码器和第二上采样解码器的网络参数，直到收敛为止，得到误差学习模型；理想误差信息用于表征补全管状结构掩膜样本与补全管状结构掩膜金标准之间的差异。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在其中一个实施例中，补全结果修复模块14具体用于：
将补全管状结构掩膜与误差信息叠加，得到目标管状结构掩膜。
本申请实施例提供的管状结构断裂补全装置可以用于执行本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
关于管状结构断裂补全装置的具体限定可以参见上文中对于医学图像处理方法的限定，在此不再赘述。上述管状结构断裂补全装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以继续如图1所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标对象的医学图像。该计算机设备的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种管状结构断裂补全方法。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请上述管状结构断裂补全方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请上述管状结构断裂补全方法的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请上述管状结构断裂补全方法的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种管状结构断裂补全方法，其特征在于，所述方法包括：
获取目标对象的医学图像，所述医学图像包括管状结构；
对所述医学图像中的管状结构进行分割处理，得到初始管状结构掩膜；
将所述初始管状结构掩膜输入至管状结构补全模型中，以对所述初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜；
将所述补全管状结构掩膜以及所述医学图像输入至误差学习模型中，得到误差信息，并基于所述补全管状结构掩膜和所述误差信息得到目标管状结构掩膜；所述误差信息用于表征所述补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
2.根据权利要求1所述的方法，其特征在于，所述管状结构补全模型包括：第一下采样编码器、潜在分布空间学习层和第一上采样解码器；所述将所述初始管状结构掩膜输入至管状结构补全模型中，以对所述初始管状结构掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜，包括：
将所述初始管状结构掩膜输入至所述第一下采样编码器，得到第一特征；所述第一特征为所述第一下采样编码器对所述初始管状结构掩膜进行下采样处理得到的结果；
将所述第一特征输入至所述潜在分布空间学***均值及标准差分布，再对所述平均值及标准差分布进行采样处理后得到第二特征；
将所述第二特征输入至所述第一上采样解码器，得到所述补全管状结构掩膜；所述补全管状结构掩膜为所述第一上采样解码器对所述第二特征进行上采样处理得到的结果。
3.根据权利要求2所述的方法，其特征在于，所述将所述初始管状结构掩膜输入至所述第一下采样编码器，得到第一特征，包括：
对所述初始管状结构掩膜进行分块处理，得到多个图像块；
将所述多个图像块输入至所述第一下采样编码器，得到所述多个图像块对应的多个第一特征。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一特征输入至所述潜在分布空间学习层，得到第二特征，包括：
将多个第一特征输入至所述潜在分布空间学习层；
通过所述潜在分布空间学习层对各所述第一特征进行求均值处理以及求方差处理得到均值向量和方差向量，根据所述均值向量和所述方差向量得到所述初始分布，并对所述初始分布进行采样处理得到所述第二特征。
5.根据权利要求2所述的方法，其特征在于，所述管状结构补全模型的训练过程包括：
获取第一训练样本集，所述第一训练样本集包括管状结构掩膜样本以及对应的补全管状结构掩膜金标准；
将所述管状结构掩膜样本依次输入至第一下采样编码器和所述潜在分布空间学习层，得到对预测初始分布进行采样处理后的样本特征；
将所述样本特征输入至所述第一上采样解码器，得到预测补全管状结构掩膜；
根据所述初始预测分布与对应的理想分布之间的第一差异，以及所述预测补全管状结构掩膜与所述补全管状结构掩膜金标准之间的第二差异，调整所述第一下采样编码器、所述潜在分布空间学习层和所述第一上采样解码器的网络参数，直到收敛为止，得到所述管状结构补全模型。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述误差学习模型包括：第二下采样编码器和第二上采样解码器；所述将所述补全管状结构掩膜以及所述医学图像输入至误差学习网络模型中，得到误差信息，包括：
将所述补全管状结构掩膜以及所述医学图像输入至所述第二下采样编码器，得到第三特征；所述第三特征为所述第二下采样编码器对所述补全管状结构掩膜和所述医学图像进行下采样处理得到的结果；
将所述第三特征输入至所述第二上采样解码器，得到所述误差信息；所述误差信息为所述第二上采样解码器对所述第三特征进行上采样处理得到的结果。
7.根据权利要求6所述的方法，其特征在于，所述误差学习模型的训练过程包括：
获取第二训练样本集；所述第二训练样本集包括医学图像样本、补全管状结构掩膜样本以及对应的补全管状结构掩膜金标准；
将所述医学图像样本和所述补全管状结构掩膜样本依次输入至所述第二下采样编码器和所述第二上采样解码器，得到预测误差信息；
根据预测误差信息与所述理想误差信息之间的差异，调整所述第二下采样编码器和所述第二上采样解码器的网络参数，直到收敛为止，得到所述误差学习模型；所述理想误差信息用于表征所述补全管状结构掩膜样本与所述补全管状结构掩膜金标准之间的差异。
8.根据权利要求1-5中任一项所述的方法，其特征在于，所述基于所述补全管状结构掩膜和所述误差信息得到目标管状结构掩膜，包括：
将所述补全管状结构掩膜与所述误差信息叠加，得到所述目标管状结构掩膜。
9.一种管状结构断裂补全装置，其特征在于，所述装置包括：
医学图像获取模块，用于获取目标对象的医学图像，所述医学图像包括管状结构；
分割处理模块，用于对所述医学图像中的管状结构进行分割处理，得到初始管状掩膜；
补全处理模块，用于将所述初始管状掩膜输入至管状结构补全模型中，以对所述初始管状掩膜中管状结构的缺失部分进行补全处理，得到补全管状结构掩膜；
补全结果修复模块，用于将所述补全管状结构掩膜以及所述医学图像输入至误差学习模型中，得到误差信息，并基于所述补全管状结构掩膜和所述误差信息得到目标管状结构掩膜；所述误差信息用于表征所述补全管状结构掩膜中管状结构与补全管状结构掩膜金标准中管状结构之间的差异。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述方法的步骤。
CN202211062401.0A 2022-08-31 2022-08-31 管状结构断裂补全方法、装置及计算机设备 Pending CN115424720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211062401.0A CN115424720A (zh) 2022-08-31 2022-08-31 管状结构断裂补全方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211062401.0A CN115424720A (zh) 2022-08-31 2022-08-31 管状结构断裂补全方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN115424720A true CN115424720A (zh) 2022-12-02

Family

ID=84200695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211062401.0A Pending CN115424720A (zh) 2022-08-31 2022-08-31 管状结构断裂补全方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN115424720A (zh)

Similar Documents

Publication Publication Date Title
US20230368383A1 (en) Method and System for Image Registration Using an Intelligent Artificial Agent
CN111680447A (zh) 血流特征预测方法、装置、计算机设备和存储介质
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及***
CN110246580A (zh) 基于神经网络和随机森林的颅侧面影像分析方法和***
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
KR102442093B1 (ko) 수술용 내비게이션 시스템에서의 표면 정합 개선 방법
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
JP7456928B2 (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
CN111192268A (zh) 医学图像分割模型构建方法与cbct图像骨分割方法
Shao et al. Automatic liver tumor localization using deep learning‐based liver boundary motion estimation and biomechanical modeling (DL‐Bio)
EP3516621B1 (en) Apparatus for adaptive contouring of a body part
US20210065388A1 (en) Registering a two-dimensional image with a three-dimensional image
CN110473241B (zh) 图像配准方法、存储介质及计算机设备
CN110378910B (zh) 基于图谱融合的腹腔多器官分割方法及装置
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估***和相关产品
US20200151873A1 (en) Methods, systems and use for detecting irregularities in medical images by means of a machine learning model
CN111179373A (zh) 医学图像去骨模型构建方法与骨信息去除方法
WO2022163513A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
Penarrubia et al. Improving motion‐mask segmentation in thoracic CT with multiplanar U‐nets
CN115424720A (zh) 管状结构断裂补全方法、装置及计算机设备
US11837352B2 (en) Body representations
CN114881930A (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
CN113850710A (zh) 一种跨模态医学影像精准转换方法
Coevoet et al. Registration by interactive inverse simulation: application for adaptive radiotherapy
Coevoet et al. Introducing interactive inverse FEM simulation and its application for adaptive radiotherapy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination