CN115482247A - 多期相融合的肝脏占位分割方法，模型、装置及存储介质 - Google Patents

多期相融合的肝脏占位分割方法，模型、装置及存储介质 Download PDF

Info

Publication number
CN115482247A
CN115482247A CN202211375016.1A CN202211375016A CN115482247A CN 115482247 A CN115482247 A CN 115482247A CN 202211375016 A CN202211375016 A CN 202211375016A CN 115482247 A CN115482247 A CN 115482247A
Authority
CN
China
Prior art keywords
feature map
liver
phase
segmentation
sampling feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211375016.1A
Other languages
English (en)
Other versions
CN115482247B (zh
Inventor
王博
赵威
申建虎
张伟
徐正清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Precision Diagnosis Medical Technology Co ltd
Original Assignee
Beijing Precision Diagnosis Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Precision Diagnosis Medical Technology Co ltd filed Critical Beijing Precision Diagnosis Medical Technology Co ltd
Priority to CN202211375016.1A priority Critical patent/CN115482247B/zh
Publication of CN115482247A publication Critical patent/CN115482247A/zh
Application granted granted Critical
Publication of CN115482247B publication Critical patent/CN115482247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种多期相融合的肝脏占位分割方法，装置及存储介质，其中所述方法包括：通过对多期相肝脏CT图像样本进行配准，得到多期相初始图像；并通过三次样条插值法对多期相多期相初始图像进行重采样后，再进行数据处理，以得到目标图像样本；将目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据真实结果和分割结果，构建聚合损失函数对轻量3D肝脏占位分割模型进行优化，得到目标轻量3D肝脏占位分割模型，这样增加了多期相数据的学习有效性，且增加了对多期相肝脏CT图像样本中占位的全局信息和空间信息的学习，达到了提高分割精度的目的。

Description

多期相融合的肝脏占位分割方法，模型、装置及存储介质
技术领域
本申请涉及医学图像处理技术领域，具体而言，涉及一种多期相融合的肝脏占位分割方法，装置及存储介质。
背景技术
肝脏疾病主要分为弥漫性病变和占位性病变两种类型。肝脏弥漫性病变表现在整个肝脏表面，例如病毒性肝炎、脂肪肝和肝硬化等。肝脏占位性病变与弥漫性肝病不同，它仅仅表现在肝脏表面的一个小区域，病变区域难以确定，且病灶在超声图像上表现复杂、形状多变。肝脏占位性病变种类繁杂，常见的有肝细胞癌，是一种高死亡率的原发性肝癌，除此之外还包括肝血管瘤、肝囊肿、局灶性结节增生等。借助深度学习技术实现对肝脏占位性病变的辅助诊断，不仅能为医生诊断提供可靠的参考依据，还能减少医生工作量，对提高肝癌生存率、降低死亡率具有重要意义
针对肝脏占位的分割，目前通常采用级联 FCN 分割框架，将分割问题划分成两步，首先训练一个FCN 模型对CT 图像中的肝脏区域进行分割，将目标区域缩小到肝脏，再将分割出来的肝脏区域作为第二个 FCN 模型的输入，分割得到肝脏的病变区域，级联的分割方法加快了模型的收敛，提高了病灶区域的分割精度。
但是使用FCN进行分割，无法充分学习肝脏占位的全局信息，导致分割的结果比较粗糙，影响分割精度。
发明内容
为了解决通过FCN进行分割，无法充分学习肝脏占位的全局信息，导致分割的结果比较粗糙，影响分割结果的精度的问题，本申请提供了一种多期相融合的肝脏占位分割方法，上述方法通过轻量3D肝脏占位分割模型对多期相肝脏CT图像进行处理，增加了对全局信息和空间信息的学习，并通过输入级特征融合和中间层特征融合增加多期相的数据的学习有效性，提高分割精度。
本申请的实施例是这样实现的：
本申请实施例的提供一种多期相融合的肝脏占位分割方法，包括：
对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组；
通过三次样条插值法对所述多期相初始图像进行重采样后，对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；
将所述目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；
通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3D肝脏占位分割模型进行优化，直至所述轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型；
其中，所述分割处理包括：
步骤A：通过所述轻量3D肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；
步骤B：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；
步骤C：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；
步骤D：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤B-步骤D至预设次数。
上述技术方案中，所述通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图，包括：
通过所述空间通道聚合模块中的空间模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合模型中；
通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
上述技术方案中，所述通道聚合模型为：
Figure 445066DEST_PATH_IMAGE001
其中，x表示经过卷积的所述第二采样特征图 ，g表示经过卷积的所述第一采样特 征图；Up 表示上采样，
Figure 877185DEST_PATH_IMAGE002
表示Relu函数，σ表示 Sigmoid 函数,
Figure 830097DEST_PATH_IMAGE003
表示3 维的 1 × 1 × 1卷积。
上述技术方案中，所述聚合损失函数为：
Figure 689469DEST_PATH_IMAGE004
其中，
Figure 360622DEST_PATH_IMAGE005
，
Figure 534114DEST_PATH_IMAGE006
为前景的损失权重，通过调节
Figure 669429DEST_PATH_IMAGE007
可以调节前景在训练时的损失值贡献程度，
Figure 637385DEST_PATH_IMAGE008
为调 节因子，
Figure 798764DEST_PATH_IMAGE009
为所述目标图像样本中像素点的预测值，y为所述目标图像样本中像素点的真 实值；
Figure 572685DEST_PATH_IMAGE010
，
Figure 500189DEST_PATH_IMAGE011
，X为所述分割结果中像 素点的集合，Y为所述真实结果中像素点的集合，a和b分别表示
Figure 639047DEST_PATH_IMAGE012
和
Figure 284792DEST_PATH_IMAGE013
的权重。
上述技术方案中，所述对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本将所述目标图像样本，包括：
对重采样后的所述多期相初始图像进行归一化处理和数据增强处理，以得到目标图像样本。
本申请实施例还提供一种多期相融合的肝脏占位分割模型，所述模型包括：解码器和编码器；
所述编码器和所述解码器之间通过跳跃连接模块连通；所述编码器包括卷积层和下采样层，所述解码器包括卷积层和上采样层；所述编码器和所述解码器均用于对所述目标图像样本进行特征提取；
所述跳跃连接模块包括空间通道聚合模块；所述空间通道聚合模块用于对所述特征图中不同期相的特征信息进行筛选。
本申请实施例还提供一种多期相融合的肝脏占位分割装置，其特征在于，包括：
配准单元，用于对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组；
重采样单元，用于通过三次样条插值法对所述多期相初始图像进行重采样，还用于通过最近邻插值法对占位掩膜进行重采样，得到真实结果；
数据处理模块，用于对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；
分割单元，用于将所述目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；其中，所述分割处理包括：
步骤A：通过所述轻量3D肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；
步骤B：对第一采样特征图进行卷积，并通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；
步骤C：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；
步骤D：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤B-步骤D至预设次数；
优化单元，用于根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3D肝脏占位分割模型进行优化，直至所述轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型。
本申请实施例还提供一种多期相融合的肝脏占位分割装置，其特征在于：所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所示指令由处理器加载并执行以实现如权利要求上述任一项实施例所述多期相融合的肝脏占位分割方法。
本申请实施例还提供一种存储介质，所述存储介质中存储有至少一条指令，所示指令由处理器加载并执行以实现如上述任一项实施例所述多期相融合的肝脏占位分割方法。
本申请实施例提供一种多期相融合的肝脏占位分割方法，通过对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组；通过三次样条插值法对所述多期相初始图像进行重采样后，对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；将所述目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；通过最近邻插值法对所述多期相初始图像中包括占位的区域进行重采样，得到真实结果；根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3D肝脏占位分割模型进行优化，直至所述轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型。其中，本申请实施例通过输入级特征融合和中间层特征融合增加多期相的数据的学习有效性，且通过轻量3D肝脏占位分割模型对多期相肝脏CT图进行处理，增加了轻量3D肝脏占位分割模型对全局信息和空间信息的学习，达到了提高分割精度的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的多期相融合的肝脏占位分割方法流程示意图；
图2为本申请实施例提供的轻量3D肝脏占位分割模型的网络结构示意图；
图3为本申请实施例提供的空间通道聚合模块的结构示意图；
图4为本申请实施例提供的多期相融合的肝脏占位分割装置的结构示意图；
图5为本申请实施例还提供的多期相融合的肝脏占位分割装置的结构示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
图1为本申请实施例提供的多期相融合的肝脏占位分割方法流程示意图，如图1所示，本申请实施例的提供一种多期相融合的肝脏占位分割方法，包括：
S101、对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组。
本发明实施例中，适用于对多期相肝脏CT图像样本中不同期相对应的特征信息进行学习，实现对肝脏占位分割的场景。
本发明实施例中，多期相肝脏CT图像样本中至少包括平扫期相、动脉期相、静脉期相和延迟期相中的两种期相对应的肝脏CT图像序列图组，即多期相肝脏CT图像样本可以包括平扫期肝脏CT图像序列图组、动脉期肝脏CT图像序列图组和静脉期肝脏CT图像序列图组；多期相肝脏CT图像样本也可以包括动脉期肝脏CT图像序列图组和静脉期肝脏CT图像序列图组。
本发明的一些实施例中，设多期相肝脏CT图样本包括动脉肝脏CT图序列图组和静脉期肝脏CT图像序列图组。此时，S101中对多期相肝脏CT图像样本进行配准可以包括：
S201、确定动脉期肝脏CT图像序列图组中的一幅动脉期肝脏CT图像作为第一目标期相肝脏CT图像，选择静脉期肝脏CT图像序列图组中的一幅静脉期肝脏CT图像作为第二目标期相肝脏CT图像，第一目标期相肝脏CT图像和第二目标期相肝脏CT图像均为目标期相肝脏CT图像。对第一目标期相肝脏CT图像及第二目标期相肝脏CT图像分别进行多分辨率处理，构成含有两层的动脉期肝脏CT图像金字塔及静脉期肝脏CT图像金字塔，其中，动脉期肝脏CT图像金字塔及静脉期肝脏CT图像金字塔的顶层图像分辨率最小；
S202、对动脉期肝脏CT图像金字塔的顶层图像的指定区域进行几何坐标刚体变换得到新区域；
S203、通过三次样条插值方法得到静脉期肝脏CT图像金字塔的顶层图像在步骤S202获取的新区域的坐标；
S204、利用基于联合直方图的相似性测度计算动脉期肝脏CT图像金字塔的顶层图像与插值图之间的相似度，得到相似度函数；
S205、将S204得到的相似度函数输入至粒子群算法优化算法中进行最优化计算得到最优变换参数,重复步骤S202-S204，直到取得最大值；
S206、将最优变换参数作为鲍威尔算法搜索的起始点,分别对动脉期肝脏CT图像金字塔及静脉期肝脏CT图像金字塔的最后两层图像进行处理,重复步骤S202-S205；
S207、输出静脉期肝脏CT图像在最终变换下的配准图像，从而完成配准。
可以理解的是，通过对多期相肝脏CT图像样本中不同期相的CT图像进行配准处理，便于轻量3D肝脏占位分割模型学习不同期相的CT图像中不同期相的特征信息，从而提高完成训练后得到的目标轻量3D肝脏占位分割模型的分割精度。
本发明实施例中，多期相肝脏CT图像样本完成配准后，还可以对配准后的多期相肝脏CT图像样本进行非0值裁剪，以多期相初始图像的尺寸，提高轻量3D肝脏占位分割模型的训练速度，提高了计算效率。
S102、通过三次样条插值法对多期相初始图像进行重采样后，对重采样后的多期相初始图像进行数据处理，以得到目标图像样本；目标图像样本中包括至少两种期相的特征。
本发明实施例中，S102还包括：对重采样后的多期相初始图像依次进行裁剪、归一化处理和数据增强处理，以得到目标图像样本。
本发明实施例中，统计重采样后的多期相初始图像中所有分割掩膜（mask）内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围，以确定目标HU值范围，并对重采样后的多期相初始图像进行裁剪，裁剪到目标HU值范围；对裁剪后的重采样后的多期相初始图像进行Z-score归一化，Z-score归一化如公式1-1所示：
Figure 596824DEST_PATH_IMAGE014
1-1
其中，x为重采样后的多期相初始图像中像素点的HU值，u为所有像素点的HU值得 均值，
Figure 644415DEST_PATH_IMAGE015
为所有像素点的标准差。
本发明实施例中，数据增强处理包括：缩放、高斯噪声、高斯模糊、亮度增强、对比度增强、低分比率变换（最近邻插值）、gamma增强和镜像翻转中的一种或多种处理方法。本发明实施例不作限定。
S103、将目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果。
其中，分割处理包括：
步骤A：通过轻量3D肝脏占位分割模型中的卷积层和下采样层对目标图像样本进行卷积和下采样，得到多层级采样特征图；
步骤B：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块（Spatial Channel Aggregation Module，SCAM）对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；
步骤C：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对子目标特征图和子采样特征图进行拼接；
步骤D：将拼接后的特征图作为新的第一采样特征图；将位于第二采样特征图上一层的采样特征图作为新的第二采样特征图，重复步骤B-步骤D至预设次数。
本发明实施例中，图2为本申请实施例提供的轻量3D肝脏占位分割模型的网络结构示意图，如图2所示，本申请实施例还提供一种多期相融合的肝脏占位分割模型，所述模型包括：解码器和编码器；
所述编码器和所述解码器之间通过跳跃连接模块连通；所述编码器包括卷积层和下采样层，所述解码器包括卷积层和上采样层；所述编码器和所述解码器均用于对所述目标图像样本进行特征提取；
所述跳跃连接模块包括空间通道聚合模块；所述空间通道聚合模块用于对所述特征图中不同期相的特征信息进行筛选。
本发明实施例中，示例性的，设轻量3D肝脏占位分割模型中的编码器包括5层卷积层和4层下采样层，且5层卷积层和4层下采样层间隔设置，解码器包括5层卷积层和4层上采样层，且5层卷积层和4层上采样层也间隔设置。输入的目标图像样本为C0×D1×H1×W1，C0×D1×H1×W1经过5层卷积层和4层下采样层后将得到第一采样特征图C4×D5×H5×W5；此时，第二采样特征图为C3×D4×H4×W4。步骤B中对第一采样特征图进行卷积后，将得到经过卷积的第一采样特征图C4×D5×H5×W5，对第二采样特征图进行卷积后，将得到经过卷积的第二采样特征图C4×D4×H4×W4。
本发明实施例中，如图2所示，轻量3D肝脏占位分割模型中的卷积层均为空洞卷积层。
可以理解的是，本申请实施例中轻量3D肝脏占位分割模型使用3D卷积网络替代2D卷积网络，增加了轻量3D肝脏占位分割模型对多期相肝脏CT图像的全局信息和空间信息的学习，且3D卷积网络使用空洞卷积，可以减少网络模型参数，加快训练速度。
本发明的一些实施例中，步骤B中通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图，包括：
S301、通过所述空间通道聚合模块中的空间（Spatial Aggregation，SA）模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合（ChannelAggregation，CA）模型中；
S302、通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
本发明的一些实施例中，通道聚合模型如公式1-2所示：
Figure 16490DEST_PATH_IMAGE016
1-2
其中，x表示经过卷积的第二采样特征图 ，g表示经过卷积的第一采样特征图；Up 表示上采样，
Figure 149531DEST_PATH_IMAGE017
表示Relu函数，σ表示 Sigmoid 函数,
Figure 268184DEST_PATH_IMAGE018
表示3维的 1 × 1 × 1卷积。
本发明实施例中，图3为本申请实施例提供的空间通道聚合模块的结构示意图，如图3所示，空间通道聚合模块包括空间模块（SA模块），空间模块通过SA运算对对待传输的图像先进行全局池化,接着经过一个部分连接层,最后经过一层 Sigmoid激活。其中，SA运算可以如公式1-3所示：
Figure 170281DEST_PATH_IMAGE019
1-3
其中，GAP 表示全局平均池化运算， x 为输入的图像张量。
当经过卷积的第二采样特征图通过空间模块输入至通道聚合模型中后，通过卷积层进行卷积，之后与依次经过上采样和卷积的经过卷积的第一采样特征图进行拼接，拼接后通过RELU函数激活，接着经过一个卷积层，再经过一层Sigmoid激活，最后与经过卷积的第二采样特征图聚合后，通过空间模块输出至轻量3D肝脏占位分割模型中的解码器中。
可以理解的是，本申请实施例中，通过空间通道聚合模块完成了对多期相特征的中间级特征融合，而通过对多期相肝脏CT图像样本的配准，实现了对多期相特征的输入级特征融合，通过两种特征融合的方式结合，使得轻量3D肝脏占位分割模型能够充分学习到多期相特征信息，且本申请实施例中，通过空间通道聚合模块引入了注意力机制，提高了轻量3D肝脏占位分割模型增加了轻量3D肝脏占位分割模型对全局信息和空间信息的学习，提高了增加了轻量3D肝脏占位分割模型的分割精度。
S104、通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据真实结果和分割结果，构建聚合损失函数对轻量3D肝脏占位分割模型进行优化，直至轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型。
本发明实施例中，S104中所述的聚合损失函数如公式1-4所示：
Figure 713258DEST_PATH_IMAGE020
1-4
其中，
Figure 68016DEST_PATH_IMAGE021
，
Figure 49747DEST_PATH_IMAGE022
为前景的损失权重，通过调节
Figure 806351DEST_PATH_IMAGE023
可以调节前景在训练时的损失值贡献程度，
Figure 520229DEST_PATH_IMAGE024
为调 节因子，
Figure 630792DEST_PATH_IMAGE025
为目标图像样本中像素点的预测值，y为目标图像样本中像素点的真实值；
Figure 88318DEST_PATH_IMAGE026
，
Figure 637111DEST_PATH_IMAGE027
，X为分割结果中像素点的集合，Y 为真实结果中像素点的集合，a和b分别表示
Figure 849787DEST_PATH_IMAGE028
和
Figure 179137DEST_PATH_IMAGE029
的权重。
本发明实施例中，目标图像样本中像素点的真实值与S104中通过最近邻插值法对占位掩膜进行重采样，得到的真实结果对应；目标图像样本中像素点的预测值与目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到的分割结果对应。
本发明实施例中，构建聚合损失函数对轻量3D肝脏占位分割模型进行优化时，采用Adam优化方法对轻量3D肝脏占位分割模型进行权重参数的优化，从而减少损失值，实现损失值的收敛，提高轻量3D肝脏占位分割模型的分割准确性。
本发明的一些实施例中，对轻量3D肝脏占位分割模型进行优化以得到目标轻量3D肝脏占位分割模型的过程中，可以将多期相初始图像按照预设比例划分为训练集、测试集和验证集，通过对轻量3D肝脏占位分割模型的训练、测试和验证，完成轻量3D肝脏占位分割模型通过调整网络模型参数以更好拟合数据集，通过多次迭代，保存在验证集上验证损失最小的最优网络模型权重。
可以理解的是，本申请实施例中通过结合两种插值方法，对多期相CT图像使用三阶样条插值，对占位掩膜使用最近邻插值，提升了轻量3D肝脏占位分割模型的泛化能力。且通过聚合损失函数完成对轻量3D肝脏占位分割模型的优化，可使得轻量3D肝脏占位分割模型不仅能从全局的CT图像进行观察学习，还能关注难分类和易错分类的样本，从而减少样本不均衡对轻量3D肝脏占位分割模型训练造成的影响。
图4为本申请实施例提供的多期相融合的肝脏占位分割装置的结构示意图；如图4所示，本申请实施例还提供一种多期相融合的肝脏占位分割装置，其特征在于，包括：
配准单元701，用于对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组；
重采样单元702，用于通过三次样条插值法对所述多期相初始图像进行重采样，还用于通过最近邻插值法对占位掩膜进行重采样，得到真实结果；
数据处理模块703，用于对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；
分割单元704，用于将所述目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；其中，所述分割处理包括：
步骤A：通过所述轻量3D肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；
步骤B：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；
步骤C：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；
步骤D：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤B-步骤D至预设次数；
优化单元705，用于根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3D肝脏占位分割模型进行优化，直至所述轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型。
本发明实施例中，所述分割单元704，还用于通过所述空间通道聚合模块中的空间模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合模型中；还用于通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
本发明实施例中，所述数据处理模块703，还用于对重采样后的所述多期相初始图像进行归一化处理和数据增强处理，以得到目标图像样本。
图5为本申请实施例还提供的多期相融合的肝脏占位分割装置的结构示意图，如图5所示，本申请实施例还提供一种多期相融合的肝脏占位分割装置，多期相融合的肝脏占位分割装置包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各方法所提供的多期相融合的肝脏占位分割方法。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多期相融合的肝脏占位分割方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多期相融合的肝脏占位分割方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种多期相融合的肝脏占位分割方法，其特征在于，包括：
对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组；
通过三次样条插值法对所述多期相初始图像进行重采样后，对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；
将所述目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；
通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3D肝脏占位分割模型进行优化，直至所述轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型；
其中，所述分割处理包括：
步骤A：通过所述轻量3D肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；
步骤B：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；
步骤C：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；
步骤D：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤B-步骤D至预设次数。
2.根据权利要求1所述的肝脏占位分割方法，其特征在于，所述通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图，包括：
通过所述空间通道聚合模块中的空间模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合模型中；
通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
3.根据权利要求2所述的肝脏占位分割方法，其特征在于，所述通道聚合模型为：
Figure 450974DEST_PATH_IMAGE001
其中，x表示经过卷积的所述第二采样特征图 ，g表示经过卷积的所述第一采样特征 图；Up 表示上采样，
Figure 978907DEST_PATH_IMAGE002
表示Relu函数，σ表示 Sigmoid 函数,
Figure 300167DEST_PATH_IMAGE003
表示3维 的 1 × 1 × 1卷积。
4.根据权利要求1所述的肝脏占位分割方法，其特征在于，所述聚合损失函数为：
Figure 116813DEST_PATH_IMAGE004
其中，
Figure 919072DEST_PATH_IMAGE005
，
Figure 567091DEST_PATH_IMAGE006
为前景的损失权重，通过调节
Figure 59252DEST_PATH_IMAGE007
可以调节前景在训练时的损失值贡献程度，
Figure 97615DEST_PATH_IMAGE008
为调节因 子，
Figure 435056DEST_PATH_IMAGE009
为所述目标图像样本中像素点的预测值，y为所述目标图像样本中像素点的真实值；
Figure 468740DEST_PATH_IMAGE010
，
Figure 880871DEST_PATH_IMAGE011
，X为所述分割结果中像素点的集 合，Y为所述真实结果中像素点的集合，a和b分别表示
Figure 468848DEST_PATH_IMAGE012
和
Figure 875558DEST_PATH_IMAGE013
的权重。
5.根据权利要求1所述的肝脏占位分割方法，其特征在于，所述对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本，包括：
对重采样后的所述多期相初始图像依次进行裁剪、归一化处理和数据增强处理，以得到目标图像样本。
6.一种多期相融合的肝脏占位分割模型，其特征在于，所述模型包括：解码器和编码器；
所述编码器和所述解码器之间通过跳跃连接模块连通；所述编码器包括卷积层和下采样层，所述解码器包括卷积层和上采样层；所述编码器和所述解码器均用于对目标图像样本进行特征提取；
所述跳跃连接模块包括空间通道聚合模块；所述空间通道聚合模块用于对所述特征图中不同期相的特征信息进行筛选。
7.一种多期相融合的肝脏占位分割装置，其特征在于，包括：
配准单元，用于对多期相肝脏CT图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏CT图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏CT图像序列图组；
重采样单元，用于通过三次样条插值法对所述多期相初始图像进行重采样，还用于通过最近邻插值法对占位掩膜进行重采样，得到真实结果；；
数据处理模块，用于对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；
分割单元，用于将所述目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；其中，所述分割处理包括：
步骤A：通过所述轻量3D肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；
步骤B：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；
步骤C：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；
步骤D：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤B-步骤D至预设次数；
优化单元，用于根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3D肝脏占位分割模型进行优化，直至所述轻量3D肝脏占位分割模型对应的损失值收敛，得到目标轻量3D肝脏占位分割模型。
8.一种多期相融合的肝脏占位分割装置，其特征在于：所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所示指令由处理器加载并执行以实现如权利要求1-5任一项所述多期相融合的肝脏占位分割方法。
9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所示指令由处理器加载并执行以实现如权利要求1-5任一项所述多期相融合的肝脏占位分割方法。
CN202211375016.1A 2022-11-04 2022-11-04 多期相融合的肝脏占位分割方法，装置及存储介质 Active CN115482247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211375016.1A CN115482247B (zh) 2022-11-04 2022-11-04 多期相融合的肝脏占位分割方法，装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211375016.1A CN115482247B (zh) 2022-11-04 2022-11-04 多期相融合的肝脏占位分割方法，装置及存储介质

Publications (2)

Publication Number Publication Date
CN115482247A true CN115482247A (zh) 2022-12-16
CN115482247B CN115482247B (zh) 2023-06-02

Family

ID=84396319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211375016.1A Active CN115482247B (zh) 2022-11-04 2022-11-04 多期相融合的肝脏占位分割方法，装置及存储介质

Country Status (1)

Country Link
CN (1) CN115482247B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN113935951A (zh) * 2021-09-13 2022-01-14 南京邮电大学 一种三通道级联SEU-Nets肝肿瘤分割方法
CN114565624A (zh) * 2022-03-04 2022-05-31 浙江大学 基于多期立体图元生成器的肝脏病灶分割的图像处理方法
CN114897780A (zh) * 2022-04-12 2022-08-12 南通大学 一种基于mip序列的肠系膜上动脉血管重建方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN113935951A (zh) * 2021-09-13 2022-01-14 南京邮电大学 一种三通道级联SEU-Nets肝肿瘤分割方法
CN114565624A (zh) * 2022-03-04 2022-05-31 浙江大学 基于多期立体图元生成器的肝脏病灶分割的图像处理方法
CN114897780A (zh) * 2022-04-12 2022-08-12 南通大学 一种基于mip序列的肠系膜上动脉血管重建方法

Also Published As

Publication number Publication date
CN115482247B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Wang et al. Understanding convolution for semantic segmentation
Li et al. Joint image filtering with deep convolutional networks
CN109685060B (zh) 图像处理方法和装置
JP7045490B2 (ja) 画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品
US9715761B2 (en) Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
CN113516659B (zh) 一种基于深度学习的医学影像自动分割方法
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及***
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
Dal Poz et al. Automated extraction of road network from medium-and high-resolution images
CN108121931A (zh) 二维码数据处理方法、装置及移动终端
CN111369567B (zh) 三维图像中目标对象的分割方法、装置及电子设备
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
JP6902811B2 (ja) 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
JP2012515982A (ja) コンピュータグラフィックスのためのスムージングされたローカルヒストグラムフィルタ
Zhong et al. Deep attentional guided image filtering
Chen et al. Single depth image super-resolution using convolutional neural networks
CN108305268A (zh) 一种图像分割方法及装置
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN112801904A (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN116486288A (zh) 基于轻量级密度估计网络的航拍目标计数与检测方法
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN114298971A (zh) 一种冠状动脉分割方法、***、终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant