CN111667459B - 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 - Google Patents

一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 Download PDF

Info

Publication number
CN111667459B
CN111667459B CN202010360486.5A CN202010360486A CN111667459B CN 111667459 B CN111667459 B CN 111667459B CN 202010360486 A CN202010360486 A CN 202010360486A CN 111667459 B CN111667459 B CN 111667459B
Authority
CN
China
Prior art keywords
medical
time sequence
variable
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010360486.5A
Other languages
English (en)
Other versions
CN111667459A (zh
Inventor
马杰超
张树
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010360486.5A priority Critical patent/CN111667459B/zh
Publication of CN111667459A publication Critical patent/CN111667459A/zh
Application granted granted Critical
Publication of CN111667459B publication Critical patent/CN111667459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请所提供的一种基于3D可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质，所述方法包括：获取医疗影像的3D输入数据或伪3D输入数据；构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；将所述医疗影像的3D输入数据或伪3D输入数据输入至训练好的可变卷积神经网络模型；将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框；本申请解决了现有技术中3D网络的计算效率问题和伪3D的多层面相关信息丢失未充分利用的问题。

Description

一种基于3D可变卷积和时序特征融合的医学征象检测方法、 ***、终端及存储介质
技术领域
本申请医学影像和计算机辅助技术领域，尤其是涉及一种基于3D可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质。
背景技术
医学征象的检出在疾病的诊断领域是一个很重要的问题。传统的疑似恶性区域的确诊需要把病人的组织从病灶中切割出来进行活检。但是该过程对切片的位置和角度都有着很高的要求，并且对患者的创伤程度也需要进行考量。
随着许多医学成像技术的发展以及医疗设备的提高，为解决这个难题提供了一个契机。过去二十年来，计算机视觉和人工智能发展迅猛，已经有不少计算机辅助诊断***在帮助医生做辅助诊断。而胸部CT由于具有较高的空间分辨率、扫描时间快、图像清晰以及可对病变完成三维立体重建等优点，受到患者及医生极大的肯定。对于CT图像，与一般意义上的图像处理比较，医学图像处理有其特殊性和不同的侧重点。对于自然图像，一般的深度学习技术都是基于2D的图像来解决相关问题。但是对于医学图像，不同层面实质上是同一个医学征象的不同切片，之间的信息具有高度的相关性和互补性，如果仅仅只在单个层面上进行图像的检出，图像的大部分信息并没有有效利用，不但造成了信息的浪费，并且会导致最终诊断结果出现偏差。
随着深度学习技术的发展，现在已经有一系列的方法可以进行精准的3D目标检测。现有的医学征象检测通常可以分成两种常用的技术，第一种是直接对3D的输入以patch的形式进行切割，然后输入到3D网络当中进行判断，但是这种方式会对计算资源有较高的要求。第二种方式通常是将连续的多层拼接而成的伪3D输入到一个2D网络当中，该方法是在网络的早期对输入的层面进行融合，但是该方法由于同时对空间2D层面的x、y轴和时序不同层面的z轴同时建模，由于CT图像在重建的时候x、y轴的分辨率等方式和z轴不同，因此需要对两种维度的数据进行分别建模，且对于空间维度的x、y轴和时序维度的z轴应用相同的权重参数，使得网络难以学习到有效的不同分辨率之间的差异。此外，伪3D结构在输入之前对各个层面的权重进行学习，但是该权重信息只存在于网络的输入层面，在网络的后期就会造成伪3D的多层面相关信息(如高维序列数据中特有的特征模式)在后期丢失或不能充分利用。
因此，亟需一种基于3D可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质，以解决现有的3D医学征象检测中3D网络的计算效率问题和伪3D的多层面相关信息丢失未充分利用的问题。
发明内容
针对现有技术的不足，本申请提供一种基于3D可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质，解决了现有技术中3D网络的计算效率问题和伪3D的多层面相关信息丢失未充分利用等问题。
为解决上述技术问题，第一方面，本申请提供一种基于3D可变卷积和时序特征融合的医学征象检测方法，包括：
获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。
可选的，所述获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据，包括：
将医疗影像进行预处理得到3D输入数据；
将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。
可选的，所述将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型，包括：
构建可变卷积网络模型；
将标准医学征象检出数据输入至可变卷积神经网络进行训练；
通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。
可选的，所述将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据，包括：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。
可选的，所述将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框，包括：
通过将高层特征上采样，经过1*1的卷积核进行特征的相加，得到医学征象的候选框。
可选的，所述方法还包括：
根据所述医学征象候选框的类别设定医学征象候选框对应的阈值，将检测分数超过阈值的候选框输出，得到医学征象检出结果。
可选的，所述方法还包括：
将医学征象的候选框大小及输出的预测数据与对应的标准医学征象检出数据进行比对，计算得出医学征象的预测数据和实际数据之间的差异值；
通过所述差异值对可变卷积神经网络模型进行损失的回传，优化可变卷积神经网络网络模型。
第二方面，本申请还提供一种基于3D可变卷积和时序特征融合的医学征象检测***，包括：
数据获取单元，配置用于获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
模型构建单元，配置用于构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
数据输入单元，配置用于将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
时序特征融合单元，配置用于将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
金字塔渐进融合单元，配置用于将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。
可选的，所述数据获取单元具体用于：
将医疗影像进行预处理得到3D输入数据；
将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。
可选的，所述模型构建单元具体用于：
构建可变卷积网络模型；
将标准医学征象检出数据输入至可变卷积神经网络进行训练；
通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。
可选的，所述时序特征融合单元具体用于：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。
可选的，所述金字塔渐进融合单元具体用于：
通过将高层特征上采样，经过1*1的卷积核进行特征的相加，得到医学征象的候选框。
可选的，所述***还包括：
候选框提取单元，配置用于根据所述医学征象候选框的类别设定医学征象候选框对应的阈值，将检测分数超过阈值的候选框输出，得到医学征象检出结果。
可选的，所述***还包括：
模型损失计算单元，配置用于将医学征象的候选框大小及输出的预测数据与对应的标准医学征象检出数据进行比对，计算得出医学征象的预测数据和实际数据之间的差异值；通过所述差异值对可变卷积神经网络模型进行损失的回传，优化可变卷积神经网络网络模型。
第三方面，本申请提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
与现有技术相比，本申请具有如下有益效果：
1、本申请将3D可变卷积和时序特征融合进行结合，构建了既能针对3D输入，又能针对伪3D输入的模型框架，该框架能够应用到不同的部位，不同的数据类型，应用到不同的任务场景当中。
2、本申请所提出的基于3D可变卷积能够根据x、y轴和z轴的不同分辨率，自适应地调整对空间维度上的高分辨率，还可根据医学征象的几何变化自适应地调整网络学习的参数，既可以学习空间维度上的不规则形状信息，还可以学到时序维度上的不同层面间的相关性信息，还能够自适应地进行层面之间的权重关系学习；
3、本申请通过引入时序特征融合，在网络的后期进行特征的融合，使模型能够很好地学习到图像信息之间的高维特征表示，并且对后期的不同层面的信息按照时序的信息进行建模，有效地利用了数据的时序特性，进一步提高模型的检出性能。也符合影像科医生在阅片是时候按照时序关系进行查看的习惯，使得所建的模型更具合理性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于3D可变卷积和时序特征融合的医学征象检测方法的流程图；
图2为本申请实施例所提供的另一种基于3D可变卷积和时序特征融合的医学征象检测方法的流程图；
图3为本申请另一实施例所提供的一种基于3D可变卷积和时序特征融合的医学征象检测***的结构示意图；
图4为本申请实施例所提供的一种终端***的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种基于3D可变卷积和时序特征融合的医学征象检测方法的流程图，该方法100包括：
S101：获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
S102：构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
S103：将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
S104：将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
S105：将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。
基于上述实施例，作为可选的实施例，所述S101获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据，包括：
将医疗影像进行预处理得到3D输入数据；
将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。
具体的，医疗影像的3D输入数据的维度为B*D*H*W，其中，B表示为模型输入时的批尺寸batch size，D表示为数据时序维度上的层面数，H和W分别表示图像的长和宽；医疗影像的伪3D输入数据的维度为B*C*H*W，其中，B表示为模型输入时的批尺寸batch size，C表示多层图像构成的多个通道，H和W分别表示图像的长和宽。
需要说明的是，本申请能够适应于目前常用的3D输入以及多个连续的2D层面拼接而成的伪3D输入，对于3D结构的输入和伪3D结构的输入，其区别为在最后输出的形式为3D和2D图像。对于3D输入，其每一层的权重都相同，并且需要进行学习，而对于伪3D输入，一般情况下只会对图像的中间层进行预测，而其连续的上下几层只是对该层进行预测的辅助信息数据。
基于上述实施例，作为可选的实施例，所述S102构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型，包括：
构建可变卷积网络模型；
将标准医学征象检出数据输入至可变卷积神经网络进行训练；
通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。
具体的，对于常规的3D卷积核，其大小为3*3*3，采样点排列为正方形，但是很多医学征象会出现不规则的形状。对于本申请的3D可变卷积核，不仅能够自适应医学征象的结构，能够有效地减少一些由于一些呼吸以及其他运动所造成的伪影，同时会对每一个点增加一个可学习的偏移量参数，使得卷积核能够学到不规则的医学征象，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变。
基于上述实施例，作为可选的实施例，所述S104将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据，包括：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。
具体的，对于每一个stage里面的特征，是由多个channel的2d网络组成，我们把多个2d网络的channel看作时间线；然后使用LSTM对这个时序进行建模，将医学征象特征图输入LSTM时序模型得到基于不同尺度的融合时序特征的医学征象预测数据。
对于3D图像和伪3D图像，其输入的本质都是连续的几个层面。而这些层面之间会有一些时序性的关联，就像看视频的时候，几个帧之间的信息是相关且连续的，对于CT图像也是如此。对于时序特征融合阶段，输入的向量为(B，T，H，W)，可以看出，时序特征融合也同样适用于上述的两种输入方式。将输入的每一个层面看作是视频的每一个帧，并且对于每一个时间点，够在产生一个对应的输出，对于这个输入，既考虑了上一个时间点的信息，也考虑到了本时间点输入层面的信息。并且，该时间节点上的输出还与下一时间节点的隐单元有循环连接，影响了下一个时间点的输出状态。为了更好地模拟时序关系，在输入到状态和状态到状态的转换中都使用了卷积结构。通过叠加多个时序层，形成一个时序特征融合结构。而在该时序特征融合结构中有个很重要的概念，就是遗忘机制，通过对这个机制进行建模，对于本时间点内的一些信息，首先会决定从该状态中遗忘哪些信息，并且哪些信息需要着重输出给下一个时间点。回想医生阅片的时候，如果某些层面上没有出现异常，医生会快速略过去看下一张，如果说某层面上出现可疑的征象，就会进行仔细地分析。这个机制可以通过一个门控层来完成，该门控会读取h(t-1)和x(t)的信息，并且输出一个在C(t-1)状态的在0到1之间的数值。其中，1表示“完全保留”，0表示完全舍弃。对于可变卷积神经网络模型的每一个输出，使用时序融合进行建模，可形成基于不同尺度的融合特征。
基于上述实施例，作为可选的实施例，所述S105将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框，包括：
通过将高层特征上采样，经过1*1的卷积核进行特征的相加，得到医学征象的候选框。
具体的，金字塔(FPN)融合可以分为5个层(stage)：(F1，F2，F3，F4，F5；每一个F层都代表不同的大小分辨率)，对每一个F层里面的3D的特征层进行时序融合后，对于5个不同分辨率的候选框全部加起来进行多尺度的融合得到医学征象的候选框，可解决为医学征象检测中的多尺度问题。对某一输入图片我们通过压缩或放大从而形成不同维度的图片作为模型输入，使用同一模型对这些不同维度的图片分别处理后，最终再将这些分别得到的特征组合起来就得到了可反映多维度信息的特征集。在金字塔渐进融合过程中，通过将高层特征上采样，同时经过1*1的卷积核进行特征的相加统一了两个特征层的channel数，这样就可以得到更丰富的语义信息。
由于肺部多征象检出的过程当中，会出现大小特别小的肺结节，也会出现弥漫整个胸部的肺气肿。在基本不增加原有模型计算量情况下，通过简单的网络连接改变，可大幅度提升了不同大小医学征象检测的性能。具体而言，对于卷积神经网络，不同深度对应着不同层次的语义特征，浅层网络分辨率高，学的更多是细节特征，深层网络分辨率低，学的更多是语义特征。由于网络在可变卷积建模阶段正向传播时，每个计算进行下采样，即每个特征都为原来的1/2。
基于上述实施例，作为可选的实施例，所述方法100还包括：
根据所述医学征象候选框的类别设定医学征象候选框对应的阈值，将检测分数超过阈值的候选框输出，得到医学征象检出结果。
具体的，对于包含时序信息、语意信息的特征进行可疑区域候选框提取，对于特征中的每一个点，生成一组不同大小，不同长宽比的候选框。对于每一个候选框，会有一个得分来衡量这个区域框里面有多少程度包含所需要检测的物体的概率。当该候选框的概率大于给定的阈值时，判定为医学征象的检出结果。
基于上述实施例，作为可选的实施例，所述方法100还包括：
将医学征象的候选框大小及输出的预测数据与对应的标准医学征象检出数据进行比对，计算得出医学征象的预测数据和实际数据之间的差异值；
通过所述差异值对可变卷积神经网络模型进行损失的回传，优化可变卷积神经网络网络模型。
请参考图2，图2为本申请实施例所提供的另一种基于3D可变卷积和时序特征融合的医学征象检测方法的流程图，该方法主要包括六个阶段，3D/伪3D数据输入阶段、可变卷积神经网络建模阶段，时序特征融合阶段、金字塔渐进融合阶段、候选框提取阶段、模型损失计算阶段。对于时序特征融合模块，其既可以应用在可变卷积神经网络建模阶段之后，也可以应用在金字塔渐进融合阶段之后(图中仅显示其中一种)。
还需要说明的是，本申请能适用于基于3D或伪3D的相关任务，比如CT图像和多模态MRI图像。此外，本申请是一种可应用于多种征象，多种身体部位，多种数据类型，以及可应用多种任务的一种较为普适的网络模型框架，不仅可以用来做基于胸部的征象的检出，例如CT中常见的肺结节和肿块，磨玻璃影，空气半月症，实变影，条索影，肺气肿肺大泡，胸腔积液，支气管扩张，胸膜增厚等肺内的征象与疾病，也可以用来做病灶区域的实例分割和语义分割，例如脑部肿瘤区域的勾画，肺叶肺段的勾画；以及病灶的分类，例如肺结节的良恶性判断，鳞癌腺癌浸润程度分级等。
请参考图3，图3为本申请实施例所提供的一种基于3D可变卷积和时序特征融合的医学征象检测***的结构示意图，该***300，包括：
数据获取单元301，配置用于获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
模型构建单元302，配置用于构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
数据输入单元303，配置用于将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
时序特征融合单元304，配置用于将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
金字塔渐进融合单元305，配置用于将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。
基于上述实施例，作为可选的实施例，所述数据获取单元301具体用于：
将医疗影像进行预处理得到3D输入数据；
将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。
基于上述实施例，作为可选的实施例，所述模型构建单元302具体用于：
构建可变卷积网络模型；
将标准医学征象检出数据输入至可变卷积神经网络进行训练；
通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。
基于上述实施例，作为可选的实施例，所述时序特征融合单元304具体用于：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。
基于上述实施例，作为可选的实施例，所述金字塔渐进融合单元305具体用于：
通过将高层特征上采样，经过1*1的卷积核进行特征的相加，得到医学征象的候选框。
基于上述实施例，作为可选的实施例，所述***300还包括：
候选框提取单元，配置用于根据所述医学征象候选框的类别设定医学征象候选框对应的阈值，将检测分数超过阈值的候选框输出，得到医学征象检出结果。
基于上述实施例，作为可选的实施例，所述***300***还包括：
模型损失计算单元，配置用于将医学征象的候选框大小及输出的预测数据与对应的标准医学征象检出数据进行比对，计算得出医学征象的预测数据和实际数据之间的差异值；通过所述差异值对可变卷积神经网络模型进行损失的回传，优化可变卷积神经网络网络模型。
请参考图4，图4为本申请实施例所提供的一种终端***400的结构示意图，该终端***400可以用于执行本发明实施例提供的软件多语言显示及输入同步切换方法。
其中，该终端***400可以包括：处理器401、存储器402及通信单元403。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器402可以用于存储处理器401的执行指令，存储器402可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器402中的执行指令由处理器401执行时，使得终端***400能够执行以下上述方法实施例中的部分或全部步骤。
处理器401为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器401可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元403，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本申请将3D可变卷积和时序特征融合进行结合，构建了既能针对3D输入，又能针对伪3D输入的模型框架，该框架能够应用到不同的部位，不同的数据类型，应用到不同的任务场景当中；本申请所提出的基于3D可变卷积能够根据x、y轴和z轴的不同分辨率，自适应地调整对空间维度上的高分辨率，还可根据医学征象的几何变化自适应地调整网络学习的参数，既可以学习空间维度上的不规则形状信息，还可以学到时序维度上的不同层面间的相关性信息，还能够自适应地进行层面之间的权重关系学习；本申请通过引入时序特征融合，在网络的后期进行特征的融合，使模型能够很好地学习到图像信息之间的高维特征表示，并且对后期的不同层面的信息按照时序的信息进行建模，有效地利用了数据的时序特性，进一步提高模型的检出性能。也符合影像科医生在阅片是时候按照时序关系进行查看的习惯，使得所建的模型更具合理性。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的***而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，包括：
获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框；
其中：
所述将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据，包括：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。
2.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据，包括：
将医疗影像进行预处理得到3D输入数据；
将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。
3.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型，包括：
构建可变卷积网络模型；
将标准医学征象检出数据输入至可变卷积神经网络进行训练；
通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。
4.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框，包括：
通过将高层特征上采样，经过1*1的卷积核进行特征的相加，得到医学征象的候选框。
5.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述方法还包括：
根据所述医学征象候选框的类别设定医学征象候选框对应的阈值，将检测分数超过阈值的候选框输出，得到医学征象检出结果。
6.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述方法还包括：
将医学征象的候选框大小及输出的预测数据与对应的标准医学征象检出数据进行比对，计算得出医学征象的预测数据和实际数据之间的差异值；
通过所述差异值对可变卷积神经网络模型进行损失的回传，优化可变卷积神经网络网络模型。
7.一种基于3D可变卷积和时序特征融合的医学征象检测***，其特征在于，包括：
数据获取单元，配置用于获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
模型构建单元，配置用于构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
数据输入单元，配置用于将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
时序特征融合单元，配置用于将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
金字塔渐进融合单元，配置用于将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框；
其中：
所述时序特征融合单元，通过如下方式将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。
8.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6任一项所述的方法。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010360486.5A 2020-04-30 2020-04-30 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 Active CN111667459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010360486.5A CN111667459B (zh) 2020-04-30 2020-04-30 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010360486.5A CN111667459B (zh) 2020-04-30 2020-04-30 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111667459A CN111667459A (zh) 2020-09-15
CN111667459B true CN111667459B (zh) 2023-08-29

Family

ID=72383052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010360486.5A Active CN111667459B (zh) 2020-04-30 2020-04-30 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111667459B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446862B (zh) * 2020-11-25 2021-08-10 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN113517046B (zh) * 2021-04-15 2023-11-07 中南大学 一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、***及可读存储介质
CN115187805B (zh) * 2022-02-22 2023-05-05 数坤(北京)网络科技股份有限公司 一种征象识别方法、装置、电子设备和存储介质
CN115222688B (zh) * 2022-07-12 2023-01-10 广东技术师范大学 基于图网络时间序列的医学影像分类方法
CN115439423B (zh) * 2022-08-22 2023-09-12 北京医准智能科技有限公司 一种基于ct图像的识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265562A (ja) * 1995-03-23 1996-10-11 Ricoh Co Ltd 画像変倍装置
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN110427807A (zh) * 2019-06-21 2019-11-08 诸暨思阔信息科技有限公司 一种时序事件动作检测方法
CN110879874A (zh) * 2019-11-15 2020-03-13 北京工业大学 一种天文大数据光变曲线异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817758B2 (en) * 2018-06-20 2020-10-27 International Business Machines Corporation Framework for integrating deformable modeling with 3D deep neural network segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265562A (ja) * 1995-03-23 1996-10-11 Ricoh Co Ltd 画像変倍装置
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN110427807A (zh) * 2019-06-21 2019-11-08 诸暨思阔信息科技有限公司 一种时序事件动作检测方法
CN110879874A (zh) * 2019-11-15 2020-03-13 北京工业大学 一种天文大数据光变曲线异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wang K, et al.Multiple convolutional neural networks for multivariate time series prediction.Neurocomputing.2019,第107-119页. *

Also Published As

Publication number Publication date
CN111667459A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN110599448A (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测***
CN110807788A (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN109035261A (zh) 医疗影像处理方法及装置、电子设备及存储介质
WO2023005634A1 (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN111814768A (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与***
CN112381822B (zh) 一种用于处理肺部病灶区图像的方法和相关产品
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估***和相关产品
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN112884702A (zh) 一种基于内窥镜图像的息肉识别***和方法
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Armin et al. Learning colon centreline from optical colonoscopy, a new way to generate a map of the internal colon surface
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN112884706A (zh) 一种基于神经网络模型的图像评估***和相关产品
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant