CN112561912B - 一种基于先验知识的医学图像***检测方法 - Google Patents

一种基于先验知识的医学图像***检测方法 Download PDF

Info

Publication number
CN112561912B
CN112561912B CN202110192337.7A CN202110192337A CN112561912B CN 112561912 B CN112561912 B CN 112561912B CN 202110192337 A CN202110192337 A CN 202110192337A CN 112561912 B CN112561912 B CN 112561912B
Authority
CN
China
Prior art keywords
lymph node
frame
key frame
key
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110192337.7A
Other languages
English (en)
Other versions
CN112561912A (zh
Inventor
章毅
***
王晗
魏明天
张海仙
孟文建
王璟玲
杨旭洋
崔俊杰
黄烁
黄月瑶
黄昊
潘震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110192337.7A priority Critical patent/CN112561912B/zh
Publication of CN112561912A publication Critical patent/CN112561912A/zh
Application granted granted Critical
Publication of CN112561912B publication Critical patent/CN112561912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于先验知识的医学图像***检测方法，涉及医学影像的处理分析技术领域，包括如下步骤：数据准备与标定、数据预处理、关键帧定位模型的构建、关键区域提取和***检测模型构建；本发明由两个级联的深度神经网络模型构成：关键帧定位深度神经网络模型和***检测深度神经网络模型。本发明还提出了两种先验知识：用于关键帧定位模型的关键帧空间先验知识和用于***检测模型的***锚点尺度先验知识。通过这两种先验知识，可以有效提升CT关键帧定位的准确性以及***检测的效果。

Description

一种基于先验知识的医学图像***检测方法
技术领域
本发明涉及医学影像的处理分析技术领域，更具体的是涉及基于先验知识的医学图像***检测方法技术领域。
背景技术
计算机断层扫描(CT)是目前肺癌最常用的检查方法，计算机断层扫描(CT)是一种快速，无痛的过程，可捕获腹部的清晰图像，被广泛用于帮助诊断和监测结直肠癌的治疗。盆腔***是临床常用判断结直肠癌转移的重要影像学指标。在传统诊疗过程中，经验丰富的放射科医生会逐层读取所有CT扫描图像找到***以备诊断。
然而，由于人体盆腔结构复杂存在大量的小血管、小***，使读片的过程耗时、费力且严重依赖医生的主观经验。但是现有的计算机断层扫描(CT)存在以下缺点：
当人工判读腹部增强CT影像学资料时，盆腔***的识别常存在漏诊、误诊等情况，极大延误结直肠癌患者诊治的黄金时限，严重影响患者的预后结果及生存质量。而且，全人工判读腹部增强CT，人力成本投入大，极大程度上受限于临床放射科医生的读片经验、有效专注时间、平均读片时长等多种因素的差异和影响。CT影像学报告结果准确性不一，报告及时性较差，对于需要及时准确监测和报告盆腔侧方***肿大及转移的临床工作形成了较大的局限性，继而延误后续相关诊疗活动的开展，降低预后结局。
总的来说：结直肠癌高发，通过腹部医学图像对检测***并进行定性，进行胃肠***清扫，对于结直肠癌的诊断和治疗极具临床意义。但是，人工读片成本大，且漏诊误诊率高，研发一种加快医生读片的医学图像***检测方法显得十分必要。
发明内容
本发明的目的在于：为了解决如何利用计算机在多分辨率CT图像中自动、高效、准确地定位医生感兴趣的关键区域，并在该关键区域内检测***的技术问题，本发明提供一种基于先验知识的医学图像***检测方法。
本发明为了实现上述目的具体采用以下技术方案：
一种基于先验知识的医学图像***检测方法，包括如下步骤：
步骤1、数据准备与标定：把CT影像数据从医院数据***导入以及数据的标定，数据的标定需要两种标签：CT影像的关键帧位置和***位置，CT影像的关键帧包含启始帧和终止帧；
步骤2、数据预处理：把经过步骤1标定的数据进行预处理，预处理包括归一化CT值和归一化CT尺寸；
步骤3、关键帧定位模型的构建：设计关键帧定位模型的网络结构，采用步骤1中标定了关键帧位置且经过步骤2预处理的CT影像来训练关键帧定位模型，使用关键帧空间位置先验知识提高关键帧定位效果，以及输出关键帧；
步骤4、关键区域提取：基于步骤3的关键帧结果，提取位于启始帧和终止帧之间的关键区域，并进行预处理以适应***检测模型的需要；
步骤5、***检测模型构建：基于步骤4中提取出的关键区域，设计***检测模型的网络结构，提取步骤1中CT影像的启始帧和终止帧之间的关键帧范围，经过步骤2预处理来训练***检测模型，使用***锚点尺度先验知识提高***的检测效果，以及输出预测的***节信息，***节信息包括中心点三维坐标以及***的直径大小；
步骤6，使用步骤3中的关键帧定位模型、步骤5中的***检测模型对输入的CT影像数据进行关键帧定位、关键区域提取、***检测，输出预测的***节信息。
进一步地，步骤1中，数据的标定需要两种标签：CT影像的关键帧位置和***的位置；
CT影像为一个CT序列，CT影像的关键帧包含启始帧和终止帧，启始帧和终止帧将整个CT序列划分为三个部分，中间部分是关键区域，启始帧表示关键区域的第一帧，终止帧表示关键区域的最后一帧；
步骤1中导入的每一例CT影像的***的位置标签由医学专家提前进行标注标定。
进一步地，步骤2中，首先归一化CT值，采用固定的窗宽和窗位，将CT值归一化到0-255之间；
然后归一化CT尺寸，CT影像的大小可以用(Z，Y，X)表示，其中Z表示CT影像的帧数，Y表示CT影像的高度，X表示CT影像的宽度，将CT的尺寸统一至(256，192，192)，以适应关键帧定位模型的需要。
进一步地，步骤3中，关键帧定位模型采用三维残差网络结构，在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络，其中一个用于定位启始帧，另一个用于定位终止帧。
进一步地，步骤3中，关键帧空间先验知识：关键帧旁边的帧比其他帧更可能是关键帧的空间关系，以及由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出关键帧空间先验知识S用于描述这种相似性:
Figure GDA0003021297730000031
i∈N
其中，S(i)表示使用关键帧空间先验知识后的向量N中第i帧是关键帧的概率，i是向量N中任意位置，向量N表示CT影像的帧数方向的向量，c是关键帧的位置，σ为控制关键帧空间先验知识S概率曲线的变化程度。
进一步地，步骤3中，由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出将关键帧定位定义为一个回归问题从而解决这个问题，使用如下的学习误差来训练关键帧定位模型：
Figure GDA0003021297730000032
其中，L表示训练关键帧时使用的学习误差，p(i)表示给定CT向量N第i帧的经过回归层后的预测为关键帧的概率，S(i)表示使用关键帧空间先验知识S后的向量N中第i帧是关键帧的概率，λi表示向量N中位置i的权重，向量N表示CT影像的帧数方向的向量；
关键帧定位模型训练使用了三维残差网络结构，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此在关键帧定位任务中使用了多任务学习，在使用多任务学习后，用于训练关键帧定位模型的组合学习误差如下：
Ltotal＝Lstart+Lend
其中，Lstart为启始帧学习误差，Lend为终止帧学习误差，Ltotal为同时训练启始帧和终止帧时候的组合学习误差。
进一步地，步骤3中，训练关键帧定位模型：网络设置学习率为0.001，卷积权值使用高斯分布初始化；一次训练批次设置为16，学习迭代次数为100；网络训练采用基于AdamW优化器的反馈传播算法同时训练区分当前帧是启始帧，以及区分当前帧是终止帧两项任务；每一次迭代学习之后，模型判断关键帧定位的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
进一步地，步骤4中，通过步骤3可以预测出原始CT影像的启始帧和终止帧，通过这两个关键帧从原始CT影像中提取出关键区域，提取关键区域后需要对数据进行相应预处理。
进一步地，步骤5中，***检测模型采用三维残差网络结构作为网络主干结构，在网络主干结构的基础上，通过多次上采样、特征图拼接构成RPN网络结构，以提取更优异的***特征；
提出了两种***锚点尺度先验知识作为模型的起点，这样模型更容易学习预测好的检测结果，两种具体的***锚点尺度先验知识包括：基于欧氏距离的锚点尺度先验知识以及基于IOU的锚点尺度先验知识：
基于欧氏距离的锚点尺度先验知识：
Figure GDA0003021297730000041
其中，L2为用于表示维度聚类方法所基于的距离，dbox用于描述候选锚点的直径，dcentroid用于描述当前锚点的直径；
基于IOU的锚点尺度先验知识：
Figure GDA0003021297730000043
其中，L2为用于表示维度聚类方法所基于的距离，dbox用于描述候选锚点的直径，dcentroid用于描述当前锚点的直径，min(，)表示选取最小值；
进一步地，步骤5中，对设置的每一个锚点添加一个Cross Entropy分类学***滑回归学习误差；
Cross Entropy分类学习误差：
Lcls＝h(log(q))+(1-h)(log(1-q))
其中，Lcls表示Cross Entropy分类学习误差，h表示目标是否存在，当目标为***时h＝1，当目标为背景时h＝0，q表示神经网络预测锚点位置存在***的概率；使用体积的交比来衡量一个锚点位置是否存在***，如果一个锚点位置坐标和任何一个目标的交比大于阈值0.5则认为是正样本，即h＝1，如果小于0.02则作为负样本，即h＝0，其他的锚点训练时不提供学习误差；
由于***检测的模型是从三维CT影像数据到***坐标元组的一个映射，因此神经网络学习的目标也是使网络模型输出的预测的***坐标元组(ax，ay，az，ad)逼近步骤1中由医生标定的***坐标元组(gx，gy，gz，gd)，其中字母a表示神经网络预测的***坐标元组，字母g表示由医生标定的***坐标元组；下标Z表示***在三维CT影像数据中的帧数索引，下标y表示***在三维CT影像数据中的高度索引，x表示***在三维CT影像数据的宽度索引，下标d代表***直径的大小；
L1为平滑回归学习误差，在训练网络的时候需要对元组中的每一个元素分别定义回归学习误差，因此***目标的回归学习误差被定义为：
Figure GDA0003021297730000061
其中，字母a表示神经网络预测的***坐标元组，字母g表示由医生标定的***坐标元组，mx表示***坐标元组中x的回归学习误差，my表示***坐标元组中y的归学习误差，mz表示***坐标元组中Z的回归学习误差，md表示***坐标元组中d的回归学习误差；
定义回归目标是为了让训练神经网络的回归误差更容易收敛，设定对应的神经网络的预测结果为(m′x，m′y，m′z，m′d)，回归学习误差定义为：
Figure GDA0003021297730000071
其中，L1为平滑回归学习误差，L1的计算方式为：
Figure GDA0003021297730000072
其中，k为x、y、z、d中的任意一个元素，m为***目标的回归学习误差，m′为回归学习误差对应的预测结果。
本发明的有益效果如下：
1、本发明提供了一种基于先验知识的腹部CT盆骨区域***检测方法，适用于腹部CT数据，能够自动地定位医生感兴趣的关键区域，并在该关键区域内检测***，通过这种做法，一方面提高了检测性能，另一方面也加快了***检测速度。本发明由两个级联的深度神经网络模型构成：关键帧定位深度神经网络模型和***检测深度神经网络模型。此外，本发明还提出了两种先验知识：用于关键帧定位模型的关键帧空间先验知识和用于***检测模型的***锚点尺度先验知识。通过这两种先验知识，可以有效提升CT关键帧定位的准确性以及***检测的效果。
2、本发明提出了一种关键帧空间先验知识，将关键帧定位问题由传统的分类问题转化为基于该知识的回归问题，大大提升了关键帧定位的准确性。本发明提出了使用多任务学习同时学习启始帧和终止帧。本发明提出了一种锚点尺度先验知识，解决了以往三维网络检测中锚点需要人工手动设置的问题。
3、本发明提出了两种方法来获得三维网络锚点尺度先验知识，其一是基于欧式距离的聚类方法，其二是基于IOU的聚类方法，并给出了相应的计算方法。
附图说明
图1是本发明的流程示意图。
图2是CT关键帧的定义。
图3是本发明使用的网络模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
实施例1
如图1所示，本实施例提供一种基于先验知识的医学图像***检测方法，包括如下步骤：
步骤1、数据准备与标定：把CT影像数据从医院数据***导入以及数据的标定，数据的标定需要两种标签：CT影像的关键帧位置和***位置，CT影像的关键帧包含启始帧和终止帧；
步骤2、数据预处理：把经过步骤1标定的数据进行预处理，预处理包括归一化CT值和归一化CT尺寸；
步骤3、关键帧定位模型的构建：设计关键帧定位模型的网络结构，采用步骤1中标定了关键帧位置且经过步骤2预处理的CT影像来训练关键帧定位模型，使用关键帧空间位置先验知识提高关键帧定位效果，以及输出关键帧；
步骤4、关键区域提取：基于步骤3的关键帧结果，提取位于启始帧和终止帧之间的关键区域，并进行预处理以适应***检测模型的需要；
步骤5、***检测模型构建：基于步骤4中提取出的关键区域，设计***检测模型的网络结构，提取步骤1中CT影像的启始帧和终止帧之间的关键帧范围，经过步骤2预处理来训练***检测模型，使用***锚点尺度先验知识提高***的检测效果，以及输出预测的***节信息，***节信息包括中心点三维坐标以及***的直径大小；
步骤6，使用步骤3中的关键帧定位模型、步骤5中的***检测模型对输入的CT影像数据进行关键帧定位、关键区域提取、***检测，输出预测的***节信息。
实施例2
本实施例是在实施例1的基础上做了进一步优化，具体是：
步骤1中，数据的标定需要两种标签：CT影像的关键帧位置和***的位置；
CT影像的关键帧包含启始帧和终止帧，将整个CT序列划分为三个部分，中间部分是关键区域，启始帧表示关键区域的第一帧，终止帧表示关键区域的最后一帧。如图2所示，在解剖学上，启始帧是指腹主动脉分叉或左右髂动脉壁开始分离的层面，终止帧是指耻骨联合开始分离的层面。
对于每一例CT影像的***的位置标签而言，为保证每一个标签准确与客观性，都由不同医学专家进行多轮标注标定，本方案中***位置的标定都由不同华西医院专家进行多轮标注标定，保证每一个标签准确与客观性，对于有争议的***，会进行磋商讨论，决定其是否纳入训练的数据库；
深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练。本发明所用数据为华西医院影像科腹部CT影像数据，采集500多个病人的数据。本发明所用来训练模型的方法是一种基于监督学习的方法，模型的迭代更新需要大量有准确标签的数据。
步骤2中，首先归一化CT值，采用固定的窗宽和窗位(窗宽：300，窗位：50)，将CT值归一化到0-255之间；然后归一化CT尺寸，CT影像的大小可以用(Z，Y，X)表示，其中Z表示CT影像的帧数，Y表示CT影像的高度，X表示CT影像的宽度，将CT的尺寸统一至(256，192，192)，以适应关键帧定位模型的需要。
由于CT影像的Z往往不同，且在关键帧定位中，Y和X的重要性没有Z大，数据预处理阶段对原始的CT影像数据进行处理，使得突出其有效的特征，便于更好地分辨出CT影像的关键帧。
实施例3
本实施例是在实施例1或2基础上做了进一步优化，具体是：
步骤3中，关键帧定位模型采用三维残差网络结构，在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络，其中一个用于定位启始帧，另一个用于定位终止帧。
本发明中采用的三维卷积网络结构参考二维深度残差网络结构。目前普遍认为，神经网络的深度可以有助于提高模型对数据的抽象建模能力，然而过深的网络因梯度消失问题而不利于网络的训练。残差网络结构提出了在传统卷积网络结构中加入捷径连接以消除深度网络在学习过程中梯度回传容易消失的问题，使得网络可以在很深的层次下依然可以有效并且快速地训练。由于本发明中输入的为三维图像，如果使用太深的网络结构将会使得模型过于庞大，将会耗费大量的硬件资源。因此本发明参考使用18层残差网络的一部分结构作为本发明的卷积网络结构，如图3所示。
此外，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此本发明在关键帧定位任务中使用了多任务学习。在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络。其中一个用于定位启始帧，另一个用于定位终止帧。也就是说，这两个完全连接的层共享同一个主干，这不仅节省了计算能力，而且由于协作学习的存在，提高了定位性能。
关键帧空间先验知识：关键帧旁边的帧比其他帧更可能是关键帧的空间关系，以及由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出关键帧空间先验知识S用于描述这种相似性：
Figure GDA0003021297730000101
i∈N
使用高斯分布来产生符合生理解剖的空间先验知识S，其中，S(i)表示使用关键帧空间先验知识后的向量N中第i帧是关键帧的概率，i是向量N中任意位置，向量N表示CT影像的帧数方向的向量，c是关键帧的位置，σ为控制关键帧空间先验知识S概率曲线的变化程度。
确定CT扫描关键帧的过程是一个经典的分类任务。对于分类问题，将使用交叉熵损失函数来确定整个CT扫描中的某些帧最有可能是启始帧和终止帧。然而，交叉熵损失函数需要对目标进行热编码，且没有考虑关键帧旁边的帧比其他帧更可能是关键帧的空间关系。由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出将关键帧定位问题定义为一个回归问题从而解决这个问题，使用如下的学习误差来训练关键帧定位模型：
Figure GDA0003021297730000102
其中，L表示训练关键帧时使用的学习误差，p(i)表示给定CT向量N第i帧的经过回归层后的预测为关键帧的概率，S(i)表示使用关键帧空间先验知识S后的向量N中第i帧是关键帧的概率，λi表示向量N中位置i的权重，向量N表示CT影像的帧数方向的向量。
关键帧定位模型训练使用了三维残差网络结构，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此在关键帧定位任务中使用了多任务学习，在使用多任务学习后，用于训练关键帧定位模型的组合学习误差公式如下：
Ltotal＝Lstart+Lend
其中，Lstart为启始帧学习误差，Lend为终止帧学习误差，Ltotal为同时训练启始帧和终止帧时候的组合学习误差。
实施例4
本实施例是在实施例1-3任一实施例的基础上做了进一步优化，具体是：
步骤3中，训练关键帧定位模型：网络设置学习率为0.001，卷积权值使用高斯分布初始化；一次训练批次设置为16，学习迭代次数为100；网络训练采用基于AdamW优化器的反馈传播算法同时训练区分当前帧是启始帧，以及区分当前帧是终止帧两项任务；每一次迭代学习之后，模型判断关键帧定位的总误差大小(包含启始帧和终止帧)，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
通过步骤3可以预测出原始CT影像的启始帧和终止帧，通过这两个关键帧可以从原始CT影像中提取出医生感兴趣的关键区域，提取关键区域后需要对数据进行相应预处理，去除影像CT边界等无效信息使得突出其有效的特征，便于更好地检测CT影像中的***。具体操作包括对关键区域进行二值化处理，而后通过清除边界，腐蚀与膨胀等操作处理出关键区域内的有效区域，并对于处理后的关键区域将CT值规范化到0-255之间。
实施例5
本实施例是在实施例1-4任一实施例的基础上做了进一步优化，具体是：
步骤5中，***检测模型采用三维残差网络结构作为网络主干结构，在网络主干结构的基础上，通过多次上采样、特征图拼接构成RPN网络结构，如图3所示，以提取更优异的***特征；
***检测模型有锚点尺度作为超参数，不同的锚点设置对检测性能有影响。锚点的设置主要是为了使区域候选网络的回归学习误差便于训练，加快模型的学习收敛速度。正常情况下，一个锚点会被设置为长方体，由于一个***一般近似为球体，因此在本发明中锚点只需一个球体直径即可描述。锚点的设置主要是为了使区域候选网络的回归学习误差便于训练，加快模型的学习收敛速度，然而现在并没有一个标准来为三维检测模型选择合适的锚点。
提出了两种***锚点尺度先验知识作为模型的起点，这样模型更容易学习预测好的检测结果，两种具体的***锚点尺度先验知识包括：基于欧氏距离的锚点尺度先验知识以及基于IOU的锚点尺度先验知识：
基于欧氏距离的锚点尺度先验知识：
Figure GDA0003021297730000121
其中，L2为用于表示维度聚类方法所基于的距离，dbox用于描述候选锚点的直径，dcentroid用于描述当前锚点的直径。
基于IOU的锚点尺度先验知识：
Figure GDA0003021297730000122
其中，L2为用于表示维度聚类方法所基于的距离，dbox用于描述候选锚点的直径，dcentroid用于描述当前锚点的直径，min(，)表示选取最小值。
步骤5中，学***滑回归学习误差；
Cross Entropy分类学习误差：
Lcls＝h(log(q))+(1-h)(log(1-q))
其中，Lcls表示Cross Entropy分类学习误差，h表示目标是否存在，当目标为***时h＝1，当目标为背景时h＝0，q表示神经网络预测锚点位置存在***的概率；本发明中使用体积的交比来衡量一个锚点位置是否存在***，如果一个锚点位置坐标和任何一个目标的交比大于阈值0.5则认为是正样本，即h＝1，如果小于0.02则作为负样本，即h＝0，其他的锚点训练时不提供学习误差。
由于***检测的模型是从三维CT影像数据到***坐标元组的一个映射，因此神经网络学习的目标也是使网络模型输出的预测的***坐标元组(ax，ay，az，ad)逼近步骤1中由医生标定的***坐标元组(gx，gy，gz，gd)，其中字母a表示神经网络预测的***坐标元组，字母g表示由医生标定的***坐标元组；下标Z表示***在三维CT影像数据中的帧数索引，下标y表示***在三维CT影像数据中的高度索引，x表示***在三维CT影像数据的宽度索引，下标d代表***直径的大小：
Figure GDA0003021297730000131
其中，字母a表示神经网络预测的***坐标元组，字母g表示自医生标定的***坐标元组，mx表示***坐标元组中x的回归学习误差，my表示***坐标元组中y的回归学习误差，mz表示***坐标元组中Z的回归学习误差，md表示***坐标元组中d的回归学习误差；
定义回归目标是为了让训练神经网络的回归误差更容易收敛，设定对应的神经网络的预测结果为(m′x，m′y，m′z，m′d)，回归学习误差Lreg定义为：
Figure GDA0003021297730000141
其中，L1为平滑回归学习误差，L1的计算方式为：
Figure GDA0003021297730000142
其中，k为x、y、z、d中的任意一个元素，m为***目标的回归学习误差，m′为回归学习误差对应的预测结果。

Claims (8)

1.一种基于先验知识的医学图像***检测方法，其特征在于，包括如下步骤：
步骤1、数据准备与标定：把CT影像数据从医院数据***导入以及数据的标定，数据的标定需要两种标签：CT影像的关键帧位置和***位置，CT影像的关键帧包含启始帧和终止帧；
步骤2、数据预处理：把经过步骤1标定的数据进行预处理，预处理包括归一化CT值和归一化CT尺寸；
步骤3、关键帧定位模型的构建：设计关键帧定位模型的网络结构，采用步骤1中标定了关键帧位置且经过步骤2预处理的CT影像来训练关键帧定位模型，使用关键帧空间位置先验知识提高关键帧定位效果，以及输出关键帧；
关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，关键帧定位任务中使用了多任务学习，在关键帧定位模型中，采用18层的三维残差网络结构作为主干网络，两个独立的全连接层跟随主干网络，其中一个用于定位启始帧，另一个用于定位终止帧；
关键帧空间先验知识：关键帧旁边的帧比其他帧更可能是关键帧的空间关系，以及由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出关键帧空间先验知识S用于描述这种相似性:
Figure FDA0003021297720000011
其中，s(i)表示使用关键帧空间先验知识后的向量N中第i帧是关键帧的概率，i是向量N中任意位置，向量N表示CT影像的帧数方向的向量，c是关键帧的位置,σ为控制关键帧空间先验知识S概率曲线的变化程度；
步骤4、关键区域提取：基于步骤3的关键帧结果，提取位于启始帧和终止帧之间的关键区域，并进行预处理以适应***检测模型的需要；
步骤5、***检测模型构建：基于步骤4中提取出的关键区域，设计***检测模型的网络结构，提取步骤1中CT影像的启始帧和终止帧之间的关键帧范围，经过步骤2预处理来训练***检测模型，使用***锚点尺度先验知识提高***的检测效果，以及输出预测的***节信息，***节信息包括中心点三维坐标以及***的直径大小；
步骤6，使用步骤3中的关键帧定位模型、步骤5中的***检测模型对输入的CT影像数据进行关键帧定位、关键区域提取、***检测，输出预测的***节信息。
2.根据权利要求1所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤1中，数据的标定需要两种标签：CT影像的关键帧位置和***的位置；
CT影像为一个CT序列，CT影像的关键帧包含启始帧和终止帧，启始帧和终止帧将整个CT序列划分为三个部分，中间部分是关键区域，启始帧表示关键区域的第一帧，终止帧表示关键区域的最后一帧；
步骤1中导入的每一例CT影像的***的位置标签由医学专家提前进行标注标定。
3.根据权利要求1所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤2中，首先归一化CT值，采用固定的窗宽和窗位，将CT值归一化到0-255之间；
然后归一化CT尺寸，CT影像的大小可以用(Z，Y，X)表示，其中Z表示CT影像的帧数，Y表示CT影像的高度，X表示CT影像的宽度，将CT的尺寸统一至(256，192，192)，以适应关键帧定位模型的需要。
4.根据权利要求1所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤3中，由于生理解剖和CT扫描的连续性，关键帧和关键帧旁的帧具有相似的解剖结构，提出将关键帧定位定义为一个回归问题从而解决这个问题，使用如下的学习误差来训练关键帧定位模型：
Figure FDA0003021297720000021
其中，L表示训练关键帧时使用的学习误差，p(i)表示给定CT向量N第i帧的经过回归层后的预测为关键帧的概率，s(i)表示使用关键帧空间先验知识S后的向量N中第i帧是关键帧的概率，λi表示向量N中位置i的权重，向量N表示CT影像的帧数方向的向量；
关键帧定位模型训练使用了三维残差网络结构，由于关键帧定位任务由两个独立的任务组成：启始帧定位和终止帧定位，并且定位它们的重要性相等，因此在关键帧定位任务中使用了多任务学习，在使用多任务学习后，用于训练关键帧定位模型的组合学习误差如下：
Ltotal＝Lstart+Lend
其中，Lstart为启始帧学习误差，Lend为终止帧学习误差，Ltotal为同时训练启始帧和终止帧时候的组合学习误差。
5.根据权利要求1所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤3中，训练关键帧定位模型：网络设置学习率为0.001，卷积权值使用高斯分布初始化；一次训练批次设置为16，学习迭代次数为100；网络训练采用基于AdamW优化器的反馈传播算法同时训练区分当前帧是启始帧，以及区分当前帧是终止帧两项任务；每一次迭代学习之后，模型判断关键帧定位的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
6.根据权利要求1所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤4中，通过步骤3可以预测出原始CT影像的启始帧和终止帧，通过这两个关键帧从原始CT影像中提取出关键区域，提取关键区域后需要对数据进行相应预处理。
7.根据权利要求1所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤5中，***检测模型采用三维残差网络结构作为网络主干结构，在网络主干结构的基础上，通过多次上采样、特征图拼接构成RPN网络结构，以提取更优异的***特征；
提出了两种***锚点尺度先验知识作为模型的起点，这样模型更容易学习预测好的检测结果，两种具体的***锚点尺度先验知识包括：基于欧氏距离的锚点尺度先验知识以及基于IOU的锚点尺度先验知识：
基于欧氏距离的锚点尺度先验知识：
Figure FDA0003021297720000031
其中，L2为用于表示维度聚类方法所基于的距离，dbox用于描述候选锚点的直径，dcentroid用于描述当前锚点的直径；
基于IOU的锚点尺度先验知识
Figure FDA0003021297720000032
其中，L2为用于表示维度聚类方法所基于的距离，dbox用于描述候选锚点的直径，
dcentroid用于描述当前锚点的直径，min(，)表示选取最小值。
8.根据权利要求7所述的一种基于先验知识的医学图像***检测方法，其特征在于，步骤5中，对设置的每一个锚点添加一个Cross Entropy分类学***滑回归学习误差；
Cross Entropy分类学习误差：
Lcls＝h(log(q))+(1-h)(log(1-q))
其中，Lcls表示CrossEntropy分类学习误差，h表示目标是否存在，当目标为***时h＝1，当目标为背景时h＝0，q表示神经网络预测锚点位置存在***的概率；使用体积的交比来衡量一个锚点位置是否存在***，如果一个锚点位置坐标和任何一个目标的交比大于阈值0.5则认为是正样本，即h＝1，如果小于0.02则作为负样本，即h＝0，其他的锚点训练时不提供学习误差；
由于***检测的模型是从三维CT影像数据到***坐标元组的一个映射，因此神经网络学***滑回归学习误差，在训练网络的时候需要对元组中的每一个元素分别定义回归学习误差，因此***目标的回归学习误差被定义为：
Figure FDA0003021297720000051
其中，字母a表示神经网络预测的***坐标元组，字母g表示由医生标定的***坐标元组，mx表示***坐标元组中x的回归学习误差，my表示***坐标元组中y的回归学习误差，mz表示***坐标元组中z的回归学习误差，md表示***坐标元组中d的回归学习误差；
定义回归目标是为了让训练神经网络的回归误差更容易收敛，设定对应的神经网络的预测结果为(m′x，m′y，m′z，m′d)，回归学习误差Lreg定义为：
Figure FDA0003021297720000061
其中，L1为平滑回归学习误差，L1的计算方式为：
Figure FDA0003021297720000062
其中，k为x、y、z、d中的任意一个元素，m为***目标的回归学习误差，m′为回归学习误差对应的预测结果。
CN202110192337.7A 2021-02-20 2021-02-20 一种基于先验知识的医学图像***检测方法 Active CN112561912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110192337.7A CN112561912B (zh) 2021-02-20 2021-02-20 一种基于先验知识的医学图像***检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110192337.7A CN112561912B (zh) 2021-02-20 2021-02-20 一种基于先验知识的医学图像***检测方法

Publications (2)

Publication Number Publication Date
CN112561912A CN112561912A (zh) 2021-03-26
CN112561912B true CN112561912B (zh) 2021-06-01

Family

ID=75035999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110192337.7A Active CN112561912B (zh) 2021-02-20 2021-02-20 一种基于先验知识的医学图像***检测方法

Country Status (1)

Country Link
CN (1) CN112561912B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的***及方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045363A1 (en) * 2016-09-02 2018-03-08 Gargeya Rishab Screening method for automated detection of vision-degenerative diseases from color fundus images
CN110349141A (zh) * 2019-07-04 2019-10-18 复旦大学附属肿瘤医院 一种乳腺病灶定位方法和***
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110796058A (zh) * 2019-10-23 2020-02-14 深圳龙岗智能视听研究院 一种基于关键帧提取和层次性表述的视频行为识别方法
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法
CN111738117B (zh) * 2020-06-12 2023-12-19 鞍钢集团矿业有限公司 基于深度学习的电铲斗齿视频关键帧的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的***及方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Application Research of Key Frames Extraction Technology Combined with Optimized Faster R-CNN Algorithm in Traffic Video Analysis;Zhi-guang Jiang 等;《Hindawi》;20210202;第2021卷;1-11 *
基于多序列MR图像融合的脑肿瘤自动分割方法研究;王西虎;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20191215(第12期);E070-113 *

Also Published As

Publication number Publication date
CN112561912A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US10366491B2 (en) Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
Carneiro et al. Detection and measurement of fetal anatomies from ultrasound images using a constrained probabilistic boosting tree
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量***
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
Mahapatra et al. Active learning based segmentation of Crohns disease from abdominal MRI
CN112991363A (zh) 脑肿瘤图像分割方法、装置、电子设备及存储介质
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
CN111950595A (zh) 肝脏病灶图像处理方法、***、存储介质、程序、终端
Low et al. Automating vitiligo skin lesion segmentation using convolutional neural networks
Yu et al. Break: Bronchi reconstruction by geodesic transformation and skeleton embedding
Hussain et al. Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review
Chen et al. Generative adversarial network based cerebrovascular segmentation for time-of-flight magnetic resonance angiography image
Kuo et al. Application of intelligent automatic segmentation and 3D reconstruction of inferior turbinate and maxillary sinus from computed tomography and analyze the relationship between volume and nasal lesion
Ma et al. A novel deep learning framework for automatic recognition of thyroid gland and tissues of neck in ultrasound image
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及***
CN115187566A (zh) 基于mra影像的颅内动脉瘤检测方法及装置
CN115564756A (zh) 医学图像病灶定位显示方法与***
Liu et al. AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network
Xie et al. Semi-supervised region-connectivity-based cerebrovascular segmentation for time-of-flight magnetic resonance angiography image
Wang et al. Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images
Xia et al. Cross-domain brain CT image smart segmentation via shared hidden space transfer FCM clustering
Ramos et al. Fast and smart segmentation of paraspinal muscles in magnetic resonance imaging with CleverSeg
Zhao et al. Segmentation of the true lumen of aorta dissection via morphology-constrained stepwise deep mesh regression
Lu et al. Data enhancement and deep learning for bone age assessment using the standards of skeletal maturity of hand and wrist for chinese
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant