CN111599464B - 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 - Google Patents
基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 Download PDFInfo
- Publication number
- CN111599464B CN111599464B CN202010401516.2A CN202010401516A CN111599464B CN 111599464 B CN111599464 B CN 111599464B CN 202010401516 A CN202010401516 A CN 202010401516A CN 111599464 B CN111599464 B CN 111599464B
- Authority
- CN
- China
- Prior art keywords
- histology
- image
- features
- score
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000015634 Rectal Neoplasms Diseases 0.000 title claims abstract description 33
- 206010038038 rectal cancer Diseases 0.000 title claims abstract description 33
- 201000001275 rectum cancer Diseases 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 title claims abstract description 28
- 238000003745 diagnosis Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000002597 diffusion-weighted imaging Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000000692 Student's t-test Methods 0.000 claims description 2
- 238000012353 t test Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 3
- 238000010988 intraclass correlation coefficient Methods 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 238000000540 analysis of variance Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002962 histologic effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000009099 neoadjuvant therapy Methods 0.000 description 1
- 230000005311 nuclear magnetism Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000011249 preoperative chemoradiotherapy Methods 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000009790 vascular invasion Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,包括:步骤一、获取直肠癌多种模态的医学影像,并进行预处理;步骤二、对预处理之后的医学影像进行分层分割,并获取每一层医学影像对应的感兴趣区域;步骤三、对每一种模态医学影像的每一个感兴趣区域进行特征提取,获取对应的高维影像组学特征;步骤四、对所获取样本及对应获取得到的高维影像组学特征进行随机划分得到训练集和测试集,并在训练组数据内进行特征降维;步骤五、基于T2加权成像、弥散加权成像及CT影像的低维影像组学特征,分别构建影像组学标签;步骤六、对所获得的各个标签进行系数加权,经线性组合后得到多模态融合影像组学评分,用于直肠癌辅助诊断。
Description
技术领域
本发明涉及医学影像识别处理技术,尤其涉及一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法。
背景技术
结直肠癌是全球第三大最常见的癌症。脉管侵犯(Lympho-Vascular Invasi on,LVI),被定义为肿瘤周围***和/或小的非肌肉化血管中存在癌细胞,已被认为是结直肠癌独立于分期的重要预后决定因素。LVI与***转移(Ly mph Node Metastasis,LNM)及预后不良有关,是内镜手术后复发的高危因素。美国国家综合癌症网络(NCCN)临床实践指南推荐T3N0M0疾病患者LVI的存在,这可能是术前放化疗的必要条件。因此,术前通过无创的影像学生物标志物来预测LVI具有重要的临床意义。
传统的成像特征由于其主观或定性的特性,预测精度低。核磁共振成像(MagneticResonance Imaging,MRI)对于术前诊断LVI是一种可重现的、准确方法,特异性高,敏感性中等。由于其敏感性较低,LVI的影像学评价比较困难,一些较小的静脉侵犯(特别是管径小于3mm)可能被忽略。
多模态机器学习(MMML)旨在通过机器学习实现对多模态信息的处理和理解能力。多模态融合是将多模态信息进行组合,进行目标预测(分类或回归)。医学成像包括不同形式的数据,如MRI、CT、PET、x线和超声。尽管新的医学成像技术已经有所改进,但对这些诊断模式的解释仍然需要训练有素的专家。多模融合可分为像素级、特征级和决策级,分别用于融合原始数据、抽象特征和决策结果。
影像组学是一种新的医学图像分析方法,通过将传统医学图像转化为高维、定量、可采矿的成像数据,深入表征肿瘤表型。目前,许多研究应用组学特征预测结直肠癌***转移,评价新辅助治疗的疗效,确定术前同步远处转移,预测直肠癌分期。然而,它在LVI预测中的应用仍然很少。
发明内容
本发明提供了一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,通过手动勾画感兴趣区域,并对感兴趣区域进行高维度特征的提取,通过降维算法得到低维度特征,从而进行单模态影像组学评分的构建,后经系数加权线性融合为多模态影像组学评分,用于直肠癌的预后预测。
本发明提供的技术方案为:
一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,包括:
步骤一、获取直肠癌多种模态的医学影像,并对所述医学影像进行预处理;所述多种模态的医学影像包括:磁共振影像和增强CT影像;其中,所述磁共振影像包括:T2加权成像和弥散加权成像;
步骤二、对预处理之后的医学影像进行分层分割,并获取每一层医学影像对应的感兴趣区域;
步骤三、对每一种模态医学影像的每一个感兴趣区域进行特征提取,获取每一个感兴趣区域对应的高维影像组学特征;
步骤四、对所述高维影像组学特征进行划分得到训练集和测试集,并分别进行降维得到低维影像组学特征;
步骤五、基于T2加权成像、弥散加权成像和CT影像的低维影像组学特征,分别构建单模态影像组学标签;
步骤六、对所述T2加权成像、弥散加权成像和增强CT影像的单模态影像组学评分进行系数加权并线性组合,得到融合后的多模态影像组学评分,用于直肠癌辅助诊断。
优选的是,所述步骤一中的医学影像预处理过程包括:对采集的直肠影像进行二值化处理,
式中,I(x,y)为(x,y)位置的灰度值,thresh为预设阈值,f(x,y)为二值化后直肠图像(x,y)位置的灰度值。
优选的是,所述步骤二中还包括:将所述每一层医学影像进行Haar小波变换,分别得到高频和低频子带对应的图像。
优选的是,所述高维影像组学特征至少包括:一阶直方图特征、高阶纹理特征和形态学特征。
优选的是,所述高阶纹理特征包括:灰度共生矩阵、灰度区域大小矩阵、灰度游程矩阵、邻域灰度差分矩阵和灰度依赖矩阵。
优选的是,所述形态学特征包括:表面积、球形度和平坦度。
优选的是,所述高维影像组学特征进行降维过程包括:
首先,对高维影像组学特征进行数据标准化,所述高维影像组学特征的标准化公式为:
其中,x*表示高维影像组学特征标准化后的数据,x表示高维影像组学特征原始数据,μ表示高维影像组学特征均值,σ表示高维影像组学特征标准差;
对所述测试集数据进行数据标准化,所述测试集的标准化公式为:
其中,C*为测试集标准化后的数据,c为测试集高维影像组学特征原始数据,μ*为高维影像组学特征标准化后的标准化数据均值,σ*为高维影像组学特征标准化后的标准化数据标准差;
然后,确定多组影像组学特征是否满足标准正态分布和方差齐性,若满足,则采用t检验来检验影像组学特征在不同类别之间的差异性是否具有统计学意义,否则,采用秩和检验,经统计学差异检验后,在不同组之间不具有统计学差异的特征,将被剔除;
最后,利用降维算法对高维影像组学特征进行降维,其计算公式为:
其中,y为预测的类别,w为影像组学特征对应的系数,x为影像组学特征,α代表系数,|| ||为稀疏降维运算。
优选的是,分别建立关于T2加权成像、弥散加权成像和增强CT影像的单模态影像组学标签,计算公式:
T2score=a+(f1Cov1+f2Cov2…+fiCovi…+fnCov)n;
T2score为T2加权成像的影像组学评分,a为常数,fi为T2加权成像中剩余的低维影像组学特征各自的权重系数,i=1,2…n,n为T2加权成像中特征的维度,即剩余特征的个数,λ(i)=i2+2i-1;/>
DWIscore=b+(α1Cov1+α2Cov2…+αiCovi…+αnCov)n;
DWIscore为弥散加权成像的影像组学评分,b为常数,αi为弥散加权成像中剩余的低维影像组学特征各自的权重系数,i=1,2…n,n为弥散加权成像中特征的维度,即剩余特征的个数,μ(i)=i2+3i-2;/>
CTscore=c+(β1Cov1+β2Cov2…+βiCovi…+βnCov)n
其中,CTscore为增强CT图像的影像组学评分,c为常数,βi为增强CT影像中剩余的低维影像组学特征各自的权重系数,i=1,2…n,n为增强CT影像中特征的维度,即剩余特征的个数,μ(i)=i2+3i-2;/>
优选的是,所述融合后的多模态影像组学评分为:
ASCORE=λT2·T2score+λDWI·DWIscore+λCT·CTscore;
其中,ASCORE为融合后的多模态影像组学评分,λT2、λDWI和λCT均为常数。
本发明的有益效果
本发明提供了一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,通过手动勾画感兴趣区域,并对感兴趣区域进行高维度特征的提取,通过降维算法得到低维度特征,从而进行单模态影像组学评分的构建,后经系数加权线性融合为多模态影像组学评分,用于直肠癌的预后预测。
附图说明
图1为本发明提供的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1所示,本发明提供的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,包括:
步骤S110、获取直肠癌多种模态的医学影像,并对所述医学影像进行预处理;图像预处理过程包括:对采集的直肠影像进行二值化处理,
式中,I(x,y)为(x,y)位置的灰度值,thresh为预设阈值,f(x,y)为二值化后直肠图像(x,y)位置的灰度值。
多种模态的医学影像包括:磁共振解剖成像和增强CT影像;
其中,所述核磁解剖影像包括:T2加权成像和磁共振加权成像
步骤S120、对预处理之后的医学影像进行分层分割,并获取每一层医学影像对应的感兴趣区域;
将所述每一层医学影像进行Haar小波变换,分别得到高频和低频子带对应的图像。
步骤S130、对每一种模态医学影像的每一个感兴趣区域进行特征提取,获取每一个感兴趣区域对应的高维影像组学特征;
高维影像组学特征至少包括:一阶纹理体征、形状特征、灰度共生矩阵、灰度区域矩阵、灰度游程矩阵、邻域灰度差分矩阵和灰度依赖矩阵。
其中,小波变换,即原始图像进行Haar小波变换,分别得到高频和低频子带对应的图像;2.一阶纹理特征,即包括在原始图像中获取到的能量、熵、标准差等;3.形状特征,即包括原始图像所对应的表面积、球形度、平坦度等;4.灰度共生矩阵相关特征,即对原始图像先进行灰度共生矩阵的转换,再在灰度共生矩阵中计算对应的对比度、相关度、联合熵等具体特征值;5.灰度区域矩阵相关特征,即对原始图像先进行灰度区域矩阵的转换,进而在灰度区域矩阵中计算灰度不均匀性、区域不均匀性、灰度级方差等特征值;6.灰度游程矩阵相关特征,即对原始图像先进行灰度游程矩阵的转换,进而在灰度游程矩阵中计算灰度短(长)游程增强、灰度游程方差、灰度游程熵等特征值。
步骤S140、对所述高维影像组学特征进行划分得到训练集和测试集,即将所有样本按照7:3的比例划分,并分别进行梯度降维得到低维影像组学特征标签;其中,降维过程包括:
首先,对所高维影像组学特征进行数据标准化,所述高维影像组学特征的标准化公式为:
其中,x*表示高维影像组学特征标准化后的数据,x表示高维影像组学特征原始数据,μ表示高维影像组学特征均值,σ表示高维影像组学特征标准差;
对所述测试集数据进行数据标准化,所述测试集的标准化公式为:
其中,C*为测试集标准化后的数据,c为测试集高维影像组学特征原始数据,μ*为高维影像组学特征标准化后的标准化数据均值,σ*为高维影像组学特征标准化后的标准化数据标准差;
然后,确定多组影像组学特征是否满足标准正态分布,若不满足正态分布,用秩和检验进一步检验影像组学特征的相关性;
最后,利用降维算法对高维影像组学特征进行降维,其计算公式为:
其中,y为预测的类别,w为影像组学特征对应的系数,x为影像组学特征,α代表系数,|| ||为稀疏降维运算。
步骤S150、利用低维影像组学特征标签作为交叉训练数据集,分别计算关于T2加权成像、磁共振加权成像和增强CT影像的相关性值;
优选的是,分别建立关于T2加权成像、磁共振加权成像和增强CT影像的相关性值得计算公式:
T2score=a+(f1Cov1+f2Cov2…+fiCovi…+fnCov)n;
T2score为T2加权成像的相关性值,a=0.64,fi为T2加权系数,i=1,2…n,λ(i)=i2+2i-1;/>
DWIscore=b+(α1Cov1+α2Cov2…+αiCovi…+αnCov)n;
DWIscore为磁共振加权成像相关性值,b=0.73,αi为DWI加权系数,i=1,2…n,μ(i)=i2+3i-2;/>
CTscore=c+(β1Cov1+β2Cov2…+βiCovi…+βnCov)n
其中,CTscore为加强CT相关性值,c=0.92,βi为DWI加权系数,i=1,2…n,μ(i)=i2+3i-2;/>
步骤S160、对所述T2加权成像、磁共振加权成像和增强CT影像的相关性值进行系数加权后线性组合提取得到融合后的评价特征值,用于直肠癌辅助诊断,融合后的相关性特征值为:
ASCORE=1.25·T2score+2.43·DWIscore+1.75CTscore;
其中,ASCORE为融合后的相关性特征值。
实施例1、
步骤1、对直肠癌数据进行采集,一个患者同时拥有核磁T2WI、DWI(弥散加权成像,是一种新的MR成像技术)序列,CT静脉期厚层影像,共三个模态数据,将所采集的所述数据按7:3比例分为训练集和验证集;
步骤2、首先,由一位放射科医生分别在T2WI、DWI和(增强CT)CE CT图像上对肿瘤所在层面进行逐层感兴趣区(VOIs)分割,再由第二位放射科医生独立随机在每种模态中选取30个患者图像进行逐层分割,并在间隔一周时间之后按照相同的步骤划取VOI两次。两名放射科医生都对临床病理结果和其他影像学结果均不知晓。
步骤3、分别从T2WI、DWI和CE-CT三个模态VOIs中提取影像组学特征。每个序列396个特征,共1188个特征。
步骤4、组学特征类型包括42个直方图特征,9个形态学特征,10个Haralick特征,11个灰度大小区域矩阵(GLSZM),48个灰度共生矩阵(GLCM),60个灰度运行长度矩阵(RLM),在高阶纹理特征中,采用的角度分别0°、45°、90°和135°,步长分别为1/4/7。
步骤5、通过类间和类内相关系数(ICCs)分析观察者内部和观察者之间的一致性,ICC高于0.75,则认为一致性良好。
步骤6、使用方差分析(ANOVA)和最小绝对收缩选择算子(LASSO)回归来减少过拟合或选择偏差。为了减少特征的冗余,我们去除了高相关的特征(选择系数r=0.9)。
步骤7、分别建立关于T2加权成像、弥散加权成像和增强CT影像的单模态影像组学评分,计算公式如下:
T2score=a+(f1Cov1+f2Cov2…+fiCovi…+fnCov)n;
T2score为T2加权成像的相关性值,a=0.64,fi为T2加权系数,i=1,2…n,λ(i)=i2+2i-1;/>
DWIscore=b+(α1Cov1+α2Cov2…+αiCovi…+αnCov)n;
DWIscore为磁共振加权成像相关性值,b=0.73,αi为DWI加权系数,i=1,2…n,μ(i)=i2+3i-2;/>
CTscore=c+(β1Cov1+β2Cov2…+βiCovi…+βnCov)n
其中,CTscore为加强CT相关性值,c=0.92,βi为DWI加权系数,i=1,2…n,μ(i)=i2+3i-2;/>
步骤8、对T2加权成像、弥散加权成像和增强CT影像的单模态影像组学评分进行各自系数加权后线性组合得到融合后的多模态影像组学评分,用于直肠癌辅助诊断,融合后的多模态影像组学评分为:
ASCORE=1.25·T2score+2.43·DWIscore+1.75CTscore;
其中,ASCORE为融合后的多模态影像组学评分。
步骤9、绘制模型的ROC曲线,根据最大约登指数原则,得到最佳截断值。患者的多模态影像组学评分若大于截断值,则被模型判别为阳性。
本发明提供了一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,通过手动勾画感兴趣区域,并对感兴趣区域进行高维度特征的提取,通过降维算法得到低维度特征,从而进行单模态影像组学评分的构建,后经系数加权线性融合为多模态影像组学评分,用于直肠癌的预后预测。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (9)
1.一种基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,包括:
步骤一、获取直肠癌多种模态的医学影像,并对所述医学影像进行预处理;所述多种模态的医学影像包括:磁共振影像和增强CT影像;其中,所述磁共振影像包括:T2加权成像和弥散加权成像;
步骤二、对预处理之后的医学影像进行分层分割,并获取每一层医学影像对应的感兴趣区域;
步骤三、对每一种模态医学影像的每一个感兴趣区域进行特征提取,获取每一个感兴趣区域对应的高维影像组学特征;
步骤四、对所述高维影像组学特征进行划分得到训练集和测试集,并分别进行降维得到低维影像组学特征;
步骤五、基于T2加权成像、弥散加权成像和CT影像的低维影像组学特征,分别构建单模态影像组学标签;
步骤六、对所述T2加权成像、弥散加权成像和增强CT影像的单模态影像组学评分进行系数加权并线性组合,得到融合后的多模态影像组学评分,用于直肠癌辅助诊断。
2.根据权利要求1所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述步骤一中的医学影像预处理过程包括:对采集的直肠影像进行二值化处理,
式中,I(x,y)为(x,y)位置的灰度值,thresh为预设阈值,f(x,y)为二值化后直肠图像(x,y)位置的灰度值。
3.根据权利要求2所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述步骤二中还包括:将所述每一层医学影像进行Haar小波变换,分别得到高频和低频子带对应的图像。
4.根据权利要求1所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述高维影像组学特征至少包括:一阶直方图特征、高阶纹理特征和形态学特征。
5.根据权利要求4所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述高阶纹理特征包括:灰度共生矩阵、灰度区域大小矩阵、灰度游程矩阵、邻域灰度差分矩阵和灰度依赖矩阵。
6.根据权利要求4所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述形态学特征包括:表面积、球形度和平坦度。
7.根据权利要求1所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述高维影像组学特征进行降维过程包括:
首先,对高维影像组学特征进行数据标准化,所述高维影像组学特征的标准化公式为:
其中,x*表示高维影像组学特征标准化后的数据,x表示高维影像组学特征原始数据,μ表示高维影像组学特征均值,σ表示高维影像组学特征标准差;
对所述测试集数据进行数据标准化,所述测试集的标准化公式为:
其中,C*为测试集标准化后的数据,c为测试集高维影像组学特征原始数据,μ*为高维影像组学特征标准化后的标准化数据均值,σ*为高维影像组学特征标准化后的标准化数据标准差;
然后,确定多组影像组学特征是否满足标准正态分布和方差齐性,若满足,则采用t检验来检验影像组学特征在不同类别之间的差异性是否具有统计学意义,否则,采用秩和检验,经统计学差异检验后,在不同组之间不具有统计学差异的特征,将被剔除;
最后,利用降维算法对高维影像组学特征进行降维,其计算公式为:
其中,y为预测的类别,w为影像组学特征对应的系数,x为影像组学特征,α代表系数,||||为稀疏降维运算。
8.根据权利要求7所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,分别建立关于T2加权成像、弥散加权成像和增强CT影像的单模态影像组学标签,计算公式:
T2score=a+(f1Cov1+f2Cov2…+fiCovi…+fnCov)n;
T2score为T2加权成像的影像组学评分,a为常数,fi为T2加权成像中剩余的低维影像组学特征各自的权重系数,i=1,2…n,n为T2加权成像中特征的维度,即剩余特征的个数,
λ(i)=i2+2i-1;
DWIscore=b+(α1Cov1+α2Cov2…+αiCovi…+αnCov)n;
DWIscore为弥散加权成像的影像组学评分,b为常数,αi为弥散加权成像中剩余的低维影像组学特征各自的权重系数,i=1,2…n,n为弥散加权成像中特征的维度,即剩余特征的个数,
μ(i)=i2+3i-2;
CTscore=c+(β1Cov1+β2Cov2…+βiCovi…+βnCov)n
其中,CTscore为增强CT图像的影像组学评分,c为常数,βi为增强CT影像中剩余的低维影像组学特征各自的权重系数,i=1,2…n,n为增强CT影像中特征的维度,即剩余特征的个数,
μ(i)=i2+3i-2;
9.根据权利要求8所述的基于直肠癌影像组学研究的新型多模态融合辅助诊断方法,其特征在于,所述融合后的多模态影像组学评分为:
ASCORE=λT2·T2score+λDWI·DWIscore+λCT·CTscore;
其中,ASCORE为融合后的多模态影像组学评分,λT2、λDWI和λCT均为常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010401516.2A CN111599464B (zh) | 2020-05-13 | 2020-05-13 | 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010401516.2A CN111599464B (zh) | 2020-05-13 | 2020-05-13 | 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111599464A CN111599464A (zh) | 2020-08-28 |
CN111599464B true CN111599464B (zh) | 2023-12-15 |
Family
ID=72192329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010401516.2A Active CN111599464B (zh) | 2020-05-13 | 2020-05-13 | 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111599464B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112365980B (zh) * | 2020-11-16 | 2024-03-01 | 复旦大学附属华山医院 | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及*** |
CN112651507B (zh) * | 2020-12-22 | 2024-03-29 | 福建医科大学附属第一医院 | 肝细胞癌的微血管侵犯预测模型构建方法与概率预测方法 |
CN112768072B (zh) * | 2021-01-12 | 2023-03-24 | 哈尔滨医科大学 | 基于影像组学定性算法构建癌症临床指标评估*** |
CN113362932B (zh) * | 2021-06-24 | 2023-02-17 | 河北大学 | 一种基于cc-注意力机制的影像组学特征筛选方法 |
CN113902724B (zh) * | 2021-10-18 | 2022-07-01 | 广州医科大学附属肿瘤医院 | 瘤细胞图像的分类方法及装置、设备、存储介质 |
CN115440386B (zh) * | 2022-09-30 | 2023-06-20 | 中国医学科学院北京协和医院 | 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果的方法及设备 |
CN116416235B (zh) * | 2023-04-12 | 2023-12-05 | 北京建筑大学 | 一种基于多模态超声数据的特征区域预测方法和装置 |
CN117011242B (zh) * | 2023-07-10 | 2024-05-14 | 珠海市人民医院 | 经颈静脉肝内门体分流术后肝性脑病预测方法和*** |
CN116681706B (zh) * | 2023-08-04 | 2023-11-10 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 医学影像的处理方法、装置、电子设备及存储介质 |
CN117524501B (zh) * | 2024-01-04 | 2024-03-19 | 长春职业技术学院 | 基于特征挖掘的多模态医学数据分析***及方法 |
CN117766147B (zh) * | 2024-02-21 | 2024-04-26 | 四川省肿瘤医院 | 基于磁共振引导加速器的直肠癌患者治疗效果预测方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013049153A2 (en) * | 2011-09-27 | 2013-04-04 | Board Of Regents, University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
CN103593852A (zh) * | 2013-11-29 | 2014-02-19 | 中国科学院光电研究院 | 基于同质图斑的高光谱影像异常探测方法 |
CN106875401A (zh) * | 2017-01-10 | 2017-06-20 | 中国科学院深圳先进技术研究院 | 多模态影像组学的分析方法、装置及终端 |
CN107220966A (zh) * | 2017-05-05 | 2017-09-29 | 郑州大学 | 一种基于影像组学的脑胶质瘤分级预测方法 |
WO2018129650A1 (zh) * | 2017-01-10 | 2018-07-19 | 中国科学院深圳先进技术研究院 | 多模态影像组学的分析方法、装置及终端 |
CN108549912A (zh) * | 2018-04-19 | 2018-09-18 | 北京工业大学 | 一种基于机器学习的医学图像肺结节检测方法 |
CN108897984A (zh) * | 2018-05-07 | 2018-11-27 | 上海理工大学 | 基于ct影像组学特征与肺癌基因表达间相关性分析方法 |
CN109841280A (zh) * | 2017-11-29 | 2019-06-04 | 郑州大学第一附属医院 | 食管癌相关特征通路的识别及早期诊断模型的构建方法 |
CN110246143A (zh) * | 2019-06-14 | 2019-09-17 | 吉林大学第一医院 | 肺部ct图像辅助检测处理装置 |
WO2019232435A1 (en) * | 2018-06-01 | 2019-12-05 | Grail, Inc. | Convolutional neural network systems and methods for data classification |
TW202001804A (zh) * | 2018-04-20 | 2020-01-01 | 成真股份有限公司 | 用精細解析進行資料管理和機器學習的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10692607B2 (en) * | 2015-08-18 | 2020-06-23 | Case Western Reserve University | Treatment planning and evaluation for rectal cancer via image analytics |
US20190080795A1 (en) * | 2017-09-14 | 2019-03-14 | Foram Mahendra Sanghavi | Digitized needle biopsies nuclei information based prostate cancer detection, grading, scoring, and reporting systems and methods |
US20200058125A1 (en) * | 2018-08-14 | 2020-02-20 | Mikhail Teverovskiy | Comparative cancer survival models to assist physicians to choose optimal treatment |
-
2020
- 2020-05-13 CN CN202010401516.2A patent/CN111599464B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013049153A2 (en) * | 2011-09-27 | 2013-04-04 | Board Of Regents, University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
CN103593852A (zh) * | 2013-11-29 | 2014-02-19 | 中国科学院光电研究院 | 基于同质图斑的高光谱影像异常探测方法 |
CN106875401A (zh) * | 2017-01-10 | 2017-06-20 | 中国科学院深圳先进技术研究院 | 多模态影像组学的分析方法、装置及终端 |
WO2018129650A1 (zh) * | 2017-01-10 | 2018-07-19 | 中国科学院深圳先进技术研究院 | 多模态影像组学的分析方法、装置及终端 |
CN107220966A (zh) * | 2017-05-05 | 2017-09-29 | 郑州大学 | 一种基于影像组学的脑胶质瘤分级预测方法 |
CN109841280A (zh) * | 2017-11-29 | 2019-06-04 | 郑州大学第一附属医院 | 食管癌相关特征通路的识别及早期诊断模型的构建方法 |
CN108549912A (zh) * | 2018-04-19 | 2018-09-18 | 北京工业大学 | 一种基于机器学习的医学图像肺结节检测方法 |
TW202001804A (zh) * | 2018-04-20 | 2020-01-01 | 成真股份有限公司 | 用精細解析進行資料管理和機器學習的方法 |
CN108897984A (zh) * | 2018-05-07 | 2018-11-27 | 上海理工大学 | 基于ct影像组学特征与肺癌基因表达间相关性分析方法 |
WO2019232435A1 (en) * | 2018-06-01 | 2019-12-05 | Grail, Inc. | Convolutional neural network systems and methods for data classification |
CN110246143A (zh) * | 2019-06-14 | 2019-09-17 | 吉林大学第一医院 | 肺部ct图像辅助检测处理装置 |
Non-Patent Citations (4)
Title |
---|
MSCT胃多期增强及重建精准诊断异位胰腺1例;董雨桐;《中国实验诊断学》;20190731;全文 * |
Value of Multi-MR Techniques in Diagnosis of Prostate Cancer;XM Guo;Chinese Computed Medical Imaging;全文 * |
肾细胞癌的不典型CT、MR表现及鉴别诊断;陈民宁;中国继续医学教育;全文 * |
自体荧光内镜对早期胃癌诊断价值荟萃分析;李晓东;中国内镜杂志;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111599464A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111599464B (zh) | 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 | |
Moradmand et al. | Impact of image preprocessing methods on reproducibility of radiomic features in multimodal magnetic resonance imaging in glioblastoma | |
Korfiatis et al. | Residual deep convolutional neural network predicts MGMT methylation status | |
Ortiz-Ramón et al. | Identification of the presence of ischaemic stroke lesions by means of texture analysis on brain magnetic resonance images | |
Ahirwar | Study of techniques used for medical image segmentation and computation of statistical test for region classification of brain MRI | |
Sun et al. | Identification of suspicious invasive placentation based on clinical MRI data using textural features and automated machine learning | |
Ortiz-Ramón et al. | Glioblastomas and brain metastases differentiation following an MRI texture analysis-based radiomics approach | |
Dong et al. | Differentiation between ependymoma and medulloblastoma in children with radiomics approach | |
Makni et al. | Zonal segmentation of prostate using multispectral magnetic resonance images | |
Sanyal et al. | An automated two-step pipeline for aggressive prostate lesion detection from multi-parametric MR sequence | |
Jin et al. | Prognosis of cervical myelopathy based on diffusion tensor imaging with artificial intelligence methods | |
Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
Florez et al. | Emergence of radiomics: novel methodology identifying imaging biomarkers of disease in diagnosis, response, and progression | |
CN109191422B (zh) | 基于常规ct图像的缺血性脑卒中早期检测***和方法 | |
Shen et al. | Multiclassifier fusion based on radiomics features for the prediction of benign and malignant primary pulmonary solid nodules | |
Ma et al. | Game theoretic interpretability for learning based preoperative gliomas grading | |
Lo et al. | Computer-aided diagnosis of isocitrate dehydrogenase genotypes in glioblastomas from radiomic patterns | |
Feng et al. | Automatic localization and segmentation of focal cortical dysplasia in FLAIR‐negative patients using a convolutional neural network | |
Feng et al. | Improved detection of focal cortical dysplasia in normal‐appearing FLAIR images using a Bayesian classifier | |
Xing et al. | Automatic detection of A‐line in lung ultrasound images using deep learning and image processing | |
Feng et al. | Radiomics of dynamic contrast-enhanced magnetic resonance imaging parametric maps and apparent diffusion coefficient maps to predict Ki-67 status in breast cancer | |
CN113171074A (zh) | 一种宫颈麟癌影像组学分析方法及预测模型的构建 | |
Zhou et al. | A nomogram combined with radiomics features, albuminuria, and metabolic syndrome to predict the risk of myometrial invasion of bladder cancer | |
Zheng et al. | Development and validation of CT‐based radiomics nomogram for the classification of benign parotid gland tumors | |
Gore et al. | Radiogenomic analysis: 1p/19q codeletion based subtyping of low-grade glioma by analysing advanced biomedical texture descriptors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |