CN115831364A

CN115831364A - 基于多模态特征融合的2型糖尿病风险分层预测方法

Info

Publication number: CN115831364A
Application number: CN202211606506.8A
Authority: CN
Inventors: 谢怡宁; 阙楠双; 谢永华; 龙俊; 王孝东
Original assignee: Northeast Forestry University
Current assignee: Northeast Forestry University
Priority date: 2022-12-14
Filing date: 2022-12-14
Publication date: 2023-03-21
Anticipated expiration: 2042-12-14
Also published as: CN115831364B

Abstract

基于多模态特征融合的2型糖尿病风险分层预测方法，本发明涉及基于视网膜眼底图像2型糖尿病风险预测技术中直接利用眼底视网膜图像进行深度学习模型训练并且模型训练过程中提取的特征相关性不强，导致预测准确度不高的问题。为改善这一问题，本发明提出了一种基于多模态特征融的2型糖尿病风险预测方法，考虑到了多种模态的特征，包含临床特征、生物指标特征、血糖方面特征以及预测血糖值，将多种信息融合在一起，综合考量，提高预测患病风险的准确率。本发明应用于2型糖尿病预测风险。

Description

基于多模态特征融合的2型糖尿病风险分层预测方法

技术领域

本发明涉及糖尿病预测诊断领域的2型糖尿病风险预测

背景技术

近年来，随着我国经济的快速发展，人民群众的生活质量大大提高，高油高脂的食物摄入比例增大，我国糖尿病的患者数和患病率逐步提升。据统计，我国糖尿病患病人群呈爆发式增长，已成为世界上糖尿病患者最多的国家，并且在我国人口老龄化日益加剧的大背景下，我国糖尿病的患病风险讲进一步扩大，这意味着我国在糖尿病预防和控制上将会面临持续的挑战。糖尿病致死致残率高的核心原因在于糖尿病病变后会引发诸多并发症，如肾功能衰竭以及血管并发症，其中冠状动脉病变(coronary artery disease,CAD)是最主要的大血管并发症，糖尿病视网膜病变(diabetes retinopathy)是最主要的微血管并发症之一。糖尿病患者CAD的发病率可高达55％,是糖尿病患者最常见的死亡原因,DR是主要的致盲疾病，均需要庞大的社会资源及医疗资源支出。世界卫生组织根据病因学将糖尿病划分为四类：1型和2型糖尿病、妊娠糖尿病以及特殊类型糖尿病。据资料显示，35岁之后90％-95％的患者所患糖尿病为2型。2型糖尿病是一种以高血糖为特点的代谢紊乱疾病，其发病几率与多方面因素有关例如生活环境、方式以及遗传因素。由于2型糖尿病在临床确诊前会有较长时间的潜伏期，建立精准的糖尿病患病风险预测模型具有非常重大的意义与价值。通过模型的风险预测，未病先防，尽早发现高危人群，可从源头上减少2型糖尿病的发生，降低患病率，有效预防2型糖尿病。但传统的基于视网膜眼底图像的2型糖尿病风险预测模型直接基于视网膜眼底图像提取特征，没能综合考虑2型糖尿病的患病因素，在几年后的随访中结果并不理想，同时由于关键特征提取不足，无法有效的提高预测的准确率。

本发明提出一种基于多模态特征融合的2型糖尿病风险分层预测方法，以有效解决这一问题。在对人群进行2型糖尿病风险预测时，避免了使用单一片面的特征，考虑到了多种模态的特征，包含临床特征、生物指标特征、血糖方面特征以及预测血糖值，将多种信息融合在一起，综合考量，提高预测患病风险的准确率。

发明内容

本发明的目的是为了提高预测2型糖尿病的准确度，而提出的一种基于多模态特征融合的2型糖尿病风险分层预测方法。

上述发明目的主要是通过以下技术方案实现的：

S1、获取视网膜眼底图像数据集，包括横截面数据集D1和回顾性队列C中的数据集D2,其中D1数据集由健康人群和患有2型糖尿病人群提供的视网膜眼底图像构成，并且收集每个人的血糖值以及临床信息，回顾性队列C将基线为两年前时未患2型糖尿病的健康人群纳入队列，D2数据集由基线时健康人群提供的视网膜眼底图像组成，同时收集每个人的临床信息；

S2、对D1数据集进行标注，将每个人的血糖值作为对应视网膜眼底图像的标签；

S3、对D2数据集进行标注，以距基线2年后的队列C中是否患2型糖尿病为依据，患2型糖尿病标注为1，否则标注为0；

S4、在D1数据集上，通过提取视网膜眼底图像特征，训练一个基于预测空腹血糖值的血糖模型MODEL1，将预测血糖值与实际血糖值相比较，计算出损失值，根据损失值调整MODEL1中的参数，直至MODEL1预测效能达到所定标准；

S5、利用数据集D2,训练基于多模态的2型糖尿病风险预测模型MODEL2，并对未来两年内的患病风险进行分层。

模型训练步骤为：首先利用MODEL1模型对D2数据集进行训练，得到预测血糖值，同时利用MODEL1模型中的特征提取模块提取D2数据集的血糖方面特征；其次通过D2数据集中的视网膜眼底图像计算生物指标，得到生物标志物特征；接着收集D2数据集中人群的临床信息作为临床特征，将临床特征、生物标志物特征以及预测血糖值进行特征编码；得到编码好的临床特征、生物标志物特征和预测血糖值之后，将其与血糖方面特征进行多模态特征融合；最后将融合得到的特征输入至分类器中进行预测，模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值将其划分为高风险、中风险、低风险。

发明效果

本发明提供了一种基于多模态特征融合的2型糖尿病风险分层预测方法。本算法首先利用涵盖健康人群和患2型糖尿病人群的视网膜眼底图像数据集及其血糖标签值进行预训练，得到一个预测血糖值的模型MODEL1。其次，在对目标人群进行糖尿病风险预测时，利用MODEL1预测目标人群的血糖值并提取目标人群的血糖方面特征。之后收集该人群的临床特征同时计算该人群的生物指标特征，并对上述两者和预测血糖值进行编码。将上述编码完成后的特征与血糖方面特征和进行多模态融合。最后将融合特征输入分类器中，预测未来两年内的2型糖尿病发病几率。实验表明，该方法具有多模态特征融合特点，将血糖方面特征、预测血糖值、临床特征、生物指标特征进行融合，同时考虑到了多个2型糖尿病的患病因素，能够提高模型预测的准确度。

附图说明

图1本文算法的实现过程图；

图2MODEL1训练过程示意图；

图3MODEL2训练过程示意图；

具体实施方法

具体实施方式一：

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示本文提供的基于多模态特征融合的2型糖尿病风险分层预测方法，所述模型训练包含步骤：

S1、获取视网膜眼底图像数据集，所属数据集包括横截面数据集D1和回顾性队列C中的数据集D2,其中D1数据集由健康人群和患有2型糖尿病人群提供的视网膜眼底图像组成，并且收集每个人的血糖值以及临床信息，回顾性队列C为以两年前为基线，基线时未患2型糖尿病的健康人群，D2数据集由基线时健康人群提供的视网膜眼底图像组成，同时收集每个人的临床信息；

S2、对D1数据集进行标注，将每个人的血糖值作为对应眼底图像的标签；

S4、在D1数据集上，通过提取视网膜眼底图像特征，训练一个基于预测空腹血糖值的Inception-ResNet-v1回归模型，将模型预测性能训练到所定标准；

S5、以数据集D2为输入,训练基于多模态的2型糖尿病风险预测模型，通过Inception-ResNet-v1回归模型得到D2数据集的预测血糖值和血糖方面特征，其次利用视网膜眼底图像计算生物指标，得到生物标志物特征，将上述三种特征与临床信息特征进行融合后输入至分类器中，输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值0.3、0.7将其划分为低风险、中风险、高风险。

下面对本发明实施例进行详细的说明：

本发明实施例具体实现如下：

S1、获取视网膜眼底图像数据集，包括横断数据集D1和回顾性队列C中的数据集D2；

以血红蛋白A1c(HbA1c)值≥6.5％、至少在两次就诊中空腹血糖水平≥7.0mmoll^-1，或有糖尿病的药物治疗史为标准，定义患2型糖尿病人群。

对于横断数据集D1，由健康人群和患2型糖尿病的视网膜眼底图像构成，以及人群的血糖值作为相应视网膜眼底图像的标签，并收集临床信息：年龄、性别、身高、体重、血压。

创建回顾性队列C，以两年前为基线，将两年前未患2型糖尿病的健康人群作为入选队列标准。

对于数据集D2，由队列C中人群基线时的视网膜眼底图像构成，并收集临床信息：年龄、性别、身高、体重、血压。

S4、如图2所示，在D1数据集上，通过提取视网膜眼底图像特征，训练一个基于预测空腹血糖值的Inception-ResNet-v1回归模型，将全连接层作为网络的最终层，且全连接层的输出层神经元个数为1，将模型预测性能训练到所定标准；

(1)初始化Inception-ResNet-v1回归模型参数；

(2)然后对Inception-ResNet-v1回归模型进行训练，将D1数据集的视网膜眼底图像输入到Inception-ResNet-v1回归模型中，输出对血糖的预测结果

根据

与相应血糖标签值y计算均方误差损失函数MSE，MES计算公式如下：

其中n为数据集总个数；

(3)利用损失函数反向传播优化网络模型参数，直至损失函数满足阈值条件；

S5、如图3所示，以数据集D2为输入,训练基于多模态的2型糖尿病风险预测模型，将预测血糖值、血糖方面特征、生物标志物特征以及临床特征进行融合，模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值0.3、0.7将其划分为低风险、中风险、高风险。

模型训练步骤为：

(1)利用Inception-ResNet-v1回归模型对D2数据集进行训练，得到预测血糖值，同时利用Inception-ResNet-v1回归模型中的特征提取模块提取D2数据集的血糖方面特征；

(2)通过D2数据集中的视网膜眼底图像计算生物指标：CRAE、CRVE、分形维数、分支角度、弯曲度，得到生物标志物特征；

具体指标计算方法如下所示：

①CRAE：在视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，选取6条直径最宽的动脉，具体计算公式如下：

其中w₁、w₂分别为6条动脉中最宽和最窄的动脉宽度；

②CRVE：在视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，选取6条直径最宽的静脉，具体计算公式如下：

其中w₁、w₂分别为6条静脉中最宽和最窄的静脉宽度；

③分形维数：在视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，利用盒计数法得到；

④分支角度：计算不受范围限制，具体计算公式如下：

其中d₀为母血管的平均宽度、d₁、d₂分别为两个分支血管的平均宽度；

⑤弯曲度：血管直线长度与实际长度的比值；

(3)收集D2数据集中患者的临床信息作为临床特征，将临床特征与生物标志物特、预测血糖值按照One-Hot编码方式进行编码；

(4)将编码好的临床特征、生物标志物特征和预测血糖值与血糖方面特征进行多模态特征融合；

(5)将融合得到的特征经全连接层后，输入至softmax分类器中进行预测，模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值将其划分为高风险、中风险、低风险。

该方法具有多模态特征融合特点，将血糖方面特征、预测血糖值、临床特征、生物指标特征进行多模态融合，同时考虑到了多个2型糖尿病的患病因素，提高了特征的有用性，能够提高模型预测的准确度。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。

Claims

1.基于多模态特征融合的2型糖尿病风险分层预测方法，其特征在于，包含如下步骤：

S5、以D2数据集为输入,训练基于多模态的2型糖尿病风险预测模型MODEL2，首先利用MODEL1预测D2数据集相对应的血糖值，同时提取提取D2数据集的血糖方面特征，其次利用视网膜眼底图像计算生物指标，得到生物标志物特征，将上述三类特征与临床特征进行多模态特征融合，MODEL2模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值将其划分为高风险、中风险、低风险。

2.如权利要求1所述的基于多模态特征融合的2型糖尿病风险分层预测方法，其特征在于，步骤S5中基于多模态的2型糖尿病风险预测模型的训练包含如下步骤：

S501、将D2数据集作为所述预训练好的MODEL1模型的输入，得到预测血糖值，同时利用MODEL1模型中的特征提取模块提取D2数据集的血糖方面特征；

S502、通过D2数据集中的视网膜眼底图像计算生物指标，得到生物标志物特征；

S503、收集D2数据集中人群的临床信息作为临床特征，将临床特征、生物标志物特征以及预测血糖值进行特征编码；

S504、将编码得到的临床特征、生物标志物特征和预测血糖值与血糖方面特征进行多模态特征融合；

S505、将融合得到的特征输入至分类器中进行预测，其中由于特征中含有预测血糖信息，这将辅助分类器预测，以提高预测患病风险的准确率。