CN115831364B - 基于多模态特征融合的2型糖尿病风险分层预测方法 - Google Patents
基于多模态特征融合的2型糖尿病风险分层预测方法 Download PDFInfo
- Publication number
- CN115831364B CN115831364B CN202211606506.8A CN202211606506A CN115831364B CN 115831364 B CN115831364 B CN 115831364B CN 202211606506 A CN202211606506 A CN 202211606506A CN 115831364 B CN115831364 B CN 115831364B
- Authority
- CN
- China
- Prior art keywords
- diabetes
- type
- fundus image
- blood glucose
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
基于多模态特征融合的2型糖尿病风险分层预测方法，本发明涉及基于视网膜眼底图像2型糖尿病风险预测技术中直接利用眼底视网膜图像进行深度学习模型训练并且模型训练过程中提取的特征相关性不强，导致预测准确度不高的问题。为改善这一问题，本发明提出了一种基于多模态特征融的2型糖尿病风险预测方法，考虑到了多种模态的特征，包含临床特征、生物指标特征、血糖方面特征以及预测血糖值，将多种信息融合在一起，综合考量，提高预测患病风险的准确率。本发明应用于2型糖尿病预测风险。
Description
技术领域
本发明涉及糖尿病预测诊断领域的2型糖尿病风险预测
背景技术
世界卫生组织根据病因学将糖尿病划分为四类：1型和2型糖尿病、妊娠糖尿病以及特殊类型糖尿病。据资料显示，35岁之后90％-95％的患者所患糖尿病为2型。2型糖尿病是一种以高血糖为特点的代谢紊乱疾病，其发病几率与多方面因素有关例如生活环境、方式以及遗传因素。由于2型糖尿病在临床确诊前会有较长时间的潜伏期，建立精准的糖尿病患病风险预测模型具有非常重大的意义与价值。通过模型的风险预测，未病先防，尽早发现高危人群，可从源头上减少2型糖尿病的发生，降低患病率，有效预防2型糖尿病。但传统的基于视网膜眼底图像的2型糖尿病风险预测模型直接基于视网膜眼底图像提取特征，没能综合考虑2型糖尿病的患病因素，在几年后的随访中结果并不理想，同时由于关键特征提取不足，无法有效的提高预测的准确率。
本发明提出一种基于多模态特征融合的2型糖尿病风险分层预测方法，以有效解决这一问题。在对人群进行2型糖尿病风险预测时，避免了使用单一片面的特征，考虑到了多种模态的特征，包含临床特征、生物指标特征、血糖方面特征以及预测血糖值，将多种信息融合在一起，综合考量，提高预测患病风险的准确率。
发明内容
本发明的目的是为了提高预测2型糖尿病的准确度，而提出的一种基于多模态特征融合的2型糖尿病风险分层预测方法。
上述发明目的主要是通过以下技术方案实现的：
S1、获取视网膜眼底图像数据集，包括横截面数据集D1和回顾性队列C中的数据集D2,其中D1数据集由健康人群和患有2型糖尿病人群提供的视网膜眼底图像构成，并且收集每个人的血糖值以及临床信息，回顾性队列C将基线为两年前时未患2型糖尿病的健康人群纳入队列，D2数据集由基线时健康人群提供的视网膜眼底图像组成，同时收集每个人的临床信息；
S2、对D1数据集进行标注，将每个人的血糖值作为对应视网膜眼底图像的标签；
S3、对D2数据集进行标注，以距基线2年后的队列C中是否患2型糖尿病为依据，患2型糖尿病标注为1，否则标注为0；
S4、在D1数据集上，通过提取视网膜眼底图像特征，训练一个基于预测空腹血糖值的血糖模型MODEL1，将预测血糖值与实际血糖值相比较，计算出损失值，根据损失值调整MODEL1中的参数，直至MODEL1预测效能达到所定标准；
S5、利用数据集D2,训练基于多模态的2型糖尿病风险预测模型MODEL2，并对未来两年内的患病风险进行分层。
模型训练步骤为：首先利用MODEL1模型对D2数据集进行训练，得到预测血糖值，同时利用MODEL1模型中的特征提取模块提取D2数据集的血糖方面特征；其次通过D2数据集中的视网膜眼底图像计算生物指标，得到生物标志物特征；接着收集D2数据集中人群的临床信息作为临床特征，将临床特征、生物标志物特征以及预测血糖值进行特征编码；得到编码好的临床特征、生物标志物特征和预测血糖值之后，将其与血糖方面特征进行多模态特征融合；最后将融合得到的特征输入至分类器中进行预测，模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值将其划分为高风险、中风险、低风险。
发明效果
本发明提供了一种基于多模态特征融合的2型糖尿病风险分层预测方法。本算法首先利用涵盖健康人群和患2型糖尿病人群的视网膜眼底图像数据集及其血糖标签值进行预训练，得到一个预测血糖值的模型MODEL1。其次，在对目标人群进行糖尿病风险预测时，利用MODEL1预测目标人群的血糖值并提取目标人群的血糖方面特征。之后收集该人群的临床特征同时计算该人群的生物指标特征，并对上述两者和预测血糖值进行编码。将上述编码完成后的特征与血糖方面特征和进行多模态融合。最后将融合特征输入分类器中，预测未来两年内的2型糖尿病发病几率。实验表明，该方法具有多模态特征融合特点，将血糖方面特征、预测血糖值、临床特征、生物指标特征进行融合，同时考虑到了多个2型糖尿病的患病因素，能够提高模型预测的准确度。
附图说明
图1本文算法的实现过程图；
图2MODEL1训练过程示意图；
图3MODEL2训练过程示意图；
具体实施方法
具体实施方式一：
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示本文提供的基于多模态特征融合的2型糖尿病风险分层预测方法，所述模型训练包含步骤：
S1、获取视网膜眼底图像数据集，所属数据集包括横截面数据集D1和回顾性队列C中的数据集D2,其中D1数据集由健康人群和患有2型糖尿病人群提供的视网膜眼底图像组成，并且收集每个人的血糖值以及临床信息，回顾性队列C为以两年前为基线，基线时未患2型糖尿病的健康人群，D2数据集由基线时健康人群提供的视网膜眼底图像组成，同时收集每个人的临床信息；
S2、对D1数据集进行标注，将每个人的血糖值作为对应眼底图像的标签；
S3、对D2数据集进行标注，以距基线2年后的队列C中是否患2型糖尿病为依据，患2型糖尿病标注为1，否则标注为0；
S4、在D1数据集上，通过提取视网膜眼底图像特征，训练一个基于预测空腹血糖值的Inception-ResNet-v1回归模型，将模型预测性能训练到所定标准；
S5、以数据集D2为输入,训练基于多模态的2型糖尿病风险预测模型，通过Inception-ResNet-v1回归模型得到D2数据集的预测血糖值和血糖方面特征，其次利用视网膜眼底图像计算生物指标，得到生物标志物特征，将上述三种特征与临床信息特征进行融合后输入至分类器中，输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值0.3、0.7将其划分为低风险、中风险、高风险。
下面对本发明实施例进行详细的说明：
本发明实施例具体实现如下：
S1、获取视网膜眼底图像数据集，包括横断数据集D1和回顾性队列C中的数据集D2；
以血红蛋白A1c(HbA1c)值≥6.5％、至少在两次就诊中空腹血糖水平≥7.0mmoll-1，或有糖尿病的药物治疗史为标准，定义患2型糖尿病人群。
对于横断数据集D1，由健康人群和患2型糖尿病的视网膜眼底图像构成，以及人群的血糖值作为相应视网膜眼底图像的标签，并收集临床信息：年龄、性别、身高、体重、血压。
创建回顾性队列C，以两年前为基线，将两年前未患2型糖尿病的健康人群作为入选队列标准。
对于数据集D2，由队列C中人群基线时的视网膜眼底图像构成，并收集临床信息：年龄、性别、身高、体重、血压。
S2、对D1数据集进行标注，将每个人的血糖值作为对应视网膜眼底图像的标签；
S3、对D2数据集进行标注，以距基线2年后的队列C中是否患2型糖尿病为依据，患2型糖尿病标注为1，否则标注为0；
S4、如图2所示，在D1数据集上，通过提取视网膜眼底图像特征，训练一个基于预测空腹血糖值的Inception-ResNet-v1回归模型，将全连接层作为网络的最终层，且全连接层的输出层神经元个数为1，将模型预测性能训练到所定标准；
(1)初始化Inception-ResNet-v1回归模型参数；
(2)然后对Inception-ResNet-v1回归模型进行训练，将D1数据集的视网膜眼底图像输入到Inception-ResNet-v1回归模型中，输出对血糖的预测结果根据/>与相应血糖标签值y计算均方误差损失函数MSE，MES计算公式如下：
其中n为数据集总个数；
(3)利用损失函数反向传播优化网络模型参数，直至损失函数满足阈值条件；
S5、如图3所示，以数据集D2为输入,训练基于多模态的2型糖尿病风险预测模型，将预测血糖值、血糖方面特征、生物标志物特征以及临床特征进行融合，模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值0.3、0.7将其划分为低风险、中风险、高风险。
模型训练步骤为：
(1)利用Inception-ResNet-v1回归模型对D2数据集进行训练，得到预测血糖值，同时利用Inception-ResNet-v1回归模型中的特征提取模块提取D2数据集的血糖方面特征；
(2)通过D2数据集中的视网膜眼底图像计算生物指标：CRAE、CRVE、分形维数、分支角度、弯曲度，得到生物标志物特征；
具体指标计算方法如下所示：
①CRAE：在视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，选取6条直径最宽的动脉，具体计算公式如下：
其中w1、w2分别为6条动脉中最宽和最窄的动脉宽度；
②CRVE：在视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，选取6条直径最宽的静脉，具体计算公式如下：
其中w1、w2分别为6条静脉中最宽和最窄的静脉宽度；
③分形维数：在视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，利用盒计数法得到；
④分支角度：计算不受范围限制，具体计算公式如下：
其中d0为母血管的平均宽度、d1、d2分别为两个分支血管的平均宽度；
⑤弯曲度：血管直线长度与实际长度的比值；
(3)收集D2数据集中患者的临床信息作为临床特征，将临床特征与生物标志物特、预测血糖值按照One-Hot编码方式进行编码；
(4)将编码好的临床特征、生物标志物特征和预测血糖值与血糖方面特征进行多模态特征融合；
(5)将融合得到的特征经全连接层后，输入至softmax分类器中进行预测，模型输出结果为未来两年内的2型糖尿病发病几率，并根据设定阈值将其划分为高风险、中风险、低风险。
该方法具有多模态特征融合特点，将血糖方面特征、预测血糖值、临床特征、生物指标特征进行多模态融合，同时考虑到了多个2型糖尿病的患病因素，提高了特征的有用性，能够提高模型预测的准确度。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。
Claims (1)
1.基于多模态特征融合的2型糖尿病风险分层预测方法，其特征在于，包含如下步骤：
S1、获取视网膜眼底图像数据集，所述视网膜眼底图像数据集包括横截面数据集D1和回顾性队列C中的数据集D2，其中，所述横截面数据集D1由健康人群和患有2型糖尿病人群提供的第一视网膜眼底图像组成，并且收集每个人的血糖值；所述回顾性队列C为以两年前为基线，基线时未患2型糖尿病的健康人群，所述数据集D2由所述回顾性队列C中人群基线时的第二视网膜眼底图像组成；所述横截面数据集D1和所述数据集D2中还包括收集临床信息，所述临床信息包括年龄、性别、身高、体重和血压；
S2、对所述横截面数据集D1进行标注，将每个人的血糖值作为对应第一视网膜眼底图像的标签值yi；
S3、对所述数据集D2进行标注，以距基线2年后的所述回顾性队列C中人群是否患2型糖尿病为依据，患2型糖尿病标注为1，否则标注为0；
S4、在所述横截面数据集D1上，提取第一视网膜眼底图像特征，训练一个基于预测血糖值的Inception-ResNet-v1回归模型，将全连接层作为网络的最终层，且所述全连接层的输出层神经元个数为1，将输出的第一预测血糖值与对应第一视网膜眼底图像的标签值yi相比较，计算出损失值，根据所述损失值调整Inception-ResNet-v1回归模型中的参数，直至Inception-ResNet-v1回归模型预测效能达到所定标准；
所述训练一个基于预测血糖值的Inception-ResNet-v1回归模型包括：
初始化Inception-ResNet-v1回归模型参数；
对Inception-ResNet-v1回归模型进行训练，将所述横截面数据集D1的第一视网膜眼底图像输入到Inception-ResNet-v1回归模型中，输出第一预测血糖值根据对应第一视网膜眼底图像的标签值yi计算均方误差损失函数MSE的损失值，所述均方误差损失函数MSE的计算公式如下：
其中n为所述横截面数据集D1总个数；
利用损失函数反向传播优化网络模型参数，直至所述均方误差损失函数MSE满足阈值条件；S5、以所述数据集D2为输入，训练基于多模态的2型糖尿病风险预测模型，所述基于多模态的2型糖尿病风险预测模型输出结果为未来两年内的2型糖尿病发病几率；步骤S5中训练基于多模态的2型糖尿病风险预测模型包含如下步骤：
S501、将所述数据集D2中的第二视网膜眼底图像作为预训练好的Inception-ResNet-v1回归模型的输入，得到第二预测血糖值，同时利用Inception-ResNet-v1回归模型中的特征提取模块提取所述数据集D2的血糖方面特征；
S502、通过所述数据集D2中的所述第二视网膜眼底图像计算生物指标，得到生物标志物特征，所述生物指标包括：CRAE、CRVE、分形维数、分支角度和弯曲度；
具体计算生物指标方法如下所示：
CRAE：在所述第二视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，选取6条直径最宽的动脉，具体计算公式如下：
其中w1、w2分别为所选取的6条动脉中最宽和最窄的动脉宽度；
CRVE：在所述第二视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，选取6条直径最宽的静脉，具体计算公式如下：
其中w3、w4分别为所选取的6条静脉中最宽和最窄的静脉宽度；
分形维数：在所述第二视网膜眼底图像中距视盘0.5倍-2倍视盘直径距离范围内，利用盒计数法得到；
分支角度具体计算公式如下：
其中d0为母血管的平均宽度，d1、d2分别为两个分支血管的平均宽度；
弯曲度：血管直线长度与实际长度的比值；
S503、将所述数据集D2中收集的所述临床信息作为临床特征，将所述临床特征、所述生物标志物特征以及所述第二预测血糖值进行特征编码；
S504、将编码得到的临床特征、生物标志物特征和第二预测血糖值与血糖方面特征进行多模态特征融合；
S505、将融合得到的特征经全连接层后，输入至softmax分类器中进行预测，模型输出结果为未来两年内的2型糖尿病发病几率，根据设定阈值将其划分为低风险、中风险或高风险。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211606506.8A CN115831364B (zh) | 2022-12-14 | 2022-12-14 | 基于多模态特征融合的2型糖尿病风险分层预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211606506.8A CN115831364B (zh) | 2022-12-14 | 2022-12-14 | 基于多模态特征融合的2型糖尿病风险分层预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115831364A CN115831364A (zh) | 2023-03-21 |
| CN115831364B true CN115831364B (zh) | 2023-09-08 |
Family
ID=85547247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211606506.8A Active CN115831364B (zh) | 2022-12-14 | 2022-12-14 | 基于多模态特征融合的2型糖尿病风险分层预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115831364B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721760B (zh) * | 2023-06-12 | 2024-04-26 | 东北林业大学 | 融合生物标志物的多任务糖尿病性视网膜病变检测算法 |
| CN116504394B (zh) * | 2023-06-21 | 2024-01-30 | 天津医科大学朱宪彝纪念医院(天津医科大学代谢病医院、天津代谢病防治中心) | 基于多特征融合的辅助医疗方法、装置及计算机存储介质 |
| CN116913524B (zh) * | 2023-09-08 | 2023-12-26 | 中国人民解放军总医院第一医学中心 | 一种基于视网膜血管成像预测糖尿病肾病的方法和*** |
| CN117253614B (zh) * | 2023-11-14 | 2024-01-26 | 天津医科大学朱宪彝纪念医院(天津医科大学代谢病医院、天津代谢病防治中心) | 基于大数据分析的糖尿病风险预警方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109691979A (zh) * | 2019-01-07 | 2019-04-30 | 哈尔滨理工大学 | 一种基于深度学习的糖尿病视网膜图像病变分类方法 |
| CN112712895A (zh) * | 2021-02-04 | 2021-04-27 | 广州中医药大学第一附属医院 | 一种针对2型糖尿病并发症的多模态大数据的数据分析方法 |
| CN114724716A (zh) * | 2021-04-20 | 2022-07-08 | 山东大学齐鲁医院 | 进展为2型糖尿病的风险预测的方法、模型训练及装置 |
| CN115171893A (zh) * | 2022-06-30 | 2022-10-11 | 宁夏回族自治区人民医院(宁夏眼科医院、西北民族大学第一附属医院) | 基于大数据分析的糖尿病患者评估及管理*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160357934A1 (en) * | 2014-11-14 | 2016-12-08 | Humana Inc. | Diabetes onset and progression prediction using a computerized model |
-
2022
- 2022-12-14 CN CN202211606506.8A patent/CN115831364B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109691979A (zh) * | 2019-01-07 | 2019-04-30 | 哈尔滨理工大学 | 一种基于深度学习的糖尿病视网膜图像病变分类方法 |
| CN112712895A (zh) * | 2021-02-04 | 2021-04-27 | 广州中医药大学第一附属医院 | 一种针对2型糖尿病并发症的多模态大数据的数据分析方法 |
| CN114724716A (zh) * | 2021-04-20 | 2022-07-08 | 山东大学齐鲁医院 | 进展为2型糖尿病的风险预测的方法、模型训练及装置 |
| CN115171893A (zh) * | 2022-06-30 | 2022-10-11 | 宁夏回族自治区人民医院(宁夏眼科医院、西北民族大学第一附属医院) | 基于大数据分析的糖尿病患者评估及管理*** |
Non-Patent Citations (1)
| Title |
|---|
| 2型糖尿病并发肾病中西医多模态特征融合预测模型构建;夏庭伟 等;《中华中医药杂志》;第37卷(第7期);第4116-4120页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115831364A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115831364B (zh) | 基于多模态特征融合的2型糖尿病风险分层预测方法 | |
| CN111261282A (zh) | 一种基于机器学习的脓毒症早期预测方法 | |
| CN110246577B (zh) | 一种基于人工智能辅助妊娠期糖尿病遗传风险预测的方法 | |
| CN111968741B (zh) | 基于深度学习与集成学习的糖尿病并发症高危预警*** | |
| CN110969626A (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| CN108694994B (zh) | 基于栈式自编码器和支持向量机的无创心脏梗死分类模型构建方法 | |
| CN116386860A (zh) | 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台 | |
| CN111080643A (zh) | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 | |
| CN113113130A (zh) | 一种肿瘤个体化诊疗方案推荐方法 | |
| Pramanik et al. | Identifying disease and diagnosis in females using machine learning | |
| CN112133441A (zh) | 一种mh术后裂孔状态预测模型的建立方法和终端 | |
| CN117153393B (zh) | 一种基于多模态融合的心血管疾病风险预测方法 | |
| CN114864076A (zh) | 基于图注意力网络的多模态乳腺癌分类训练方法及*** | |
| CN111028232A (zh) | 基于眼底图像的糖尿病分类方法及设备 | |
| CN116013449B (zh) | 融合临床信息与磁共振图像的心肌病预后辅助预测方法 | |
| CN112132800A (zh) | 基于深度学习的肺纤维化检测与严重度评估方法及*** | |
| CN113160986A (zh) | 用于预测全身炎症反应综合征发展的模型构建方法及*** | |
| CN117116477A (zh) | 基于随机森林和XGBoost的***癌患病风险预测模型的构建方法及*** | |
| CN117315258A (zh) | 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法 | |
| CN116779091A (zh) | 一种多模态网络互联融合的胸部影像诊断报告自动生成方法 | |
| CN112712895B (zh) | 针对2型糖尿病并发症的多模态大数据的数据分析方法 | |
| CN111081334A (zh) | 一种基于风险因素概率组合分析的慢性疾病早期预警方法 | |
| CN114613497A (zh) | 基于gbdt样例级的病患样本的智能医学辅助诊断方法 | |
| Rathi et al. | Early Prediction of Diabetes Using Machine Learning Techniques | |
| CN116525116B (zh) | 一种心源性休克实时风险预警监测***、设备及可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |