CN113902743A - 一种基于云端计算的糖尿病视网膜病变的识别方法及装置 - Google Patents

一种基于云端计算的糖尿病视网膜病变的识别方法及装置 Download PDF

Info

Publication number
CN113902743A
CN113902743A CN202111494551.4A CN202111494551A CN113902743A CN 113902743 A CN113902743 A CN 113902743A CN 202111494551 A CN202111494551 A CN 202111494551A CN 113902743 A CN113902743 A CN 113902743A
Authority
CN
China
Prior art keywords
image
lesion
fundus
retina
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111494551.4A
Other languages
English (en)
Inventor
靳雪
郑健
徐立璋
刘国
尹荣荣
张倩
洪姣
邓科
章书波
胡汉平
毛昱升
姜兴民
朱松林
刘芷萱
赵先洪
李银谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Aiyanbang Technology Co ltd
Original Assignee
Wuhan Aiyanbang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Aiyanbang Technology Co ltd filed Critical Wuhan Aiyanbang Technology Co ltd
Priority to CN202111494551.4A priority Critical patent/CN113902743A/zh
Publication of CN113902743A publication Critical patent/CN113902743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于云端计算的糖尿病视网膜病变的识别方法及装置。先获取标注好眼底图像病变区域的视网膜图像，再将标注好眼底图像病变区域的视网膜图像输入到基于Mask RCNN的视网膜眼底图像多病变分类网络模型中训练直至模型收敛。接着获取待诊断的眼底图片，最后将待诊断的眼底图片输入到训练完成的基于Mask RCNN的视网膜眼底图像多病变分类网络模型中，得到诊断结果。本发明基于图像识别技术实现了对糖尿病视网膜病变的诊断，提高了糖尿病视网膜病变的诊断准确性和诊断速度。

Description

一种基于云端计算的糖尿病视网膜病变的识别方法及装置
技术领域
本发明涉及人工智能的计算机视觉以及医学影像计算机处理技术领域，尤其涉及一种基于云端计算的糖尿病视网膜病变的识别方法及装置。
背景技术
糖尿病作为危害人类健康的常见疾病，一直受到研究者的关注。同时，逐年增多的糖尿病患者与分布不均衡的医疗资源也形成了日益凸显的尖锐矛盾。
因此，需要一种基于计算机处理技术的糖尿病视网膜病变的识别方法，从而提高糖尿病视网膜病变的诊断准确性和诊断速度。
发明内容
本发明通过提供一种基于云端计算的糖尿病视网膜病变的识别方法及装置，其能够提高糖尿病视网膜病变的诊断准确性和诊断速度。
本发明提供了一种基于云端计算的糖尿病视网膜病变的识别方法，包括：
获取标注好眼底图像病变区域的视网膜图像；
将所述标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；
获取待诊断的眼底图片；
将所述待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。
具体来说，所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是 Resnet-101，在所述骨架网络中的Res4部分的最后一个模块前加入Non-local模块；
所述Non-local模块的表达式如下式所示：
Figure 462236DEST_PATH_IMAGE001
其中，C(x)是标准化函数，用于归一化；而i是响应输出位置的索引，j是枚举所有可能位置的索引；x表示输入信息，y表示与x相同尺寸的输出信息；而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系；而一元函数g用于计算输入信息在位置j处的特征值。
具体来说，还包括：
在所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成 focal loss ；
Figure 409463DEST_PATH_IMAGE002
；其中，FL表示focalloss损失函数，pt表示预测样本属于正确类的概率；αt是权重因子，γ是聚焦参数。
具体来说，所述将所述待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果，包括：
将所述待诊断的眼底图片输入到所述训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
具体来说，在得到所述病变分割结果图之后，还包括：
将所述病变分割结果图转换成二进制图像；
将所述二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
本发明还提供了一种基于云端计算的糖尿病视网膜病变的识别装置，包括：
视网膜图像获取模块，用于获取标注好眼底图像病变区域的视网膜图像；
网络模型训练模块，用于将所述标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；
眼底图片获取模块，用于获取待诊断的眼底图片；
诊断模块，用于将所述待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。
具体来说，所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是 Resnet-101，在所述骨架网络中的Res4部分的最后一个模块前加入Non-local模块；
所述Non-local模块的表达式如下式所示：
Figure 584092DEST_PATH_IMAGE001
其中，C(x)是标准化函数，用于归一化；而i是响应输出位置的索引，j是枚举所有可能位置的索引；x表示输入信息，y表示与x相同尺寸的输出信息；而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系；而一元函数g用于计算输入信息在位置j处的特征值。
具体来说，还包括：
在所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成 focal loss ；
Figure 840630DEST_PATH_IMAGE003
；其中，FL表示focalloss损失函数，pt表示预测样本属于正确类的概率；αt是权重因子，γ是聚焦参数。
具体来说，所述诊断模块，具体用于将所述待诊断的眼底图片输入到所述训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
具体来说，还包括：
结果图转换模块，用于将所述病变分割结果图转换成二进制图像；
结果图传输模块，用于将所述二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
先获取标注好眼底图像病变区域的视网膜图像，再将标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛。接着获取待诊断的眼底图片，最后将待诊断的眼底图片输入到训练完成的基于Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。本发明基于图像识别技术实现了对糖尿病视网膜病变的诊断，提高了糖尿病视网膜病变的诊断准确性和诊断速度。
附图说明
图1为本发明实施例提供的基于云端计算的糖尿病视网膜病变的识别方法的流程图；
图2为本发明实施例提供的基于云端计算的糖尿病视网膜病变的识别装置的模块图；
图3为基于本发明实施例构建的用于糖尿病视网膜病变的辅助诊断***的模块图；
图4为基于本发明实施例构建的用于糖尿病视网膜病变的辅助诊断***中医生客户端的操作流程图。
具体实施方式
本发明实施例通过提供一种基于云端计算的糖尿病视网膜病变的识别方法及装置，其能够提高糖尿病视网膜病变的诊断准确性和诊断速度。
本发明实施例中的技术方案为实现上述技术效果，总体思路如下：
本发明实施例提供的通过云端计算进行的用于糖尿病性视网膜病变的辅助诊断***包括使用Python中的轻量级web框架Flask来构建的网络服务端（装在Ubuntu***上）和手机小程序客户端。首先，在本地训练模型；接着，把训练好的模型序列化，比如利用pickle模块；然后，在服务器上加载模型，并利用Flask对外提供服务接口；最后，当线上传来待诊断数据的时候，就直接使用已经训练好的模型进行预测，得到预测结果。其中，将病变块看作实例来检测，而在分割部分可以以分割出的病变块的边界为目标，将此网络作为病变检测网络的基础。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1，本发明实施例提供的基于云端计算的糖尿病视网膜病变的识别方法，包括：
步骤S110：获取标注好眼底图像病变区域的视网膜图像；
具体地，在获取标注好眼底图像病变区域的视网膜图像之前，医疗端先获取视网膜图像，并在视网膜图像中标注出眼底图像病变区域；
对本步骤进行具体说明：
医疗端先通过眼底照相机采集一定数量的视网膜眼底图像，将图像进行预处理，统一图像尺寸到1024*1024像素，使用形态学处理中的膨胀操作，结构元素为半径为2的圆形区域，使周围小的连通域连接在一起，从而构成一个大的目标，以改善图片中目标数量过多的情况。再将处理好的图像交给医生进行标注，以得到每张眼底彩照图像的病变类型和病变区域的标注标签，使用这些标注数据生成训练集、验证集和测试集。
步骤S120：将标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；在本实施例中，使用训练集训练神经网络模型，网络参数统一采用 Xavier均匀初始化，使用随机梯度优化（StochasticGradient Descent，SGD）进行优化，学习率为 0.001，学习动量为0.9，还添加了0.0001的权重衰减正则项。
具体地，基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是 Resnet-101，在骨架网络中的Res4部分是14×14大小的特征图，考虑到计算量和提取信息的权衡，在骨架网络中的Res4部分的最后一个模块前加入Non-local模块，通过Non-local 模块扩大了感受野。
具体地，Non-local模块的表达式如式（1）所示：
Figure 100710DEST_PATH_IMAGE001
（1）
其中，C(x)是标准化函数，用于归一化；而i是响应输出位置（指空间、时间或空间、时间）的索引，j是枚举所有可能位置的索引。x表示输入信息，y表示与x相同尺寸的输出信息，而这些信息可以是图片和/或视频，但一般来说是它们的特征。而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系，比如这个函数可以是随距离增加而减少，反映位置越远所造成的影响越小。而一元函数g用于计算输入信息在位置j处的特征值。
将Non-local操作用模块的形式进行封装，参考残差网络设计了Non-local模块，公式如式（2）所示：
Figure 586049DEST_PATH_IMAGE004
（2）
其中，yi表示式（1）中的输出，Wz表示权重矩阵，用于对每一个yi都作Embedding操作，而+xi代表是一个残差结构，目的是在不破坏原有模型效果的前提下加入Non-local模块。Embedding函数是式（1）中f的一种形式，在高斯函数上简单拓展，计算同一个嵌入空间（embedding space）下的相似度：
Figure 615185DEST_PATH_IMAGE005
其中，
Figure 54343DEST_PATH_IMAGE006
是归一化函数。
为了避免进行分类时严重的类别不平衡问题的发生以及使所述模型能够更多地关注分类错误的样本，还包括：
在基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成 focal loss ；
Figure 536140DEST_PATH_IMAGE007
；
其中，FL表示focal loss损失函数，pt表示预测样本属于正确类的概率；αt是权重因子，γ是聚焦参数。通过调节权重因子𝛼 t避免进行分类时严重的类别不平衡问题的发生，通过调节聚焦参数𝛾使模型更多地关注分类错误的样本。
网络性能评价：
基于图像整体的评价指标是根据检测结果中是否存在病变来判断的，因此，此时一个图像会存在一个指示有无的标签。若预测结果与标签结果一致，则说明预测正确，因而这样的评价本质上是一个二分类的问题。使用操作者接受特性曲线性（ReceiverOperating Characteristic, ROC）来判断网络模型的分类能力，将置信度阈值设为0.99。当模型检测图像中存在置信度大于0.99的病变时，则认为此眼底图像存在该种病变。使用在测试集上AUC（Area Under Curve，ROC曲线下方的面积大小）最高的模型作为最终采用的检测模型。
步骤S130：获取待诊断的眼底图片；
步骤S140：将待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。
对本步骤进行具体说明，将待诊断的眼底图片输入到训练完成的基于 Mask RCNN的视网膜眼底图像多病变分类网络模型中，得到诊断结果，包括：
将待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
为了方便将结果图像以json格式进行传输，从而提升***识别标注结果的效率，在得到病变分割结果图之后，还包括：
将病变分割结果图转换成二进制图像；
将二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
参见图2，本发明实施例提供的基于云端计算的糖尿病视网膜病变的识别装置，包括：
视网膜图像获取模块100，用于获取标注好眼底图像病变区域的视网膜图像；
网络模型训练模块200，用于将标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；在本实施例中，使用训练集训练神经网络模型，网络参数统一采用 Xavier均匀初始化，使用随机梯度优化（Stochastic Gradient Descent，SGD）进行优化，学习率为 0.001，学习动量为0.9，还添加了0.0001的权重衰减正则项。
具体地，基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是 Resnet-101，在骨架网络中的Res4部分是14×14大小的特征图，考虑到计算量和提取信息的权衡，在骨架网络中的Res4部分的最后一个模块前加入Non-local模块，通过Non-local 模块扩大了感受野。
具体地，Non-local模块的表达式如式（1）所示：
Figure 825170DEST_PATH_IMAGE001
（1）
其中，C(x)是标准化函数，用于归一化；而i是响应输出位置（指空间、时间或空间、时间）的索引，j是枚举所有可能位置的索引。x表示输入信息，y表示与x相同尺寸的输出信息，而这些信息可以是图片和/或视频，但一般来说是它们的特征。而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系，比如这个函数可以是随距离增加而减少，反映位置越远所造成的影响越小。而一元函数g用于计算输入信息在位置j处的特征值。
将Non-local操作用模块的形式进行封装，参考残差网络设计了Non-local模块，公式如式（2）所示：
Figure 708812DEST_PATH_IMAGE008
（2）
其中，yi表示式（1）中的输出，Wz表示权重矩阵，用于对每一个yi都作Embedding操作，而+xi代表是一个残差结构，目的是在不破坏原有模型效果的前提下加入Non-local模块。Embedding函数是式（1）中f的一种形式，在高斯函数上简单拓展，计算同一个嵌入空间（embedding space）下的相似度：
Figure 307153DEST_PATH_IMAGE005
其中，
Figure 276246DEST_PATH_IMAGE006
是归一化函数。
为了避免进行分类时严重的类别不平衡问题的发生以及使所述模型能够更多地关注分类错误的样本，还包括：
在基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成 focal loss ；
Figure 837808DEST_PATH_IMAGE007
；
其中，FL表示focal loss损失函数，pt表示预测样本属于正确类的概率；αt是权重因子，γ是聚焦参数。通过调节权重因子𝛼 t避免进行分类时严重的类别不平衡问题的发生，通过调节聚焦参数𝛾使模型更多地关注分类错误的样本。
网络性能评价：
基于图像整体的评价指标是根据检测结果中是否存在病变来判断的，因此，此时一个图像会存在一个指示有无的标签。若预测结果与标签结果一致，则说明预测正确，因而这样的评价本质上是一个二分类的问题。使用操作者接受特性曲线性（ReceiverOperating Characteristic, ROC）来判断网络模型的分类能力，将置信度阈值设为0.99。当模型检测图像中存在置信度大于0.99的病变时，则认为此眼底图像存在该种病变。使用在测试集上AUC（Area Under Curve，ROC曲线下方的面积大小）最高的模型作为最终采用的检测模型。
眼底图片获取模块300，用于获取待诊断的眼底图片；
诊断模块400，用于将待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。
具体地，诊断模块400，具体用于将待诊断的眼底图片输入到训练完成的基于Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
为了方便将结果图像以json格式进行传输，从而提升***识别标注结果的效率，还包括：
结果图转换模块，用于将病变分割结果图转换成二进制图像；
结果图传输模块，用于将二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
参见图3，基于本发明实施例构建的用于糖尿病视网膜病变的辅助诊断***包括网络服务端和手机小程序客户端。其中，网络服务端由四个模块组成：基于Mask RCNN的视网膜眼底图像多病变分类模型、存储器、处理器和客户端接口。手机小程序客户端与网络服务端的客户端接***互，客户端向网络服务端发送一个post请求，请求的内容为一个满足json格式的列表，其中包含了需要处理的几张眼底图片的地址、左右眼标签和图像的id。网络服务端使用处理器处理收到的post请求，将图像保存到网络服务端的存储器中。处理器调用之前训练好的基于 Mask RCNN 的视网膜眼底图像多病变分类模型依次对图像队列进行病变检测，病变分割结果图保存到网络服务端的存储器中，返回给客户端结构化的结果说明，其中包括了处理时间、三种病变（糖尿病早期的渗出、出血和棉絮斑病变）的最大置信度、图像id和病变分割结果图。其中，处理时间从图片开始上传时开始计算，到网络输出结果为止；在网络输出的病变检测结果中，每个病变块都有置信度，将每种病变最大的置信度作为该种病变的置信度；图像id使用图像上传时的id；使用网络输出的分割结果图作为结果图。为了方便将结果图像以json格式进行传输，先将结果图转换成二进制，再将二进制图片先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。经处理后将分割好的渗出、出血、棉絮斑三种病变的图像以及辅助诊断说明显示在手机小程序客户端上。
具体地，如图4所示，该辅助诊断***的手机小程序客户端的操作说明如下：首先，医生进入小程序的医生端筛查入口，在筛查任务中选择一项，其中筛查任务以待筛查人员所在单位为标签，选择筛查任务后小程序跳转至筛查详情页面并显示出该筛查任务的所有待筛查人员，医生选择其中的人员进行筛查，上传该待筛查人员双眼的眼底图像，小程序跳转至结果页面并提示等待检测结果，此时眼底图片和相关信息被发送至网络服务端进行处理，处理过后的病变分割图像将显示在小程序的结果页面，同时显示对三种病变存在情况的辅助诊断说明。
本发明实施例在整体***上使用了闭环轮回的设计，由于所有的诊断都在云服务器端***中完成，手机小程序可以随时调用的同时，也保存在后台服务器中。而由于医生需要对每一张眼底照片均进行疾病判断、医疗诊断，因此，每一张上传的眼底照片都需要进行疾病分类。而这个任务又恰巧符合神经网络训练的特点，因此，将医生对眼底照片的解读作为图片的标注，将图片本身作为训练数据投入到下一轮的神经网络训练中。因此，从图片标注到图片处理，到神经网络训练与图片预测，最后交由医生进行诊断，将诊断的图片再度作为下一次神经网络模型的训练图片，对模型进行迭代训练。训练数据量越大，神经网络模型的预测结果就越准确，这也符合本***的设计理念。
患者登陆患者端可以随时通过手机小程序与医生端沟通交流，同时也可以查看自己的眼底照片与诊断结果。医生可以通过手持式眼底照相机对患者进行照相，而眼底照相机可以绑定相应医生，直接将拍摄完成的眼底照片上传到***中。深度学习神经网络模型则根据设计好的网络结构，在训练图片的预处理和标注完成后进行训练。在***正式上线后，大量的患者眼底照片和诊断结果都会被上传到***中，这就相当于增加了训练数据的数量。因此，设定每隔一段时间或当存储的新数据增加一定数量后，就可以开展迭代训练的过程，以进一步增加神经网络模型的诊断精度。而医生需要对图像进行处理、预测时，则在***中点击相应按钮，触发云端眼底图片处理模块就可以对上传的眼底图像进行检测、分割处理，并将处理结果传回到医生客户端。
技术效果
1、先获取标注好眼底图像病变区域的视网膜图像，再将标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛。接着获取待诊断的眼底图片，最后将待诊断的眼底图片输入到训练完成的基于Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。本发明实施例基于图像识别技术实现了对糖尿病视网膜病变的诊断，提高了糖尿病视网膜病变的诊断准确性和诊断速度。
2、基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是Resnet-101，在骨架网络中的Res4部分的最后一个模块前加入Non-local模块，扩大了网络模型的感受野，使很远的像素也能建立联系，从而提高了语义信息的丰富度。
本发明实施例设计了基于实例分割网络 Mask RCNN的多病变分类网络模型，并将其部署在服务器上，使医生可以通过手机小程序客户端上传患者眼底图片，服务器端自动检测返回结果，能够很好的用于实际的生活和工作中，减轻了医生的工作量，降低了误诊率，缩短了诊断周期，这些优点都能为及时诊断提供帮助。同时，还建立并形成了计算机辅助诊断网络***，既收集了众多病例以方便医生相互学习，同时也能不断提升医生及计算机的诊断能力，从而提高检测准确度而降低糖尿病的致盲率，更重要的是将有助于实现整个社会的智慧医疗网络。而基于移动手持眼底照相机和微信小程序***的结合，其便携性和可移动的特点在对于偏远地域、基层医疗组织的眼科诊断也具有重要意义。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于云端计算的糖尿病视网膜病变的识别方法，其特征在于，包括：
获取标注好眼底图像病变区域的视网膜图像；
将所述标注好眼底图像病变区域的视网膜图像输入到基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；
获取待诊断的眼底图片；
将所述待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。
2.如权利要求1所述的识别方法，其特征在于，所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是 Resnet-101，在所述骨架网络中的Res4部分的最后一个模块前加入Non-local模块；
所述Non-local模块的表达式如下式所示：
Figure 991316DEST_PATH_IMAGE001
其中，C(x)是标准化函数，用于归一化；而i是响应输出位置的索引，j是枚举所有可能位置的索引；x表示输入信息，y表示与x相同尺寸的输出信息；而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系；而一元函数g用于计算输入信息在位置j处的特征值。
3.如权利要求2所述的识别方法，其特征在于，还包括：
在所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成 focal loss ；
Figure 247591DEST_PATH_IMAGE002
；其中，FL表示focal loss损失函数，pt表示预测样本属于正确类的概率；αt是权重因子，γ是聚焦参数。
4.如权利要求1所述的识别方法，其特征在于，所述将所述待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果，包括：
将所述待诊断的眼底图片输入到所述训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
5.如权利要求4所述的识别方法，其特征在于，在得到所述病变分割结果图之后，还包括：
将所述病变分割结果图转换成二进制图像；
将所述二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
6.一种基于云端计算的糖尿病视网膜病变的识别装置，其特征在于，包括：
视网膜图像获取模块，用于获取标注好眼底图像病变区域的视网膜图像；
网络模型训练模块，用于将所述标注好眼底图像病变区域的视网膜图像输入到基于Mask RCNN 的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；
眼底图片获取模块，用于获取待诊断的眼底图片；
诊断模块，用于将所述待诊断的眼底图片输入到训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到诊断结果。
7.如权利要求6所述的识别装置，其特征在于，所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型的骨架网络采用的是 Resnet-101，在所述骨架网络中的Res4部分的最后一个模块前加入Non-local模块；
所述Non-local模块的表达式如下式所示：
Figure 692479DEST_PATH_IMAGE001
其中，C(x)是标准化函数，用于归一化；而i是响应输出位置的索引，j是枚举所有可能位置的索引；x表示输入信息，y表示与x相同尺寸的输出信息；而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系；而一元函数g用于计算输入信息在位置j处的特征值。
8.如权利要求7所述的识别装置，其特征在于，还包括：
在所述基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成 focal loss ；
Figure 561078DEST_PATH_IMAGE002
；其中，FL表示focal loss损失函数，pt表示预测样本属于正确类的概率；αt是权重因子，γ是聚焦参数。
9.如权利要求6所述的识别装置，其特征在于，所述诊断模块，具体用于将所述待诊断的眼底图片输入到所述训练完成的基于 Mask RCNN 的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
10.如权利要求9所述的识别装置，其特征在于，还包括：
结果图转换模块，用于将所述病变分割结果图转换成二进制图像；
结果图传输模块，用于将所述二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
CN202111494551.4A 2021-12-08 2021-12-08 一种基于云端计算的糖尿病视网膜病变的识别方法及装置 Pending CN113902743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111494551.4A CN113902743A (zh) 2021-12-08 2021-12-08 一种基于云端计算的糖尿病视网膜病变的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111494551.4A CN113902743A (zh) 2021-12-08 2021-12-08 一种基于云端计算的糖尿病视网膜病变的识别方法及装置

Publications (1)

Publication Number Publication Date
CN113902743A true CN113902743A (zh) 2022-01-07

Family

ID=79025850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111494551.4A Pending CN113902743A (zh) 2021-12-08 2021-12-08 一种基于云端计算的糖尿病视网膜病变的识别方法及装置

Country Status (1)

Country Link
CN (1) CN113902743A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152229A (zh) * 2023-04-14 2023-05-23 吉林大学 一种糖尿病视网膜病变诊断模型的构建方法及诊断模型

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472171A (zh) * 2019-07-30 2019-11-19 成都摹客科技有限公司 基于插件上传图片的方法、插件***、设备及存储介质
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN111046717A (zh) * 2019-10-11 2020-04-21 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
CN112001401A (zh) * 2020-07-29 2020-11-27 苏州浪潮智能科技有限公司 实例分割网络的训练模型及训练方法，实例分割网络
CN112651938A (zh) * 2020-12-24 2021-04-13 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472171A (zh) * 2019-07-30 2019-11-19 成都摹客科技有限公司 基于插件上传图片的方法、插件***、设备及存储介质
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN111046717A (zh) * 2019-10-11 2020-04-21 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
CN112001401A (zh) * 2020-07-29 2020-11-27 苏州浪潮智能科技有限公司 实例分割网络的训练模型及训练方法，实例分割网络
CN112651938A (zh) * 2020-12-24 2021-04-13 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AI科技大本营: ""首发 | 何恺明团队提出 Focal Loss，目标检测精度高达39.1AP，打破现有记录"", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/28442066》 *
MAOSONGRAN: ""目标检测中的样本不平衡处理方法——OHEM,Focal Loss,GHM,PISA"", 《HTTPS://WWW.JIANSHU.COM/P/F305B573DF8F》 *
TSUNG-YI LIN等: ""Focal Loss for Dense Object Detection"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
XIAOLONG WANG,ET.AL: ""Non-local Neural Networks"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
为了写博客，要取一个好的名字: ""focal loss详解"", 《HTTPS://BLOG.CSDN.NET/CXKYXX/ARTICLE/DETAILS/108455805》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152229A (zh) * 2023-04-14 2023-05-23 吉林大学 一种糖尿病视网膜病变诊断模型的构建方法及诊断模型

Similar Documents

Publication Publication Date Title
EP4006831A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
WO2020253629A1 (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN108464840B (zh) 一种乳腺肿块自动检测方法及***
CN110211087B (zh) 可分享的半自动糖尿病眼底病变标注方法
JP2021536057A (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
CN110598782B (zh) 一种训练用于医学影像的分类网络的方法与装置
JP6842481B2 (ja) 深層学習を用いた網膜層の３ｄ定量解析
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
US11315241B2 (en) Method, computer device and storage medium of fundus oculi image analysis
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN111582342A (zh) 一种图像识别方法、装置、设备以及可读存储介质
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
CN111986189A (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估***
CN113485555A (zh) 医学影像阅片方法、电子设备和存储介质
CN116188392A (zh) 图像处理方法、计算机可读存储介质以及计算机终端
CN113902743A (zh) 一种基于云端计算的糖尿病视网膜病变的识别方法及装置
Al-Karawi et al. A deep learning framework with edge computing for severity level detection of diabetic retinopathy
CN113052227A (zh) 一种基于SE-ResNet的肺结核识别方法
WO2022252107A1 (zh) 一种基于眼部图像的疾病检测***及方法
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和***
CN114140650A (zh) 一种基于图像识别的糖尿病视网膜病变的诊断方法及装置
Thakral et al. An innovative intelligent solution incorporating artificial neural networks for medical diagnostic application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220107