CN110135506A - 一种应用于web的七类皮肤肿瘤检测方法 - Google Patents
一种应用于web的七类皮肤肿瘤检测方法 Download PDFInfo
- Publication number
- CN110135506A CN110135506A CN201910418622.9A CN201910418622A CN110135506A CN 110135506 A CN110135506 A CN 110135506A CN 201910418622 A CN201910418622 A CN 201910418622A CN 110135506 A CN110135506 A CN 110135506A
- Authority
- CN
- China
- Prior art keywords
- model
- paracutaneous
- web
- network
- browser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Physiology (AREA)
- Evolutionary Biology (AREA)
- Dermatology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种应用于Web的七类皮肤肿瘤检测方法,本发明基于Tensorflow为中介的模型迁移技术将模型的权重与Web端结合,使得模型可以在用户熟悉的浏览器环境下正常快速运行,同时可视化模型结果。模型采用优化后的Inception‑ResNetV2分类网络,针对皮肤肿瘤图像,提出了一种皮肤肿瘤分类方法,该方法能够检测七类皮肤肿瘤,并取得了理想效果,可有效辅助医生诊断。发明提出的用于七类皮肤肿瘤检测的Web端开发方法,简化了检测皮肤肿瘤的流程,将得到的概率结果响应给客户端浏览器,浏览器进行渲染可视化,使得医生患者仅需简单操作Web端即可实时得到检测结果。
Description
技术领域
本发明涉及人工智能领域,涉及一种应用于web端的七类皮肤肿瘤检测方法。
背景技术
皮肤恶性肿瘤是一种发于皮肤表面的恶性肿瘤,也是所有癌症中最常见的癌症之一,全球每年大约新增两至三百万人患病,造成超过五万人死亡。但是只要皮肤恶性肿瘤能够在早期确诊,无论手术、放疗或其他治疗方法,对皮肤恶性肿瘤均有很好的疗效,治愈率可在90%以上。
而深度学习算法自从2006年的成功以后备受人们关注,在多个领域与非深度学习算法相比,整体效果高20%-30%。近几年来,在算法上面的突破更是层出不穷,使得深度学习模型越来越完善,能够处理绝大多数图像问题。深度学习在人脸识别,自然图像分类,物体检测中已经取得了不错的成绩。在医学领域如胸片,乳腺癌的分类方面,基于深度学习的自动检测***识别准确率已经高于专业的病理医生。
临床主要通过皮肤科专家个人主观判断来诊断皮肤癌,这些方法在观察者间和观察者内的可重复性都不理想,容易发生误诊,且对皮肤科专家的临床经验要求很高。皮肤癌最终确诊主要是通过活体检测诊断。活检结果是一种创伤性的诊断方法,虽然诊断结果可靠度高,但盲目实施活检往往会给病人造成不必要的刨伤和痛苦。并且,在未确诊肿瘤为良性或恶性之前,活检手术的手术范围也较难确定。因此,医学界迫切需要研究非创伤性的皮肤癌诊断技术。
从上述现象可看出,皮肤肿瘤的死亡率正随发病率的上升逐年上涨,但医患比例严重失衡,医疗资源匮乏,传统诊断方式费用高昂等问题都亟待解决。使用人工智能这种非创伤性的检测手段,能够有效帮助医生做初次筛查,减轻医生负担,保证准确率的同时提高医生诊断效率,这对于患者和医生无疑都是个巨大的福音。
发明内容
为解决目前医疗资源严重不足的问题,本发明提出一种应用于手机的七类皮肤肿瘤检测方法。采用深度学习方法分类七类皮肤肿瘤的皮肤镜图像,并将其应用到web端,辅助医生诊断,缓解患者看病难的问题。
本发明采用的应用程序开发方法包含以下步骤:
步骤1、数据预处理:分别为训练集、验证集、测试集。使用随机仿射变换提高数据集分布范围。仿射变换相当于建立每个因子特征与相应类别的权重关系,减弱背景(或噪音)因子的权重,也就可以产生更好的学习效果,增加模型稳定性。
步骤2、数据增强:采取RGB直方图均衡化,能有效的解决训练图片质量层次不齐,明暗关系与色彩关系失衡对网络产生干扰的问题。同时作为有效的数据扩增手段,RGB直方图均衡化能为训练提供更多的训练样本。
步骤3、独特的数据上采样方法:生成对抗网络(GAN)是2014年10月提出一种通过对抗过程估计生成模型的框架,是近年来无监督学习最具前景的代表之一。我们搭建的GAN包括了两个部分:生成模型G和判别模型D,定义LS为真假样本来源(Source)判别分类正确的最大似然估计,LC为样本类型(Class)判别正确的最大似然估计,通过模型的互相博弈学习产生相当好的输出,并添加标签约束以提高生成图片质量。
步骤4、网络模型优化:在原有的Inception块结构内部也加入了Inception结构,并用1*1的卷积核对内部Inception结构进行卷积操作。并在相邻Inception块之间用残差网络连接,使网络能够高速收敛。设置初始学习率为1e-4,并使用余弦退火算法,得到分类性能不错的模型。采用Focal loss作为新的损失函数,使相似样本更易训练。
步骤5、模型分类:基于改进后的网络进行迁移学习,通过试验获取超参数的最优值,最后经过训练得到分类性能最佳的模型。
步骤6、模型移植:在Web服务端将经Tensorflow训练好的模型加载成二进制字节流的形式,另一方面将病灶区图像在内存中进行大小色彩像素等预处理生成四维Tensor,将这两者一起传到Tensorflow工具集的分析接口中,这样就完成了模型移植,并在图像预处理阶段保留了模型的权重。
步骤7、分类皮肤肿瘤检测:患者通过浏览器上传病灶区图像,浏览器发送请求交由服务端处理,服务端应用程序识别病灶区图像,并将分析的检测结果返回给浏览器,检测结果对应的就是患者患七类皮肤肿瘤分别的概率。
所述的多种数据增强方法包括随机水平/竖直翻转、随机旋转、边缘锐化和随机裁剪。
本发明的有益效果是:
1)本***采用优化后的Inception-ResNetV2分类网络,针对皮肤肿瘤图像,并取得理想效果,该网络同样适用于其他皮肤镜图像检测。
2)使用了针对皮肤肿瘤图像数据集进行扩增的ACGAN生成对抗网络,对皮肤镜图像进行上采样,扩大了数据范围,提升模型稳定性。
3)提出了七类皮肤肿瘤的应用程序检测方法。无论是医生还是患者都只需要打开浏览器进行简单的上传图片操作即可实时得到准确的检测结果,大大简化了检测皮肤肿瘤的流程。整个过程只需要在有网络连接的浏览器环境下即可,兼具测试方便、运行快速、结果准确等优点。
附图说明
图1为本发明应用于web的七类皮肤肿瘤检测方法的基本流程图。
图2为本发明网络结构改进图。
图3为本发明中图像处理流程图。
图4为本发明中网络模型结构创新流程图。
图5为本发明方法***流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
用于实施的硬件环境是:CPU Intel(R)Xeon(R)CPU [email protected],GPU是NVIDIA K80,运行环境是python2.7和TensorFlow。
采用深度卷积神经网络Inception-ResNetV2,采用全局平均池化层取代全连接层,空间上分解为非对称卷积,极大降低了参数量,加快计算速度。
该网络优异的性能主要源于大量使用降维处理。大尺寸滤波器的卷积(如5*5,7*7)引入的计算量很大,使用两个3*3卷积级联起来代替一个5*5卷积可以减少计算量,而把3*3的卷积核分解为3*1+1*3来代替3*3的卷积,更使得两层结构计算量减少33%。这种降维处理可以看做通过分解卷积来加快计算速度的手段。在一个计算机视觉网络中,相邻激活响应的输出是高度相关的,所以在聚合前降低这些激活影响数目不会降低局部表示能力。
如图1、图5所示,本发明基于卷积神经网络的七类皮肤肿瘤分类***,包括七类皮肤肿瘤皮肤镜图像数据库、数据预处理、卷积神经网络学习分类器、前端皮肤肿瘤检测应用程序开发。
具体步骤如下:
A)原图像尺寸为600*450,针对图像质量问题进行去黑边以及色彩恒常处理。并统一图像尺寸,加速模型训练,将图像尺寸压缩为224*224并将数据的像素值归一化到0,1区间。
B)针对训练集中正负样本不均衡问题,对数量较少的样本采用过采样技术,对数量较多的样本采用欠采样。图像的仿射变换涉及到图像的形状位置角度的变化,是深度学***移translate的组合。仿射变换相当于建立每个因子特征与相应类别的权重关系,减弱背景(或噪音)因子的权重,也就可以产生更好的学习效果,增加模型稳定性。
C)独特的数据上采样方法:生成对抗网络(GAN)是2014年10月提出一种通过对抗过程估计生成模型的框架,是近年来无监督学习最具前景的代表之一。我们搭建的GAN包括了两个部分:生成模型G和判别模型D,定义LS为真假样本来源(Source)判别分类正确的最大似然估计,LC为样本类型(Class)判别正确的最大似然估计,通过模型的互相博弈学习产生相当好的输出,并添加标签约束以提高生成图片质量。
D)基于卷积神经网络Inception-ResNetV2。在原有的Inception块结构内部也加入了inception结构,并用1*1的卷积核对内部Inception结构进行卷积操作。并在相邻Inception块之间用残差网络连接,使网络能够高速收敛。设置初始学习率为1e-4,并使用余弦退火算法,得到分类性能不错的模型。
E)后期利用训练样本对已经训练完成的分类器模型进行微调,达到提高分类准确率的目的。引入Focal loss作为损失函数,该函数使用了代价学习方法,若是样本数目少的类别分类错误,则给与大的惩罚权重,使模型训练时侧重于少样本类别,有利于样本量较少的类别的特征学习。调参后选用SGD+Momentum作为本模型的优化器。
F)在训练好模型之后,我们将测试集送入模型进行预测,根据预测结果再计算得到图像级别分类的评价指标。我们将评价最优的模型的权重移植到Web应用服务端,服务端将其加载成二进制的字节流形式。
G)在Web应用的前端,医生或者患者通过浏览器上传病灶区图像,随后浏览器以客户端的身份向服务端发送携带了图像参数的请求
H)Web应用服务端响应客户端的图像请求,接受图片之后先加载进内存,在内存中对图像进行重构,保证像素不变的情况下最终图像比例是224*224并以RGB作为色彩模式,之后需要获得重构图像的每个像素点的RGB值并赋值给四维矩阵进而生成四维Tensor,这两项前置工作就将图像转换成了模型可以识别的四维Tensor。
I)将模型可以识别的四维Tensor和第一步已经移植好的最优模型的字节流作为参数一起传入Tensorflow工具集的分析接口。在分析接口中主要就是先根据模型的字节流创建一张“图”(Graph),之后所有的工作都是在这张“图”上完成的,“图”只是提供了“工作场所”,还需要建立模型和Tensor之间的沟通“桥梁”,这就是“会话”(session),有了“图”、“会话”、模型和Tensor,就能得到最终的检测结果即七类皮肤肿瘤分别的概率。
J)最后将得到的概率结果响应给客户端浏览器,浏览器进行渲染可视化,呈现在用户面前的就将是对应的七类皮肤肿瘤的概率。
如图2所示,本发明方法,通过使用Inception-ResnetV2的更优网络结构,加速网络收敛,提升模型稳定性。
如图3、图4所示,本发明方法,整体包含一个深度卷积神经网络模型,且引入迁移学***翻转、随机裁剪、边缘锐化等。
如图1,图5所示,本发明方法,提出了一种基于web服务器的七类皮肤肿瘤的应用程序检测方法。该方法通过移植训练好的模型,将其加载为的字节流形式作为参数,传入Tensorflow工具集的分析接口,能在用户端得到最终的检测结果即七类皮肤肿瘤分别的概率
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (2)
1.一种应用于web的七类皮肤肿瘤检测方法,其特征在于,该方法具体包括以下步骤:
步骤1、数据预处理:分别为训练集、验证集、测试集使用随机仿射变换提高数据集分布范围;仿射变换相当于建立每个因子特征与相应类别的权重关系,减弱背景因子的权重;
步骤2、数据增强:采取RGB直方图均衡化;
步骤3、数据上采样:搭建的生成对抗网络GAN,生成对抗网络GAN包括了两个部分:生成模型G和判别模型D,定义LS为真假样本来源判别分类正确的最大似然估计,LC为样本类型判别正确的最大似然估计,通过模型的互相博弈学习产生相当好的输出,并添加标签约束以提高生成图片质量;
步骤4、网络模型优化:在原有的Inception块结构内部也加入了Inception结构,并用1*1的卷积核对内部Inception结构进行卷积操作;并在相邻Inception块之间用残差网络连接,使网络能够高速收敛;设置初始学习率为1e-4,并使用余弦退火算法,得到分类性能不错的模型;采用Focal loss作为新的损失函数,使相似样本更易训练;
步骤5、模型分类:基于改进后的网络进行迁移学习,通过试验获取超参数的最优值,最后经过训练得到分类性能最佳的模型;
步骤6、模型移植:在Web服务端将经Tensorflow训练好的模型加载成二进制字节流的形式,另一方面将病灶区图像在内存中进行大小色彩像素等预处理生成四维Tensor,将这两者一起传到Tensorflow工具集的分析接口中,这样就完成了模型移植,并在图像预处理阶段保留了模型的权重;
步骤7、分类皮肤肿瘤检测:患者通过浏览器上传病灶区图像,浏览器发送请求交由服务端处理,服务端应用程序识别病灶区图像,并将分析的检测结果返回给浏览器,检测结果对应的就是患者患七类皮肤肿瘤分别的概率。
2.根据权利要求1所述的一种应用于web的七类皮肤肿瘤检测方法,其特征在于:所述的数据增强方法包括随机水平/竖直翻转、随机旋转、边缘锐化和随机裁剪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910418622.9A CN110135506B (zh) | 2019-05-20 | 2019-05-20 | 一种应用于web的七类皮肤肿瘤检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910418622.9A CN110135506B (zh) | 2019-05-20 | 2019-05-20 | 一种应用于web的七类皮肤肿瘤检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110135506A true CN110135506A (zh) | 2019-08-16 |
CN110135506B CN110135506B (zh) | 2021-02-09 |
Family
ID=67571680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910418622.9A Active CN110135506B (zh) | 2019-05-20 | 2019-05-20 | 一种应用于web的七类皮肤肿瘤检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110135506B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046978A (zh) * | 2020-01-15 | 2020-04-21 | 中国石油大学(华东) | 一种基于StyleGANs和决策融合的皮肤镜图像识别方法 |
CN111084621A (zh) * | 2019-12-30 | 2020-05-01 | 上海数创医疗科技有限公司 | 基于深度自编码器的qrs波群形态识别方法和装置 |
CN111126512A (zh) * | 2020-01-15 | 2020-05-08 | 中国石油大学(华东) | 一种基于个体优势与群体决策的皮肤镜图像识别方法 |
CN113627459A (zh) * | 2021-03-30 | 2021-11-09 | 太原理工大学 | 一种基于Inception网络的直肠癌病理切片图像分类方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180052251A1 (en) * | 2015-03-04 | 2018-02-22 | Institute of Mineral Resources, Chinese Academy of Geological Sciences | Method for automatically extracting structural framework from potential field data |
CN109524111A (zh) * | 2018-12-06 | 2019-03-26 | 杭州电子科技大学 | 一种应用于手机的七类皮肤肿瘤检测方法 |
-
2019
- 2019-05-20 CN CN201910418622.9A patent/CN110135506B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180052251A1 (en) * | 2015-03-04 | 2018-02-22 | Institute of Mineral Resources, Chinese Academy of Geological Sciences | Method for automatically extracting structural framework from potential field data |
CN109524111A (zh) * | 2018-12-06 | 2019-03-26 | 杭州电子科技大学 | 一种应用于手机的七类皮肤肿瘤检测方法 |
Non-Patent Citations (2)
Title |
---|
傅裕等: "人工智能技术在皮肤病辅助诊断的应用研究", 《中国数字医学》 * |
闫雯等: "深度学习在数字病理中的应用", 《中国生物医学工程学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111084621A (zh) * | 2019-12-30 | 2020-05-01 | 上海数创医疗科技有限公司 | 基于深度自编码器的qrs波群形态识别方法和装置 |
CN111084621B (zh) * | 2019-12-30 | 2022-09-06 | 上海数创医疗科技有限公司 | 基于深度自编码器的qrs波群形态识别方法和装置 |
CN111046978A (zh) * | 2020-01-15 | 2020-04-21 | 中国石油大学(华东) | 一种基于StyleGANs和决策融合的皮肤镜图像识别方法 |
CN111126512A (zh) * | 2020-01-15 | 2020-05-08 | 中国石油大学(华东) | 一种基于个体优势与群体决策的皮肤镜图像识别方法 |
CN113627459A (zh) * | 2021-03-30 | 2021-11-09 | 太原理工大学 | 一种基于Inception网络的直肠癌病理切片图像分类方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110135506B (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108806792B (zh) | 深度学习面诊*** | |
CN110135506A (zh) | 一种应用于web的七类皮肤肿瘤检测方法 | |
CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
Bilal et al. | Diabetic retinopathy detection and classification using mixed models for a disease grading database | |
CN111798464A (zh) | 基于深度学习的淋巴瘤病理图像智能识别方法 | |
CN109670510A (zh) | 一种基于深度学习的胃镜活检病理数据筛查***和方法 | |
CN105426695B (zh) | 一种基于虹膜的健康状态检测*** | |
CN109376636A (zh) | 基于胶囊网络的眼底视网膜图像分类方法 | |
CN107657612A (zh) | 适用于智能便携设备的全自动视网膜血管分析方法及*** | |
Li et al. | Tongue image segmentation via color decomposition and thresholding | |
Asare et al. | Iron deficiency anemia detection using machine learning models: A comparative study of fingernails, palm and conjunctiva of the eye images | |
CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估*** | |
CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
Zhang et al. | Automated quality classification of colour fundus images based on a modified residual dense block network | |
WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
Elayaraja et al. | An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach | |
Waweru et al. | Deep learning in skin lesion analysis towards cancer detection | |
CN109524111A (zh) | 一种应用于手机的七类皮肤肿瘤检测方法 | |
Ahmed et al. | Detection of eye melanoma using artificial neural network | |
Miao et al. | Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm | |
CN117078642A (zh) | 一种基于深度学习的黑色素瘤辅助诊断方法 | |
Yao et al. | Enhanced deep residual network for bone classification and abnormality detection | |
Perveen et al. | A framework for Early Detection of Acute Lymphoblastic Leukemia and its Subtypes from Peripheral Blood Smear Images Using Deep Ensemble Learning Technique | |
CN115661185A (zh) | 一种眼底图像血管分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |