CN112528947B - 一种通过增加方向维度的假菌丝检测方法、设备及存储介质 - Google Patents

一种通过增加方向维度的假菌丝检测方法、设备及存储介质 Download PDF

Info

Publication number
CN112528947B
CN112528947B CN202011552938.6A CN202011552938A CN112528947B CN 112528947 B CN112528947 B CN 112528947B CN 202011552938 A CN202011552938 A CN 202011552938A CN 112528947 B CN112528947 B CN 112528947B
Authority
CN
China
Prior art keywords
layer
size
hypha
pseudo
hyphae
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011552938.6A
Other languages
English (en)
Other versions
CN112528947A (zh
Inventor
谢晓鸿
谢时灵
付树军
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shidasi Medical Technology Co ltd
Shandong Stars Bioindustry Co ltd
Original Assignee
Shandong Shidasi Medical Technology Co ltd
Shandong Stars Bioindustry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shidasi Medical Technology Co ltd, Shandong Stars Bioindustry Co ltd filed Critical Shandong Shidasi Medical Technology Co ltd
Priority to CN202011552938.6A priority Critical patent/CN112528947B/zh
Publication of CN112528947A publication Critical patent/CN112528947A/zh
Application granted granted Critical
Publication of CN112528947B publication Critical patent/CN112528947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种通过增加方向维度的假菌丝检测方法、设备及存储介质,是指:将待检测的图像输入到假菌丝的人工智能检测模型,得到待检测的图像的类别标签;所述假菌丝的人工智能检测模型的生成方法包括:将原始图像人工类别标注,通过标注了类别标签的原始图像训练得到假菌丝的人工智能检测模型;本发明通过构建类间差距大且类内差距小的假菌丝的训练集,加速损失函数的收敛,减少训练模型的时间。

Description

一种通过增加方向维度的假菌丝检测方法、设备及存储介质
技术领域
本发明涉及一种女性生殖道微生态中假菌丝的检测方法,尤其是涉及一种通过增加方向维度信息有效提升假菌丝检出率的深度学习方法、设备及存储介质。
背景技术
假丝酵母菌在一定条件下侵犯女性下生殖道而引起外阴皮肤黏膜的炎症,故被称为外阴***假丝酵母菌病(vulvovaginal candidiasis,简称VVC),也常被称为假丝酵母菌性***炎、真菌性***炎或者霉菌性***炎。80%~90%的VVC是由白假丝酵母菌引起的,其形态有常见的三种类型:孢子、芽生孢子、假菌丝,其中孢子为卵圆形的单壁细胞,孢子出芽,常称为芽生孢子,然后继续长成芽管,逐渐延长呈丝状,称为菌丝。菌丝在生成过程中,在一定间距形成横隔,把菌丝分成一连串的细胞,称假菌丝,它是假丝酵母菌一种形态,且具备诊断意义,所以提高假菌丝的检测率对于诊断出VVC及其治疗VVC起着至关重要的作用。
随着大数据、云计算、人工智能前沿技术快速融入医疗,正在重塑医疗服务模式、改变医院未来,而医疗影像数据与这些前沿技术是目前结合最为紧密的一个领域。利用人工采集或者自动化设备采集革兰氏染色和湿片镜检下的图像,然后结合计算机视觉领域的深度学习技术,提供一种检测女性生殖道微生态革兰氏染色和湿片镜检下假菌丝的人工智能技术。
对于深度学习技术,构建更有效的训练集起着至关重要的作用。假菌丝虽然总体呈现丝状,但是形态***,长短不一,弯曲方向不一,即使是单个菌丝也可能会出现多种方向的弯曲和延伸,即类内差距很大,而且如果假菌丝长度较长,那么背景信息造成的干扰也很大。如果把所有形态的菌丝只用一个标签处理,那这样的构建出的假菌丝训练集会出现一个问题:类内差距太大,同一个类别出现较大差异,那对于深度学习方法学习到好的特征就比较困难。
发明内容
本发明的目的在于通过增加假菌丝的方向维度信息,包括四种方向:水平方向、垂直方向、左上倾斜方向、右上倾斜方向,构建出类间差距大,且类内差距小的训练集,提高假菌丝的人工智能检出率,并同时降低假菌丝的假阳性率。
本发明的目的主要通过以下技术方案来实现:
一种通过增加方向维度的假菌丝检测方法,是指:
将待检测的图像输入到假菌丝的人工智能检测模型,得到待检测的图像的类别标签;所述假菌丝的人工智能检测模型的生成方法包括:将原始图像人工类别标注,通过标注了类别标签的原始图像训练得到假菌丝的人工智能检测模型;
类别标签分别包括horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha,horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha分别是指水平方向的假菌丝、垂直方向的假菌丝、左上倾斜方向的假菌丝、右上倾斜方向的假菌丝,
水平方向的假菌丝是指与水平线夹角为[0°,10°]假菌丝;垂直方向的假菌丝是指与垂直线夹角为[0°,10°]假菌丝;左上倾斜方向的假菌丝是指与水平线夹角为(10°,80°)且该假菌丝左端比右端高的假菌丝;右上倾斜方向的假菌丝是指与水平线夹角为(10°,80°)且该假菌丝左端比右端低的的假菌丝。
根据本发明优选的,将原始图像人工类别标注,包括:
(1)人工或者自动显微图像采集设备采集不同背景、不同形态的假菌丝图片;保证数据的完备性。
(2)将步骤(1)采集的假菌丝图片交由相关领域专家进行人工标注,
对于长度较长且方向单一的假菌丝,将其分割成若干段长度较短且方向单一的假菌丝,并按照如下方法①进行标注;对于长度较长且方向多种的假菌丝,将其分割成若干段长度较短的假菌丝,并按照如下方法②进行标注;对于长度较短且方向单一的假菌丝,直接按照如下方法①进行标注;对于长度较短且方向多种(方向不单一)的假菌丝,直接按照如下方法②进行标注;
假设H为输入假菌丝图片的高,W为输入假菌丝图片的宽,令L=min(H,W),如果假菌丝的长度不大于
Figure BDA0002857702870000021
则为长度较短的假菌丝,如果假菌丝的长度大于/>
Figure BDA0002857702870000022
则为长度较长的假菌丝;
①对于长度较短且方向单一的假菌丝,如果该方向是水平方向,则标注为horizontal_hypha,如果该方向是垂直方向,则标注为vertical_hypha,如果该方向是左上倾斜方向,则标注为leftTop_hypha,如果该方向是右上倾斜方向,则标注为rightTop_hypha;
②对于长度较短且方向多种(方向不单一)的假菌丝,则将该假菌丝分割成若干段使得每一段都是单一方向,如果该单一方向是水平方向,则标注为horizontal_hypha,如果该单一方向是垂直方向,则标注为vertical_hypha,如果该单一方向是左上倾斜方向,则标注为leftTop_hypha,如果该单一方向是右上倾斜方向,则标注为rightTop_hypha;
(3)将步骤(2)标注好的假菌丝图片中的假菌丝截取出来。
不同形态的假菌丝长度不一,且方向不一,根据长度维度和方向维度,可以将假菌丝大致分为以下四大类:长度较短且方向单一的假菌丝;长度较短且方向多变的假菌丝;长度较长且方向单一的假菌丝;长度较长且方向多变的假菌丝。
以上四种大分类形态的假菌丝虽然类间差距大,但是类内差距也是比较大的,为了减少类内差距,需要继续细化假菌丝的方向维度,将假菌丝又分为以下四类:水平方向的假菌丝;垂直方向的假菌丝;左上方向倾斜的假菌丝;右上方向倾斜的假菌丝。
根据以上这四种形态的规定两个标注规则如下:长度较长的假菌丝进行分节段标注,标准化长度维度;方向多变的假菌丝拆分成分段的方向单一的假菌丝,归一化方向维度。
这样构建出的标注数据集的优点是类间差距较大,且类内差距减少,更容易设计出的深度神经网络便于更容易的学习到更好的特征。
本发明针对大量的数据统计和实践,总结出针对各类形态假菌丝更有效的标注规则,通过细化维度信息,包括长度维度和方向维度构建出类间差距大且类内差距小的训练集,可以更有效地训练深度学习模型,并提升假菌丝的检出率。
根据本发明优选的,通过步骤(2)标注好的假菌丝图片中的假菌丝训练得到所述假菌丝的人工智能检测模型。
根据本发明优选的,步骤(1)中,假菌丝图片包括针对湿片和染色片采集不同背景、不同形态的假菌丝图片。
根据本发明优选的,所述假菌丝的人工智能检测模型为卷积神经网络,所述卷积神经网络有24层,卷积层和池化层交替,所述卷积层中卷积核的尺寸均为3x3,训练人工智能检测模型时,学习率的参数为0.1。
对于假菌丝的人工智能检测模型的架构,可以选用SSD(Single Shot MultiBoxDetector)、Faster R-CNN:Towards real-time object detection with regionproposal networks、YOLOv3(An Incremental Improvement)及其相关延伸的目标检测架构。
选取目标检测框架后,接着需要设计深度神经网络架构。因为类间差距大、类内差距小,即使是浅层的网络架构也可以学习到很好的特征,可以选用经典的神经网络架构或者自行设计的神经网络架构。
根据本发明优选的,针对湿片采集不同背景、不同形态的假菌丝图片,输入到所述假菌丝的人工智能检测模型的尺寸标准化为608×608×3,且将图像的像素值归一到区间[0,1],具体如下:
第0层为卷积层,输入尺寸为608×608×3,与16个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为608×608×16;
第1层为池化层,输入尺寸为608×608×16,进行尺寸2×2且步长为2的最大值池化操作,输出尺寸为304×304×16;
第2层为卷积层,输入尺寸为304×304×16,与32个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为304×304×32;
第3层为池化层,输入尺寸为304×304×32,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为152×152×32;
第4层为卷积层,输入尺寸为152×152×32,与64个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为152×152×64;
第5层为池化层,输入尺寸为152×152×64,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为76×76×64;
第6层为卷积层,输入尺寸为76×76×64,与128个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为76×76×128;
第7层为池化层,输入尺寸为76×76×128,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为38×38×128;
第8层为卷积层,输入尺寸为38×38×128,与256个尺寸为3×3且步长为1的卷积核卷积,输出38×38×256;
第9层为池化层,输入尺寸为38×38×256,进行尺寸为2×2且步长为2的最大值池化操作,输出19×19×256;
第10层为卷积层,输入尺寸为19×19×256,与512个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×512;
第11层为池化层,输入尺寸为19×19×512,进行尺寸为2×2且步长为1的最大值池化操作,输出尺寸为19×19×512;
第12层为卷积层,输入尺寸为19×19×512,与1024个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×1024;
第13层为卷积层,输入尺寸为19×19×1024,与256个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为19×19×256;
第14层为卷积层,输入尺寸为19×19×256,与512个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×512;
第15层为卷积层,输入尺寸为19×19×512,与27个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为19×19×27;
第16层为yolo层;
第17层为路由层,使用第13层的输出层作为下一层的输入层;
第18层为卷积层,输入尺寸为19×19×256,与128个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为输出19×19×128;
第19层:上采样层,输入尺寸为19×19×128,输出尺寸为38×38×128;
第20层:路由层,把第19层和第8层这两层的输出沿着深度方向连接,即得到的尺寸为38×38×384,作为下一层的输入层;
第21层为卷积层,输入尺寸为38×38×384,与256个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为38×38×256;
第22层为卷积层,输入尺寸为38×38×256,与27个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为38×38×27;
第23层:yolo层。
进一步优选的,每一个卷积层都进行BatchNormalize操作,且卷积层的激活函数为leaky激活函数。
根据本发明优选的,针对染色片采集不同背景、不同形态的假菌丝图片,为了去除长的杆菌的影响,可以通过降低输入网络的图像分辨率,输入到所述假菌丝的人工智能检测模型的尺寸标准化为352×352×3或320×320×3或288×288×3。
根据本发明优选的,针对湿片采集不同背景、不同形态的假菌丝图片,训练针对湿片的AI模型,因为没有太多其他目标物的干扰,所以,可以将输入网络的图像分辨率设置的大一些,输入到所述假菌丝的人工智能检测模型的尺寸标准化为608×608×3或544×544×3。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现通过增加方向维度的假菌丝检测方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现通过增加方向维度的假菌丝检测方法的步骤。
本发明的有益效果是:
1、本发明通过构建类间差距大且类内差距小的假菌丝的训练集,加速损失函数的收敛,减少训练模型的时间。
2、本发明通过将假菌丝的专家标注信息增加方向维度信息,及标准化长度维度信息,提高人工智能模型对于假菌丝的检出率。通过检测四种方向的假菌丝,然后将这四类不同方向的假菌丝再汇总,作为最终总的假菌丝的检出,从而提高假菌丝的检出率。
3、本发明通过减小输入模型的图像分辨率可以非常有效地降低假菌丝的假阳性率,同时保证检出率。在采集的关于革兰氏染色的图片中,长的杆菌和假菌丝在形态上很像,但是在宽度上比假菌丝小,通过降低输入模型的图像分辨率,可以过滤掉长杆菌对假菌丝的影响。
4、本发明通过浅层神经网络可以提取有效特征,且输入模型的图像分辨率较小,有效降低了计算量,减少检测时间,在计算机运算的时间和空间维度上做到了极佳的平衡。
附图说明
图1为不同方向的假菌丝的角度范围的示意图。
图2(a)为染色片中长度较短且方向单一的假菌丝的示意图;
图2(b)为染色片中长度较短且方向多变的假菌丝的示意图;
图2(c)为染色片中长度较长且方向单一的假菌丝的示意图;
图2(d)为染色片中长度较长且方向多变的假菌丝的示意图;
图3(a)为截取的染色片中水平方向的假菌丝图片集的示意图;
图3(b)为截取的染色片中垂直方向的假菌丝图片集的示意图;
图3(c)为截取的染色片中左上方向倾斜的假菌丝图片集的示意图;
图3(d)为截取的染色片中右上方向倾斜的假菌丝图片集的示意图;
图4(a)为湿片中长度较短且方向单一的假菌丝的示意图;
图4(b)为湿片中长度较短且方向多变的假菌丝的示意图;
图4(c)为湿片中长度较长且方向单一的假菌丝的示意图;
图4(d)为湿片中长度较长且方向多变的假菌丝的示意图;
图5(a)为截取的湿片中水平方向的假菌丝图片集的示意图;
图5(b)为截取的湿片中垂直方向的假菌丝图片集的示意图;
图5(c)为截取的湿片中左上倾斜方向的假菌丝图片集的示意图;
图5(d)为截取的湿片中右上倾斜方向的假菌丝图片集的示意图;
图6为假菌丝的人工智能检测模型的结构框图;
图7(a)为染色片的假菌丝的人工智能检测模型预测结果示例的示意图;
图7(b)为湿片的假菌丝的人工智能检测模型预测结果示例的示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定,但不限于此。
实施例1
一种通过增加方向维度的假菌丝检测方法,是指:
将待检测的图像输入到假菌丝的人工智能检测模型,得到待检测的图像的类别标签;假菌丝的人工智能检测模型的生成方法包括:将原始图像人工类别标注,通过标注了类别标签的原始图像训练得到假菌丝的人工智能检测模型;
类别标签分别包括horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha,horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha分别是指水平方向的假菌丝、垂直方向的假菌丝、左上倾斜方向的假菌丝、右上倾斜方向的假菌丝,
水平方向的假菌丝是指与水平线夹角为[0°,10°]假菌丝;垂直方向的假菌丝是指与垂直线夹角为[0°,10°]假菌丝;左上倾斜方向的假菌丝是指与水平线夹角为(10°,80°)且该假菌丝左端比右端高的假菌丝;右上倾斜方向的假菌丝是指与水平线夹角为(10°,80°)且该假菌丝左端比右端低的的假菌丝。如图1所示,水平方向的假菌丝的角度大致在0至10度之间或者170至180度之间,右上方向倾斜的假菌丝的角度大致在10至80度之间,垂直方向的假菌丝的角度大致在80至100度之间,左上方向倾斜的假菌丝的角度大致在100至170度之间。
实施例2
根据实施例1所述的一种通过增加方向维度的假菌丝检测方法,其区别在于:
将原始图像人工类别标注,包括:
(1)人工或者自动显微图像采集设备针对湿片采集不同背景、不同形态的假菌丝图片;保证数据的完备性。
(2)将步骤(1)采集的假菌丝图片交由相关领域专家进行人工标注,
对于长度较长且方向单一的假菌丝,将其分割成若干段长度较短且方向单一的假菌丝,并按照如下方法①进行标注;对于长度较长且方向多种的假菌丝,将其分割成若干段长度较短的假菌丝,并按照如下方法②进行标注;对于长度较短且方向单一的假菌丝,直接按照如下方法①进行标注;对于长度较短且方向多种(方向不单一)的假菌丝,直接按照如下方法②进行标注;
假设H为输入假菌丝图片的高,W为输入假菌丝图片的宽,令L=min(H,W),如果假菌丝的长度不大于
Figure BDA0002857702870000071
则为长度较短的假菌丝,如果假菌丝的长度大于/>
Figure BDA0002857702870000072
则为长度较长的假菌丝;
①对于长度较短且方向单一的假菌丝,如果该方向是水平方向,则标注为horizontal_hypha,如果该方向是垂直方向,则标注为vertical_hypha,如果该方向是左上倾斜方向,则标注为leftTop_hypha,如果该方向是右上倾斜方向,则标注为rightTop_hypha;
②对于长度较短且方向多种(方向不单一)的假菌丝,则将该假菌丝分割成若干段使得每一段都是单一方向,如果该单一方向是水平方向,则标注为horizontal_hypha,如果该单一方向是垂直方向,则标注为vertical_hypha,如果该单一方向是左上倾斜方向,则标注为leftTop_hypha,如果该单一方向是右上倾斜方向,则标注为rightTop_hypha;
湿片中长度较短且方向单一的假菌丝的标注规则示例,如图4(a)所示,如图4(a)中有三个长度较短,分别为右上方向倾斜、左上方向倾斜、右上方向倾斜的假菌丝。湿片中长度较短且方向多种的假菌丝的标注规则示例,如图4(b)所示,图4(b)中有一个较短的假菌丝,但是方向多变,这时候需要把假菌丝每一段单一方向的部分分开标注,分别为左上方向倾斜的假菌丝和水平方向上的假菌丝。湿片中长度较长且方向单一的假菌丝的标注规则示例,如图4(c)所示,图4(c)中有一个长度较长,且向右上方向倾斜,将其分成多段较短的向右上方向倾斜的假菌丝。湿片中长度较长且方向多变的假菌丝的标注规则示例,如图4(d)所示,图4(d)中有一个长度较长,且既有右上方向倾斜的部分也有左上方向倾斜的部分,将其分成多段较短且方向单一的假菌丝。
标注的标签分别为horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha,分别代表水平方向的假菌丝、垂直方向的假菌丝、左上倾斜方向的假菌丝、右上倾斜方向的假菌丝。
(3)将步骤(2)标注好的假菌丝图片中的假菌丝截取出来。
将上述标注好的染片图片中把四种方向上假菌丝截取出来,如图5(a)、图5(b)、图5(c)、图5(d)所示,四种方向且长度相当的假菌丝,这四类假菌丝符合类间差距大、类内差距小的要求。
不同形态的假菌丝长度不一,且方向不一,根据长度维度和方向维度,可以将假菌丝大致分为以下四大类:长度较短且方向单一的假菌丝;长度较短且方向多变的假菌丝;长度较长且方向单一的假菌丝;长度较长且方向多变的假菌丝。
以上四种大分类形态的假菌丝虽然类间差距大,但是类内差距也是比较大的,为了减少类内差距,需要继续细化假菌丝的方向维度,将假菌丝又分为以下四类:水平方向的假菌丝;垂直方向的假菌丝;左上方向倾斜的假菌丝;右上方向倾斜的假菌丝。
根据以上这四种形态的规定两个标注规则如下:长度较长的假菌丝进行分节段标注,标准化长度维度;方向多变的假菌丝拆分成分段的方向单一的假菌丝,归一化方向维度。
这样构建出的标注数据集的优点是类间差距较大,且类内差距减少,更容易设计出的深度神经网络便于更容易的学习到更好的特征。
本发明针对大量的数据统计和实践,总结出针对各类形态假菌丝更有效的标注规则,通过细化维度信息,包括长度维度和方向维度构建出类间差距大且类内差距小的训练集,可以更有效地训练深度学习模型,并提升假菌丝的检出率。
通过步骤(2)标注好的假菌丝图片中的假菌丝训练得到假菌丝的人工智能检测模型。
本实例中采用基于YOLOv3的目标检测框架搭建假菌丝的人工智能检测模型,假菌丝的人工智能检测模型为卷积神经网络,卷积神经网络有24层,卷积层和池化层交替,卷积层中卷积核的尺寸均为3x3,训练人工智能检测模型时,学习率的参数为0.1。
对于假菌丝的人工智能检测模型的架构,可以选用SSD(Single Shot MultiBoxDetector)、Faster R-CNN:Towards real-time object detection with regionproposal networks、YOLOv3(An Incremental Improvement)及其相关延伸的目标检测架构。
选取目标检测框架后,接着需要设计深度神经网络架构。因为类间差距大、类内差距小,即使是浅层的网络架构也可以学习到很好的特征,可以选用经典的神经网络架构或者自行设计的神经网络架构。
针对湿片采集不同背景、不同形态的假菌丝图片,输入到假菌丝的人工智能检测模型的尺寸标准化为608×608×3,且将图像的像素值归一到区间[0,1],如图6所示,具体如下:
第0层为卷积层,输入尺寸为608×608×3,与16个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为608×608×16;
第1层为池化层,输入尺寸为608×608×16,进行尺寸2×2且步长为2的最大值池化操作,输出尺寸为304×304×16;
第2层为卷积层,输入尺寸为304×304×16,与32个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为304×304×32;
第3层为池化层,输入尺寸为304×304×32,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为152×152×32;
第4层为卷积层,输入尺寸为152×152×32,与64个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为152×152×64;
第5层为池化层,输入尺寸为152×152×64,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为76×76×64;
第6层为卷积层,输入尺寸为76×76×64,与128个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为76×76×128;
第7层为池化层,输入尺寸为76×76×128,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为38×38×128;
第8层为卷积层,输入尺寸为38×38×128,与256个尺寸为3×3且步长为1的卷积核卷积,输出38×38×256;
第9层为池化层,输入尺寸为38×38×256,进行尺寸为2×2且步长为2的最大值池化操作,输出19×19×256;
第10层为卷积层,输入尺寸为19×19×256,与512个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×512;
第11层为池化层,输入尺寸为19×19×512,进行尺寸为2×2且步长为1的最大值池化操作,输出尺寸为19×19×512;
第12层为卷积层,输入尺寸为19×19×512,与1024个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×1024;
第13层为卷积层,输入尺寸为19×19×1024,与256个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为19×19×256;
第14层为卷积层,输入尺寸为19×19×256,与512个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×512;
第15层为卷积层,输入尺寸为19×19×512,与27个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为19×19×27;
第16层为yolo层;
第17层为路由层,使用第13层的输出层作为下一层的输入层;
第18层为卷积层,输入尺寸为19×19×256,与128个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为输出19×19×128;
第19层:上采样层,输入尺寸为19×19×128,输出尺寸为38×38×128;
第20层:路由层,把第19层和第8层这两层的输出沿着深度方向连接,即得到的尺寸为38×38×384,作为下一层的输入层;
第21层为卷积层,输入尺寸为38×38×384,与256个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为38×38×256;
第22层为卷积层,输入尺寸为38×38×256,与27个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为38×38×27;
第23层:yolo层。
每一个卷积层都进行BatchNormalize操作,且卷积层的激活函数为leaky激活函数。训练模型时,学习率的参数初始值设置为0.005,训练阶段采用学习率的成阶梯段下降,前8000次迭代,学习率的初始值0.005,第8000次至20000次之间的迭代,学习率设置为0.005×0.8=0.004,第20000次至30000次之间的迭代,学习率设置为0.004×0.8=0.0032,第30000次至40000次之间的迭代,学习率设置为0.0032×0.8=0.0256。
针对湿片采集不同背景、不同形态的假菌丝图片,训练针对湿片的AI模型,因为没有太多其他目标物的干扰,所以,可以将输入网络的图像分辨率设置的大一些,输入到假菌丝的人工智能检测模型的尺寸标准化为608×608×3或544×544×3。
图7(b)为湿片假菌丝的人工智能检测模型的检测结果的示例,检测出了3个右上方向倾斜(标签为“rightTop_hypha”)的假菌丝,3个水平方向倾斜(标签为“horizontal_hypha”)的假菌丝,1个左上方向倾斜(标签为“leftTop_hypha”)的假菌丝。
本发明使用显存16G的RTX2080Ti系列的单个显卡,30000次的迭代,8个小时左右可以训练出有效模型。识别一张图的时间在30ms至50ms之间,即1s可以识别20张至30张图片,满足实时性要求。
实施例3
根据实施例3所述的一种通过增加方向维度的假菌丝检测方法,其区别在于:
人工或者自动显微图像采集设备针对革兰氏染色片采集不同背景、不同形态的假菌丝图片;
革兰氏染色片中长度较短且方向单一的假菌丝的标注规则示例,如图2(a)所示,图2(a)中有两个长度较短,分别右上方向倾斜和左上方向倾斜的假菌丝;革兰氏染色片中长度较短且方向多种的假菌丝的标注规则示例,如图2(b)所示,图2(b)中有一个较短的假菌丝,但是方向多变,这时候需要把该假菌丝每一段单一方向的部分分开标注,分别为垂直方向上的假菌丝和左上方向倾斜的假菌丝;革兰氏染色片中长度较长且方向单一的假菌丝的标注规则示例,如图2(c)所示,图2(c)中有两个长度较长的假菌丝,但是每一个都有一个方向,一个是垂直方向,一个是右上倾斜的方向,因为长度较长,所以需要分成多段较短的假菌丝。革兰氏染色片中长度较长且方向多变的假菌丝的标注规则示例,如图2(d)所示,2(d)中有长度较长但是方向多变的菌丝,需要将每一个方向单一的部分单独标注出来。
将上述标注好的染片图片中把四种方向上假菌丝截取出来,如图3(a)、图3(b)、图3(c)、图3(d)所示,四种方向且长度相当的假菌丝,这四类假菌丝符合类间差距大、类内差距小的要求。
针对革兰氏染色片采集不同背景、不同形态的假菌丝图片,为了去除长的杆菌的影响,可以通过降低输入网络的图像分辨率,输入到假菌丝的人工智能检测模型的尺寸标准化为352×352×3或320×320×3或288×288×3。
图7(a)为染色片假菌丝的人工智能检测模型的假菌丝检测结果的示例,检测出了5个右上方向倾斜(标签为“right_top_hypha”)的假菌丝,2个左上方向倾斜(标签为“left_top_hypha”)的假菌丝,
实施例4
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现实施例1或2所述的通过增加方向维度的假菌丝检测方法的步骤。
实施例5
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现实施例1或2所述的通过增加方向维度的假菌丝检测方法的步骤。

Claims (9)

1.一种通过增加方向维度的假菌丝检测方法,其特征在于,是指:
将待检测的图像输入到假菌丝的人工智能检测模型,得到待检测的图像的类别标签;所述假菌丝的人工智能检测模型的生成方法包括:将原始图像人工类别标注,通过标注了类别标签的原始图像训练得到假菌丝的人工智能检测模型;
类别标签分别包括horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha,horizontal_hypha、vertical_hypha、leftTop_hypha、rightTop_hypha分别是指水平方向的假菌丝、垂直方向的假菌丝、左上倾斜方向的假菌丝、右上倾斜方向的假菌丝,
水平方向的假菌丝是指与水平线夹角为[0°,10°]假菌丝;垂直方向的假菌丝是指与垂直线夹角为[0°,10°]假菌丝;左上倾斜方向的假菌丝是指与水平线夹角为(10°,80°)且该假菌丝左端比右端高的假菌丝;右上倾斜方向的假菌丝是指与水平线夹角为(10°,80°)且该假菌丝左端比右端低的的假菌丝;
将原始图像人工类别标注,包括:
(1)采集不同背景、不同形态的假菌丝图片;
(2)将步骤(1)采集的假菌丝图片进行人工标注,
对于长度较长且方向单一的假菌丝,将其分割成若干段长度较短且方向单一的假菌丝,并按照如下方法①进行标注;对于长度较长且方向多种的假菌丝,将其分割成若干段长度较短的假菌丝,并按照如下方法②进行标注;对于长度较短且方向单一的假菌丝,直接按照如下方法①进行标注;对于长度较短且方向多种的假菌丝,直接按照如下方法②进行标注;
假设H为输入假菌丝图片的高,W为输入假菌丝图片的宽,令L=min(H,W),如果假菌丝的长度不大于
Figure QLYQS_1
则为长度较短的假菌丝,如果假菌丝的长度大于/>
Figure QLYQS_2
则为长度较长的假菌丝;
①对于长度较短且方向单一的假菌丝,如果该方向是水平方向,则标注为horizontal_hypha,如果该方向是垂直方向,则标注为vertical_hypha,如果该方向是左上倾斜方向,则标注为leftTop_hypha,如果该方向是右上倾斜方向,则标注为rightTop_hypha;
②对于长度较短且方向多种的假菌丝,则将该假菌丝分割成若干段使得每一段都是单一方向,如果该单一方向是水平方向,则标注为horizontal_hypha,如果该单一方向是垂直方向,则标注为vertical_hypha,如果该单一方向是左上倾斜方向,则标注为leftTop_hypha,如果该单一方向是右上倾斜方向,则标注为rightTop_hypha;
(3)将步骤(2)标注好的假菌丝图片中的假菌丝截取出来。
2.根据权利要求1所述的一种通过增加方向维度的假菌丝检测方法,其特征在于,通过步骤(2)标注好的假菌丝图片中的假菌丝训练得到所述假菌丝的人工智能检测模型。
3.根据权利要求1所述的一种通过增加方向维度的假菌丝检测方法,其特征在于,步骤(1)中,假菌丝图片包括针对湿片和染色片采集不同背景、不同形态的假菌丝图片。
4.根据权利要求1所述的一种通过增加方向维度的假菌丝检测方法,其特征在于,所述假菌丝的人工智能检测模型为卷积神经网络,所述卷积神经网络有24层,卷积层和池化层交替,所述卷积层中卷积核的尺寸均为3x3,训练人工智能检测模型时,学习率的参数为0.1。
5.根据权利要求1所述的一种通过增加方向维度的假菌丝检测方法,其特征在于,针对湿片采集不同背景、不同形态的假菌丝图片,输入到所述假菌丝的人工智能检测模型的尺寸标准化为608×608×3,且将图像的像素值归一到区间[0,1],具体如下:
第0层为卷积层,输入尺寸为608×608×3,与16个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为608×608×16;
第1层为池化层,输入尺寸为608×608×16,进行尺寸2×2且步长为2的最大值池化操作,输出尺寸为304×304×16;
第2层为卷积层,输入尺寸为304×304×16,与32个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为304×304×32;
第3层为池化层,输入尺寸为304×304×32,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为152×152×32;
第4层为卷积层,输入尺寸为152×152×32,与64个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为152×152×64;
第5层为池化层,输入尺寸为152×152×64,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为76×76×64;
第6层为卷积层,输入尺寸为76×76×64,与128个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为76×76×128;
第7层为池化层,输入尺寸为76×76×128,进行尺寸为2×2且步长为2的最大值池化操作,输出尺寸为38×38×128;
第8层为卷积层,输入尺寸为38×38×128,与256个尺寸为3×3且步长为1的卷积核卷积,输出38×38×256;
第9层为池化层,输入尺寸为38×38×256,进行尺寸为2×2且步长为2的最大值池化操作,输出19×19×256;
第10层为卷积层,输入尺寸为19×19×256,与512个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×512;
第11层为池化层,输入尺寸为19×19×512,进行尺寸为2×2且步长为1的最大值池化操作,输出尺寸为19×19×512;
第12层为卷积层,输入尺寸为19×19×512,与1024个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×1024;
第13层为卷积层,输入尺寸为19×19×1024,与256个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为19×19×256;
第14层为卷积层,输入尺寸为19×19×256,与512个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为19×19×512;
第15层为卷积层,输入尺寸为19×19×512,与27个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为19×19×27;
第16层为yolo层;
第17层为路由层,使用第13层的输出层作为下一层的输入层;
第18层为卷积层,输入尺寸为19×19×256,与128个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为输出19×19×128;
第19层:上采样层,输入尺寸为19×19×128,输出尺寸为38×38×128;
第20层:路由层,把第19层和第8层这两层的输出沿着深度方向连接,即得到的尺寸为38×38×384,作为下一层的输入层;
第21层为卷积层,输入尺寸为38×38×384,与256个尺寸为3×3且步长为1的卷积核卷积,输出尺寸为38×38×256;
第22层为卷积层,输入尺寸为38×38×256,与27个尺寸为1×1且步长为1的卷积核卷积,输出尺寸为38×38×27;
第23层:yolo层;
进一步优选的,每一个卷积层都进行BatchNormalize操作,且卷积层的激活函数为leaky激活函数。
6.根据权利要求1所述的一种通过增加方向维度的假菌丝检测方法,其特征在于,针对染色片采集不同背景、不同形态的假菌丝图片,输入到所述假菌丝的人工智能检测模型的尺寸标准化为352×352×3或320×320×3或288×288×3。
7.根据权利要求1所述的一种通过增加方向维度的假菌丝检测方法,其特征在于,针对湿片采集不同背景、不同形态的假菌丝图片,输入到所述假菌丝的人工智能检测模型的尺寸标准化为608×608×3或544×544×3。
8.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-7任一所述通过增加方向维度的假菌丝检测方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一所述通过增加方向维度的假菌丝检测方法的步骤。
CN202011552938.6A 2020-12-24 2020-12-24 一种通过增加方向维度的假菌丝检测方法、设备及存储介质 Active CN112528947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011552938.6A CN112528947B (zh) 2020-12-24 2020-12-24 一种通过增加方向维度的假菌丝检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552938.6A CN112528947B (zh) 2020-12-24 2020-12-24 一种通过增加方向维度的假菌丝检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112528947A CN112528947A (zh) 2021-03-19
CN112528947B true CN112528947B (zh) 2023-05-23

Family

ID=74976219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552938.6A Active CN112528947B (zh) 2020-12-24 2020-12-24 一种通过增加方向维度的假菌丝检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112528947B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033417B (zh) * 2021-03-29 2022-03-25 山东仕达思生物产业有限公司 一种妇科微生态中孢子的检测识别方法、设备及存储介质
CN112950636B (zh) * 2021-04-29 2022-04-12 山东仕达思生物产业有限公司 基于R3Det的女性***病原体的旋转框目标检测方法
CN116908178B (zh) * 2023-09-13 2024-03-08 吉林农业大学 一种菌丝表型获取装置及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745231A (zh) * 2014-01-16 2014-04-23 华南农业大学 小麦矮腥黑穗病tck及其近似种tct的冬孢子图像鉴定方法
CN105531382A (zh) * 2013-06-19 2016-04-27 六品科技公司 基于噬菌体的细菌检测法
CN105809188A (zh) * 2016-02-26 2016-07-27 山东大学 一种基于ambp改进算法的真菌性角膜炎图像识别方法
CN106033540A (zh) * 2016-05-27 2016-10-19 北京大学第医院 一种***微生态形态学自动分析方法和***
CN106599938A (zh) * 2016-12-30 2017-04-26 南京睿观信息科技有限公司 一种基于深度网络模型敏感旗帜内容的层次分类方法
CN109142356A (zh) * 2018-08-06 2019-01-04 王鲁生 一种白带显微图像菌丝自动识别设备及方法
CN110232360A (zh) * 2019-06-17 2019-09-13 颐保医疗科技(上海)有限公司 一种利用神经网络对荧光镜检真菌阴阳性的判别方法
CN110826483A (zh) * 2019-11-05 2020-02-21 安图实验仪器(郑州)有限公司 白带显微图像细胞识别方法
CN110929678A (zh) * 2019-12-04 2020-03-27 山东省计算中心(国家超级计算济南中心) 外阴***假丝酵母菌孢子检测方法
CN111414995A (zh) * 2020-03-16 2020-07-14 北京君立康生物科技有限公司 小目标菌落的检测处理方法、装置、电子设备及介质
CN111710364A (zh) * 2020-05-08 2020-09-25 中国科学院深圳先进技术研究院 一种菌群标记物的获取方法、装置、终端及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531382A (zh) * 2013-06-19 2016-04-27 六品科技公司 基于噬菌体的细菌检测法
CN103745231A (zh) * 2014-01-16 2014-04-23 华南农业大学 小麦矮腥黑穗病tck及其近似种tct的冬孢子图像鉴定方法
CN105809188A (zh) * 2016-02-26 2016-07-27 山东大学 一种基于ambp改进算法的真菌性角膜炎图像识别方法
CN106033540A (zh) * 2016-05-27 2016-10-19 北京大学第医院 一种***微生态形态学自动分析方法和***
CN106599938A (zh) * 2016-12-30 2017-04-26 南京睿观信息科技有限公司 一种基于深度网络模型敏感旗帜内容的层次分类方法
CN109142356A (zh) * 2018-08-06 2019-01-04 王鲁生 一种白带显微图像菌丝自动识别设备及方法
CN110232360A (zh) * 2019-06-17 2019-09-13 颐保医疗科技(上海)有限公司 一种利用神经网络对荧光镜检真菌阴阳性的判别方法
CN110826483A (zh) * 2019-11-05 2020-02-21 安图实验仪器(郑州)有限公司 白带显微图像细胞识别方法
CN110929678A (zh) * 2019-12-04 2020-03-27 山东省计算中心(国家超级计算济南中心) 外阴***假丝酵母菌孢子检测方法
CN111414995A (zh) * 2020-03-16 2020-07-14 北京君立康生物科技有限公司 小目标菌落的检测处理方法、装置、电子设备及介质
CN111710364A (zh) * 2020-05-08 2020-09-25 中国科学院深圳先进技术研究院 一种菌群标记物的获取方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112528947A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112528947B (zh) 一种通过增加方向维度的假菌丝检测方法、设备及存储介质
CN109145872B (zh) 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法
Xie et al. Visual saliency detection based on Bayesian model
Islam et al. Rice leaf disease recognition using local threshold based segmentation and deep CNN
Sunny et al. An efficient citrus canker detection method based on contrast limited adaptive histogram equalization enhancement
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
Gui et al. A new method for soybean leaf disease detection based on modified salient regions
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
CN106294705A (zh) 一种批量遥感影像预处理方法
Jadhav et al. Soybean leaf disease detection and severity measurement using multiclass SVM and KNN classifier
CN111259925B (zh) 基于k均值聚类和宽度突变算法的田间麦穗计数方法
CN109886267A (zh) 一种基于最优特征选择的低对比度图像显著性检测方法
Sharma et al. Detection of rice disease using bayes' classifier and minimum distance classifier
CN107437068A (zh) 基于Gabor方向直方图和猪体毛发模式的猪个体识别方法
Shaikh et al. Citrus leaf unhealthy region detection by using image processing technique
CN112257702A (zh) 一种基于增量学习的农作物病害识别方法
CN108830874A (zh) 一种数字病理全切片图像空白区域自动分割方法
CN111199245A (zh) 油菜害虫识别方法
Wang et al. Segmentation of corn leaf disease based on fully convolution neural network
CN112686336A (zh) 一种基于神经网络的烧伤创面深度分类***
CN106909881A (zh) 基于无人机遥感影像提取玉米育种基地垄数的方法及***
CN103366183B (zh) 一种局灶性病灶的非参数自动检测方法
CN112634308A (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN111709425A (zh) 一种基于特征迁移的肺部ct图像分类方法
CN116434920A (zh) 一种胃肠上皮化生进展风险预测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method, equipment, and storage medium for detecting false hyphae by increasing directional dimensions

Granted publication date: 20230523

Pledgee: Bank of China Limited Jinan Huaiyin sub branch

Pledgor: Shandong shidasi Medical Technology Co.,Ltd.

Registration number: Y2024980006629