CN116343205A - 一种浮游藻类细胞荧光-明场显微图像自动标注方法 - Google Patents

一种浮游藻类细胞荧光-明场显微图像自动标注方法 Download PDF

Info

Publication number
CN116343205A
CN116343205A CN202310217988.6A CN202310217988A CN116343205A CN 116343205 A CN116343205 A CN 116343205A CN 202310217988 A CN202310217988 A CN 202310217988A CN 116343205 A CN116343205 A CN 116343205A
Authority
CN
China
Prior art keywords
image
bright field
mask
images
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310217988.6A
Other languages
English (en)
Inventor
赵南京
贾仁庆
殷高方
徐敏
胡翔
黄朋
梁天泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202310217988.6A priority Critical patent/CN116343205A/zh
Publication of CN116343205A publication Critical patent/CN116343205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种浮游藻类细胞荧光‑明场显微图像自动标注方法，该方法首先同步测量浮游藻类细胞的荧光和明场的显微图像，然后对荧光图像进行数字图像形态处理，通过图像处理技术自动绘制浮游藻类细胞明场显微图像的轮廓，将荧光图像转化为训练实例分割MaskRCNN网络所需的掩码图像，最后用自动生成的标注掩码图训练MaskRCNN网络，为浮游藻类细胞识别提供了一种有效的手段。本发明的自动标注方法，大幅度的减少甚至替代了人工标注的工作量。

Description

一种浮游藻类细胞荧光-明场显微图像自动标注方法
技术领域
本发明属于资源与环境领域，尤其是浮游植物图像识别相关领域，具体涉及一种浮游藻类细胞荧光-明场显微图像自动标注方法。
背景技术
浮游藻类多样性监测是水质生物评价的重要组成部分，对保护水生态环境具有重要意义。传统的显微镜检藻类群落鉴定方法需要专业人员操作，且费时费力。不同浮游藻类细胞图像之间有非常明显的形态差异，基于图像识别的浮游藻类监测方法通过提取藻细胞图像的形态、颜色、纹理特征完成藻的分类，在浮游藻类细胞监测中起着举足轻重的作用。
图像分割是识别浮游藻细胞图像的重要步骤，传统的图像分割方法如阈值法、边缘监测法等的分割结果不稳定，容易将完整的藻细胞分割成几部分以及将背景杂质分割出来。近年来，基于卷积神经网络的图像识别方法如Mask RCNN在浮游藻细胞图像分割中得到了较好的应用。然而，训练卷积神经网络需要大量的标注数据，而目前标注浮游藻类细胞图像仍然是依赖于在LabelMe等标注工具中通过人工用鼠标绘制藻细胞轮廓，标注浮游植物显微图像的工作量巨大，已成为限制基于图像识别技术的浮游藻类细胞监测方法发展的瓶颈难题。
发明内容
本发明公开了利用浮游藻类荧光显微图像对明场显微图像进行自动标注的方法，替代了传统的需要在LabelMe等标注工具中人工绘制藻细胞轮廓的工作量。
本发明的技术方案为：一种浮游藻类细胞荧光-明场显微图像自动标注方法，包括如下步骤：
步骤(1)在荧光-明场双通道显微成像仪器中同步采集浮游藻类细胞的显微荧光图像和显微明场图像；
步骤(2)将荧光图像转化为灰度图，并采用大律法将灰度荧光图像转化为二值化图像；
步骤(3)使用十字形结构元M对二值化图像进行形态学开运算，以消除由于噪声因素引起的孤立点：
步骤(4)使用十字形结构元M对二值化图像进行形态学膨胀操作；
步骤(5)确定二值图像中的连接区域，从而实现自动绘制浮游藻细胞的轮廓，并生成训练Mask RCNN网络所需的实例掩码图；
步骤(6)标注每个实例掩码图对应的藻种，构建浮游藻类细胞图像数据集；
步骤(7)首先使用COCO数据集预训练Mask RCNN网络，然后在预训练模型的基础上，用浮游藻类细胞图像数据集训练Mask RCNN网络；
步骤(8)将采集的浮游藻细胞图像输入训练好的Mask RCNN模型，输出浮游藻细胞图像的边框、掩码图和浮游藻类细胞的种类。
有益效果：
本发明针对浮游藻类细胞分割网络存在着数据标注严重依赖于人工标注且人工标注成本高的问题，提出利用浮游藻类细胞的荧光显微图像对明场显微图像进行自动标注的方法。该方法通过在荧光-明场双通道成像***中同步测量浮游藻类细胞的明场图像和荧光图像，对荧光图像进行数字图像形态处理后，将荧光图像转化为训练实例分割MaskRCNN模型所需的掩码图像，从而实现有效快速的自动生成掩码图，替代人工标注的工作量，最后用自动生成的标注掩码图训练Mask RCNN网络，为浮游藻类细胞识别提供了一种有效的手段。
附图说明
图1本发明的方法流程图；
图2Mask RCNN网络结构示意图；
图3念珠藻的明场图像与荧光图像效果图，a.明场图像，b.荧光图像，c.明场图像与荧光图像的加法融合，d.自动绘制的掩码图；
图4多甲藻的明场图像与荧光图像效果图，a.明场图像，b.荧光图像，c.明场图像与荧光图像的加法融合，d.自动绘制的掩码图；
图5湖生卵囊藻的明场图像与荧光图像效果图；a.明场图像，b.荧光图像，c.明场图像与荧光图像的加法融合，d.自动绘制的掩码图；
图6本发明的自动标注方法集成到LabelMe标注工具后的效果图，a.念珠藻，b.多甲藻c.湖生卵囊藻；
图7Mask RCN分割效果图；a.念珠藻，b.多甲藻，c.湖生卵囊藻。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明公开了利用浮游藻类细胞荧光图像对明场显微图像的轮廓进行自动标注的方法，如图1所示，该方法包括如下步骤：
步骤(1)在荧光-明场双通道显微成像仪器中同步采集浮游藻类细胞的显微荧光图像和显微明场图像；
步骤(2)将荧光图像转化为灰度图，并采用大律法将灰度荧光图像转化为二值化图像。在经过本步骤处理后的二值化图像B中，亮区域即为浮游藻类细胞所在区域，黑区域即为背景区域；
步骤(3)使用十字形结构元M对二值化图像B进行形态学开运算，以消除由于噪声等因素引起的孤立点：
Figure BDA0004115624260000031
步骤(4)为确保自动绘制的轮廓可包含整个藻细胞，使用十字形结构元M对二值化图像B1进行形态学膨胀操作：
Figure BDA0004115624260000032
步骤(5)通过Python-Opencv图像处理库中的cv2.findContours方法确定二值图像B2中的连接区域，从而实现自动绘制浮游藻细胞的轮廓，并生成训练Mask RCNN网络所需的实例掩码图。其网络结构如图2所示，Mask RCNN是在Faster RCNN基础上发展出来的一种实例分割模型，通过在输出端使用全连接网络FCN，实现了同时输出浮游藻类细胞的边界框、分割的掩码图以及分类结果；
步骤(6)使用LabelMe软件标注每个掩码实例的藻种，构建浮游藻类细胞图像数据集；
步骤(7)COCO数据集是一种大规模的目标检测和分割的图像数据集。为加速模型的收敛速度，首先使用COCO数据集预训练Mask RCNN网络，然后在预训练模型的基础上，用浮游藻类细胞图像数据集训练网络；
步骤(8)将采集的浮游藻细胞图像输入训练好的Mask RCNN模型，输出浮游藻细胞图像的边框、掩码图和浮游藻类细胞的种类。
参见图3所示，为自动标注的效果图，其中，展示了念珠藻的明场图像与荧光图像效果图，图3中a为明场图像，b为荧光图像，c为明场图像与荧光图像的加法融合，d为自动绘制的掩码图；
本发明对荧光图像进行数字图像处理以自动获取藻细胞的掩码图，为便于标注明场图像的种类，通过修改标注工具LabelMe的源代码，如图6中a所示，当打开明场图像时，根据路径自动加载荧光图像并绘制掩码图，然后右击藻细胞所在区域并点击“Edit Label”按钮，即可标注藻细胞的种类。
参见图4，为多甲藻的明场图像与荧光图像效果图，其中，a为明场图像，b为荧光图像，c为明场图像与荧光图像的加法融合，d为自动绘制的掩码图。
参见图5，为湖生卵囊藻的明场图像与荧光图像效果图，其中，a为明场图像，b为荧光图像，c为明场图像与荧光图像的加法融合，d为自动绘制的掩码图。
参见图6，将本发明的自动绘制浮游藻类细胞轮廓的方法集成到LabelMe标注中，当打开明场图像时，根据路径自动加载荧光图像并绘制边缘轮廓如图6所示。用户可通过右击弹出框中修改浮游藻的种类。图6为本发明的自动标注方法集成到LabelMe标注工具后的效果图，其中a为念珠藻，b为多甲藻，c为湖生卵囊藻；
参见图7，为Mask RCN分割效果图。Mask RCNN模型训练完成之后，将浮游藻细胞的明场图像输入到Mask RCNN模型，可得到浮游藻的实例分割结果，包括藻的种类、掩码图、边框三个信息。分割结果的示例图如图7所示：其中，a为念珠藻，b为多甲藻，c为湖生卵囊藻。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种浮游藻类细胞荧光-明场显微图像自动标注方法，其特征在于，包括如下步骤：
步骤(1)在荧光-明场双通道显微成像仪器中同步采集浮游藻类细胞的显微荧光图像和显微明场图像；
步骤(2)将荧光图像转化为灰度图，并采用大律法将灰度荧光图像转化为二值化图像；
步骤(3)使用十字形结构元M对二值化图像进行形态学开运算，以消除由于噪声因素引起的孤立点：
步骤(4)使用十字形结构元M对二值化图像进行形态学膨胀操作；
步骤(5)确定二值图像中的连接区域，从而实现自动绘制浮游藻细胞的轮廓，并生成训练MaskRCNN网络所需的实例掩码图；
步骤(6)，标注每个实例掩码图对应的藻种，构建浮游藻类细胞图像数据集；
步骤(7)，首先使用COCO数据集预训练MaskRCNN网络，然后在预训练模型的基础上，用浮游藻类细胞图像数据集训练MaskRCNN网络；
步骤(8)将采集的浮游藻细胞图像输入训练好的MaskRCNN模型，输出浮游藻细胞图像的边框、掩码图和浮游藻类细胞的种类。
2.根据权利要求1所述的一种浮游藻类细胞荧光-明场显微图像自动标注方法，其特征在于，所述步骤(2)包括：
在经过本步骤处理后的二值化图像B中，亮区域即为浮游藻类细胞所在区域，黑区域即为背景区域。
3.根据权利要求1所述的一种浮游藻类细胞荧光-明场显微图像自动标注方法，其特征在于，所述步骤(4)使用十字形结构元M对二值化图像进行形态学膨胀操作，确保自动绘制的轮廓包含整个藻细胞。
CN202310217988.6A 2023-03-08 2023-03-08 一种浮游藻类细胞荧光-明场显微图像自动标注方法 Pending CN116343205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310217988.6A CN116343205A (zh) 2023-03-08 2023-03-08 一种浮游藻类细胞荧光-明场显微图像自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310217988.6A CN116343205A (zh) 2023-03-08 2023-03-08 一种浮游藻类细胞荧光-明场显微图像自动标注方法

Publications (1)

Publication Number Publication Date
CN116343205A true CN116343205A (zh) 2023-06-27

Family

ID=86890836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310217988.6A Pending CN116343205A (zh) 2023-03-08 2023-03-08 一种浮游藻类细胞荧光-明场显微图像自动标注方法

Country Status (1)

Country Link
CN (1) CN116343205A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645390A (zh) * 2023-07-27 2023-08-25 吉林省星博医疗器械有限公司 一种荧光图像细胞快速分割方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645390A (zh) * 2023-07-27 2023-08-25 吉林省星博医疗器械有限公司 一种荧光图像细胞快速分割方法和***
CN116645390B (zh) * 2023-07-27 2023-10-03 吉林省星博医疗器械有限公司 一种荧光图像细胞快速分割方法和***

Similar Documents

Publication Publication Date Title
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
Jayakody et al. Microscope image based fully automated stomata detection and pore measurement method for grapevines
Pennekamp et al. Implementing image analysis in laboratory‐based experimental systems for ecology and evolution: a hands‐on guide
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN112508079B (zh) 海洋锋面的精细化识别方法、***、设备、终端及应用
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和***
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN111210447B (zh) 一种苏木精-伊红染色病理图像层次分割的方法及终端
CN116343205A (zh) 一种浮游藻类细胞荧光-明场显微图像自动标注方法
CN112381082A (zh) 基于深度学习的表格结构重建方法
CN115294377A (zh) 一种道路裂缝的识别***及方法
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN116310548A (zh) 一种进口种子产品中的入侵植物种子检测方法
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法
CN103177244A (zh) 水下显微图像中快速检测目标生物的方法
Bergum et al. Automatic in-situ instance and semantic segmentation of planktonic organisms using Mask R-CNN
CN115841557B (zh) 基于数字孪生技术的智能起重机操作环境构建方法
Li et al. A novel denoising autoencoder assisted segmentation algorithm for cotton field
CN113569835A (zh) 一种基于目标检测和分割识别的水表数值读取方法
Kromp et al. Machine learning framework incorporating expert knowledge in tissue image annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination