CN113139485A - 一种基于深度学习的骨髓细胞分类识别方法、装置及*** - Google Patents

一种基于深度学习的骨髓细胞分类识别方法、装置及*** Download PDF

Info

Publication number
CN113139485A
CN113139485A CN202110474397.8A CN202110474397A CN113139485A CN 113139485 A CN113139485 A CN 113139485A CN 202110474397 A CN202110474397 A CN 202110474397A CN 113139485 A CN113139485 A CN 113139485A
Authority
CN
China
Prior art keywords
bone marrow
power lens
image
smear
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110474397.8A
Other languages
English (en)
Other versions
CN113139485B (zh
Inventor
王冲
郭潇
李晨曦
魏秀丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinxiang Medical University
Original Assignee
Xinxiang Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinxiang Medical University filed Critical Xinxiang Medical University
Priority to CN202110474397.8A priority Critical patent/CN113139485B/zh
Publication of CN113139485A publication Critical patent/CN113139485A/zh
Application granted granted Critical
Publication of CN113139485B publication Critical patent/CN113139485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的骨髓细胞分类识别方法、装置及***，属于医学图像处理领域。该方法包括：(1)利用低倍镜获取骨髓涂片的低倍镜全切片图像；(2)将骨髓涂片的低倍镜全切片图像裁剪为高倍镜成像视野大小的多张低倍镜小图；(3)利用训练好的图像分类模型对步骤(2)得到的低倍镜小图进行分类，得到具有良好视野的低倍镜小图；(4)利用高倍镜对具备良好视野的低倍镜小图扫描成像得到相应的高倍镜图像；(5)利用训练好的目标检测模型对步骤(4)得到的高倍镜图像中的骨髓细胞进行分类及计数；(6)根据骨髓细胞的分类及计数结果进行血液疾病预测。能可靠、自动化地实现骨髓细胞的识别分类，能提高血液疾病预测的准确率。

Description

一种基于深度学习的骨髓细胞分类识别方法、装置及***
技术领域
本发明涉及一种基于深度学习的骨髓细胞分类识别方法、装置及***，属于医学图像处理技术领域。
背景技术
血细胞的显微镜检查和分类一直是血液学诊断的重要基础。对外周血和骨髓样本中的白细胞进行形态学检查是诊断血液疾病(如急性髓系白血病、急性淋系白血病等)的最初步骤，其中，最常用的急性白血病分类方法FAB法就强烈依赖于细胞的形态学。
骨髓中的白细胞形态学分析对血液病的诊断至关重要，但迄今为止，在实际应用中，骨髓涂片中细胞的形态学检查仍然依靠于人工镜检。人工镜检要求观察者有一定的专业知识和经验，需要大量的人力和时间，既繁琐又耗时，且长时间观察易导致眼睛疲劳和人为误差；并且分类部位的选择、细胞难易的取舍这些往往随着观察者的不同而不同，导致人工镜检结果的主观性较强，难以实现标准化，这些因素都会导致分类计数的准确性受到干扰，从而降低镜检结果的可靠性和稳定性。
综上所述，目前依靠人工镜检对骨髓细胞进行形态学检查，不仅繁琐耗时，镜检结果还存在较强的主观性、可靠性较低，导致依据基于形态学的人工镜检结果进行血液疾病预测的准确性也较低。因此，研究一种可靠、自动化的形态学检查方法对骨髓细胞进行形态学检查，对提高血液疾病诊断的整体水平具有重要意义。
发明内容
本发明的目的在于提供一种基于深度学习的骨髓细胞分类识别方法、装置及***，能够可靠、自动化地实现骨髓细胞的识别、分类，能够提高血液疾病预测的准确率。
为了实现上述目的，本发明提供了一种基于深度学习的骨髓细胞分类识别方法，该方法包括以下步骤：
(1)利用低倍镜获取骨髓涂片的低倍镜全切片图像；
(2)将骨髓涂片的低倍镜全切片图像裁剪为高倍镜成像视野大小的多张低倍镜小图；
(3)利用训练好的图像分类模型对步骤(2)得到的低倍镜小图进行分类，得到具有良好视野的低倍镜小图，所述具有良好视野的低倍镜小图为细胞分布均匀、染色好且退化细胞少的低倍镜小图；所述图像分类模型的输入变量为低倍镜小图，输出变量为是否具有良好视野；
(4)利用高倍镜对具备良好视野的低倍镜小图进行扫描成像得到相应的高倍镜图像；
(5)利用训练好的目标检测模型对步骤(4)得到的高倍镜图像中的骨髓细胞进行分类及计数；所述目标检测模型的输入变量是高倍镜图像，输出变量是高倍镜图像中所包含细胞的种类及数量；
(6)根据骨髓细胞的分类及计数结果进行血液疾病预测。
该方法的有益效果是：能够自动实现骨髓涂片的成像及骨髓细胞的分类及计数，并能根据骨髓细胞的分类及计数结果进行血液疾病预测，具有以下有益效果：(1)自动化对骨髓涂片成像，便于多人阅片，病例的保存；(2)自动化实现骨髓细胞的识别、分类，检测效率高、重现性好；(3)骨髓细胞的分类及计数结果准确可靠，能够提高血液疾病预测的准确率；(4)具有自主学习特性。
进一步地，在上述方法中，用于训练所述图像分类模型的训练样本为若干张带标签的低倍镜小图，这些低倍镜小图通过将若干例不同种类血液疾病的骨髓涂片的低倍镜全切片图像裁剪成高倍镜成像视野大小得到，低倍镜小图的标签为具有良好视野或具有较差视野，每张低倍镜小图的标签由专家标记。
进一步地，在上述方法中，用于训练所述目标检测模型的训练样本为若干张带标签的高倍镜图像，这些高倍镜图像通过对图像分类模型的训练样本中具有良好视野的低倍镜小图进行高倍镜扫描后得到，高倍镜图像的标签为高倍镜图像中的细胞种类及位置，每张高倍镜图像的标签由专家标记。
进一步地，在上述方法中，所述训练好的图像分类模型为ResNet-50分类模型。
进一步地，在上述方法中，所述训练好的目标检测模型为Faster R-CNN模型。
本发明还提供了一种基于深度学习的骨髓细胞分类识别装置，该装置包括：
涂片成像装置，所述涂片成像装置包括物镜组、光源及相机，所述物镜组包括生物物镜和电动物镜转换台，所述光源包括LED光源及聚光镜；
CCD控制和数据采集***，所述CCD控制和数据采集***控制连接所述相机；
涂片装载装置，所述涂片装载装置由涂片卡具及驱动电机组成，涂片卡具用于容纳染好色的骨髓涂片，驱动电机用于控制涂片卡具进出涂片成像装置；
电动位移台，所述电动位移台包括XYZ轴电动位移装置，XY轴用于移动骨髓涂片以便对整张骨髓涂片进行成像，Z轴用于骨髓涂片的自动对焦；
多轴位移控制***，所述多轴位移控制***控制连接所述驱动电机、所述物镜组及所述电动位移台；
计算机，所述计算机控制连接所述CCD控制和数据采集***和所述多轴位移控制***，并用于实现上述的基于深度学习的骨髓细胞分类识别方法。
该装置的有益效果是：能够实现一种基于深度学习的骨髓细胞分类识别方法，能够可靠、自动化地实现骨髓细胞的识别、分类，能够提高血液疾病预测的准确率。
进一步地，在上述装置中，该装置还包括大数据中心，所述大数据中心用于实现骨髓涂片图像、骨髓细胞分类及计数结果及血液疾病预测结果的存储。
本发明还提供了一种基于深度学习的骨髓细胞分类识别***，该***包括骨髓涂片图像采集装置、存储器和处理器，所述处理器用于执行存储在所述存储器中的计算机程序以实现上述的基于深度学习的骨髓细胞分类识别方法。
该***的有益效果是：能够实现一种基于深度学习的骨髓细胞分类识别方法，能够可靠、自动化地实现骨髓细胞的识别、分类，能够提高血液疾病预测的准确率。
附图说明
图1是本发明***实施例中骨髓细胞分类识别***的结构示意图；
图2是本发明***实施例中骨髓细胞分类识别方法的流程图；
图3是本发明***实施例中骨髓细胞分类识别方法中图像分类和目标检测的示意图；
图4是本发明***实施例中的骨髓细胞分类示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
***实施例：
本实施例的基于深度学习的骨髓细胞分类识别***(以下简称骨髓细胞分类识别***)，如图1所示，该骨髓细胞分类识别***包括：涂片成像装置、CCD控制和数据采集***、涂片装载装置、电动位移台、多轴位移控制***、计算机、大数据中心。
其中，涂片成像装置主要用于获取清晰的骨髓涂片图像以供后续阅览涂片时使用，涂片成像装置包括物镜组、光源及相机(三者位于同一条直线上)，物镜组包括多个生物物镜(包括但不限于10倍物镜和100倍物镜)和一个电动物镜转换台(用于自动变换成像倍数)；光源包括LED光源及聚光镜，保证实现整个视场均匀的照明；相机为高分辨率相机，用于获取清晰的骨髓涂片图像；
CCD控制和数据采集***与相机连接，用于控制相机进行图像采集；
涂片装载装置用于实现染好色的骨髓涂片的加载，涂片装载装置由涂片卡具及驱动电机组成，其中涂片卡具可容纳1～8个染好色的骨髓涂片，驱动电机用于控制涂片卡具进出整个检测装置；
电动位移台包括XYZ轴电动位移装置，XY轴用于移动骨髓涂片以对整张骨髓涂片进行成像，Z轴用于骨髓涂片的自动对焦；
多轴位移控制***与驱动电机、物镜组及电动位移台连接，用于控制各部件的位移；
计算机与CCD控制和数据采集***和多轴位移控制***相连接，用于控制CCD控制和数据采集***和多轴位移控制***，并用于实现如图2所示的基于深度学习的骨髓细胞分类识别方法(以下简称骨髓细胞分类识别方法)，该方法通过对采集到的骨髓涂片图像进行处理得到骨髓细胞分类及计数结果，并依据骨髓细胞分类及计数结果进行血液疾病预测；
大数据中心实现骨髓涂片图像、骨髓细胞分类及计数结果及血液疾病预测结果的保存。大数据中心包括大数据管理服务器和大数据库，***可通过有线传输或无线传输与大数据管理服务器和大数据库连接，使用者可将扫描的骨髓图片信息上传大数据库，帮助完善深度学习智能软件的功能，提高算法的泛化能力。另外，***还可以与不同的医院***连接，以供更多的专家对细胞信息进行分析。
使用上述***对染好色的骨髓涂片进行成像、分析和计数，计算机作为控制、分析与数据存储的核心，对涂片成像装置中获得的图像中的细胞进行识别、分割与分类，得到细胞的数目、以及每一个细胞的空间位置、轮廓与形态特征。
需要说明的是，在实际应用中，骨髓细胞分类识别***只要包含图像采集装置，存储器和处理器即可，只要图像采集装置具备低倍镜扫描成像和高倍镜扫描成像功能、存储器中存储有能够实现骨髓细胞分类识别方法的计算机程序、处理器能通过执行存储在所述存储器中的计算机程序实现骨髓细胞分类识别方法即可，不局限于本实施例中所给出的具体实现方式。另外，本实施例中给出了一种包含涂片成像装置、CCD控制和数据采集***、涂片装载装置、电动位移台和多轴位移控制***的图像采集装置，这仅是图像采集装置的一种具体实现方式，在实际应用中，图像采集装置还可以采用现有的其他装置，并不局限于本实施例中所给出的具体实现方式。
图2为基于骨髓细胞分类识别***实现骨髓细胞分类识别方法的流程图，具体如下：
(1)染好色的骨髓涂片放入涂片装载装置，涂片成像装置拍摄骨髓涂片以记录涂片的整体信息，整体信息包括骨髓涂片的病人的具体信息，样本编号及涂片概览；
(2)记录骨髓涂片整体信息后将骨髓涂片送入电动位移台，计算机通过多轴位移控制***控制物镜组切换到低倍镜，低倍镜先对整张涂片进行扫描得到骨髓涂片的低倍镜全切片图像；
(3)计算机将骨髓涂片的低倍镜全切片图像自动裁剪为高倍镜成像视野大小的多张低倍镜小图，即将骨髓涂片的低倍镜全切片图像裁剪为若干张低倍镜小图，低倍镜小图的视野正好为高倍镜下所呈现的一个视野；
(4)计算机利用训练好的图像分类模型对步骤(3)得到的低倍镜小图进行分类，挑选出具有良好视野的低倍镜小图(见图3上半部分)，具有良好视野的低倍镜小图主要是指细胞分布均匀、染色好且退化细胞少的图像；
本实施例中，训练好的图像分类模型为ResNet-50分类模型，能够更好的平衡时间与准确率。在实际应用中，也可以根据需要选用其他类型的图像分类模型，例如SVM分类模型或者VGG分类模型等。
本实施例中，利用训练好的ResNet-50分类模型对步骤(3)得到的低倍镜小图进行分类前，首先将步骤(3)得到的低倍镜小图缩放成预设尺寸，针对ResNet-50分类模型而言预设尺寸为224*224；然后将缩放成预设尺寸的低倍镜小图送入训练好的ResNet-50分类模型，得到具有良好视野的低倍镜小图。
ResNet-50分类模型的训练过程具体如下：
本实施例中，用来训练ResNet-50分类模型的样本来源于不同医院的约300余例骨髓涂片的低倍镜全切片图像，覆盖了急性髓系白血病、急性淋系白血病、慢性粒系白血病、慢性淋系白血病、骨髓瘤、巨幼红细胞性贫血共6类血液疾病。
将所有骨髓图片的低倍镜全切片图像裁剪成预设尺寸的若干张低倍镜小图后，由专家根据图像中的细胞分布、染色及退化细胞的数量挑选出具有良好视野的小图及具有较差视野的小图，从而将每张低倍镜小图都打上标签，将这些打上标签后的低倍镜小图作为训练样本对ResNet-50分类模型进行训练，训练过程中，从训练样本中挑选出20％的样本作为测试集，其余样本按照K折交叉验证法随机划分为训练集和验证集。其中，训练集作为网络参数用来训练模型、建立模型，验证集用来在训练过程中评估模型性能，确定网络模型结构，测试集用来最后选择最优的网络模型参数。在得到训练好的ResNet-50分类模型后，利用训练好的ResNet-50分类模型能够自动将输入的低倍镜小图区分为具有良好视野还是具有较差视野。
(5)计算机通过多轴位移***控制物镜组切换到高倍镜，利用高倍镜对具备良好视野的低倍镜小图进行扫描成像，得到高倍镜图像；
(6)计算机利用训练好的目标检测模型对步骤(5)得到的高倍镜图像中的骨髓细胞进行分类及计数(见图3下半部分)，根据骨髓细胞分类及计数结果进行血液疾病预测，并上传结果到大数据中心保存。
本实施例中，训练好的目标检测模型为Faster R-CNN模型，作为其他实施方式，在实际应用中，也可以根据需要选用其他类型的目标检测模型，例如YOLO模型或者Fast R-CNN模型等。
Faster R-CNN模型的训练过程具体如下：
本实施例中，将用来训练ResNet-50分类模型的具有良好视野的低倍镜小图进行高倍镜扫描后得到相应的高倍镜图像，然后由专家结合细胞形态学标准及临床实践，根据高倍镜图像中细胞的大小、颗粒、颜色、胞核等多种特征判断细胞类别，对所有的高倍镜图像中的细胞种类及位置进行标记，从而将每张高倍镜图像都打上标签，将这些打上标签后的高倍镜图像作为Faster R-CNN模型的训练样本。训练样本包含的特征是高倍镜视野中包含的细胞位置、种类及数量，对Faster R-CNN模型进行训练时，输入变量是高倍镜图像，输出变量是高倍镜图像中所包含细胞的种类及数量。
利用训练好的Faster R-CNN模型能将骨髓细胞分为17类(见图4)，包括7大类，分别为：粒细胞、单核细胞、淋巴细胞、红细胞、浆细胞、巨核细胞、瘤细胞。其中，粒细胞分为：原始粒细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞、嗜碱性粒细胞、嗜酸性粒细胞；单核细胞分为：原始及幼稚单核细胞、成熟单核细胞；淋巴细胞分为：原始及幼稚淋巴细胞、成熟淋巴细胞；红细胞分为：原始及幼稚红细胞、中晚幼红细胞。
本实施例中，根据骨髓细胞分类及计数结果进行血液疾病预测时，按照细胞种类的比例，根据血液病分类标准进行区分。
经过测试，通过本实施例的骨髓细胞分类识别***对300余个病例所实现的细胞分类平均准确度达到90％以上，血液疾病预测准确度达到97％以上。
方法实施例：
如图2所示，本实施例的基于深度学习的骨髓细胞分类识别方法(以下简称骨髓细胞分类识别方法)包括以下步骤：
(1)利用低倍镜获取骨髓涂片的低倍镜全切片图像；
(2)将骨髓涂片的低倍镜全切片图像裁剪为高倍镜成像视野大小的多张低倍镜小图；
(3)利用训练好的图像分类模型对步骤(2)得到的低倍镜小图进行分类，得到具有良好视野的低倍镜小图，具有良好视野的低倍镜小图为细胞分布均匀、染色好且退化细胞少的低倍镜小图；图像分类模型的输入变量为低倍镜小图，输出变量为是否具有良好视野；
(4)利用高倍镜对具备良好视野的低倍镜小图进行扫描成像得到相应的高倍镜图像；
(5)利用训练好的目标检测模型对步骤(4)得到的高倍镜图像中的骨髓细胞进行分类及计数；目标检测模型的输入变量是高倍镜图像，输出变量是高倍镜图像中所包含细胞的种类及数量；
(6)根据骨髓细胞的分类及计数结果进行血液疾病预测。
其中，基于深度学习的骨髓细胞分类识别方法的具体实施方式见***实施例，此处不再赘述。
装置实施例：
如图1所示，本实施例的基于深度学习的骨髓细胞分类识别装置包括：
涂片成像装置，涂片成像装置包括物镜组、光源及相机，物镜组包括生物物镜和电动物镜转换台，光源包括LED光源及聚光镜；
CCD控制和数据采集***，CCD控制和数据采集***控制连接相机；
涂片装载装置，涂片装载装置由涂片卡具及驱动电机组成，涂片卡具用于容纳染好色的骨髓涂片，驱动电机用于控制涂片卡具进出涂片成像装置；
电动位移台，电动位移台包括XYZ轴电动位移装置，XY轴用于移动骨髓涂片以便对整张骨髓涂片进行成像，Z轴用于骨髓涂片的自动对焦；
多轴位移控制***，多轴位移控制***控制连接驱动电机、物镜组及电动位移台；
计算机，计算机控制连接CCD控制和数据采集***和多轴位移控制***，并用于实现如图2所示的基于深度学习的骨髓细胞分类识别方法；
大数据中心，大数据中心用于实现骨髓涂片图像、骨髓细胞分类及计数结果及血液疾病预测结果的存储。
其中，基于深度学习的骨髓细胞分类识别装置的具体实施方式参见***实施例中的骨髓细胞分类识别***，此处不再赘述。

Claims (8)

1.一种基于深度学习的骨髓细胞分类识别方法，其特征在于，该方法包括以下步骤：
(1)利用低倍镜获取骨髓涂片的低倍镜全切片图像；
(2)将骨髓涂片的低倍镜全切片图像裁剪为高倍镜成像视野大小的多张低倍镜小图；
(3)利用训练好的图像分类模型对步骤(2)得到的低倍镜小图进行分类，得到具有良好视野的低倍镜小图，所述具有良好视野的低倍镜小图为细胞分布均匀、染色好且退化细胞少的低倍镜小图；所述图像分类模型的输入变量为低倍镜小图，输出变量为是否具有良好视野；
(4)利用高倍镜对具备良好视野的低倍镜小图进行扫描成像得到相应的高倍镜图像；
(5)利用训练好的目标检测模型对步骤(4)得到的高倍镜图像中的骨髓细胞进行分类及计数；所述目标检测模型的输入变量是高倍镜图像，输出变量是高倍镜图像中所包含细胞的种类及数量；
(6)根据骨髓细胞的分类及计数结果进行血液疾病预测。
2.根据权利要求1所述的基于深度学习的骨髓细胞分类识别方法，其特征在于，用于训练所述图像分类模型的训练样本为若干张带标签的低倍镜小图，这些低倍镜小图通过将若干例不同种类血液疾病的骨髓涂片的低倍镜全切片图像裁剪成高倍镜成像视野大小得到，低倍镜小图的标签为具有良好视野或具有较差视野，每张低倍镜小图的标签由专家标记。
3.根据权利要求2所述的基于深度学习的骨髓细胞分类识别方法，其特征在于，用于训练所述目标检测模型的训练样本为若干张带标签的高倍镜图像，这些高倍镜图像通过对图像分类模型的训练样本中具有良好视野的低倍镜小图进行高倍镜扫描后得到，高倍镜图像的标签为高倍镜图像中的细胞种类及位置，每张高倍镜图像的标签由专家标记。
4.根据权利要求1-3任一项所述的基于深度学习的骨髓细胞分类识别方法，其特征在于，所述训练好的图像分类模型为ResNet-50分类模型。
5.根据权利要求1-3任一项所述的基于深度学习的骨髓细胞分类识别方法，其特征在于，所述训练好的目标检测模型为Faster R-CNN模型。
6.一种基于深度学习的骨髓细胞分类识别装置，其特征在于，该装置包括：
涂片成像装置，所述涂片成像装置包括物镜组、光源及相机，所述物镜组包括生物物镜和电动物镜转换台，所述光源包括LED光源及聚光镜；
CCD控制和数据采集***，所述CCD控制和数据采集***控制连接所述相机；
涂片装载装置，所述涂片装载装置由涂片卡具及驱动电机组成，涂片卡具用于容纳染好色的骨髓涂片，驱动电机用于控制涂片卡具进出涂片成像装置；
电动位移台，所述电动位移台包括XYZ轴电动位移装置，XY轴用于移动骨髓涂片以便对整张骨髓涂片进行成像，Z轴用于骨髓涂片的自动对焦；
多轴位移控制***，所述多轴位移控制***控制连接所述驱动电机、所述物镜组及所述电动位移台；
计算机，所述计算机控制连接所述CCD控制和数据采集***和所述多轴位移控制***，并用于实现权利要求1-5任一项所述的基于深度学习的骨髓细胞分类识别方法。
7.根据权利要求6所述的基于深度学习的骨髓细胞分类识别装置，其特征在于，该装置还包括大数据中心，所述大数据中心用于实现骨髓涂片图像、骨髓细胞分类及计数结果及血液疾病预测结果的存储。
8.一种基于深度学习的骨髓细胞分类识别***，其特征在于，该***包括骨髓涂片图像采集装置、存储器和处理器，所述处理器用于执行存储在所述存储器中的计算机程序以实现权利要求1-5任一项所述的基于深度学习的骨髓细胞分类识别方法。
CN202110474397.8A 2021-04-29 2021-04-29 一种基于深度学习的骨髓细胞分类识别方法、装置及*** Active CN113139485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110474397.8A CN113139485B (zh) 2021-04-29 2021-04-29 一种基于深度学习的骨髓细胞分类识别方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110474397.8A CN113139485B (zh) 2021-04-29 2021-04-29 一种基于深度学习的骨髓细胞分类识别方法、装置及***

Publications (2)

Publication Number Publication Date
CN113139485A true CN113139485A (zh) 2021-07-20
CN113139485B CN113139485B (zh) 2023-11-17

Family

ID=76816436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110474397.8A Active CN113139485B (zh) 2021-04-29 2021-04-29 一种基于深度学习的骨髓细胞分类识别方法、装置及***

Country Status (1)

Country Link
CN (1) CN113139485B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其***
CN115578598A (zh) * 2022-10-26 2023-01-06 北京大学第三医院（北京大学第三临床医学院） 一种基于卷积神经网络的骨髓细胞识别方法及其***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553165A (zh) * 2003-12-19 2004-12-08 武汉大学 一种多光谱细胞涂片自动分析仪及其用于宫颈细胞的分析方法
CN105223110A (zh) * 2014-06-27 2016-01-06 苏州惠生电子科技有限公司 一种显微镜定位跟踪成像方法、装置及尿沉渣分析***
CN109815974A (zh) * 2018-12-10 2019-05-28 清影医疗科技（深圳）有限公司 一种细胞病理玻片分类方法、***、设备、存储介质
CN110765855A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理图像处理方法及***
CN111289510A (zh) * 2018-12-07 2020-06-16 苏州迈瑞科技有限公司 体外诊断仪、图像切换方法和可读存储介质
CN112507969A (zh) * 2020-12-24 2021-03-16 重庆德方信息技术有限公司 显微图像细胞自动定位方法
KR20210045091A (ko) * 2019-10-16 2021-04-26 (주)유아이엠디 골수 이미지 분석기를 이용한 골수세포 이미지 촬상 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553165A (zh) * 2003-12-19 2004-12-08 武汉大学 一种多光谱细胞涂片自动分析仪及其用于宫颈细胞的分析方法
CN105223110A (zh) * 2014-06-27 2016-01-06 苏州惠生电子科技有限公司 一种显微镜定位跟踪成像方法、装置及尿沉渣分析***
CN111289510A (zh) * 2018-12-07 2020-06-16 苏州迈瑞科技有限公司 体外诊断仪、图像切换方法和可读存储介质
CN109815974A (zh) * 2018-12-10 2019-05-28 清影医疗科技（深圳）有限公司 一种细胞病理玻片分类方法、***、设备、存储介质
CN110765855A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理图像处理方法及***
KR20210045091A (ko) * 2019-10-16 2021-04-26 (주)유아이엠디 골수 이미지 분석기를 이용한 골수세포 이미지 촬상 방법
CN112507969A (zh) * 2020-12-24 2021-03-16 重庆德方信息技术有限公司 显微图像细胞自动定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI-CHE HUANG ET AL.: "Automatic HCC Detection Using Convolutional Network with Multi-Magnification Input Images", 2019 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE CIRCUITS AND SYSTEMS (AICAS), pages 194 - 198 *
柴政: "宫颈细胞图像拼接和融合技术算法研究及应用", 中国优秀硕士学位论文全文数据库医药卫生科技辑, vol. 2020, no. 02, pages 068 - 29 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其***
CN115578598A (zh) * 2022-10-26 2023-01-06 北京大学第三医院（北京大学第三临床医学院） 一种基于卷积神经网络的骨髓细胞识别方法及其***
CN115578598B (zh) * 2022-10-26 2023-09-05 北京大学第三医院（北京大学第三临床医学院） 一种基于卷积神经网络的骨髓细胞识别方法及其***

Also Published As

Publication number Publication date
CN113139485B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
US6148096A (en) Specimen preview and inspection system
US6430309B1 (en) Specimen preview and inspection system
US6246785B1 (en) Automated, microscope-assisted examination process of tissue or bodily fluid samples
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
US20120134571A1 (en) Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation
US20070031043A1 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
CN113139485B (zh) 一种基于深度学习的骨髓细胞分类识别方法、装置及***
EP2169379A2 (en) Sample imaging apparatus
US10324022B2 (en) Analysis accuracy improvement in automated testing apparatus
Hortinela et al. Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine
CN111504885B (zh) 一种基于机器视觉的全自动血涂片形态分析装置的分析方法
WO2005121863A1 (en) Automated diagnosis of malaria and other infections
CN106706643B (zh) 一种肝癌对比切片检测方法
JP3916395B2 (ja) 検体の予備処理機能を備えた検査体系
CN112825622B (zh) 样本图像拍摄方法以及样本图像拍摄设备
CN111062346A (zh) 一种白细胞自动定位检测及分类识别***及方法
CN112001315A (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
CN112924452A (zh) 一种血液检查辅助***
CN113192080A (zh) 一种基于边缘计算的便携式细胞成像与智能分析***
CN111656247A (zh) 一种细胞图像处理***、方法、自动读片装置与存储介质
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP2007504478A (ja) 分散プロット分布を用いてスライドを分類するシステム
CN115629072A (zh) 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置
WO2023031622A1 (en) System and method for identifying and counting biological species

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant