CN111476754B - 一种骨髓细胞影像人工智能辅助分级诊断***及方法 - Google Patents
一种骨髓细胞影像人工智能辅助分级诊断***及方法 Download PDFInfo
- Publication number
- CN111476754B CN111476754B CN202010126812.6A CN202010126812A CN111476754B CN 111476754 B CN111476754 B CN 111476754B CN 202010126812 A CN202010126812 A CN 202010126812A CN 111476754 B CN111476754 B CN 111476754B
- Authority
- CN
- China
- Prior art keywords
- bone marrow
- cell
- cells
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 22
- 210000002798 bone marrow cell Anatomy 0.000 title claims description 108
- 210000004027 cell Anatomy 0.000 claims description 192
- 238000002372 labelling Methods 0.000 claims description 56
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 44
- 210000001185 bone marrow Anatomy 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 108090000623 proteins and genes Proteins 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 210000004698 lymphocyte Anatomy 0.000 claims description 14
- 208000007502 anemia Diseases 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 12
- 230000036285 pathological change Effects 0.000 claims description 10
- 231100000915 pathological change Toxicity 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 210000003743 erythrocyte Anatomy 0.000 claims description 8
- 210000000267 erythroid cell Anatomy 0.000 claims description 8
- 210000001704 mesoblast Anatomy 0.000 claims description 8
- 230000001575 pathological effect Effects 0.000 claims description 8
- 210000004765 promyelocyte Anatomy 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000010307 cell transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 210000000066 myeloid cell Anatomy 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 210000003714 granulocyte Anatomy 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002062 proliferating effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 206010020718 hyperplasia Diseases 0.000 claims description 2
- 230000002390 hyperplastic effect Effects 0.000 claims description 2
- 210000001616 monocyte Anatomy 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本发明涉及医疗辅助诊断技术领域，公开了一种骨髓细胞影像人工智能辅助分级诊断***及方法，包括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、显示器、储存模块和处理器，所述括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、储存模块和显示器均与处理器通讯连接。本发明能够不仅能够对骨髓细胞影像进行自动的识别、标注、计数分析和分级诊断，还可以对骨髓细胞影像进行手动标注，并将手动标注的结果存入存储模块，***对手动标注的信息进行记忆，逐步提升***对骨髓细胞影像的辨别能力。
Description
技术领域
本发明涉及医疗辅助诊断技术领域，尤其涉及一种骨髓细胞影像人工智能辅助分级诊断***及方法。
背景技术
研究显示，在我国医疗影像数据每年的增长率约为30％，而影像诊断医师数量的年增长率仅约为4.1％，这意味着影像诊断医师在未来将超负荷工作；这必将会大大降低医师的诊断效率，甚至降低诊断准确性；另外，由于医疗影像诊断对医师的诊断经验有着较高要求，而在发展水平较低的地区，经验丰富的诊断医师资源相对匮乏。
随着现代医学科技的发展，各种新技术逐步渗透进医疗领域，为了在一定程度上减轻影像诊断医师压力，影像的人工智能辅助诊断***被提出。人工智能+医学影像是将人工智能技术具体应用在医学影像的诊断上，目前主要分为两部分，一是图像识别，应用于感知环节，其主要目的是将影像这类非机构化数据进行分析，获取一些有意义的信息。二是深度学习，应用于学习和分析环节，是人工智能应用的最核心环节，通过大量的影像数据和诊断数据，不断对神经元网络进行深度学习训练，促使其掌握“诊断”的能力。
申请号为CN 201810866088.3的专利公开了一种人工智能医学影像的肿瘤恶性风险分层辅助诊断***，包括：数据采集模块、数据预处理模块、模型建立模块、模型验证与优化模块、分层诊断模块及数据库平台。该专利的肿瘤恶性风险分层辅助诊断***基于人工智能技术，可实现对肿瘤的恶性风险进行逐次分层，模拟临床诊断思路，以人工智能模型的高精度的良性病变检出和恶性肿瘤检出能力，对影像特征明确的占位性病变进行自动诊断，从而能够实质性辅助占位性病变临床管理决策，改进临床诊断现有工作流程，增加医师诊断信心，减轻工作压力，也减少低恶性风险病变患者的焦虑，大大提高了良性病变及恶性肿瘤的确诊率。
上述专利虽然实现了影像的智能辅助诊断，但其只适用于肺癌、肝癌等细胞影像的智能辅助诊断，对于骨髓细胞的影像，还需要识别根据骨髓细胞中各个细胞的大小、颗粒及核的复杂程度等测量值来初步判断认定细胞特性，由于骨髓细胞中存在粒细胞系、红细胞系和巨核细胞系三大***，各种细胞间有些从大小等数据区别较小，所以上述方案的智能辅助诊断***对于骨髓细胞影像的识别准确率还较低。
发明内容
有鉴于此，本发明的目的是提供一种骨髓细胞影像人工智能辅助分级诊断***及方法，不仅能够对骨髓细胞影像进行自动的识别、标注、计数分析和分级诊断，还可以对骨髓细胞影像进行手动标注，并将手动标注的结果存入存储模块，***对手动标注的信息进行记忆，逐步提升***对骨髓细胞影像的辨别能力。
本发明通过以下技术手段解决上述技术问题：
一种骨髓细胞影像人工智能辅助分级诊断***，包括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、显示器、储存模块和处理器，所述括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、储存模块和显示器均与处理器通讯连接；所述数据采集单元包括用于对骨髓细胞影像进行信息读取的影像采集模块、对患者临床信息进行录入的临床信息采集模块、对患者的基因信息进行录入的基因信息采集模块；所述自动识别与标注单元包括表示标准细胞形态的细胞形态标准模块、对骨髓细胞的形态进行自动提取的骨髓细胞形态提取模块、将骨髓细胞影像的提取信息与细胞形态标准模块进行对比的细胞形态对比模块和对已识别的骨髓细胞形态进行自动标注的细胞形态自动标注模块；所述手动标注单元包括用于医师进行手动操作，对骨髓细胞影像进行手动标注的细胞形态手动标注模块、对医师手动进行标注信息进行储存的标注储存模块；所述数据分析单元包括计算有核细胞与成熟红细胞的比值的粒红细胞比值分析模块、计算每种细胞的数量在整个骨髓细胞总数的占比的细胞占比分析模块。
进一步，所述影像辅助分级诊断单元包括一级、二级、三级、四级，所述一级包括正常骨髓象、非正常骨髓象，所述二级为一大类疾病，包括贫血骨髓象、增生性贫血骨髓象，所述三级为某种疾病，包括IDA骨髓象、CL骨髓象、AL骨髓象，所述四级为某种含特定基因的疾病，包括APL骨髓象、CML骨髓象。
进一步，还包括数据预处理单元，所述数据预处理单元包括对影像采集模块采集的数据进行降噪和数据归一化处理的数据降噪模块、寻找与病理结果对应的病变并对图像进行病变标注的病变标注模块和病变分割模块。
进一步，所述细胞数据统计单元包括细胞分类模块、细胞计数模块。
进一步，所述细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞。
进一步，所述细胞数据分析单元还包括用于排出无用细胞干扰，准确高效的对骨髓细胞进行分类的误差校准模块。
一种骨髓细胞影像人工智能辅助分级诊断***的方法，包括以下步骤：
A1、影像采集模块对骨髓细胞影像进行信息读取，临床信息采集模块对患者的临床信息进行录入，基因信息采集模块对患者的基因信息进行录入；
A2、数据降噪模块对影像采集模块采集的数据进行降噪和数据归一化处理，寻找与病理结果对应的病变并对图像进行病变标注；
A3、细胞形态提取模块对骨髓细胞的形态进行自动提取，细胞形态对比模块将骨髓细胞影像的提取信息与细胞形态标准模块进行对比，细胞形态自动标注模块对已识别的骨髓细胞形态进行自动标注；
A4、医师进行手动操作，利用手动标注模块对骨髓细胞影像进行手动标注，标注储存模块对医师手动进行标注信息进行储存；
A5、误差校准模块排出无用细胞干扰，准确高效的对骨髓细胞进行分类；
A6、细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞；
A7、粒红细胞比值分析模块计算有核细胞与成熟红细胞的比值，细胞占比分析模块计算每种细胞的数量在整个骨髓细胞总数的占比；
A8、影像辅助分级诊断单元将骨髓象分为：一级、二级、三级和四级，一级包括正常骨髓象、非正常骨髓象，二级包括贫血骨髓象、增生性贫血骨髓象，三级包括IDA骨髓象、CL骨髓象、AL骨髓象，四级包括APL骨髓象、CML骨髓象。
进一步，所述误差校准模块的误差校准方法，包括以下步骤：
B1、获取染色的骨髓细胞影像，并将骨髓细胞影像映射到HSV空间中，分离出S通道；
B2、绘制S通道图像的直方图，根据阈值范围将S通道图像二值化，得到骨髓细胞的二值图像，并将二值图像进行形态学处理；
B3、用连通域的方法提取经形态学处理后的骨髓细胞图像的边缘像素点，找到骨髓细胞上下左右的边缘像素点，然后分割骨髓细胞；
B4、挑选分割后骨髓细胞的图像，将每一类中特征明显的细胞图像作为训练细胞输入深度残差网络中，训练网络；
B5、将挑选后剩余的细胞作为测试细胞，用softmax分类器为测试细胞打分；如果最大分数大于或等于设定阈值，则归为某类；如果最大分数小于设定阈值，则归入子分类中；
B6、取步骤S5中训练细胞以及子分类中细胞边缘的任一像素点为极点，建立极坐标系，将所有像素点用极坐标变换一一映射到直角坐标系中；
B7、对于训练细胞，遍历细胞的边缘像素点，每个像素点产生一张变换后的图像，每张图像有n个像素点，即变换n次；对于子分类中细胞，每张图像只变换一次；
B8、将训练细胞变换后的图像作为子分类网络的输入，重新训练深度残差网络，并保存网络参数；将子分类中细胞变换后的图像作为测试数据，用softmax分类器再次打分：如果细胞图像的最大得分大于或等于设定阈值，则该细胞图像归为某一子分类；如果最大得分小于设定阈值，则该细胞图像归为未分类细胞。
进一步，若未分类细胞占比大于设定的未分类阈值，则再将未分类细胞进行分割并分级，包括以下步骤，C1、将为分类细胞取经形态学处理后的骨髓细胞图像的边缘像素点，找到骨髓细胞上下左右的边缘像素点，分割骨髓细胞；
C2、将分割后的骨髓细胞图像作为训练细胞输入深度残差网络，训练网络；
C3、再利用softmax分类器为测试细胞打分，若最大分数大于或等于设定阈值，则归为某类；若最大分数小于设定阈值，则归入最终未分类细胞；
C4、若最终未分类细胞占比小于设定的未分类阈值，则停止，若最终未分类细胞占比大于设定的未分类阈值，则继续C1步骤，直到最终未分类细胞占比小于设定的未分类阈值。
本发明的有益效果：
(1)本发明利用数据采集单元对骨髓细胞影像进行信息读取，对患者的临床信息进行录入，患者的基因信息进行录入；然后利用数据降噪模块对影像采集模块采集的数据进行降噪和数据归一化处理，寻找与病理结果对应的病变并对图像进行病变标注；再对骨髓细胞的形态进行自动提取，细胞形态对比模块将骨髓细胞影像的提取信息与细胞形态标准模块进行对比，细胞形态自动标注模块对已识别的骨髓细胞形态进行自动标注；并将细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞；计算出有核细胞与成熟红细胞的比值，细胞占比分析模块计算每种细胞的数量在整个骨髓细胞总数的占比；最后将影像辅助分级诊断单元将骨髓象分为：一级、二级、三级、四级，整个***能够对骨髓细胞影像进行智能的分级诊断，降低影像医师工作量。
(2)本发明通过手动标注单元和数据储存单元的设置，在使用时，还可以逐一辨别本发明的辅助分级诊断***对细胞识别的准确率，对正确的识别进行确认储存，对有误的识别进行纠错校正；如此，在使用本发明的过程中，还可以逐步提高其骨髓细胞影像的辨识能力，达到真正完全的人工智能辨别影像的目的。
附图说明
图1是本发明一种骨髓细胞影像人工智能辅助分级诊断***的示意图；
图2是本发明的误差校准模块的误差校准方法的流程图。
具体实施方式
以下将结合附图对本发明进行详细说明：
如图1-2所示：
一种骨髓细胞影像人工智能辅助分级诊断***，如图1所示，包括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、显示器、储存模块和处理器，括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、储存模块和显示器均与处理器通讯连接；数据采集单元包括用于对骨髓细胞影像进行信息读取的影像采集模块、对患者临床信息进行录入的临床信息采集模块、对患者的基因信息进行录入的基因信息采集模块；自动识别与标注单元包括表示标准细胞形态的细胞形态标准模块、对骨髓细胞的形态进行自动提取的骨髓细胞形态提取模块、将骨髓细胞影像的提取信息与细胞形态标准模块进行对比的细胞形态对比模块和对已识别的骨髓细胞形态进行自动标注的细胞形态自动标注模块；手动标注单元包括用于医师进行手动操作，对骨髓细胞影像进行手动标注的细胞形态手动标注模块、对医师手动进行标注信息进行储存的标注储存模块；数据分析单元包括计算有核细胞与成熟红细胞的比值的粒红细胞比值分析模块、计算每种细胞的数量在整个骨髓细胞总数的占比的细胞占比分析模块；影像辅助分级诊断单元包括一级、二级、三级和四级，一级包括正常骨髓象、非正常骨髓象，二级包括贫血骨髓象、增生性贫血骨髓象，三级包括IDA骨髓象、CL骨髓象、AL骨髓象，四级包括APL骨髓象、CML骨髓象。还包括数据预处理单元，数据预处理单元包括对影像采集模块采集的数据进行降噪和数据归一化处理的数据降噪模块、寻找与病理结果对应的病变并对图像进行病变标注的病变标注模块和病变分割模块。细胞数据统计单元包括细胞分类模块、细胞计数模块。细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞。细胞数据分析单元还包括用于排出无用细胞干扰，准确高效的对骨髓细胞进行分类的误差校准模块。
本发明的一种骨髓细胞影像人工智能辅助分级诊断***的辅助诊断方法，包括以下步骤：
A1、影像采集模块对骨髓细胞影像进行信息读取，临床信息采集模块对患者的临床信息进行录入，基因信息采集模块对患者的基因信息进行录入；
A2、数据降噪模块对影像采集模块采集的数据进行降噪和数据归一化处理，寻找与病理结果对应的病变并对图像进行病变标注；
A3、细胞形态提取模块对骨髓细胞的形态进行自动提取，细胞形态对比模块将骨髓细胞影像的提取信息与细胞形态标准模块进行对比，细胞形态自动标注模块对已识别的骨髓细胞形态进行自动标注；
A4、医师进行手动操作，利用手动标注模块对骨髓细胞影像进行手动标注，标注储存模块对医师手动进行标注信息进行储存；
A5、误差校准模块排出无用细胞干扰，准确高效的对骨髓细胞进行分类；
A6、细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞；
A7、粒红细胞比值分析模块计算有核细胞与成熟红细胞的比值，细胞占比分析模块计算每种细胞的数量在整个骨髓细胞总数的占比；
A8、影像辅助分级诊断单元将骨髓象分为：一级、二级、三级和四级，一级包括正常骨髓象、非正常骨髓象，二级包括贫血骨髓象、增生性贫血骨髓象，三级包括IDA骨髓象、CL骨髓象、AL骨髓象，四级包括APL骨髓象、CML骨髓象。
其中，本***中的误差校准模块的误差校准方法，如图2所示，包括以下步骤：
B1、获取染色的骨髓细胞影像，并将骨髓细胞影像映射到HSV空间中，分离出S通道；
B2、绘制S通道图像的直方图，根据阈值范围将S通道图像二值化，得到骨髓细胞的二值图像，并将二值图像进行形态学处理；
B3、用连通域的方法提取经形态学处理后的骨髓细胞图像的边缘像素点，找到骨髓细胞上下左右的边缘像素点，然后分割骨髓细胞；
B4、挑选分割后骨髓细胞的图像，将每一类中特征明显的细胞图像作为训练细胞输入深度残差网络中，训练网络；
B5、将挑选后剩余的细胞作为测试细胞，用softmax分类器为测试细胞打分；如果最大分数大于或等于设定阈值，则归为某类；如果最大分数小于设定阈值，则归入子分类中；
B6、取步骤S5中训练细胞以及子分类中细胞边缘的任一像素点为极点，建立极坐标系，将所有像素点用极坐标变换一一映射到直角坐标系中；
B7、对于训练细胞，遍历细胞的边缘像素点，每个像素点产生一张变换后的图像，每张图像有n个像素点，即变换n次；对于子分类中细胞，每张图像只变换一次；
B8、将训练细胞变换后的图像作为子分类网络的输入，重新训练深度残差网络，并保存网络参数；将子分类中细胞变换后的图像作为测试数据，用softmax分类器再次打分：如果细胞图像的最大得分大于或等于设定阈值，则该细胞图像归为某一子分类；如果最大得分小于设定阈值，则该细胞图像归为未分类细胞。若未分类细胞占比大于设定的未分类阈值5％，则再将未分类细胞进行分割并分级，包括以下步骤，
C1、将为分类细胞取经形态学处理后的骨髓细胞图像的边缘像素点，找到骨髓细胞上下左右的边缘像素点，分割骨髓细胞；
C2、将分割后的骨髓细胞图像作为训练细胞输入深度残差网络，训练网络；
C3、再利用softmax分类器为测试细胞打分，若最大分数大于或等于设定阈值，则归为某类；若最大分数小于设定阈值，则归入最终未分类细胞；
C4、若最终未分类细胞占比小于设定的未分类阈值5％，则停止，若最终未分类细胞占比大于设定的未分类阈值，则继续C1步骤，直到最终未分类细胞占比小于设定的未分类阈值。
本发明使用过程如下：
利用数据采集单元对骨髓细胞影像进行信息读取，对患者的临床信息进行录入，患者的基因信息进行录入；然后利用数据降噪模块对影像采集模块采集的数据进行降噪和数据归一化处理，寻找与病理结果对应的病变并对图像进行病变标注；再对骨髓细胞的形态进行自动提取，细胞形态对比模块将骨髓细胞影像的提取信息与细胞形态标准模块进行对比，细胞形态自动标注模块对已识别的骨髓细胞形态进行自动标注；并将细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞；计算出有核细胞与成熟红细胞的比值，细胞占比分析模块计算每种细胞的数量在整个骨髓细胞总数的占比；最后将影像辅助分级诊断单元将骨髓象分为：一级、二级、三级、四级，整个***能够对骨髓细胞影像进行智能的分级诊断，降低影像医师工作量。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (5)
1.一种骨髓细胞影像人工智能辅助分级诊断***，其特征在于：包括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、显示器、储存模块和处理器，所述数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、储存模块和显示器均与处理器通讯连接；
所述数据采集单元包括用于对骨髓细胞影像进行信息读取的影像采集模块、对患者临床信息进行录入的临床信息采集模块、对患者的基因信息进行录入的基因信息采集模块；
所述自动识别与标注单元包括表示标准细胞形态的细胞形态标准模块、对骨髓细胞的形态进行自动提取的骨髓细胞形态提取模块、将骨髓细胞影像的提取信息与细胞形态标准模块进行对比的细胞形态对比模块和对已识别的骨髓细胞形态进行自动标注的细胞形态自动标注模块；
所述手动标注单元包括用于医师进行手动操作，对骨髓细胞影像进行手动标注的细胞形态手动标注模块、对医师手动进行标注信息进行储存的标注储存模块；
所述数据分析分级单元包括计算有核细胞与成熟红细胞的比值的粒红细胞比值分析模块、计算每种细胞的数量在整个骨髓细胞总数的占比的细胞占比分析模块；
还包括数据预处理单元，所述数据预处理单元包括对影像采集模块采集的数据进行降噪和数据归一化处理的数据降噪模块、寻找与病理结果对应的病变并对图像进行病变标注的病变标注模块和病变分割模块；所述细胞数据分析分级单元还包括用于排出无用细胞干扰，准确高效的对骨髓细胞进行分类的误差校准模块；所述细胞数据统计单元包括细胞分类模块、细胞计数模块；
骨髓细胞影像人工智能辅助分级诊断的方法，包括以下步骤：
A1、影像采集模块对骨髓细胞影像进行信息读取，临床信息采集模块对患者的临床信息进行录入，基因信息采集模块对患者的基因信息进行录入；
A2、数据降噪模块对影像采集模块采集的数据进行降噪和数据归一化处理，寻找与病理结果对应的病变并对图像进行病变标注；
A3、细胞形态提取模块对骨髓细胞的形态进行自动提取，细胞形态对比模块将骨髓细胞影像的提取信息与细胞形态标准模块进行对比，细胞形态自动标注模块对已识别的骨髓细胞形态进行自动标注；
A4、医师进行手动操作，利用手动标注模块对骨髓细胞影像进行手动标注，标注储存模块对医师手动进行标注信息进行储存；
A5、误差校准模块排出无用细胞干扰，准确高效的对骨髓细胞进行分类；
A6、细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞；
A7、粒红细胞比值分析模块计算有核细胞与成熟红细胞的比值，细胞占比分析模块计算每种细胞的数量在整个骨髓细胞总数的占比；
A8、影像辅助分级诊断单元将骨髓象分为：一级、二级、三级、四级，一级包括正常骨髓象、非正常骨髓象，二级包括贫血骨髓象、增生性贫血骨髓象，三级包括IDA骨髓象、CL骨髓象、AL骨髓象，四级包括APL骨髓、CML骨髓象。
2.根据权利要求1所述的一种骨髓细胞影像人工智能辅助分级诊断***，其特征在于：所述影像辅助分级诊断单元包括一级、二级、三级、四级，所述一级包括正常骨髓象、非正常骨髓象，所述二级为一大类疾病，包括贫血骨髓象、增生性贫血骨髓象，所述三级的疾病，包括IDA骨髓象、CL骨髓象、AL骨髓象，所述四级的疾病，包括APL骨髓象、CML骨髓象。
3.根据权利要求2所述的一种骨髓细胞影像人工智能辅助分级诊断***，其特征在于：所述细胞计数模块将骨髓细胞分为：中幼红细胞、晚幼红细胞、其他红系细胞、原始细胞、成熟淋巴细胞、其他淋系细胞、单核系细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞和其他粒系细胞。
4.根据权利要求3所述的一种骨髓细胞影像人工智能辅助分级诊断***，其特征在于：所述误差校准模块的误差校准方法，包括以下步骤：
B1、获取染色的骨髓细胞影像，并将骨髓细胞影像映射到HSV空间中，分离出S通道；
B2、绘制S通道图像的直方图，根据阈值范围将S通道图像二值化，得到骨髓细胞的二值图像，并将二值图像进行形态学处理；
B3、用连通域的方法提取经形态学处理后的骨髓细胞图像的边缘像素点，找到骨髓细胞上下左右的边缘像素点，然后分割骨髓细胞；
B4、挑选分割后骨髓细胞的图像，将每一类中特征明显的细胞图像作为训练细胞输入深度残差网络中，训练网络；
B5、将挑选后剩余的细胞作为测试细胞，用softmax分类器为测试细胞打分；如果最大分数大于或等于设定阈值，则归为某类；如果最大分数小于设定阈值，则归入子分类中；
B6、取步骤B5中训练细胞以及子分类中细胞边缘的任一像素点为极点，建立极坐标系，将所有像素点用极坐标变换一一映射到直角坐标系中；
B7、对于训练细胞，遍历细胞的边缘像素点，每个像素点产生一张变换后的图像，每张图像有n个像素点，即变换n次；对于子分类中细胞，每张图像只变换一次；
B8、将训练细胞变换后的图像作为子分类网络的输入，重新训练深度残差网络，并保存网络参数；将子分类中细胞变换后的图像作为测试数据，用softmax分类器再次打分：如果细胞图像的最大得分大于或等于设定阈值，则该细胞图像归为某一子分类；如果最大得分小于设定阈值，则该细胞图像归为未分类细胞。
5.根据权利要求4所述的一种骨髓细胞影像人工智能辅助分级诊断***，其特征在于：若未分类细胞占比大于设定的未分类阈值，则再将未分类细胞进行分割并分级，包括以下步骤，C1、将为分类细胞取经形态学处理后的骨髓细胞图像的边缘像素点，找到骨髓细胞上下左右的边缘像素点，分割骨髓细胞；
C2、将分割后的骨髓细胞图像作为训练细胞输入深度残差网络，训练网络；
C3、再利用softmax分类器为测试细胞打分，若最大分数大于或等于设定阈值，则归为某类；若最大分数小于设定阈值，则归入最终未分类细胞；
C4、若最终未分类细胞占比小于设定的未分类阈值，则停止，若最终未分类细胞占比大于设定的未分类阈值，则继续C1步骤，直到最终未分类细胞占比小于设定的未分类阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126812.6A CN111476754B (zh) | 2020-02-28 | 2020-02-28 | 一种骨髓细胞影像人工智能辅助分级诊断***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126812.6A CN111476754B (zh) | 2020-02-28 | 2020-02-28 | 一种骨髓细胞影像人工智能辅助分级诊断***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476754A CN111476754A (zh) | 2020-07-31 |
| CN111476754B true CN111476754B (zh) | 2022-12-09 |
Family
ID=71748011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010126812.6A Active CN111476754B (zh) | 2020-02-28 | 2020-02-28 | 一种骨髓细胞影像人工智能辅助分级诊断***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476754B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201336B (zh) * | 2020-09-28 | 2023-08-11 | 暨南大学 | 一种基于ai诊断的远程会诊***和方法 |
| CN113408480B (zh) * | 2021-07-13 | 2022-09-30 | 上海交通大学医学院附属瑞金医院 | 基于骨髓细胞形态学的血液疾病人工智能辅助诊断*** |
| CN113945558A (zh) * | 2021-09-29 | 2022-01-18 | 杭州智微信息科技有限公司 | 一种用于判断骨髓增生程度的方法 |
| CN114697547A (zh) * | 2022-02-14 | 2022-07-01 | 上海奕瑞光电子科技股份有限公司 | 影像诊断***及影像风险处理方法 |
| CN115578598B (zh) * | 2022-10-26 | 2023-09-05 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于卷积神经网络的骨髓细胞识别方法及其*** |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1646910A (zh) * | 2002-04-09 | 2005-07-27 | 学校法人东海大学 | 白血病、前白血病或非白血病性恶性血液疾病的判定方法以及诊断药 |
| CN101705302A (zh) * | 2009-11-05 | 2010-05-12 | 北京大学人民医院 | 一种辅助诊断多发性骨髓瘤的试剂盒 |
| CN102298700A (zh) * | 2011-06-09 | 2011-12-28 | 华东师范大学 | 一种骨髓病理图像中细胞识别与定位方法 |
| CN105821002A (zh) * | 2016-02-16 | 2016-08-03 | 复旦大学附属华山医院 | 伴有add(11)(q23)染色体异常的高侵袭性人急性B淋巴细胞白血病细胞株 |
| WO2017046747A1 (en) * | 2015-09-15 | 2017-03-23 | Acerta Pharma B.V. | Therapeutic combinations of a cd19 inhibitor and a btk inhibitor |
| WO2017126420A1 (ja) * | 2016-01-19 | 2017-07-27 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| CN108038472A (zh) * | 2017-12-27 | 2018-05-15 | 杭州智微信息科技有限公司 | 一种骨髓检查领域软件快速查找异常细胞的交互方法 |
| CN108338990A (zh) * | 2018-04-11 | 2018-07-31 | 中国医学科学院基础医学研究所 | 水溶性雄黄固体分散体在制备骨髓造血干/祖细胞红系分化诱导剂中的应用 |
| CN108961208A (zh) * | 2018-05-21 | 2018-12-07 | 江苏康尚生物医疗科技有限公司 | 一种聚集白细胞分割计数***及方法 |
| CN109166105A (zh) * | 2018-08-01 | 2019-01-08 | 中国人民解放军***南京总医院 | 人工智能医学影像的肿瘤恶性风险分层辅助诊断*** |
| WO2019016169A1 (en) * | 2017-07-16 | 2019-01-24 | Imec Vzw | RECOGNITION OF CELLS |
| CN109360198A (zh) * | 2018-10-08 | 2019-02-19 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的骨髓细胞分类方法及分类装置 |
| CN109754398A (zh) * | 2019-01-14 | 2019-05-14 | 武汉兰丁医学高科技有限公司 | 一种基于计算机的骨髓白细胞自动标记方法及*** |
| CN110060229A (zh) * | 2019-05-29 | 2019-07-26 | 武汉兰丁医学高科技有限公司 | 一种骨髓白细胞的细胞自动定位分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160223554A1 (en) * | 2011-08-05 | 2016-08-04 | Nodality, Inc. | Methods for diagnosis, prognosis and methods of treatment |
-
2020
- 2020-02-28 CN CN202010126812.6A patent/CN111476754B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1646910A (zh) * | 2002-04-09 | 2005-07-27 | 学校法人东海大学 | 白血病、前白血病或非白血病性恶性血液疾病的判定方法以及诊断药 |
| CN101705302A (zh) * | 2009-11-05 | 2010-05-12 | 北京大学人民医院 | 一种辅助诊断多发性骨髓瘤的试剂盒 |
| CN102298700A (zh) * | 2011-06-09 | 2011-12-28 | 华东师范大学 | 一种骨髓病理图像中细胞识别与定位方法 |
| WO2017046747A1 (en) * | 2015-09-15 | 2017-03-23 | Acerta Pharma B.V. | Therapeutic combinations of a cd19 inhibitor and a btk inhibitor |
| WO2017126420A1 (ja) * | 2016-01-19 | 2017-07-27 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| CN105821002A (zh) * | 2016-02-16 | 2016-08-03 | 复旦大学附属华山医院 | 伴有add(11)(q23)染色体异常的高侵袭性人急性B淋巴细胞白血病细胞株 |
| WO2019016169A1 (en) * | 2017-07-16 | 2019-01-24 | Imec Vzw | RECOGNITION OF CELLS |
| CN108038472A (zh) * | 2017-12-27 | 2018-05-15 | 杭州智微信息科技有限公司 | 一种骨髓检查领域软件快速查找异常细胞的交互方法 |
| CN108338990A (zh) * | 2018-04-11 | 2018-07-31 | 中国医学科学院基础医学研究所 | 水溶性雄黄固体分散体在制备骨髓造血干/祖细胞红系分化诱导剂中的应用 |
| CN108961208A (zh) * | 2018-05-21 | 2018-12-07 | 江苏康尚生物医疗科技有限公司 | 一种聚集白细胞分割计数***及方法 |
| CN109166105A (zh) * | 2018-08-01 | 2019-01-08 | 中国人民解放军***南京总医院 | 人工智能医学影像的肿瘤恶性风险分层辅助诊断*** |
| CN109360198A (zh) * | 2018-10-08 | 2019-02-19 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的骨髓细胞分类方法及分类装置 |
| CN109754398A (zh) * | 2019-01-14 | 2019-05-14 | 武汉兰丁医学高科技有限公司 | 一种基于计算机的骨髓白细胞自动标记方法及*** |
| CN110060229A (zh) * | 2019-05-29 | 2019-07-26 | 武汉兰丁医学高科技有限公司 | 一种骨髓白细胞的细胞自动定位分割方法 |
Non-Patent Citations (7)
| Title |
|---|
| "Automatic Bone Marrow Cell Identification and Classification By Deep Neural Network";Ta-ChuanYuMD 等;《Blood》;20191113;第134卷;2084 * |
| "CAP骨髓细胞形态学能力比对检验结果分析";赵瑾 等;《标记免疫分析与临床》;20180525;第25卷(第5期);718-721+726 * |
| "CD82在儿童急性白血病中异常表达及作用机制研究";纪红燕;《中国博士学位论文全文数据库 (医药卫生科技辑)》;20190915(第（2019）09期);E069-24 * |
| "Segmentation and Classification of Bone Marrow Cells Images Using Contextual Information for Medical Diagnosis of Acute Leukemias ";Reta C等;《PLoS One》;20150624;第10卷(第6期);1-18 * |
| "为你揭秘——检验科细胞形态学检查";吴胜;《健康人生》;20191015(第（2019）10期);39-40 * |
| "定量探讨双源双能量CT在正常椎体骨髓成像及白血病疗效评估中的价值研究";王红;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20190915(第（2019）09期);E060-241 * |
| "面向急性白血病诊断的骨髓细胞形态学自动检验关键技术研究";师婷婷;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20181215(第（2018）12期);I138-1486 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476754A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476754B (zh) | 一种骨髓细胞影像人工智能辅助分级诊断***及方法 | |
| CN108573490B (zh) | 一种针对肿瘤影像数据的智能读片*** | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断*** | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及*** | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| Dundar et al. | Computerized classification of intraductal breast lesions using histopathological images | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN107280697A (zh) | 基于深度学习和数据融合的肺结节分级判定方法和*** | |
| CN111028206A (zh) | 一种基于深度学习***癌自动检测和分类*** | |
| CN108305249A (zh) | 基于深度学习的全尺度病理切片的快速诊断和评分方法 | |
| CN110335665A (zh) | 一种应用于医学图像辅助诊断分析的以图搜图方法及*** | |
| CN109635846A (zh) | 一种多类医学图像判断方法和*** | |
| Gordon et al. | Image segmentation of uterine cervix images for indexing in PACS | |
| CN102737379A (zh) | 一种基于自适应学习的ct图像分割方法 | |
| CN109003269A (zh) | 一种能提高医生效率的医学影像病灶的标注提取方法 | |
| CN110910371A (zh) | 基于生理指标和影像融合的肝肿瘤自动分类方法及装置 | |
| Bai et al. | Automatic segmentation of cervical region in colposcopic images using K-means | |
| CN112767355A (zh) | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 | |
| CN112085113B (zh) | 一种重症肿瘤影像识别***及方法 | |
| CN112419396B (zh) | 一种甲状腺超声视频自动分析方法与*** | |
| CN112579808B (zh) | 数据标注处理方法及装置、*** | |
| WO2013019856A1 (en) | Automated malignancy detection in breast histopathological images | |
| CN111986148B (zh) | 一种***数字病理图像的快速Gleason评分*** | |
| CN111738997A (zh) | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 | |
| CN110379509A (zh) | 一种基于dssd的乳腺结节辅助诊断方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |