CN111504885B - 一种基于机器视觉的全自动血涂片形态分析装置的分析方法 - Google Patents
一种基于机器视觉的全自动血涂片形态分析装置的分析方法 Download PDFInfo
- Publication number
- CN111504885B CN111504885B CN202010261704.XA CN202010261704A CN111504885B CN 111504885 B CN111504885 B CN 111504885B CN 202010261704 A CN202010261704 A CN 202010261704A CN 111504885 B CN111504885 B CN 111504885B
- Authority
- CN
- China
- Prior art keywords
- scale
- sliding seat
- image
- focusing
- connecting plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004369 blood Anatomy 0.000 title claims abstract description 55
- 239000008280 blood Substances 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 32
- 210000000265 leukocyte Anatomy 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 10
- 210000003855 cell nucleus Anatomy 0.000 claims description 37
- 210000003743 erythrocyte Anatomy 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 20
- 210000004027 cell Anatomy 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 238000003825 pressing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 210000000805 cytoplasm Anatomy 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004043 dyeing Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 claims description 2
- 210000003651 basophil Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 210000003979 eosinophil Anatomy 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000003064 k means clustering Methods 0.000 claims description 2
- 210000004698 lymphocyte Anatomy 0.000 claims description 2
- 210000001616 monocyte Anatomy 0.000 claims description 2
- 210000000440 neutrophil Anatomy 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 1
- 210000004940 nucleus Anatomy 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 210000000601 blood cell Anatomy 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 208000019838 Blood disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 208000018706 hematopoietic system disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1488—Methods for deciding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1497—Particle shape
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Dispersion Chemistry (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于机器视觉的全自动血涂片形态分析***,涉及医疗器械技术领域,包括光学***单元、上位机软件处理单元、下位机硬件单元。光学***单元包括生物显微成像***和CCD生物相机。上位机软件处理单元包括用户控制界面模块、血涂片图像处理模块、上下位机通信模块。下位机硬件单元包括对焦运动模块、图像采集运动模块。通过光学***单元进行自动对焦,采集血涂片数字图像,经过上位机软件处理单元的机器学***高的全自动血涂片形态分析***。
Description
技术领域
本发明涉及智能医疗器械技术领域,具体涉及机械结构和图像处理领域。
背景技术
血液细胞分析是最为重要和普及的临床检验项目之一,对许多疾病的预防、诊断、鉴别诊断及预后判断起着重要作用。血常规检验时,比较常用的检验方式就是全自动血细胞分析仪,该检验方式具有比较高的精度,操作简单,反应速度快,所以临床中使用比较多,可是单纯依靠全自动血细胞分析仪来进行检验,对细胞形态的识别准确度比较低。所以,该检验方式只能作为形态学的初步筛查方式。对于全自动血细胞分析仪筛选的异常样本,再使用显微镜复查,获得更加精确的结果,降低临床误诊和漏诊的几率。
随着技术日新月异的发展,单纯依靠血液分析仪来进行检测已经逐渐不满足医疗需求,医院对于血涂片细胞形态智能分析***的需求日益强烈,随着计算机技术和人工智能的发展,模拟人通过显微镜看到细胞图片进行分析的仪器已经具备了诞生的技术条件。早期白细胞形态学分析及分类方法主要依赖于医学专家,首先人工方法抽取人体血液,经染色制成血涂片,然后医学专家在显微镜油镜下对血涂片进行白细胞形态学分析和分类,最后依据分析和分类的结果来判断疾病。这种传统的镜检方法效率比较低,对医学专家的要求比较高,识别结果依赖人的主观判断,在临床血液病诊断上,存在很大的局限性。目前的医院中,对白细胞分类主要借助于自动化血液分析仪和血涂片的手工镜检,通过自动化血液分析仪采集图像自动分析,然后在人工复核下进行细胞分类。自动化血液分析仪减轻了细胞室检验人员的劳动量,但其检测速度慢且白细胞的分类精度需进一步的提高;手工镜检具有巨大的工作量,用自动化血细胞形态学分析及分类设备代替手工镜检的呼声日渐高涨。目前针对血涂片的观察自动化程度不够高,成本高,所需人力资源比较多,无法满足中国广大患者的治疗需求。
发明内容
针对上面的问题,为了弥补上述传统血液分析仪缺点,急需一种具有自动获取白细胞图像、自动识别白细胞、自动分类和计数白细胞的全自动血涂片形态分析***。
本发明的目的是通过下列技术方案来实现的:
一种基于机器视觉的全自动血涂片形态分析装置,该装置包括:底座、下位机硬件单元、光学***单元、上位机软件处理单元;底座包括座体和竖直设置于座体上的杆体;光学***单元获取数据并传输数据给上位机软件处理单元,上位机软件处理单元控制下位机硬件单元运动,下位机硬件单元承载光学***单元进行采图;
所述的光学***单元包括:CCD生物相机、单筒显微成像***、光源支架;所述光源支架为环装结构,环绕于竖直设置的单筒显微成像***外壁;沿光源支架的下表面设置一圈光源,用于照射血涂片;所述CCD生物相机设置于单筒显微成像***的尾部,用于拍摄放大的显微图像,CCD生物相机上设置有数据线接口,用于传输数据各上位机软件处理单元;
所述的下位机硬件单元包括:对焦运动模块、图像采集运动模块;所述对焦运动模块包括:单筒滑动座、调焦机构;单筒滑动座一端与光源支架固定,另一端与调焦机构滑动连接,且只可沿竖直滑动;调焦机构设置于底座的杆体上,通过移动单筒滑座显现单筒显微成像***的对焦;
图像采集运动模块包括:载物台、Y向移动机构、X向移动机构、血涂片夹持机构;
所述Y向移动机构包括:Y向电机、Y向丝杆滑套、Y向滑块连接板、Y向光电挡板、标尺Y滑座、Y向标尺基座、Y向传感器、Y向电机固定板;Y向电机通过Y向电机固定板固定于载物台的一角,Y向电机的输出轴为Y向的丝杆,Y向丝杆滑套与Y向电机的丝杆配合, Y向丝杆滑套与Y向滑块连接板的一端固定连接,Y向滑块连接板的另一端固定于标尺Y滑座的上表面,Y向标尺基座固定于载物台上,标尺Y滑座下表面与Y向标尺基座的上表面滑动连接且只可沿Y向滑动,标尺Y滑座在Y向的长度长于Y向标尺基座;Y向传感器为U形固定于载物台上,Y向光电挡板为L形的片状结构,长边紧靠Y向滑块连接板固定于标尺Y 滑座的上表面,短边朝下,随着标尺Y滑座的滑动带动Y向光电挡板移动的过程中正好从Y 向传感器的U形口中穿过,Y向传感器用于确定Y向移动的位置;
所述X向移动机构包括:X向电机、X向丝杆滑套、X向滑块连接板、X向光电挡板、X向传感器、X向标尺基座、X向电机固定板、标尺X滑座、标尺横向连接板;X向电机通过X 向电机固定板固定于标尺Y滑座的上表面,X向电机的输出轴为X向的丝杆,X向丝杆滑套与X向电机的丝杆配合,X向丝杆滑套与X向滑块连接板固定连接;X向传感器为U形固定于标尺Y滑座的上表面,位于X向电机固定板和Y向光电挡板之间,X向光电挡板固定于X 向滑块连接板上,其伸出的光电挡板竖直朝向X向传感器,X向光电挡板沿X向移动过程中正好从X向传感器的U形口中穿过;X向标尺基座下表面紧贴于载物台的上表面,X向标尺基座上表面与Y向光电挡板末端的下表面固定连接;标尺X滑座下表面紧贴于载物台上表面,标尺横向连接板一端与X向滑块连接板固定连接,另一端与标尺X滑座固定连接;标尺X滑座的前侧壁与X向标尺基座的后侧壁滑动连接,且只可沿X向滑动;
血涂片夹持机构包括:左压片、右压片、压刀、档片,左压片和右压片分别设置于标尺X 滑座的左、右两侧,左压片和右压片结构相同,包括横杆部和弹性部,弹性部为波状的弹性片,波的顶点为施压点,弹性片设置于横杆部下表面的一侧,横杆部下表面的另一侧与标尺X滑座固定连接;压刀为獠牙形的弹性片状结构,獠牙形结构的根部设置于标尺X滑座的左侧且根部下表面不与载物台上表面接触,其尖部下表面紧贴于载物台上表面;档片设置于标尺X 滑座的右侧且其下表面紧贴于载物台上表面。
进一步的,调焦机构包括:本体、调焦电机、调焦电机固定板、细准焦螺旋、光传感器、调焦光电挡板,本体固定于底座的杆体上,调焦电机通过调焦电机固定板固定于本体上,调焦电机的输出轴通过皮带与细准焦螺旋传动连接,光传感器设置于本体上,调焦光电挡板设置于单筒滑动座上,单筒滑动座内有词条与细准焦螺旋上的齿轮啮合,随着单筒滑动座的滑动调焦光电挡板可触发光传感器。
进一步的,X向丝杆滑套和Y向丝杆滑套结构相同,包括三角板和圆筒,圆筒底面设置于三角板的一侧的中心,三角板的三个顶点处设置安装孔,通过该安装孔与X向滑块连接板或Y向滑块连接板固定;X向滑块连接板或Y向滑块连接板上设有圆弧形凹槽,与X向丝杆滑套和Y向丝杆滑套的圆筒啮合。
进一步的,标尺X滑座为长条形,其上表面中段的一侧进行挖除,但不挖到底,挖除后标尺X滑座的中段为台阶状,该台阶状底部外侧开设弧形的槽,方便血涂片的取出;标尺横向连接板为L形,L形长边的上表面与X向滑块连接板的下表面固定连接,L形长边短边的内壁与标尺X滑座中段台阶状的竖壁固定连接。
进一步的,上位机软件处理单元中的处理方法为:
步骤1:上位机软件处理单元通过CCD生物相机获取血涂片中样本的图像,并对图像进行拼接,获取一幅完整的全局图像;
步骤2:对全局图像转换到HIS色彩空间,在HIS空间中通过像素计算得到H分量的直方图,可以明显看出,由于染色的原因血涂片的H分量直方图中色度范围很窄,取色度范围的下限作为阈值,大于等于阈值的像素颜色置为白色,小于阈值的像素颜色置为黑色,实现对图像进行二值化处理,最后得到只包含黑白两色的图像,图像中的白色部分即为白细胞或红细胞,黑色部分为血涂片的背景,最终得到包含红细胞和白细胞的图像;
步骤3:将步骤1获得的全局图像转换到CMYK空间,然后选出Y通道的子图,可以看出,红细胞与白细胞的细胞核区域在CMYK空间的Y分量中与周围的环境具有较强的对比度,利用CMYK中的Y分量将红细胞与细胞核区域提取出来,将每一个像素当作样本,使用K均值聚类将所有像素分为2个类,其中一类即为红细胞与细胞核区域,另一类则为背景与白细胞细胞质区域,得到包含红细胞与细胞核的图像;
步骤4:采用步骤2得到的红细胞和白细胞的图像减去步骤3得到的红细胞与细胞核的图像,得到白细胞细胞质的图像;
步骤5:对步骤3得到的包含红细胞与细胞核的图像进行细胞核的分割;
步骤6:对每个白细胞图像的颜色特征、纹理特征、形态学特征进行特征提取,其中颜色特征主要包括:均值、方差、峰度、偏度,纹理特征包括:均值、平滑度、标准偏差、熵,形态学特征包括:细胞核的面积和周长、细胞质的面积和周长、核质比、分叶数、圆度、周长比、偏心率、质心距离,形态学特征中的数据采用步骤5得到的细胞核数据进行计算;
步骤7:采用步骤6的特征,训练一个SVM分类器,将白细胞分为5类分别为:嗜中性白细胞、嗜酸性白细胞、嗜碱性白细胞、淋巴细胞和单核细胞;实际检测过程中采用训练好的 SVM分类器对识别出的白细胞进行分类。
进一步的,所述步骤5的具体方法为:
步骤5.1:对细胞核进行增强处理;
在步骤3中获得了包含红细胞与细胞的区域的图像,由于红细胞区域与细胞核区域的灰度值不同,采用空域图像增强的方式,对像素灰度值进行运算处理,采用分段线性变换的方式进行灰度拉伸,改变细胞核部分的灰度动态范围,提高红细胞区域与细胞核区域的对比度;
步骤5.2:然后使用最大类间方差自适应阈值法分割细胞核区域,大于等于阈值的像素为细胞核区域,小于阈值的像素为红细胞区域;
步骤5.3:对得到的白细胞细胞核图像进行开操作,断开细小连接处并平滑轮廓,对细胞核边界进行优化,再通过对每一个连通域的面积进行计算并求得所有连通域面积的平均值,由于噪点与核区域面积相差较大,所以面积小于平均值的连通域为噪点,实现细胞核的分割。
本发明的有益效果如下:
a.诊断结果客观
人工诊断对医学专家的要求比较高,识别结果依赖人的主观判断。本发明利用图像处理以及机器学习等技术对血涂片数字图像进行自动、准确地处理与分析,对计算机辅助诊断技术的发展,具有重要意义。
b.图像分割算法速度有较大提升
传统的白细胞分割一般将被分割物中的成分置于一个颜色模式下处理,基于聚类分析和边缘检测,往往由于图片中的杂质影响分割准确性。本发明采用一种将不同的被检测物体至于不同颜色模式下的方法进行阈值分割,然后通过图像相减的方法将白细胞分割出来,在保证了精确度的条件下,分割速度较快,提高了***整体的效率。
c.提高治疗的精准度和精细度
传统的白细胞形态学分析及分类,通常需要通过医生在生物显微镜下观察制成的血涂片,在传统的分类计数过程中存在人工定位操作,使得检测区域只能依靠人的主观经验控制,无法达到均匀计数的效果。本发明能够科学自动采集数字信息,通过清晰度评价算法,控制显微成像***准确定位,摆脱主观因素。
d.***结构简单轻便,精度较高
本***采用反射光的形式对待测物进行照明,将光源安置在镜筒一侧,减小了***的体积,解决了利用透射光源的显微镜结构复杂的问题。***采用步进电机与丝杠搭配的结构,在原有运动精度上有了较大的提升。
e.减轻医生工作量提高工作效率
早期的白细胞形态学分析及分类方法主要依赖于医学专家,由医学专家在显微镜油镜下对血涂片进行白细胞形态学分析和分类,最后依据分析和分类的结果来判断疾病,往往历时较长。全自动血涂片形态分析***利用计算机技术实现自动化检测,大大减少了医生的工作量,提高了工作效率。
附图说明
图1是本发明软件模块工作流程图;
图2是本发明白细胞分割算法工作流程图;
图3是本发明白细胞分类识别算法工作流程图;
图4是本发明全自动血涂片细胞形态智能识别分析***的***框图;
图5是本发明底座、下位机硬件单元、光学***单元组合的结构示意图;
图6是本发明调焦机构结构示意图;
图7和图8是本发明图像采集运动模块不同视角的结构示意图;
图中:1.底座,2.图像采集运动模块,3.细准焦螺旋,4.调焦电机,5.调焦光电挡板,6. 单筒滑动座;7.光传感器,8.调焦电机固定板9.X向丝杆滑套,10.X向滑块连接板,11.X向光电挡板,12.X向传感器,13.X向电机,14.Y向光电挡板,15.Y向滑块连接板,16.Y向丝杆滑套,17.Y向电机,18.标尺Y滑座,19.Y向标尺基座,20.Y向传感器,21.载物台,22.X向标尺基座;23.Y向电机固定板,24.X向电机固定板,25.标尺X滑座,26.标尺横向连接板,27.压片,28.压刀,29.档片。
具体实施方式
为了更加清楚明白地阐述本发明的目的、技术方案及优点,对本发明将结合附图及实例进一步详细说明。但是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参阅图5全自动血涂片细胞形态智能识别分析***的***框图,***包括:上位机软件处理***,下位机硬件运动控制装置,主控板,运动限位传感器,光学***,CCD生物相机;光学***通过CCD生物相机与上位机软件处理***相连,将血涂片图像转换为数字信息传输到上位机软件处理***,上位机软件处理***与下位机硬件运动控制装置通过主控板相连,血涂片数字图像经过上位机软件单元分析处理,产生一系列运动控制指令,指令通过主控板解析后发送给下位机硬件运动控制装置;下位机硬件运动控制装置用于实现控制指令,用于精确的对显微镜进行对焦,获取运动图像等,当运动即将越位,下位机硬件运动控制装置通过运动限位传感器告知上位机停止运动或者改变路线;最后上位机软件处理***将分类计数结果呈现出来。
对焦控制模块通过对Z方向运动采集图片的清晰度进行判定,确定对焦最好的位置,控制光学***单元在Z方向单独运动实现自动对焦;图像采集控制模块通过上位机对血涂片上细胞位置分析,规划运动路径,通过控制X,Y向步进电机动态获取血涂片数字图像。
请参阅图1,所述的光学***单元采用LED照明方式搭配单筒显微镜结构,其中显微成像***的照明***采用LED反射式打光方式,LED光源和镜筒相连,分布在镜筒的两侧,光阑位于镜筒内中间像平面位置,单筒显微镜成像***使用双交合镜片校正球差、色差、正弦差,利用彩色CCD生物相机将显微成像***产生的光信号转为数字信号,并传送给上位机软件处理单元,所述CCD生物相机要求帧率大于等于20帧。
请参阅图1,图2,图3,所述的上位机软件处理单元中血涂片图像处理模块接收来自光学***单元的图像输入,利用数字图像处理技术对数字图像进行预处理,并对白细胞进行分割,然后针对分割后的图像进行特征提取,再使用机器学习技术识别进行白细胞的五分类并且计数。
所述的图像采集运动模块主要包括两个步进电机,三个限位传感器,两个丝杠,两个压片夹,运动平台,三枚滑动轴,主控板,载物台,金属底座等,本发明的图像采集运动模块利用主控板控制步进电机搭配丝杠进行X,Y方向的运动,实现微米级数字图像采集,所述步进电机精度要求大于等于10微米。所述运动平台应使用表面光滑,阻力较小的材料。所述X向限位传感器位于滑动轴两端,Y向限位传感器位于Y向两滑动轴之间与运动支架相连位置,两者分别对步进电机运动进行X,Y向限位。
全自动血涂片细胞形态智能识别分析***,包括CCD相机,单筒显微镜镜筒,光源支架, X向步进电机,Y向步进电机,Y向丝杠,X向丝杠,数据线,数据线接口,Z向限位传感器, Z向步进电机,细准焦螺旋,主控板,上位机。操作主要包括以下步骤:
1、给***各个模块通电,保证各个模块通信正常。此时LED光源对血涂片进行打光照明,单筒显微镜将血涂片上的细胞进行放大成像,CCD相机将显微***放大的图像获取到,经由数据线将产生的血涂片图像信号传输给上位机,点击上位机软件的复位按钮,使仪器进入初始化等待状态。
2、点击上位机软件自动对焦按钮,上位机根据获取到的图像,通过清晰度评价函数计算出图像的清晰度,判断具有最佳清晰度的位置,然后将位置结果通过主控板将运动信号传递给 Z向步进电机,Z向步进电机通过带动细准焦螺旋转动进行Z方向的运动,实现自动对焦功能。
3、点击上位机软件的拍摄按钮,X向步进电机,Y向步进电机分别通过控制X向丝杠,Y向丝杠按照规划好的路径对血涂片进行拍图并存储,运动路径规划由上位机软件的进行设置,等待图像获取完成。
4、点击上位机软件的图像分析按钮,上位机软件处理***将会对刚才采集到的清晰图像分别进行图像预处理,白细胞图像分割,白细胞分类计数等操作,然后将本次操作中所有的白细胞种类和数量呈现出来。
本发明应用于临床检验领域,基于机器视觉的全自动血涂片形态分析***具有高分辨率血涂片图像的数字采集,智能化血涂片图像识别与分析,科学规划拍图的区域与路径,友好的人机交互界面,高精度、高速率的定位对焦等优势,是人工智能领域与医疗器械领域的深度融合,具有重要意义。
以上所述仅为本发明的较佳具体实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于机器视觉的全自动血涂片形态分析装置的分析方法,其中所述全自动血涂片形态分析装置包括:底座,下位机硬件单元,光学***单元和上位机软件处理单元;底座包括座体和竖直设置于座体上的杆体;光学***单元获取数据并传输数据给上位机软件处理单元,上位机软件处理单元控制下位机硬件单元运动,下位机硬件单元承载光学***单元进行采图;
所述的光学***单元包括:CCD生物相机,单筒显微成像***和光源支架;所述光源支架为环装结构,环绕于竖直设置的单筒显微成像***外壁;沿光源支架的下表面设置一圈光源,用于照射血涂片;所述CCD生物相机设置于单筒显微成像***的尾部,用于拍摄放大的显微图像,CCD生物相机上设置有数据线接口,用于传输数据到各上位机软件处理单元;
所述的下位机硬件单元包括:对焦运动模块和图像采集运动模块;所述对焦运动模块包括:单筒滑动座和调焦机构;单筒滑动座一端与光源支架固定,另一端与调焦机构滑动连接,且只可沿竖直滑动;调焦机构设置于底座的杆体上,通过移动单筒滑座显现单筒显微成像***的对焦;
图像采集运动模块包括:载物台,Y向移动机构,X向移动机构和血涂片夹持机构;
所述Y向移动机构包括:Y向电机,Y向丝杆滑套,Y向滑块连接板,Y向光电挡板,标尺Y滑座,Y向标尺基座,Y向传感器和Y向电机固定板;Y向电机通过Y向电机固定板固定于载物台的一角,Y向电机的输出轴为Y向的丝杆,Y向丝杆滑套与Y向电机的丝杆配合,Y向丝杆滑套与Y向滑块连接板的一端固定连接,Y向滑块连接板的另一端固定于标尺Y滑座的上表面,Y向标尺基座固定于载物台上,标尺Y滑座下表面与Y向标尺基座的上表面滑动连接且只可沿Y向滑动,标尺Y滑座在Y向的长度长于Y向标尺基座;Y向传感器为U形固定于载物台上,Y向光电挡板为L形的片状结构,长边紧靠Y向滑块连接板固定于标尺Y滑座的上表面,短边朝下,随着标尺Y滑座的滑动带动Y向光电挡板移动的过程中正好从Y向传感器的U形口中穿过,Y向传感器用于确定Y向移动的位置;
所述X向移动机构包括:X向电机,X向丝杆滑套,X向滑块连接板,X向光电挡板,X向传感器,X向标尺基座,X向电机固定板,标尺X滑座和标尺横向连接板;X向电机通过X向电机固定板固定于标尺Y滑座的上表面,X向电机的输出轴为X向的丝杆,X向丝杆滑套与X向电机的丝杆配合,X向丝杆滑套与X向滑块连接板固定连接;X向传感器为U形固定于标尺Y滑座的上表面,位于X向电机固定板和Y向光电挡板之间,X向光电挡板固定于X向滑块连接板上,其伸出的光电挡板竖直朝向X向传感器,X向光电挡板沿X向移动过程中正好从X向传感器的U形口中穿过;X向标尺基座下表面紧贴于载物台的上表面,X向标尺基座上表面与标尺Y滑座下表面连接;标尺X滑座下表面紧贴于载物台上表面,标尺横向连接板一端与X向滑块连接板固定连接,另一端与标尺X滑座固定连接;标尺X滑座的前侧壁与X向标尺基座的后侧壁滑动连接,且只可沿X向滑动;
血涂片夹持机构包括:左压片,右压片,压刀和档片;左压片和右压片分别设置于标尺X滑座的左,右两侧,左压片和右压片结构相同,包括横杆部和弹性部,弹性部为波状的弹性片,波的顶点为施压点,弹性片设置于横杆部下表面的一侧,横杆部下表面的另一侧与标尺X滑座固定连接;压刀为獠牙形的弹性片状结构,獠牙形结构的根部设置于标尺X滑座的左侧且根部下表面不与载物台上表面接触,其尖部下表面紧贴于载物台上表面;档片设置于标尺X滑座的右侧且其下表面紧贴于载物台上表面;
所述调焦机构包括:本体,调焦电机,调焦电机固定板,细准焦螺旋,光传感器和调焦光电挡板;本体固定于底座的杆体上,调焦电机通过调焦电机固定板固定于本体上,调焦电机的输出轴通过皮带与细准焦螺旋传动连接,光传感器设置于本体上,调焦光电挡板设置于单筒滑动座上,单筒滑动座内有齿条与细准焦螺旋上的齿轮啮合,随着单筒滑动座的滑动调焦光电挡板可触发光传感器;
所述X向丝杆滑套和Y向丝杆滑套结构相同,包括三角板和圆筒,圆筒底面设置于三角板的一侧的中心,三角板的三个顶点处设置安装孔,通过该安装孔与X向滑块连接板或Y向滑块连接板固定;X向滑块连接板或Y向滑块连接板上设有圆弧形凹槽,与X向丝杆滑套和Y向丝杆滑套的圆筒啮合;
所述标尺X滑座为长条形,其上表面中段的一侧进行挖除,但不挖到底,挖除后标尺X滑座的中段为台阶状,该台阶状底部外侧开设弧形的槽,方便血涂片的取出;标尺横向连接板为L形,L形长边的上表面与X向滑块连接板的下表面固定连接,L形短边的内壁与标尺X滑座中段台阶状的竖壁固定连接;
其特征在于上位机软件处理单元中的分析方法为:
步骤1:上位机软件处理单元通过CCD生物相机获取血涂片中样本的图像,并对图像进行拼接,获取一幅完整的全局图像;
步骤2:对全局图像转换到HIS色彩空间,在HIS空间中通过像素计算得到H分量的直方图,由于染色的原因血涂片的H分量直方图中色度范围很窄,取色度范围的下限作为阈值,大于等于阈值的像素颜色置为白色,小于阈值的像素颜色置为黑色,实现对图像进行二值化处理,最后得到只包含黑白两色的图像,图像中的白色部分即为白细胞或红细胞,黑色部分为血涂片的背景,最终得到包含红细胞和白细胞的图像;
步骤3:将步骤1获得的全局图像转换到CMYK空间,然后选出Y通道的子图,红细胞与白细胞的细胞核区域在CMYK空间的Y分量中与周围的环境具有较强的对比度,利用CMYK中的Y分量将红细胞与细胞核区域提取出来,将每一个像素当作样本,使用K均值聚类将所有像素分为2个类,其中一类即为红细胞与细胞核区域,另一类则为背景与白细胞细胞质区域,得到包含红细胞与细胞核的图像;
步骤4:采用步骤2得到的红细胞和白细胞的图像减去步骤3得到的红细胞与细胞核的图像,得到白细胞细胞质的图像;
步骤5:对步骤3得到的包含红细胞与细胞核的图像进行细胞核的分割;
步骤5.1:对细胞核进行增强处理;
在步骤3中获得了包含红细胞与细胞核的区域的图像,由于红细胞区域与细胞核区域的灰度值不同,采用空域图像增强的方式,对像素灰度值进行运算处理,采用分段线性变换的方式进行灰度拉伸,改变细胞核部分的灰度动态范围,提高红细胞区域与细胞核区域的对比度;
步骤5.2:然后使用最大类间方差自适应阈值法分割细胞核区域,大于等于阈值的像素为细胞核区域,小于阈值的像素为红细胞区域;
步骤5.3:对得到的白细胞细胞核图像进行开操作,断开细小连接处并平滑轮廓,对细胞核边界进行优化,再通过对每一个连通域的面积进行计算并求得所有连通域面积的平均值,由于噪点与核区域面积相差较大,所以面积小于平均值的连通域为噪点,实现细胞核的分割;
步骤6:对每个白细胞图像的颜色特征,纹理特征,形态学特征进行特征提取;其中颜色特征主要包括:均值,方差,峰度和偏度;纹理特征包括:均值,平滑度,标准偏差和熵;形态学特征包括:细胞核的面积和周长,细胞质的面积和周长,核质比,分叶数,圆度,周长比,偏心率和质心距离;形态学特征中的数据采用步骤5得到的细胞核数据进行计算;
步骤7:采用步骤6的特征,训练一个SVM分类器,将白细胞分为5类分别为:嗜中性白细胞,嗜酸性白细胞,嗜碱性白细胞,淋巴细胞和单核细胞;实际检测过程中采用训练好的SVM分类器对识别出的白细胞进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010261704.XA CN111504885B (zh) | 2020-04-04 | 2020-04-04 | 一种基于机器视觉的全自动血涂片形态分析装置的分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010261704.XA CN111504885B (zh) | 2020-04-04 | 2020-04-04 | 一种基于机器视觉的全自动血涂片形态分析装置的分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111504885A CN111504885A (zh) | 2020-08-07 |
CN111504885B true CN111504885B (zh) | 2022-03-15 |
Family
ID=71869067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010261704.XA Active CN111504885B (zh) | 2020-04-04 | 2020-04-04 | 一种基于机器视觉的全自动血涂片形态分析装置的分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111504885B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112687157B (zh) * | 2021-01-12 | 2022-10-14 | 上海理工大学 | 一种流式细胞分析技术的教学实验仪器 |
CN113192080A (zh) * | 2021-04-27 | 2021-07-30 | 北京大学 | 一种基于边缘计算的便携式细胞成像与智能分析*** |
CN113420653A (zh) * | 2021-06-22 | 2021-09-21 | 深圳跃美生物医学科技有限公司 | 一种细菌细胞形态学综合检测分析方法、装置及可读介质 |
CN113984765A (zh) * | 2021-11-15 | 2022-01-28 | 东莞市迈聚医疗科技有限公司 | 一种血液或寄生虫的检测分析方法 |
US20240029456A1 (en) * | 2022-05-17 | 2024-01-25 | Beijing Boe Technology Development Co., Ltd. | Method for processing cell image, electronic device, and storage medium |
CN118294427A (zh) * | 2024-06-05 | 2024-07-05 | 北京航空航天大学 | 血管细胞核形态在制备评估血管功能产品中的应用 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1553166A (zh) * | 2003-12-19 | 2004-12-08 | 武汉大学 | 显微多光谱骨髓及外周血细胞自动分析仪和方法 |
CN1793919A (zh) * | 2005-12-09 | 2006-06-28 | 天津理工大学 | 一种对血液显微图像中白细胞个数自动计数方法 |
CN101221118A (zh) * | 2007-12-07 | 2008-07-16 | 东华大学 | 一种智能识别与计数痰涂片显微图像结核菌的***和方法 |
CN103745210A (zh) * | 2014-01-28 | 2014-04-23 | 爱威科技股份有限公司 | 一种白细胞分类方法及装置 |
CN103985119A (zh) * | 2014-05-08 | 2014-08-13 | 山东大学 | 一种彩色血细胞图像中白细胞的细胞质和细胞核分割方法 |
CN104198355A (zh) * | 2014-07-16 | 2014-12-10 | 电子科技大学 | 一种粪便中红细胞自动检测方法 |
CN104392460A (zh) * | 2014-12-12 | 2015-03-04 | 山东大学 | 一种基于胞核标记分水岭变换的粘连白细胞分割方法 |
CN104881679A (zh) * | 2015-05-22 | 2015-09-02 | 电子科技大学 | 一种基于改进模糊识别的白带中红细胞自动检测方法 |
CN105181538A (zh) * | 2015-10-20 | 2015-12-23 | 丹东百特仪器有限公司 | 带有扫描、拼接的动态颗粒图像粒度粒形分析仪及方法 |
CN205787338U (zh) * | 2016-07-12 | 2016-12-07 | 江苏赛尔蒂扶医疗科技有限公司 | 一种载物台机构 |
CN106248559A (zh) * | 2016-07-14 | 2016-12-21 | 中国计量大学 | 一种基于深度学习的白细胞五分类方法 |
CN106295588A (zh) * | 2016-08-17 | 2017-01-04 | 电子科技大学 | 一种白带显微图像中白细胞的自动识别方法 |
CN207036049U (zh) * | 2016-12-30 | 2018-02-23 | 上海察微电子技术有限公司 | 一种光栅自动测量显微镜移动平台 |
CN108519665A (zh) * | 2018-07-04 | 2018-09-11 | 殷跃锋 | 一种细胞检测显微镜 |
CN108961208A (zh) * | 2018-05-21 | 2018-12-07 | 江苏康尚生物医疗科技有限公司 | 一种聚集白细胞分割计数***及方法 |
CN110146974A (zh) * | 2019-05-29 | 2019-08-20 | 电子科技大学 | 一种智能生物显微镜 |
CN110764245A (zh) * | 2019-11-14 | 2020-02-07 | 武汉呵尔医疗科技发展有限公司 | 显微镜xy轴丝杆移动平台 |
-
2020
- 2020-04-04 CN CN202010261704.XA patent/CN111504885B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1553166A (zh) * | 2003-12-19 | 2004-12-08 | 武汉大学 | 显微多光谱骨髓及外周血细胞自动分析仪和方法 |
CN1793919A (zh) * | 2005-12-09 | 2006-06-28 | 天津理工大学 | 一种对血液显微图像中白细胞个数自动计数方法 |
CN101221118A (zh) * | 2007-12-07 | 2008-07-16 | 东华大学 | 一种智能识别与计数痰涂片显微图像结核菌的***和方法 |
CN103745210A (zh) * | 2014-01-28 | 2014-04-23 | 爱威科技股份有限公司 | 一种白细胞分类方法及装置 |
CN103985119A (zh) * | 2014-05-08 | 2014-08-13 | 山东大学 | 一种彩色血细胞图像中白细胞的细胞质和细胞核分割方法 |
CN104198355A (zh) * | 2014-07-16 | 2014-12-10 | 电子科技大学 | 一种粪便中红细胞自动检测方法 |
CN104392460A (zh) * | 2014-12-12 | 2015-03-04 | 山东大学 | 一种基于胞核标记分水岭变换的粘连白细胞分割方法 |
CN104881679A (zh) * | 2015-05-22 | 2015-09-02 | 电子科技大学 | 一种基于改进模糊识别的白带中红细胞自动检测方法 |
CN105181538A (zh) * | 2015-10-20 | 2015-12-23 | 丹东百特仪器有限公司 | 带有扫描、拼接的动态颗粒图像粒度粒形分析仪及方法 |
CN205787338U (zh) * | 2016-07-12 | 2016-12-07 | 江苏赛尔蒂扶医疗科技有限公司 | 一种载物台机构 |
CN106248559A (zh) * | 2016-07-14 | 2016-12-21 | 中国计量大学 | 一种基于深度学习的白细胞五分类方法 |
CN106295588A (zh) * | 2016-08-17 | 2017-01-04 | 电子科技大学 | 一种白带显微图像中白细胞的自动识别方法 |
CN207036049U (zh) * | 2016-12-30 | 2018-02-23 | 上海察微电子技术有限公司 | 一种光栅自动测量显微镜移动平台 |
CN108961208A (zh) * | 2018-05-21 | 2018-12-07 | 江苏康尚生物医疗科技有限公司 | 一种聚集白细胞分割计数***及方法 |
CN108519665A (zh) * | 2018-07-04 | 2018-09-11 | 殷跃锋 | 一种细胞检测显微镜 |
CN110146974A (zh) * | 2019-05-29 | 2019-08-20 | 电子科技大学 | 一种智能生物显微镜 |
CN110764245A (zh) * | 2019-11-14 | 2020-02-07 | 武汉呵尔医疗科技发展有限公司 | 显微镜xy轴丝杆移动平台 |
Also Published As
Publication number | Publication date |
---|---|
CN111504885A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111504885B (zh) | 一种基于机器视觉的全自动血涂片形态分析装置的分析方法 | |
US10677711B2 (en) | Method and apparatus for automated whole blood sample analyses from microscopy images | |
DK2973397T3 (en) | Tissue-object-based machine learning system for automated assessment of digital whole-slide glass | |
Tek et al. | Computer vision for microscopy diagnosis of malaria | |
Kaewkamnerd et al. | An automatic device for detection and classification of malaria parasite species in thick blood film | |
CN110146974B (zh) | 一种智能生物显微镜 | |
Cruz et al. | Determination of blood components (WBCs, RBCs, and Platelets) count in microscopic images using image processing and analysis | |
US20060245630A1 (en) | Automated image analysis | |
Hortinela et al. | Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine | |
CN105143850A (zh) | 用于血液样品中的粒子分析的自聚焦***和方法 | |
JPH10506206A (ja) | 医・生物学標本の自動焦点装置 | |
CN101221118A (zh) | 一种智能识别与计数痰涂片显微图像结核菌的***和方法 | |
CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
CN107525768B (zh) | 一种dna倍体分析设备的质量控制方法 | |
CN108257124A (zh) | 一种基于图像的白细胞计数方法和*** | |
WO2016189469A1 (en) | A method for medical screening and a system therefor | |
Caya et al. | Detection and counting of red blood cells in human urine using canny edge detection and circle hough transform algorithms | |
CN111062346A (zh) | 一种白细胞自动定位检测及分类识别***及方法 | |
CN107543788A (zh) | 一种尿红细胞畸形率检测方法及*** | |
CN111579466B (zh) | 一种家用型***检测装置和检测方法 | |
CN112432902A (zh) | 一种外周血细胞形态学判别细胞数目的自动检测***及方法 | |
CN117576103B (zh) | 集成电控显微镜和深度学习算法的尿沉渣镜检分析*** | |
CN108845153A (zh) | 一种粒子分析***及方法 | |
US8965098B2 (en) | Cell-image analyzing apparatus | |
Evangeline et al. | Computer aided system for human blood cell identification, classification and counting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |