CN110472616B - 图像识别方法、装置、计算机设备及存储介质 - Google Patents

图像识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110472616B
CN110472616B CN201910780213.3A CN201910780213A CN110472616B CN 110472616 B CN110472616 B CN 110472616B CN 201910780213 A CN201910780213 A CN 201910780213A CN 110472616 B CN110472616 B CN 110472616B
Authority
CN
China
Prior art keywords
image
cell
segmentation
pixel point
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910780213.3A
Other languages
English (en)
Other versions
CN110472616A (zh
Inventor
沈昊成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910780213.3A priority Critical patent/CN110472616B/zh
Publication of CN110472616A publication Critical patent/CN110472616A/zh
Application granted granted Critical
Publication of CN110472616B publication Critical patent/CN110472616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像识别方法、装置、计算机设备及存储介质,属于图像处理技术领域。本发明通过对原始图像进行色彩空间转换,得到H通道图像和DAB通道图像,分别对H通道和DAB通道的双通道图像进行预处理和融合处理,得到第一融合图像和第二融合图像,基于进行第一融合图像和第二融合图像进行图像识别,由于DAB通道图像对淡染阳性细胞较为敏感,因此可以避免对淡染阳性细胞漏检的问题,能够提升识别阳性细胞过程的准确率,从而提升了图像识别过程的智能性。

Description

图像识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像识别方法、装置、计算机设备及存储介质。
背景技术
随着图像处理技术的发展,可以应用计算机设备对医学影像进行图像识别,从而减轻病理医生的工作负担。
例如,在判定肿瘤细胞的病变程度时,可以使用显色剂对待检细胞进行染色,由于免疫组织化学(immunohistochemistry)的显色反应,增殖细胞和非增殖细胞会被分别染成不同的颜色,将染色后的待检细胞切片置于显微镜下,由显微镜摄取切片中各个染色后的待检细胞所构成的RGB(红绿蓝)图像,通过计算机设备对显微镜视野内的RGB图像进行图像识别,识别出阳性细胞(也即增殖细胞)和阴性细胞(也即非增殖细胞),并计算出待检细胞的阳性指数,当阳性指数越高时,意味着肿瘤的恶性程度越高。
具体地,在上述图像识别时,计算机设备通常可以对显微镜视野内的RGB图像进行色彩空间转换,得到苏木精通道(hematoxylins通道,简称H通道)图像,对H通道图像进行图像识别,识别出细胞边界后,在原始图像的灰度图像上,基于识别出的细胞边界统计阴性细胞个数和阳性细胞个数,即可计算出阳性指数。
在上述方式中,由于H通道图像对淡染阳性细胞的响应较为微弱,也即是说H通道图像中很难检测出淡染阳性细胞,导致对淡染阳性细胞的漏检问题,影响了阳性指数的准确率,降低了图像识别过程的智能性。
发明内容
本发明实施例提供了一种图像识别方法、装置、计算机设备及存储介质,能够解决机器在图像识别过程中智能性差的问题。该技术方案如下:
一方面,提供了一种图像识别方法,该方法包括:
对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;
对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集,所述分割图像集包括所述H通道图像和所述DAB通道图像对应的分割图像,所述极值图像集包括所述H通道图像和所述DAB通道图像对应的局部极值图像;
对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像,对所述极值图像集内各个局部极值图像进行融合处理,得到第二融合图像;
基于所述第一融合图像和所述第二融合图像进行图像识别。
在一种可能实施方式中,所述对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集包括:
对所述H通道图像和所述DAB通道图像分别进行双边滤波处理,得到第一滤波图像和第二滤波图像,所述第一滤波图像对应于所述H通道图像,所述第二滤波图像对应于所述DAB通道图像;
对所述第一滤波图像和所述第二滤波图像分别进行分割处理,得到所述分割图像集;
对所述第一滤波图像和所述第二滤波图像分别进行局部极值提取,得到所述极值图像集。
在一种可能实施方式中,所述分割图像集包括第一分割图像和第二分割图像,所述对所述第一滤波图像和所述第二滤波图像分别进行分割处理,得到所述分割图像集包括:
基于最大类间方差法,对所述第一滤波图像进行二分类,得到二值化的所述第一分割图像,所述第一分割图像用于表示所述H通道图像中的细胞区域;
基于最大类间方差法,对所述第二滤波图像进行二分类,得到二值化的所述第二分割图像,所述第二分割图像用于表示所述DAB通道图像中的细胞区域。
在一种可能实施方式中,所述对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像包括:
对所述第一分割图像和所述第二分割图像中各个像素点执行逻辑或操作,得到所述第一融合图像,所述第一融合图像用于表示所述第一分割图像和所述第二分割图像中细胞区域的并集。
在一种可能实施方式中,所述极值图像集包括第一局部极值图和第二局部极值图,所述对所述第一滤波图像和所述第二滤波图像分别进行局部极值提取,得到所述极值图像集包括:
基于最大值滤波法,对所述第一滤波图像进行局部极值提取,得到所述第一局部极值图,所述第一局部极值图用于表示所述H通道图像中的局部极值点;
基于最大值滤波法,对所述第二滤波图像进行局部极值提取,得到所述第二局部极值图,所述第二局部极值图用于表示所述DAB通道图像中的局部极值点。
在一种可能实施方式中,所述对所述极值图像集内各个局部极值图像进行融合处理,得到第二融合图像包括:
对所述第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;
对所述第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;
对所述第一膨胀图像和所述第二膨胀图像中各个像素点执行逻辑或操作,得到所述第二融合图像,所述第二融合图像用于表示所述第一局部极值图和所述第二局部极值图中经膨胀运算后的各个局部极值点的并集。
在一种可能实施方式中,所述基于所述第一融合图像和所述第二融合图像进行图像识别包括:
根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像;
基于所述原始图像和所述第三分割图像,识别出所述多个细胞中的阳性细胞。
在一种可能实施方式中,所述根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像包括:
对所述第二融合图像进行连通域分析,得到所述第二融合图像中多个连通区域,在所述第二融合图像中为所述多个连通区域添加多个区域标签,其中,一个区域标签对应于一个连通区域;
获取所述原始图像中的感兴趣区域;
在所述原始图像中感兴趣区域和所述第一融合图像中细胞区域的交集内,以所述第二融合图像内各个局部极值点为生长种子点,将每个生长种子点所在连通区域的区域标签,赋值给所述每个生长种子点对应的生长蔓延点;
当任一生长蔓延点被赋值多种区域标签时,将所述生长蔓延点确定为一个边缘像素点,重复执行所述确定边缘像素点的步骤,直到获取到所述交集内各个细胞的边缘像素点;
将所述各个细胞的边缘像素点的像素值置为1,将除了所述各个细胞的边缘像素点之外的像素点的像素值置为0,得到所述第三分割图像。
在一种可能实施方式中,所述基于所述原始图像和所述第三分割图像,识别出所述多个细胞中的阳性细胞之前,所述方法还包括:
获取所述第三分割图像中各个细胞对应的连通区域面积,当任一细胞对应的连通区域面积小于第一面积阈值或大于第二面积阈值时,删去所述细胞对应的连通区域;或,
获取所述第三分割图像中各个细胞的中心像素点与最近邻细胞的中心像素点之间的欧氏距离,当所述欧式距离小于距离阈值时,将所述细胞的中心像素点和所述最近邻细胞的中心像素点合并为目标中心像素点,所述目标中心像素点为所述细胞的中心像素点和所述最近邻细胞的中心像素点之间的平均值。
在一种可能实施方式中,所述基于所述原始图像和所述第三分割图像,识别出所述多个细胞中的阳性细胞包括:
对所述原始图像进行灰度处理,得到与所述原始图像对应的灰度图像;
对所述灰度图像进行中值滤波处理,得到第三滤波图像;
基于所述第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点;
在所述第三滤波图像中,根据与所述第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出所述多个细胞中的阳性细胞。
在一种可能实施方式中,所述在所述第三滤波图像中,根据与所述第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出所述多个细胞中的阳性细胞包括:
当与中心像素点位置对应的任一像素点的灰度值大于灰度阈值时,将所述像素点对应的细胞确定为阴性细胞;
当与中心像素点位置对应的任一像素点的灰度值小于或等于所述灰度阈值时,将所述像素点对应的细胞确定为阳性细胞。
在一种可能实施方式中,所述对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像包括:
根据所述原始图像的光密度矩阵,对所述原始图像进行正交变换,得到所述H通道图像和所述DAB通道图像。
在一种可能实施方式中,所述对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像之前,所述方法还包括:
获取细胞切片在显微镜视野下的显微图像,将所述显微图像确定为所述原始图像。
一方面,提供了一种图像识别装置,该装置包括:
转换模块,用于对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;
预处理模块,用于对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集,所述分割图像集包括所述H通道图像和所述DAB通道图像对应的分割图像,所述极值图像集包括所述H通道图像和所述DAB通道图像对应的局部极值图像;
融合模块,用于对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像,对所述极值图像集内各个局部极值图像进行融合处理,得到第二融合图像;
识别模块,用于基于所述第一融合图像和所述第二融合图像进行图像识别。
在一种可能实施方式中,所述预处理模块包括:
双边滤波单元,用于对所述H通道图像和所述DAB通道图像分别进行双边滤波处理,得到第一滤波图像和第二滤波图像,所述第一滤波图像对应于所述H通道图像,所述第二滤波图像对应于所述DAB通道图像;
分割单元,用于对所述第一滤波图像和所述第二滤波图像分别进行分割处理,得到所述分割图像集;
极值提取单元,用于对所述第一滤波图像和所述第二滤波图像分别进行局部极值提取,得到所述极值图像集。
在一种可能实施方式中,所述分割图像集包括第一分割图像和第二分割图像,所述分割单元用于:
基于最大类间方差法,对所述第一滤波图像进行二分类,得到二值化的所述第一分割图像,所述第一分割图像用于表示所述H通道图像中的细胞区域;
基于最大类间方差法,对所述第二滤波图像进行二分类,得到二值化的所述第二分割图像,所述第二分割图像用于表示所述DAB通道图像中的细胞区域。
在一种可能实施方式中,所述融合模块用于:
对所述第一分割图像和所述第二分割图像中各个像素点执行逻辑或操作,得到所述第一融合图像,所述第一融合图像用于表示所述第一分割图像和所述第二分割图像中细胞区域的并集。
在一种可能实施方式中,所述极值图像集包括第一局部极值图和第二局部极值图,所述极值提取单元用于:
基于最大值滤波法,对所述第一滤波图像进行局部极值提取,得到所述第一局部极值图,所述第一局部极值图用于表示所述H通道图像中的局部极值点;
基于最大值滤波法,对所述第二滤波图像进行局部极值提取,得到所述第二局部极值图,所述第二局部极值图用于表示所述DAB通道图像中的局部极值点。
在一种可能实施方式中,所述融合模块用于:
对所述第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;
对所述第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;
对所述第一膨胀图像和所述第二膨胀图像中各个像素点执行逻辑或操作,得到所述第二融合图像,所述第二融合图像用于表示所述第一局部极值图和所述第二局部极值图中经膨胀运算后的各个局部极值点的并集。
在一种可能实施方式中,所述识别模块包括:
提取生成单元,用于根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像;
识别单元,用于基于所述原始图像和所述第三分割图像,识别出所述多个细胞中的阳性细胞。
在一种可能实施方式中,所述提取生成单元用于:
对所述第二融合图像进行连通域分析,得到所述第二融合图像中多个连通区域,在所述第二融合图像中为所述多个连通区域添加多个区域标签,其中,一个区域标签对应于一个连通区域;
获取所述原始图像中的感兴趣区域;
在所述原始图像中感兴趣区域和所述第一融合图像中细胞区域的交集内,以所述第二融合图像内各个局部极值点为生长种子点,将每个生长种子点所在连通区域的区域标签,赋值给所述每个生长种子点对应的生长蔓延点;
当任一生长蔓延点被赋值多种区域标签时,将所述生长蔓延点确定为一个边缘像素点,重复执行所述确定边缘像素点的步骤,直到获取到所述交集内各个细胞的边缘像素点;
将所述各个细胞的边缘像素点的像素值置为1,将除了所述各个细胞的边缘像素点之外的像素点的像素值置为0,得到所述第三分割图像。
在一种可能实施方式中,所述装置还包括:
获取所述第三分割图像中各个细胞对应的连通区域面积,当任一细胞对应的连通区域面积小于第一面积阈值或大于第二面积阈值时,删去所述细胞对应的连通区域;或,
获取所述第三分割图像中各个细胞的中心像素点与最近邻细胞的中心像素点之间的欧氏距离,当所述欧式距离小于距离阈值时,将所述细胞的中心像素点和所述最近邻细胞的中心像素点合并为目标中心像素点,所述目标中心像素点为所述细胞的中心像素点和所述最近邻细胞的中心像素点之间的平均值。
在一种可能实施方式中,所述识别单元包括:
灰度处理子单元,用于对所述原始图像进行灰度处理,得到与所述原始图像对应的灰度图像;
中值滤波子单元,用于对所述灰度图像进行中值滤波处理,得到第三滤波图像;
第一确定子单元,用于基于所述第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点;
第二确定子单元,用于在所述第三滤波图像中,根据与所述第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出所述多个细胞中的阳性细胞。
在一种可能实施方式中,所述第二确定子单元用于:
当与中心像素点位置对应的任一像素点的灰度值大于灰度阈值时,将所述像素点对应的细胞确定为阴性细胞;
当与中心像素点位置对应的任一像素点的灰度值小于或等于所述灰度阈值时,将所述像素点对应的细胞确定为阳性细胞。
在一种可能实施方式中,所述转换模块用于:
根据所述原始图像的光密度矩阵,对所述原始图像进行正交变换,得到所述H通道图像和所述DAB通道图像。
在一种可能实施方式中,所述装置还包括:
获取细胞切片在显微镜视野下的显微图像,将所述显微图像确定为所述原始图像。
一方面,提供了一种智能显微镜***,所述智能显微镜***包括显微镜、图像识别模块和图像显示模块;
所述显微镜,用于获取细胞切片在显微镜视野下的显微图像;
所述图像识别模块,用于对所述显微图像进行色彩空间转换,得到所述显微图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集,所述分割图像集包括所述H通道图像和所述DAB通道图像对应的分割图像,所述极值图像集包括所述H通道图像和所述DAB通道图像对应的局部极值图像;对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像,对所述极值图像集内各个局部极值图像进行融合处理,得到第二融合图像;基于所述第一融合图像和所述第二融合图像进行图像识别;
所述图像显示模块,用于基于图像识别的结果,确定所述细胞切片对应的阳性指数;在所述显微图像中以不同的显示方式对阴性细胞和阳性细胞进行标注,得到目标图像,所述目标图像中携带所述阳性指数;显示所述目标图像。
一方面,提供了一种计算机设备,该计算机设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的图像识别方法所执行的操作。
一方面,提供了一种存储介质,该存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的图像识别方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少包括:
通过对原始图像进行色彩空间转换,得到该原始图像的H通道图像和DAB通道图像,能够提取出原始图像的H通道和DAB通道的双通道图像,从而对该H通道图像和该DAB通道图像分别进行预处理,得到分割图像集和极值图像集,该分割图像集包括该H通道图像和该DAB通道图像对应的分割图像,该极值图像集包括该H通道图像和该DAB通道图像对应的局部极值图像,对该分割图像集内各个分割图像进行融合处理,得到第一融合图像,对该极值图像集内各个局部极值图像进行融合处理,得到第二融合图像,通过分别对H通道和DAB通道的双通道图像进行预处理和融合处理,从而基于该第一融合图像和该第二融合图像进行图像识别,由于DAB通道图像对淡染阳性细胞较为敏感,因此综合双通道图像内识别出的阳性细胞,可以避免对H单通道图像进行识别时对淡染阳性细胞漏检的问题,能够提升识别阳性细胞过程的准确率,也就提升了阳性指数的准确率,从而提升了图像识别过程的智能性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像识别方法的实施环境示意图;
图2是本发明实施例提供的一种图像识别方法的流程图;
图3是本发明实施例提供的一种生成第三分割图像的流程图;
图4是本发明实施例提供的一种提取边缘像素点的原理性示意图;
图5是本发明实施例提供的一种识别阳性细胞的流程图;
图6是本发明实施例提供的一种细胞识别结果的示意图;
图7是本发明实施例提供的一种细胞识别结果的对比示意图;
图8是本发明实施例提供的一种图像识别方法的原理性示意图;
图9是本发明实施例提供的一种图像识别方法的输入输出示意图;
图10是本发明实施例提供的一种图像识别装置的结构示意图;
图11是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在AI领域内,计算机视觉技术(computer vision,CV)是一个正在快速发展的分支,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和计算机等机器代替人眼对目标进行识别、跟踪和测量等操作,并进一步做图形处理,使机器处理得到更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉通常包括图像分割、图像识别、图像检索、光学字符识别(optical characterrecognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3dimensions,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,当然,还包括常见的人脸识别、指纹识别等生物特征识别技术。
具体地,本申请提供的图像识别方法主要涉及到计算机视觉领域中的图像分割技术。图像分割可以将图像表示为物理上有意义的连通区域的集合,也即是根据目标与背景的先验知识,对图像中的目标和背景分别进行标记、定位,然后将目标从背景或其他伪目标中分离出来。图像分割在目标识别、对象跟踪、行为分析等图像理解应用中起承上启下的作用,使得其后的图像分析和识别等处理过程中所要处理的数据量大大减少,同时又保留了有关图像结构特征的信息。
在介绍本发明实施例之前,首先对肿瘤恶性程度检测的病理学原理进行介绍。在病理学中,免疫组织化学又称免疫细胞化学,由于特异性抗体在组织细胞原位中会产生抗原抗体反应和组织化学的显色反应,免疫组织化学则是指通过使用携带显色剂标记的特异性抗体发生上述反应,从而对该特异性抗体对应的抗原进行定性、定位、定量测定的一项新兴技术。
在免疫组织化学中,应用最为广泛的一种检测抗原是Ki-67蛋白质,Ki-67蛋白质是一种由人类MKI67基因编码的蛋白质,该蛋白质与细胞的增殖密切相关,在处于有丝***期以及***间期的细胞(也即是增殖细胞)中均能检测出Ki-67蛋白质,反之,在有丝***停止的细胞(也即是非增殖细胞)中则无Ki-67蛋白质存在。
基于上述情况,病理报告中常采用的一个用于判断肿瘤细胞增殖情况的指标是Ki-67阳性指数(proliferation index,也称为增殖指数),Ki-67阳性指数指肿瘤细胞中阳性细胞个数占肿瘤细胞总数的百分比,Ki-67阳性指数越高表示正在增殖的肿瘤细胞多,也就代表着肿瘤的恶性程度越高。从图像角度来说,技术人员基于免疫组织化学手段对待检细胞进行染色后,在染色后的待检细胞的RGB图像中,阴性细胞呈蓝色,阳性细胞呈棕色。
通常情况下,显微镜中一个Ki-67切片视野下会存在100~3000个细胞,基于人工的细胞计数非常耗时耗力。在实际病理诊断中,为了减小误差,病理医生常常需要在多个显微镜视野下(要求细胞总数大于1000)计算出多个Ki-67阳性指数,再求出该多个Ki-67阳性指数的平均Ki-67阳性指数,因此,基于人工的细胞计数极大增加了病理医生的工作负担。
在上述病理学原理的基础上,本发明实施例提供的图像识别方法可以用于机器识别阳性细胞,并统计阳性细胞的个数,从而计算出阳性指数,能够大大减轻病理医生的工作负担。
图1是本发明实施例提供的一种图像识别方法的实施环境示意图。参见图1,在该实施环境中可以包括显微镜101、终端102和服务器103。
其中,该显微镜101用于对染色后的待检细胞的Ki-67切片进行放大处理,摄取显微镜视野内的显微图像(也即是放大后的RGB图像),将该RGB图像导出至终端102进行显示。需要说明的是,本发明实施例不对待检细胞的所处部位进行具体限定,例如,待检部位可以是结直肠、乳腺、神经内分泌***所涉及的部位等。
其中,该终端102用于显示图像,终端102可以导入显微镜101摄取的RGB图像,并在终端屏幕上显示该RGB图像。可选地,在终端102上可以安装有应用程序,病理医生可以基于应用程序,将RGB图像上传至服务器,由服务器对RGB图像进行图像识别之后,向终端上的应用程序返回目标图像,病理医生可以基于终端102查看目标图像,从而由目标图像来辅助病理医生进行病情诊断。
其中,该服务器103用于对RGB图像进行图像识别,从而基于识别出的阳性细胞个数以及阴性细胞个数来计算阳性指数。对服务器103而言,接收终端102提供的RGB图像,基于本发明实施例提供的图像识别方法,可以生成一张携带属性标记的目标图像,该目标图像中可以采用不同的颜色来分别表示阳性细胞标记点和阴性细胞标记点,同时,在该目标图像中还可以使用文本方式标注出阳性指数,例如,使用红色圆点表示阳性细胞标记点,使用绿色圆点表示阴性细胞标记点。当生成目标图像后,服务器103可以向终端102输出该目标图像。
在一些实施例中,终端102和服务器103可以是同一个物理机,也即是说显微镜101可以将RGB图像导出至终端102,由终端102直接进行图像识别、计算阳性指数、生成目标图像,并显示目标图像。
在一些实施例中,显微镜101、终端102以及服务器103三者可以位于同一个物理机,此时显微镜101可以称为一种智能显微镜,在摄取切片的RGB图像之后,直接在后台进行图像识别、计算阳性指数、生成目标图像,并在前台显示目标图像,实现图像摄取和图像处理的一体化操作。
基于上述实施环境,图2是本发明实施例提供的一种图像识别方法的流程图。参见图2,该实施例应用于计算机设备,以计算机设备为服务器为例进行说明,该实施例包括下述步骤:
201、服务器根据原始图像的光密度矩阵,对该原始图像进行正交变换,得到H通道图像和DAB通道图像。
其中,该原始图像可以指待检细胞的RGB通道图像,该原始图像可以由终端上传至服务器,也可以存储于服务器本地数据库中,还可以从不在本地的任一数据库(俗称云端数据库)中下载,本发明实施例不对原始图像的来源进行具体限定。
可选地,服务器可以获取细胞切片在显微镜视野下的显微图像,将该显微镜图像确定为原始图像。例如,服务器可以直接与显微镜建立通信连接,从而当显微镜摄取到显微图像之后,直接将显微图像发送至服务器;当然,服务器也可以不与显微镜建立通信连接,而是与终端建立通信连接,显微镜将显微图像导出至终端后,由终端将显微图像上传至服务器。
在上述步骤201中,服务器可以基于光密度(optical density,OD,也称为吸光度)矩阵对该去卷积后的原始图像进行正交变换,从而将原始图像从RGB色彩空间,转换为三种染色剂对应的H-E-DAB色彩空间,其中,这三种染色剂包括苏木精(hematoxylin)、伊红(Eosin)和二氨基联苯胺(diaminobenzidine),分别对应于H通道、E通道和DAB通道。当服务器完成色彩空间转换之后,提取H-E-DAB色彩空间内的H通道图像和DAB通道图像,以备后续步骤的调用。
在上述过程中,相当于服务器对原始图像进行色彩空间转换,将原始图像从RGB色彩空间正交分解到H-E-DAB色彩空间,得到该原始图像的H通道图像和DAB通道图像,因此上述色彩空间转换过程也可以俗称为色彩通道分解过程或者颜色去卷积过程。
202、服务器对该H通道图像和该DAB通道图像分别进行双边滤波处理,得到第一滤波图像和第二滤波图像,该第一滤波图像对应于该H通道图像,该第二滤波图像对应于该DAB通道图像。
在上述过程中,服务器在进行双边滤波处理时,可以基于距离权重矩阵和颜色权重矩阵符合形成的双边权重矩阵,对H通道图像进行卷积运算得到第一滤波图像,对DAB通道图像进行卷积运算得到第二滤波图像。例如,在设置双边权重矩阵的参数时,可以将邻域的直径范围设置为9,将颜色空间标准差设置为80,将坐标空间标准差设置为80。
在上述过程中,一方面,距离权重矩阵代表空间域上的权重分配,该距离权重矩阵可以是高斯滤波中常用的高斯权重矩阵,在距离权重矩阵的作用下,会使得卷积运算时越靠近矩阵中心的像素点具有越大的距离权值,越远离矩阵中心的像素点会具有越小的距离权重;一方面,颜色权重矩阵代表值域上的权重分配,使得卷积运算时与矩阵中心越相似的像素点具有越小的颜色权值,与矩阵中心反差越大的像素点具有越大的颜色权值。
在上述基础上,双边滤波处理时,对于H通道图像或DAB通道图像中颜色变化较为平缓的区域,主要由距离权重矩阵发挥作用,使得可以实现良好的降噪效果,而在H通道图像或DAB通道图像中颜色变化较为剧烈的区域(通常是细胞边缘所处的区域),主要由颜色权重矩阵发挥作用,从而可以实现良好的保边效果,避免了在滤波处理时丢失掉各个图像的边缘信息。
在一些实施例中,服务器还可以对H通道图像和DAB通道图像分别进行高斯滤波或者均值滤波等滤波操作,从而得到第一滤波图像和第二滤波图像,本发明实施例不对滤波操作的类型进行具体限定。
203、服务器基于最大类间方差法,对该第一滤波图像进行二分类,得到二值化的第一分割图像,该第一分割图像用于表示该H通道图像中的细胞区域。
其中,最大类间方差法也称为大津(OTSU,一个日本学者)分割法。
在上述过程中,服务器遍历第一滤波图像的阈值参数,确定出使得一个使得第一滤波图像具有最大的类间方差的阈值参数,将大于该阈值参数的像素值置为1,将小于该阈值参数的像素值置为0,实现对第一滤波图像的二分类,基于这样的二分类方法,可以得到一个二值化的第一分割图像(也即是二进制图像),在该第一分割图像中,像素值为1的像素点则代表落在了细胞区域内,像素值为0的点则代表落在了非细胞区域内。
可选地,服务器还可以通过下述方式获取第一分割图像:将第一滤波图像输入分割模型,通过分割模型对该第一滤波图像进行分割处理,输出第一分割图像,在该第一分割图像中,前景区域表示细胞区域,背景区域表示非细胞区域。其中,该分割模型是可以是encoder-decoder(编解码)网络、U-net(U形结构的卷积神经网络)、SegNet(语义分割网络)、LinkNet(连接网络)等。
在一些实施例中,除了最大类间方差法之外,服务器还可以采用其他的二分类方法来生成二值化的第一分割图像,例如固定阈值分割法、直方图双峰法等,这里不做赘述。
204、服务器基于最大类间方差法,对该第二滤波图像进行二分类,得到二值化的第二分割图像,该第二分割图像用于表示该DAB通道图像中的细胞区域。
上述步骤204与上述步骤203类似,这里不做赘述。
在上述步骤203-204中,第一分割图像和第二分割图像可以组成分割图像集,也即是说,服务器对该第一滤波图像和该第二滤波图像分别进行分割处理,得到该分割图像集,其中,该分割图像集包括该H通道图像和该DAB通道图像对应的分割图像。
205、服务器基于最大值滤波法,对该第一滤波图像进行局部极值提取,得到第一局部极值图,该第一局部极值图用于表示该H通道图像中的局部极值点。
在上述过程中,服务器在进行最大值滤波时,可以通过一个滑动窗口按照固定步长对该第一滤波图像进行遍历扫描,每当滑动窗口到达一个扫描位置时,对该滑动窗口所框选的各个像素点(又称为邻域内的像素点),按照像素值从大到小的顺序进行排序,从而将排序第一的像素点确定为一个局部极值点,重复执行上述步骤,直到确定出第一滤波图像中所有的局部极值点,进而将各个局部极值点的像素值置为1,将除了局部极值点以外的各像素点的像素值置为0,生成第一局部极值图,其中,该第一局部极值图也是一张二值化的图像。
206、服务器基于最大值滤波法,对该第二滤波图像进行局部极值提取,得到第二局部极值图,该第二局部极值图用于表示该DAB通道图像中的局部极值点。
上述步骤206与上述步骤205类似,这里不做赘述。
在上述步骤205-206中,第一局部极值图和第二局部极值图可以组成极值图像集,也即是说,服务器对该第一滤波图像和该第二滤波图像分别进行局部极值提取,得到该极值图像集,其中,该极值图像集包括该H通道图像和该DAB通道图像对应的局部极值图像。例如,在对第一滤波图像进行局部极值提取时,可以将邻域的直径范围设置为6,在对第二滤波图像进行局部极值提取时,可以将邻域的直径范围设置为15。
在上述步骤202-206中,服务器通过滤波、二分类和局部极值提取等操作,对该H通道图像和该DAB通道图像分别进行预处理,得到分割图像集和极值图像集,该分割图像集包括第一分割图像和第二分割图像,该极值图像集包括第一局部极值图和第二局部极值图。
207、服务器对该第一分割图像和该第二分割图像中各个像素点执行逻辑或操作,得到第一融合图像,该第一融合图像用于表示该第一分割图像和该第二分割图像中细胞区域的并集。
在上述过程中,由于第一分割图像和第二分割图像均为二值化的图像,在第一分割图像和第二分割图像中,均将细胞区域内像素点的像素值置为1,将非细胞区域内像素点的像素值置为0,因此可以对第一分割图像和第二分割图像中对应位置的像素点执行逻辑或操作,也即是说,如果在第一分割图像中任一像素点以及第二分割图像中与该像素点位置对应的像素点之中,存在像素值为1的像素点,则将第一融合图像中与该像素点位置对应的像素点的像素值置为1。
例如,第一分割图像中坐标为(50,50)的像素点p1的像素值为1,第二分割图像中坐标为(50,50)的像素点p2的像素值为0,对上述两个像素点p1和p2执行逻辑或操作,由于像素点p1和p2之中存在至少一个像素点的像素值为1,那么在第一融合图像中,将坐标为(50,50)的像素点p3的像素值置为1。
进一步地,对每个像素点重复执行上述操作,可以实现对第一融合图像中所有的像素点均完成赋值,从而得到第一融合图像,在该第一融合图像中,能够综合第一分割图像和第二分割图像中所分割出的细胞区域,避免对细胞区域的漏检问题,有利于提升图像识别的准确率。
在上述步骤207中,服务器对该分割图像集内各个分割图像进行融合处理,得到第一融合图像,相较于相关技术中仅提取H通道图像内的细胞区域,在本发明实施例中,融合了H通道图像和DAB通道图像中二分类检测出的细胞区域,能够提升对细胞区域的检测准确率,从而提升了图像识别的准确率。
208、服务器对该第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像。
在上述过程中,由于第一局部极值图是二值化的图像,因此可以对第一局部极值图中各个局部极值点执行形态学膨胀运算,从而将一些较为离散的局部极值点通过膨胀运算合并到一起,得到第一膨胀图像,例如,可以通过OpenCV(open source computer visionlibrary,开源计算机视觉库)中提供的dilate函数实现膨胀运算,其中,该第一局部极值图所对应的膨胀系数可以设置为5。
具体地,在执行形态学膨胀运算时,服务器可以将第一局部极值图与一个膨胀核执行卷积操作,该膨胀核可以具有任何的形状和大小,该膨胀核对应于一个预定义的参考点,这个参考点也可以称为膨胀核的锚点(anchorpoint),通常情况下,膨胀核可以是一个携带有锚点的实心正方形或者圆盘,因此,可以形象地将膨胀核称为“模板”或者“掩码”。
基于上述情况,形态学膨胀运算可以表现为一种求局部最大值的操作,膨胀核与第一局部极值图卷积,也即是获取膨胀核所覆盖的区域内各像素点的最大像素值,并把这个最大像素值赋值给锚点所指定的像素点,使用膨胀核遍历整张第一局部极值图之后,就会使第一局部极值图中相邻的局部极值点互相合并,以减少后续细胞的过分割现象。
209、服务器对该第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像。
上述步骤209与上述步骤208类似,这里不做赘述。
其中,该第二局部极值图对应的膨胀系数可以设置为4。
210、服务器对该第一膨胀图像和该第二膨胀图像中各个像素点执行逻辑或操作,得到第二融合图像,该第二融合图像用于表示该第一局部极值图和该第二局部极值图中经膨胀运算后的各个局部极值点的并集。
在上述步骤208-210中,服务器对该极值图像集内各个局部极值图像进行融合处理,得到第二融合图像,在融合处理时,并非如步骤207中那样对各个分割图像直接求并集,而是通过先膨胀再融合的策略,这是由于对同一个细胞而言,在H通道图像和DAB通道图像中的局部极值点往往不是完全重合的,如果直接对第一局部极值图和第二局部极值图求并集,会导致原本属于同一个细胞的局部极值点,在并集中被视为两个不同细胞的局部极值点,相当于将一个细胞分割为多个子细胞,也即是容易引发细胞过分割现象。
而采用上述先膨胀再融合的策略,不仅能够基于膨胀运算将各个单通道图像内部的局部极值点进行合并,减少了细胞过分割现象,从而减少了识别的假阳性细胞的个数;而且将H通道图像对应的第一局部极值图以及DAB通道图像对应的第二局部极值图求并集,能够综合不同通道图像之间检测出的局部极值点,提升了局部极值点的检测准确率,由于局部极值点的检测精细度决定了各个细胞的检测精细度,因此提升了各个细胞的检测精细度,避免了单通道图像检测时容易产生的细胞漏检问题,也即是减少了识别的假阴性细胞的个数。因此,这种先膨胀再融合的策略,能够在减少假阴性细胞统计量的同时,不增加假阳性细胞统计量,从而既能够提高细胞检测的召回率(recall),也能够提高细胞检测的精确率(precision)。
211、服务器根据该第二融合图像,提取该第一融合图像中多个细胞的边缘像素点,生成第三分割图像。
在上述过程中,相当于服务器根据第二融合图像,对第一融合图像进行细胞边界分割,生成第三分割图像。需要说明的是,这里的细胞边界分割与上述步骤203-204中的细胞区域分割含义不同,上述步骤203-204中的细胞区域分割,是指在第一滤波图像中分割出细胞区域和非细胞区域,相当于将第一滤波图像中的前景区域(细胞区域)与背景区域(非细胞区域)分离,本质上是一个二分类的前景检测过程,而上述步骤211中的细胞边界分割,则是指在第一融合图像上已确定的细胞区域中,分割出每个细胞的边缘像素点,从而生成第三分割图像,相当于在已确定的前景区域的基础上,提取各个细胞的边缘像素点之后,将属于不同细胞的连通区域标记为不同的区域标签,本质上是一个图像语义分割过程。
在一些实施例中,图3是本发明实施例提供的一种生成第三分割图像的流程图,参见图3,服务器可以通过下述几个子步骤来实现上述步骤211中的操作:
2111、服务器对该第二融合图像进行连通域分析,得到该第二融合图像中多个连通区域,在该第二融合图像中为该多个连通区域添加多个区域标签,其中,一个区域标签对应于一个连通区域。
在上述过程中,服务器可以基于4邻接法进行连通域分析,也即是将每个像素点以及与该像素点在上、下、左、右这四个位置上邻接的像素点确定为属于同一个连通区域,在一些实施例中,服务器还可以基于8邻接法进行连通域分析,8邻接法与上述4邻接法类似,只是在考虑邻接关系时,除了上、下、左、右之外,还考虑了左上、右上、左下、右下这四个对角线上的像素点,从而将每个像素点以及与该像素点在上述八个位置上邻接的像素点确定为属于同一个连通区域。
服务器遍历第二融合图像中各个像素点,对每个像素点均执行上述连通域分析的步骤,能够得到第二融合图像中的多个连通区域,为不同的连通区域添加不同的区域标签,这些区域标签将在下述步骤2113中被调用。
2112、服务器获取该原始图像中的感兴趣区域。
在上述过程中,服务器可以将原始图像展示给用户,由用户人工标注出原始图像中的感兴趣(region of interest,ROI)区域,服务器获取标注结果,将该标注结果中所标记的区域确定为该原始图像中的感兴趣区域。
例如,该用户可以是病理医生,服务器将原始图像展示给病理医生,病理医生标注出肿瘤细胞所在的区域,由于图像识别是为了识别出肿瘤细胞中的阳性细胞,因此实际上无需对非肿瘤细胞进行图像识别,通过获取病理医生的标注结果,能够避免对无效区域的冗余计算,从而节约了图像识别过程的计算量。
在上述过程中,服务器在存储感兴趣区域时,可以生成一张二进制图像,在该二进制图像中,将感兴趣区域内各个像素点的像素值置为1,将感兴趣区域外各个像素点的像素值置为0。
2113、服务器在该原始图像中感兴趣区域和该第一融合图像中细胞区域的交集内,以该第二融合图像内各个局部极值点为生长种子点,将每个生长种子点所在连通区域的区域标签,赋值给该每个生长种子点对应的生长蔓延点。
在上述求交集的过程中,服务器可以将感兴趣区域对应的二进制图像以及第一融合图像中各个对应位置的像素点执行逻辑与操作,也即是说,仅当在感兴趣区域内某一位置的像素点的像素值为1,且在第一融合图像中对应位置的像素点的像素值也为1时,在交集图像中将对应位置的像素点的像素值置为1,否则,将对应位置的像素点的像素值置为0。通过上述方式,对各个像素点遍历执行逻辑与操作后,即可得到一张用于表示感兴趣区域与细胞区域之间交集的交集图像,在该交集图像中,在交集内的像素点的像素值为1,在交集外的像素点的像素值为0。
在上述过程中,将感兴趣区域与细胞区域求交集,是为了保证语义分割时仅作用在感兴趣的细胞区域内,从而避免了对非细胞区域或者非肿瘤细胞所在的区域进行不必要的语义分割,能够减少图像识别的计算量,进一步地,还可以减少来自于非细胞区域或非肿瘤细胞的假阳性细胞的统计量,提升图像识别的准确率。
在获取交集图像之后,服务器可以对交集图像中各个像素点执行一个取反的逻辑操作,使得原本交集图像内各个局部极大值点变成局部极小值点,以保证后续算法的正常运行,在取反后的交集图像内,以第二融合图像中各个局部极值点为生长种子点,对任一生长种子点,获取该生长种子点在邻域内像素差最小的像素点,将该像素差最小的像素点确定为一个生长蔓延点,将该生长种子点对应的区域标签赋值给该生成蔓延点对应的区域标签。对各个生长蔓延点,获取该生长蔓延点在邻域内像素差最小的像素点,将该像素差最小的像素点确定为另一个生成蔓延点,将该生长蔓延点对应的区域标签赋值给该另一个生成蔓延点对应的区域标签,从而重复执行上述过程,可以得到各个生长种子所对应的各个生长蔓延点,而对于各个细胞的边缘像素点,由于会被多个临近细胞的生长种子点赋值多种区域标签,此时可以执行下述步骤2114。
2114、当任一生长蔓延点被赋值多种区域标签时,服务器将该生长蔓延点确定为一个边缘像素点,重复执行该确定边缘像素点的步骤,直到获取到该交集内各个细胞的边缘像素点。
在上述过程中,通过判断每个生长蔓延点被赋值的区域标签的个数,当被赋值的区域标签的个数大于或等于2时,将该生成蔓延点确定为一个边缘像素点,从而能够得到所有细胞的边缘像素点。
在上述步骤2111-2114中,提供了一种基于拓扑理论的数学形态学的分割方式,该分割方式的基于思想是把交集图像看作是测地学上的拓扑地貌,交集图像中每一像素点的像素值(或者灰度值)表示该点的海拔高度,每一个局部极值点及其影响区域称为集水盆地,而集水盆地的边界(也即是细胞的边缘像素点)则形成分水岭。
分水岭的概念和形成可以通过模拟浸入过程来说明,图4是本发明实施例提供的一种提取边缘像素点的原理性示意图,如图4所示,可以形象地设想,在每一个局部极值点的表面,刺穿一个小孔,然后把整个地貌模型慢慢浸入水中,随着浸入程度的加深,每一个局部极值点的影响区域会慢慢向外扩展,在两个集水盆地的汇合处可以构筑大坝,该大坝即可形成分水岭。
在上述基础上,上述步骤2111-2114所执行的分割方式可以俗称为“分水岭算法”,分水岭算法对于微弱的边缘像素点具有较好的响应,能够保证提取出各个细胞的闭合、连续的边缘像素点,实现对交集图像中各个细胞的精准实例分割。
在一些实施例中,服务器还可以不执行上述步骤2111-2114,而是基于水平集(level-set)法进行细胞边界分割,在水平集法中,服务器可以通过求解最小能量泛函,得到细胞边缘的表达式,当然,服务器还可以使用其他的无监督分割算法来代替水平集法,这里不做赘述。
2115、服务器将该各个细胞的边缘像素点的像素值置为1,将除了该各个细胞的边缘像素点之外的像素点的像素值置为0,得到第三分割图像。
在上述过程中,服务器提取出多个细胞的边缘像素点之后,可以在一张空白图像中将各个边缘像素点对应位置的像素点的像素值置为1,否则置为0,从而生成了第三分割图像,该第三分割图像仍然是一个二值化的图像,从而基于第三分割图像执行下述步骤212。
212、服务器获取该第三分割图像中各个细胞对应的连通区域面积,当任一细胞对应的连通区域面积小于第一面积阈值或大于第二面积阈值时,删去该细胞对应的连通区域。
其中,该第一面积阈值可以是任一大于或等于0的数值,该第二面积阈值可以是任一大于或等于该第一面积阈值的数值。
在上述过程中,服务器相当于基于面积法来对第三分割图像进行后处理,以对第三分割图像进行进一步地降噪,删去噪声引起的分割区域,从而避免噪声干扰。
例如,该第一面积阈值可以是10个像素,该第二面积阈值可以是3000个像素,那么,当任一个细胞对应的连通区域中包括的像素点小于10个或大于3000个时,确定该连通区域是一个噪声引起的分割区域,从而在第三分割图像中删去该连通区域以及对应的区域标签。
在一些实施例中,服务器还可以采用下述方式来替换上述步骤212:服务器获取该第三分割图像中各个细胞的中心像素点与最近邻细胞的中心像素点之间的欧氏距离,当该欧式距离小于距离阈值时,将该细胞的中心像素点和该最近邻细胞的中心像素点合并为目标中心像素点,该目标中心像素点为该细胞的中心像素点和该最近邻细胞的中心像素点之间的平均值。其中,该距离阈值可以为任一大于或等于0的数值,例如,该距离阈值可以为16个像素。
在上述过程中,服务器相当于基于欧式距离法来对第三分割图像进行后处理,如果两个细胞的中心像素点之间的距离过于接近,那么直接将这两个细胞的两个连通区域合并成一个连通区域,能够有效地减少图像分割时产生的过分割区域,有利于提升后续图像识别过程的精准度。
213、服务器基于该原始图像和该第三分割图像,识别出多个细胞中的阳性细胞。
在一些实施例中,图5是本发明实施例提供的一种识别阳性细胞的流程图,参见图5,服务器可以通过下述几个子步骤进行阳性细胞的识别:
2131、服务器对该原始图像进行灰度处理,得到与该原始图像对应的灰度图像。
在上述步骤2131中,服务器可以提取原始图像的Y通道图像,该Y通道图像即为原始图像对应的灰度图像。
2132、服务器对该灰度图像进行中值滤波处理,得到第三滤波图像。
在上述过程中,服务器进行中值滤波处理时,可以通过一个滑动窗口按照固定步长对该灰度图像进行遍历扫描,每当滑动窗口到达一个扫描位置时,对该滑动窗口所框选的各个像素点(又称为邻域内的像素点),按照像素值从大到小的顺序进行排序,获取邻域内的中值像素值(排序位于最中心的像素值),将滑动窗口中心点的像素值置为该中值像素值,重复执行上述步骤,直到滑动窗口遍历整个灰度图像之后,可以得到第三滤波图像。
其中,该滑动窗口的尺寸可以为5×5,当然,还可以为3×3,本发明实施例不对滑动窗口的尺寸进行具体限定。
2133、服务器基于该第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点。
在上述过程中,对每个细胞的边缘像素点所围成的连通区域,服务器可以将位于该连通区域的几何中心的像素点确定为该细胞的中心像素点,对每个细胞重复执行上述步骤,得到各个细胞的中心像素点。
2134、服务器在该第三滤波图像中,根据与该第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出该多个细胞中的阳性细胞。
在上述过程中,由于第三滤波图像与第三分割图像的大小相同,服务器根据第三分割图像确定出中心像素点之后,在第三滤波图像中直接确定与各个中心像素点位置对应的像素点,当与中心像素点位置对应的任一像素点的灰度值大于灰度阈值时,将该像素点对应的细胞确定为阴性细胞,当与中心像素点位置对应的任一像素点的灰度值小于或等于该灰度阈值时,将该像素点对应的细胞确定为阳性细胞。
其中,该灰度阈值可以为任一大于或等于0的数值,例如,该灰度阈值可以为60。
在上述过程中,相当于根据各个细胞的中心像素点的灰度值来判断细胞为阴性细胞还是阳性细胞,这是因为Ki-67蛋白质是一种存在于细胞核的抗原,因此细胞核的染色程度才是评判阴性或阳性的依据,因此根据中心像素点的灰度值即可完成阴性或阳性的判断。
在上述步骤211-213中,服务器基于该第一融合图像和该第二融合图像进行图像识别,可以识别出统计区域(上述步骤2113中感兴趣区域与细胞区域的交集)内阴性细胞的个数和阳性细胞的个数,进一步地,还可以将阳性细胞的个数与阴性细胞的个数相加,得到本次统计细胞的总个数,将阳性细胞的个数除以本次统计细胞的总个数,得到Ki-67阳性指数。
例如,统计区域内阴性细胞的个数为N1,阳性细胞的个数为N2,则Ki-67阳性指数可以表示为:N2/(N1+N2)*100%。
在一些实施例中,服务器统计出哪些细胞是阳性细胞、哪些细胞是阴性细胞之后,还可以在原始图像中使用不同颜色的符号来表示不同属性的细胞,例如,使用绿色实心原点来表示阴性细胞,使用红色实心原点来表示阳性细胞,达到更加直观的显示效果。
图6是本发明实施例提供的一种细胞识别结果的示意图,参见图6,分别示出了结直肠癌、乳腺癌以及神经内分泌瘤的细胞识别结果,左侧为原始图像,右侧为识别结果图。作为一种示例,在每个识别结果图中均使用斜线填充圆圈601在识别结果图中标注出了一个阳性细胞,使用白色空心圆圈602在识别结果图中标注出了一个阴性细胞,在实际应用中,可以对每个识别出的阴性或阳性细胞均进行标注。可选地,各个识别结果图中还可以使用不同颜色的符号来对阳性细胞和阴性细胞进行区分显示,本发明实施例不对阴性或阳性细胞的显示方式进行具体限定。此外,在各个识别结果图中,还可以以文本形式标注出Ki-67阳性指数。需要说明的是,本发明实施例能够识别的肿瘤细胞并不局限于上述几个病种,对于任意发病器官的肿瘤细胞的切片图像,均能够应用本发明提供的图像识别方法。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
本发明实施例提供的方法,通过对原始图像进行色彩空间转换,得到该原始图像的H通道图像和DAB通道图像,能够提取出原始图像的H通道和DAB通道的双通道图像,从而对该H通道图像和该DAB通道图像分别进行预处理,得到分割图像集和极值图像集,该分割图像集包括该H通道图像和该DAB通道图像对应的分割图像,该极值图像集包括该H通道图像和该DAB通道图像对应的局部极值图像,对该分割图像集内各个分割图像进行融合处理,得到第一融合图像,对该极值图像集内各个局部极值图像进行融合处理,得到第二融合图像,通过分别对H通道和DAB通道的双通道图像进行预处理和融合处理,从而基于该第一融合图像和该第二融合图像进行图像识别,由于DAB通道图像对淡染阳性细胞较为敏感,因此综合双通道图像内识别出的阳性细胞,可以避免对H单通道图像进行识别时对淡染阳性细胞漏检的问题,能够提升识别阳性细胞过程的准确率,也就提升了阳性指数的准确率,从而提升了图像识别过程的智能性。
图7是本发明实施例提供的一种细胞识别结果的对比示意图,参见图7,可以明显地看出,在相关技术中基于H通道图像进行图像识别和细胞计数时,图像中部的淡染阳性细胞无法被检测出来,而本发明实施例提供的图像识别结果,能够更加准确地识别出淡染阳性细胞,提升阳性指数的计算准确率,提升图像识别过程的智能性。
进一步地,从量化指标上来分析,如下表1所示,相较于H单通道识别而言,可以看出,本发明实施例提供的图像识别方法,不管是对神经内分泌瘤的细胞,还是对结直肠癌的细胞,均能够对召回率和精确率提升2%。
表1
Figure BDA0002176322740000241
Figure BDA0002176322740000251
其中,上表中的F1分数(F1score),是统计学中用来衡量模型精确度的一种指标。F1分数同时兼顾了模型的精确率和召回率,可以看作是模型精确率和召回率的一种调和平均数,F1分数的取值范围是0到1之间。
分析上表可以看出,本发明的图像识别方法在F1分数上也有较好地优化效果。
进一步地,本发明实施例的图像识别方法,处理一张显微镜视野下的原始图像仅需1秒,并可以返回直观地细胞检测结果图并标注出阳性指数,从而可以辅助病理医生进行诊断,极大地减轻了人工细胞计数的工作负担,提高病理医生的工作效率。此外,在上述步骤2112中,病理医生可自主勾画出感兴趣区域,相应地图像识别算法就只对病理医生所勾画的感兴趣区域做图像识别,从而计算Ki-67阳性指数,具有较好的灵活性和可控性。
为了更清晰的描述本发明实施例的图像识别方法,图8是本发明实施例提供的一种图像识别方法的原理性示意图,如图8所示,在一种应用场景中,病理医生基于免疫组织化学反应制作好Ki-67切片,并置为显微镜视野下后,可以摄取到Ki-67图像(也即是原始图像),显微镜将Ki-67图像导出至终端,由终端将Ki-67图像上传至服务器。
服务器对Ki-67图像进行色彩通道分解,将Ki-67图像从RGB色彩空间转换至H-E-DAB色彩空间,得到H通道图像和DAB通道图像,基于H通道图像和DAB通道图像,图像识别流程可以划分为预处理过程、细胞分割过程和细胞分类计数过程。
首先,服务器分别对H通道图像和DAB通道图像并行地执行预处理操作,具体地,以H通道图像为例,对H通道图像进行双边滤波处理,实现初步降噪,得到第一滤波图像,对第一滤波图像进行细胞区域分割,得到第一分割图像,对第一滤波图像进行局部极值提取,得到第一局部极值图,对DAB通道图像执行类似的操作,这里不做赘述。最终,得到第一分割图像和第二分割图像构成的分割图像集,第一局部极值图和第二局部极值图构成的极值图像集,完成预处理过程。
接下来,在细胞分割过程中,一方面,服务器对第一分割图像和第二分割图像进行融合处理(也即是细胞区域融合),也即是对各个像素点执行逻辑或操作,得到第一融合图像;另一方面,服务器对第一局部极值图和第二局部极值图先分别进行形态学膨胀运算,得到第一膨胀图像和第二膨胀图像,再对第一膨胀图像和第二膨胀图像进行融合处理(也即是局部极值融合),得到第二融合图像,这种先膨胀再融合的策略能够在不增加假阳性细胞统计量的基础上,大大降低假阴性细胞统计量,也就大大提升了细胞识别的准确率。
服务器获取到第一融合图像和第二融合图像之后,获取病理医生人工标注的ROI区域(感兴趣区域),将第一融合图像、第二融合图像和ROI区域作为分水岭算法的输入,基于分水岭算法进行细胞的实例分割(也即是分水岭分割),得到第三分割图像,最后,通过上述步骤212中的面积法或欧式距离法对第三分割图像进行后处理,降低第三分割图像中的噪声干扰,从而剔除第三分割图像中的假阳性细胞干扰。
接下来,进入细胞分类计数的流程,服务器对Ki-67图像进行灰度处理和中值滤波后,得到第三滤波图像,基于经过后处理的第三分割图像确定出各个细胞的中心像素点,在第三滤波图像中根据中心像素点的灰度值,对各个细胞进行阈值分类,将大于灰度阈值的细胞确定为阴性细胞,将小于灰度阈值的细胞确定为阳性细胞,实现对细胞阴性或阳性的二分类,并基于对阴性细胞和阳性细胞的个数统计(也即是细胞计数),计算出Ki-67图像的Ki-67阳性指数。
在一个示例性场景中,在病理医生对应的终端上可以安装有应用程序,通过应用程序可以访问服务器。病理医生可以基于应用程序将Ki-67图像上传至服务器,使得服务器基于上述实施例提供的图像识别方法,输出携带属性标记的目标图像,该目标图像中可以采用不同的颜色来分别表示阳性细胞标记点和阴性细胞标记点,同时,在该目标图像中还可以使用文本方式标注出阳性指数,例如,使用红色圆点表示阳性细胞标记点,使用绿色圆点表示阴性细胞标记点。
图9是本发明实施例提供的一种图像识别方法的输入输出示意图,参见图9,本发明实施例可以应用于一种智能显微镜***中,在该智能显微镜***中可以包括显微镜、图像识别模块和图像显示模块。
其中,该显微镜,用于获取细胞切片在显微镜视野下的显微图像;
其中,该图像识别模块,用于对该显微图像进行色彩空间转换,得到该显微图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;对该H通道图像和该DAB通道图像分别进行预处理,得到分割图像集和极值图像集,该分割图像集包括该H通道图像和该DAB通道图像对应的分割图像,该极值图像集包括该H通道图像和该DAB通道图像对应的局部极值图像;对该分割图像集内各个分割图像进行融合处理,得到第一融合图像,对该极值图像集内各个局部极值图像进行融合处理,得到第二融合图像;基于该第一融合图像和该第二融合图像进行图像识别;
其中,该图像显示模块,用于基于图像识别的结果,确定该细胞切片对应的阳性指数;在该显微图像中以不同的显示方式对阴性细胞和阳性细胞进行标注,得到目标图像,该目标图像中携带该阳性指数;显示该目标图像。
如图9所示,智能显微镜***中的显微镜获取到显微图像901之后,由图像识别模块基于本发明的图像识别方法,对显微图像进行细胞识别,识别出细胞切片内的阳性细胞和阴性细胞,最后由图像显示模块基于图像识别的结果,生成并显示目标图像902。
需要说明的是,上述智能显微镜***中的显微镜、图像识别模块和图像显示模块,三者可以分别配置在不同的物理设备中,当然,三者中的任意两者可以集成于同一物理设备上,或者三者均集成于同一物理设备上,本发明实施例不对智能显微镜***中包括几个物理设备进行具体限定。
例如,图像识别模块和图像显示模块两者可以集成于一个一体化的终端内,显微镜获取到显微图像后,将显微图像导出至终端内,由终端对显微图像进行图像分析和处理,也即是进行细胞识别、生成目标图像、显示目标图像,能够提升技术人员的操作便捷度。
又例如,显微镜、图像识别模块和图像显示模块三者可以集成于一个一体化的智能显微镜中,此时的智能显微镜不仅能够如传统显微镜一样对细胞切片进行放大显示,而且还可以在后台调用图像识别模块、图像显示进行上述图像分析和处理操作,从而直接返回目标图像,进一步地提升了技术人员的操作便捷度。
图10是本发明实施例提供的一种图像识别装置的结构示意图,参见图10,该装置包括:
转换模块1001,用于对原始图像进行色彩空间转换,得到该原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;
预处理模块1002,用于对该H通道图像和该DAB通道图像分别进行预处理,得到分割图像集和极值图像集,该分割图像集包括该H通道图像和该DAB通道图像对应的分割图像,该极值图像集包括该H通道图像和该DAB通道图像对应的局部极值图像;
融合模块1003,用于对该分割图像集内各个分割图像进行融合处理,得到第一融合图像,对该极值图像集内各个局部极值图像进行融合处理,得到第二融合图像;
识别模块1004,用于基于该第一融合图像和该第二融合图像进行图像识别。
本发明实施例提供的装置,通过对原始图像进行色彩空间转换,得到该原始图像的H通道图像和DAB通道图像,能够提取出原始图像的H通道和DAB通道的双通道图像,从而对该H通道图像和该DAB通道图像分别进行预处理,得到分割图像集和极值图像集,该分割图像集包括该H通道图像和该DAB通道图像对应的分割图像,该极值图像集包括该H通道图像和该DAB通道图像对应的局部极值图像,对该分割图像集内各个分割图像进行融合处理,得到第一融合图像,对该极值图像集内各个局部极值图像进行融合处理,得到第二融合图像,通过分别对H通道和DAB通道的双通道图像进行预处理和融合处理,从而基于该第一融合图像和该第二融合图像进行图像识别,由于DAB通道图像对淡染阳性细胞较为敏感,因此综合双通道图像内识别出的阳性细胞,可以避免对H单通道图像进行识别时对淡染阳性细胞漏检的问题,能够提升识别阳性细胞过程的准确率,也就提升了阳性指数的准确率,从而提升了图像识别过程的智能性。
在一种可能实施方式中,基于图10的装置组成,该预处理模块1002包括:
双边滤波单元,用于对该H通道图像和该DAB通道图像分别进行双边滤波处理,得到第一滤波图像和第二滤波图像,该第一滤波图像对应于该H通道图像,该第二滤波图像对应于该DAB通道图像;
分割单元,用于对该第一滤波图像和该第二滤波图像分别进行分割处理,得到该分割图像集;
极值提取单元,用于对该第一滤波图像和该第二滤波图像分别进行局部极值提取,得到该极值图像集。
在一种可能实施方式中,该分割图像集包括第一分割图像和第二分割图像,该分割单元用于:
基于最大类间方差法,对该第一滤波图像进行二分类,得到二值化的该第一分割图像,该第一分割图像用于表示该H通道图像中的细胞区域;
基于最大类间方差法,对该第二滤波图像进行二分类,得到二值化的该第二分割图像,该第二分割图像用于表示该DAB通道图像中的细胞区域。
在一种可能实施方式中,该融合模块1003用于:
对该第一分割图像和该第二分割图像中各个像素点执行逻辑或操作,得到该第一融合图像,该第一融合图像用于表示该第一分割图像和该第二分割图像中细胞区域的并集。
在一种可能实施方式中,该极值图像集包括第一局部极值图和第二局部极值图,该极值提取单元用于:
基于最大值滤波法,对该第一滤波图像进行局部极值提取,得到该第一局部极值图,该第一局部极值图用于表示该H通道图像中的局部极值点;
基于最大值滤波法,对该第二滤波图像进行局部极值提取,得到该第二局部极值图,该第二局部极值图用于表示该DAB通道图像中的局部极值点。
在一种可能实施方式中,该融合模块1003用于:
对该第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;
对该第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;
对该第一膨胀图像和该第二膨胀图像中各个像素点执行逻辑或操作,得到该第二融合图像,该第二融合图像用于表示该第一局部极值图和该第二局部极值图中经膨胀运算后的各个局部极值点的并集。
在一种可能实施方式中,基于图10的装置组成,该识别模块1004包括:
提取生成单元,用于根据该第二融合图像,提取该第一融合图像中多个细胞的边缘像素点,生成第三分割图像;
识别单元,用于基于该原始图像和该第三分割图像,识别出该多个细胞中的阳性细胞。
在一种可能实施方式中,该提取生成单元用于:
对该第二融合图像进行连通域分析,得到该第二融合图像中多个连通区域,在该第二融合图像中为该多个连通区域添加多个区域标签,其中,一个区域标签对应于一个连通区域;
获取该原始图像中的感兴趣区域;
在该原始图像中感兴趣区域和该第一融合图像中细胞区域的交集内,以该第二融合图像内各个局部极值点为生长种子点,将每个生长种子点所在连通区域的区域标签,赋值给该每个生长种子点对应的生长蔓延点;
当任一生长蔓延点被赋值多种区域标签时,将该生长蔓延点确定为一个边缘像素点,重复执行该确定边缘像素点的步骤,直到获取到该交集内各个细胞的边缘像素点;
将该各个细胞的边缘像素点的像素值置为1,将除了该各个细胞的边缘像素点之外的像素点的像素值置为0,得到该第三分割图像。
在一种可能实施方式中,基于图10的装置组成,该装置还包括:
获取该第三分割图像中各个细胞对应的连通区域面积,当任一细胞对应的连通区域面积小于第一面积阈值或大于第二面积阈值时,删去该细胞对应的连通区域;或,
获取该第三分割图像中各个细胞的中心像素点与最近邻细胞的中心像素点之间的欧氏距离,当该欧式距离小于距离阈值时,将该细胞的中心像素点和该最近邻细胞的中心像素点合并为目标中心像素点,该目标中心像素点为该细胞的中心像素点和该最近邻细胞的中心像素点之间的平均值。
在一种可能实施方式中,该识别单元包括:
灰度处理子单元,用于对该原始图像进行灰度处理,得到与该原始图像对应的灰度图像;
中值滤波子单元,用于对该灰度图像进行中值滤波处理,得到第三滤波图像;
第一确定子单元,用于基于该第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点;
第二确定子单元,用于在该第三滤波图像中,根据与该第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出该多个细胞中的阳性细胞。
在一种可能实施方式中,该第二确定子单元用于:
当与中心像素点位置对应的任一像素点的灰度值大于灰度阈值时,将该像素点对应的细胞确定为阴性细胞;
当与中心像素点位置对应的任一像素点的灰度值小于或等于该灰度阈值时,将该像素点对应的细胞确定为阳性细胞。
在一种可能实施方式中,该转换模块1001用于:
根据该原始图像的光密度矩阵,对该原始图像进行正交变换,得到该H通道图像和该DAB通道图像。
在一种可能实施方式中,该装置还包括:
获取细胞切片在显微镜视野下的显微图像,将该显微图像确定为该原始图像。
需要说明的是:上述实施例提供的图像识别装置在识别图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像识别装置与图像识别方法实施例属于同一构思,其具体实现过程详见图像识别方法实施例,这里不再赘述。
图11是本发明实施例提供的一种计算机设备的结构示意图,该计算机设备1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)1101和一个或一个以上的存储器1102,其中,该存储器1102中存储有至少一条程序代码,该至少一条程序代码由该处理器1101加载并执行以实现上述各个实施例提供的图像识别方法。当然,该计算机设备1100还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备1100还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条程序代码的存储器,上述至少一条程序代码可由终端中的处理器执行以完成上述实施例中图像识别方法。例如,该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (19)

1.一种图像识别方法,其特征在于,所述方法包括:
对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;
对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集,所述分割图像集包括所述H通道图像和所述DAB通道图像对应的分割图像,所述极值图像集包括所述H通道图像和所述DAB通道图像对应的局部极值图像,所述极值图像集包括第一局部极值图和第二局部极值图;
对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像;
对所述第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;对所述第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;对所述第一膨胀图像和所述第二膨胀图像中各个像素点执行逻辑或操作,得到第二融合图像,所述第二融合图像用于表示所述第一局部极值图和所述第二局部极值图中经膨胀运算后的各个局部极值点的并集;
根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像;
对所述原始图像进行灰度处理,得到与所述原始图像对应的灰度图像;对所述灰度图像进行中值滤波处理,得到第三滤波图像;基于所述第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点;在所述第三滤波图像中,根据与所述第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出所述多个细胞中的阳性细胞。
2.根据权利要求1所述的方法,其特征在于,所述对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集包括:
对所述H通道图像和所述DAB通道图像分别进行双边滤波处理,得到第一滤波图像和第二滤波图像,所述第一滤波图像对应于所述H通道图像,所述第二滤波图像对应于所述DAB通道图像;
对所述第一滤波图像和所述第二滤波图像分别进行分割处理,得到所述分割图像集;
对所述第一滤波图像和所述第二滤波图像分别进行局部极值提取,得到所述极值图像集。
3.根据权利要求2所述的方法,其特征在于,所述分割图像集包括第一分割图像和第二分割图像,所述对所述第一滤波图像和所述第二滤波图像分别进行分割处理,得到所述分割图像集包括:
基于最大类间方差法,对所述第一滤波图像进行二分类,得到二值化的所述第一分割图像,所述第一分割图像用于表示所述H通道图像中的细胞区域;
基于最大类间方差法,对所述第二滤波图像进行二分类,得到二值化的所述第二分割图像,所述第二分割图像用于表示所述DAB通道图像中的细胞区域。
4.根据权利要求3所述的方法,其特征在于,所述对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像包括:
对所述第一分割图像和所述第二分割图像中各个像素点执行逻辑或操作,得到所述第一融合图像,所述第一融合图像用于表示所述第一分割图像和所述第二分割图像中细胞区域的并集。
5.根据权利要求2所述的方法,其特征在于,所述极值图像集包括第一局部极值图和第二局部极值图,所述对所述第一滤波图像和所述第二滤波图像分别进行局部极值提取,得到所述极值图像集包括:
基于最大值滤波法,对所述第一滤波图像进行局部极值提取,得到所述第一局部极值图,所述第一局部极值图用于表示所述H通道图像中的局部极值点;
基于最大值滤波法,对所述第二滤波图像进行局部极值提取,得到所述第二局部极值图,所述第二局部极值图用于表示所述DAB通道图像中的局部极值点。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像包括:
对所述第二融合图像进行连通域分析,得到所述第二融合图像中多个连通区域,在所述第二融合图像中为所述多个连通区域添加多个区域标签,其中,一个区域标签对应于一个连通区域;
获取所述原始图像中的感兴趣区域;
在所述原始图像中感兴趣区域和所述第一融合图像中细胞区域的交集内,以所述第二融合图像内各个局部极值点为生长种子点,将每个生长种子点所在连通区域的区域标签,赋值给所述每个生长种子点对应的生长蔓延点;
当任一生长蔓延点被赋值多种区域标签时,将所述生长蔓延点确定为一个边缘像素点,重复执行确定所述边缘像素点的步骤,直到获取到所述交集内各个细胞的边缘像素点;
将所述各个细胞的边缘像素点的像素值置为1,将除了所述各个细胞的边缘像素点之外的像素点的像素值置为0,得到所述第三分割图像。
7.根据权利要求1所述的方法,其特征在于,所述确定出所述多个细胞中的阳性细胞之前,所述方法还包括:
获取所述第三分割图像中各个细胞对应的连通区域面积,当任一细胞对应的连通区域面积小于第一面积阈值或大于第二面积阈值时,删去所述细胞对应的连通区域;或,
获取所述第三分割图像中各个细胞的中心像素点与最近邻细胞的中心像素点之间的欧氏距离,当所述欧氏距离小于距离阈值时,将所述细胞的中心像素点和所述最近邻细胞的中心像素点合并为目标中心像素点,所述目标中心像素点为所述细胞的中心像素点和所述最近邻细胞的中心像素点之间的平均值。
8.根据权利要求1所述的方法,其特征在于,所述对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像之前,所述方法还包括:
获取细胞切片在显微镜视野下的显微图像,将所述显微图像确定为所述原始图像。
9.一种图像识别装置,其特征在于,所述装置包括:
转换模块,用于对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;
预处理模块,用于对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集,所述分割图像集包括所述H通道图像和所述DAB通道图像对应的分割图像,所述极值图像集包括所述H通道图像和所述DAB通道图像对应的局部极值图像,所述极值图像集包括第一局部极值图和第二局部极值图;
融合模块,用于对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像;对所述第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;对所述第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;对所述第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;对所述第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;对所述第一膨胀图像和所述第二膨胀图像中各个像素点执行逻辑或操作,得到第二融合图像,所述第二融合图像用于表示所述第一局部极值图和所述第二局部极值图中经膨胀运算后的各个局部极值点的并集;
识别模块,用于根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像;对所述原始图像进行灰度处理,得到与所述原始图像对应的灰度图像;对所述灰度图像进行中值滤波处理,得到第三滤波图像;基于所述第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点;在所述第三滤波图像中,根据与所述第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出所述多个细胞中的阳性细胞。
10.根据权利要求9所述的装置,其特征在于,所述预处理模块包括:
双边滤波单元,用于对所述H通道图像和所述DAB通道图像分别进行双边滤波处理,得到第一滤波图像和第二滤波图像,所述第一滤波图像对应于所述H通道图像,所述第二滤波图像对应于所述DAB通道图像;
分割单元,对所述第一滤波图像和所述第二滤波图像分别进行分割处理,得到所述分割图像集;
极值提取单元,用于对所述第一滤波图像和所述第二滤波图像分别进行局部极值提取,得到所述极值图像集。
11.根据权利要求10所述的装置,其特征在于,所述分割图像集包括第一分割图像和第二分割图像,所述分割单元用于:
基于最大类间方差法,对所述第一滤波图像进行二分类,得到二值化的所述第一分割图像,所述第一分割图像用于表示所述H通道图像中的细胞区域;
基于最大类间方差法,对所述第二滤波图像进行二分类,得到二值化的所述第二分割图像,所述第二分割图像用于表示所述DAB通道图像中的细胞区域。
12.根据权利要求11所述的装置,其特征在于,所述融合模块用于:
对所述第一分割图像和所述第二分割图像中各个像素点执行逻辑或操作,得到所述第一融合图像,所述第一融合图像用于表示所述第一分割图像和所述第二分割图像中细胞区域的并集。
13.根据权利要求10所述的装置,其特征在于,所述极值图像集包括第一局部极值图和第二局部极值图,所述极值提取单元用于:
基于最大值滤波法,对所述第一滤波图像进行局部极值提取,得到所述第一局部极值图,所述第一局部极值图用于表示所述H通道图像中的局部极值点;
基于最大值滤波法,对所述第二滤波图像进行局部极值提取,得到所述第二局部极值图,所述第二局部极值图用于表示所述DAB通道图像中的局部极值点。
14.根据权利要求9所述的装置,其特征在于,所述识别模块用于:
对所述第二融合图像进行连通域分析,得到所述第二融合图像中多个连通区域,在所述第二融合图像中为所述多个连通区域添加多个区域标签,其中,一个区域标签对应于一个连通区域;
获取所述原始图像中的感兴趣区域;
在所述原始图像中感兴趣区域和所述第一融合图像中细胞区域的交集内,以所述第二融合图像内各个局部极值点为生长种子点,将每个生长种子点所在连通区域的区域标签,赋值给所述每个生长种子点对应的生长蔓延点;
当任一生长蔓延点被赋值多种区域标签时,将所述生长蔓延点确定为一个边缘像素点,重复执行确定所述边缘像素点的步骤,直到获取到所述交集内各个细胞的边缘像素点;
将所述各个细胞的边缘像素点的像素值置为1,将除了所述各个细胞的边缘像素点之外的像素点的像素值置为0,得到所述第三分割图像。
15.根据权利要求9所述的装置,其特征在于,所述装置还包括:
获取所述第三分割图像中各个细胞对应的连通区域面积,当任一细胞对应的连通区域面积小于第一面积阈值或大于第二面积阈值时,删去所述细胞对应的连通区域;或,
获取所述第三分割图像中各个细胞的中心像素点与最近邻细胞的中心像素点之间的欧氏距离,当所述欧氏距离小于距离阈值时,将所述细胞的中心像素点和所述最近邻细胞的中心像素点合并为目标中心像素点,所述目标中心像素点为所述细胞的中心像素点和所述最近邻细胞的中心像素点之间的平均值。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
获取细胞切片在显微镜视野下的显微图像,将所述显微图像确定为所述原始图像。
17.一种智能显微镜***,其特征在于,所述智能显微镜***包括显微镜、图像识别模块和图像显示模块;
所述显微镜,用于获取细胞切片在显微镜视野下的显微图像;
所述图像识别模块,用于对原始图像进行色彩空间转换,得到所述原始图像的苏木精H通道图像和二氨基联苯胺DAB通道图像;对所述H通道图像和所述DAB通道图像分别进行预处理,得到分割图像集和极值图像集,所述分割图像集包括所述H通道图像和所述DAB通道图像对应的分割图像,所述极值图像集包括所述H通道图像和所述DAB通道图像对应的局部极值图像,所述极值图像集包括第一局部极值图和第二局部极值图;对所述分割图像集内各个分割图像进行融合处理,得到第一融合图像;对所述第一局部极值图中各个局部极值点执行形态学膨胀运算,得到第一膨胀图像;对所述第二局部极值图中各个局部极值点执行形态学膨胀运算,得到第二膨胀图像;对所述第一膨胀图像和所述第二膨胀图像中各个像素点执行逻辑或操作,得到第二融合图像,所述第二融合图像用于表示所述第一局部极值图和所述第二局部极值图中经膨胀运算后的各个局部极值点的并集;根据所述第二融合图像,提取所述第一融合图像中多个细胞的边缘像素点,生成第三分割图像;对所述原始图像进行灰度处理,得到与所述原始图像对应的灰度图像;对所述灰度图像进行中值滤波处理,得到第三滤波图像;基于所述第三分割图像中各个细胞的边缘像素点,确定各个细胞的中心像素点;在所述第三滤波图像中,根据与所述第三分割图像中各个细胞的中心像素点位置对应的像素点的灰度值,确定出所述多个细胞中的阳性细胞;
所述图像显示模块,用于基于图像识别的结果,确定所述细胞切片对应的阳性指数;在所述显微图像中以不同的显示方式对阴性细胞和阳性细胞进行标注,得到目标图像,所述目标图像中携带所述阳性指数;显示所述目标图像。
18.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像识别方法所执行的操作。
19.一种存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像识别方法所执行的操作。
CN201910780213.3A 2019-08-22 2019-08-22 图像识别方法、装置、计算机设备及存储介质 Active CN110472616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910780213.3A CN110472616B (zh) 2019-08-22 2019-08-22 图像识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910780213.3A CN110472616B (zh) 2019-08-22 2019-08-22 图像识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110472616A CN110472616A (zh) 2019-11-19
CN110472616B true CN110472616B (zh) 2022-03-08

Family

ID=68513470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910780213.3A Active CN110472616B (zh) 2019-08-22 2019-08-22 图像识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110472616B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275696B (zh) * 2020-02-10 2023-09-15 腾讯医疗健康(深圳)有限公司 一种医学图像处理的方法、图像处理的方法及装置
CN111583186A (zh) * 2020-04-14 2020-08-25 山东省千佛山医院 面向临床应用的病理er/pr细胞核计数方法及***
CN111858954B (zh) * 2020-06-29 2022-12-13 西南电子技术研究所(中国电子科技集团公司第十研究所) 面向任务的文本生成图像网络模型
CN111986378B (zh) * 2020-07-30 2022-06-28 长城信息股份有限公司 一种票据彩色纤维丝检测方法和***
CN111695644B (zh) * 2020-08-10 2023-04-18 华侨大学 基于光密度变换的肿瘤超声图像分类方法、装置及介质
CN112070722A (zh) * 2020-08-14 2020-12-11 厦门骁科码生物科技有限公司 一种荧光原位杂交细胞核分割方法及***
CN113284085A (zh) * 2021-02-08 2021-08-20 上海衡道医学病理诊断中心有限公司 一种细胞膜识别及分割方法
CN112784832B (zh) * 2021-02-09 2022-09-09 西南科技大学 一种物体标记点识别方法及装置
CN113158643B (zh) * 2021-04-27 2024-05-28 广东外语外贸大学 一种新型文本可读性评估方法及***
CN113393539B (zh) * 2021-06-08 2023-05-26 北方工业大学 化学反应溶液颜色突变识别方法
CN114926508B (zh) * 2022-07-21 2022-11-25 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN115272288B (zh) * 2022-08-22 2023-06-02 杭州微引科技有限公司 一种医学图像标记点自动识别方法、电子设备及存储介质
CN116311541B (zh) * 2023-05-22 2023-08-04 泰坦(天津)能源技术有限公司 一种识别工人违规行为的智能巡检方法及***
CN116503301B (zh) * 2023-06-27 2023-09-12 珠海横琴圣澳云智科技有限公司 基于空间域的显微镜下细胞图像融合方法及装置
CN116912305B (zh) * 2023-09-13 2023-11-24 四川大学华西医院 基于深度学习的脑部ct图像三维重建方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1361503A (zh) * 2000-12-29 2002-07-31 南开大学 基于神经网络的彩色多目标融合识别技术及其***
CN104574293A (zh) * 2014-11-28 2015-04-29 中国科学院长春光学精密机械与物理研究所 基于有界运算的多尺度Retinex图像清晰化算法
CN105335967A (zh) * 2015-10-16 2016-02-17 中国人民解放军国防科学技术大学 基于局部最大类间方差和数学形态学的手背静脉纹路提取方法
WO2019025514A3 (en) * 2017-08-04 2019-03-14 Ventana Medical Systems, Inc. METHODS AND AUTOMATED SYSTEMS FOR DETECTING CELLS IN IMAGES OF COLORED SAMPLES

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1361503A (zh) * 2000-12-29 2002-07-31 南开大学 基于神经网络的彩色多目标融合识别技术及其***
CN104574293A (zh) * 2014-11-28 2015-04-29 中国科学院长春光学精密机械与物理研究所 基于有界运算的多尺度Retinex图像清晰化算法
CN105335967A (zh) * 2015-10-16 2016-02-17 中国人民解放军国防科学技术大学 基于局部最大类间方差和数学形态学的手背静脉纹路提取方法
WO2019025514A3 (en) * 2017-08-04 2019-03-14 Ventana Medical Systems, Inc. METHODS AND AUTOMATED SYSTEMS FOR DETECTING CELLS IN IMAGES OF COLORED SAMPLES

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
血液红细胞图像自适应标记分水岭分割算法;王娅;《中国图象图形学报》;20171231;第22卷(第12期);第1779-1787页 *

Also Published As

Publication number Publication date
CN110472616A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110472616B (zh) 图像识别方法、装置、计算机设备及存储介质
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
US10127675B2 (en) Edge-based local adaptive thresholding system and methods for foreground detection
CN106056118B (zh) 一种用于细胞的识别计数方法
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及***
US11959848B2 (en) Method of storing and retrieving digital pathology analysis results
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
Nguyen et al. Spatial statistics for segmenting histological structures in H&E stained tissue images
CN112990214A (zh) 一种医学图像特征识别预测模型
CN114550169A (zh) 细胞分类模型的训练方法、装置、设备及介质
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
US20230051951A1 (en) Method for training image processing model
CN110490159B (zh) 识别显微图像中的细胞的方法、装置、设备及存储介质
CN113269724A (zh) 一种细粒度癌症亚型分类方法
CN107481243B (zh) 基于羊只俯视图的羊只体尺检测方法
CN109074645B (zh) 用于ihc图像分析的空间索引创建
CN108022245A (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN116152494A (zh) 基于两阶段3d点云语义分割的建筑物脚点识别分割方法
Feng et al. An advanced automated image analysis model for scoring of ER, PR, HER-2 and Ki-67 in breast carcinoma
CN109816665A (zh) 一种光学相干断层扫描图像的快速分割方法及装置
Masoudi et al. Diagnosis of Hodgkin's disease by identifying Reed-Sternberg cell nuclei in histopathological images of lymph nodes stained with Hematoxylin and Eosin
Xu et al. Tissue region growing for hispathology image segmentation
Nandanwar et al. Analysis of pixel intensity variation by performing morphological operations for image segmentation on cervical cancer pap smear image
CN114581908B (zh) 一种pd-l1免疫组化评分方法、***、装置与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant