CN113111879B - 一种细胞检测的方法和*** - Google Patents

一种细胞检测的方法和*** Download PDF

Info

Publication number
CN113111879B
CN113111879B CN202110483051.4A CN202110483051A CN113111879B CN 113111879 B CN113111879 B CN 113111879B CN 202110483051 A CN202110483051 A CN 202110483051A CN 113111879 B CN113111879 B CN 113111879B
Authority
CN
China
Prior art keywords
processing
image
cell
characteristic
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110483051.4A
Other languages
English (en)
Other versions
CN113111879A (zh
Inventor
范伟亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ruiyu Biotech Co Ltd
Original Assignee
Shanghai Ruiyu Biotech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ruiyu Biotech Co Ltd filed Critical Shanghai Ruiyu Biotech Co Ltd
Priority to CN202110483051.4A priority Critical patent/CN113111879B/zh
Publication of CN113111879A publication Critical patent/CN113111879A/zh
Application granted granted Critical
Publication of CN113111879B publication Critical patent/CN113111879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种细胞检测方法和***,所述方法包括:获取待检测的细胞图像;利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果;所述目标识别模型至少包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层。

Description

一种细胞检测的方法和***
技术领域
本说明书涉及图像处理技术领域,特别涉及一种细胞检测的方法和***。
背景技术
生物医学图像分析分为宏观图像分析和微观图像分析,宏观图像分析是应用医学成像技术制造的医疗仪器设备,包括X射线、CT、MRI(核磁共振)、超声多谱勒等。微观图像分析是指通过显微镜与计算机连接,将显微镜下的细胞、组织图像用计算机进行处理和分析。细胞检测是生物医学图像分析中一项重要的研究内容,通过细胞检测可实现细胞计数,精准的细胞计数能够检测潜在疾病与相关病变。
为此,希望提供一种细胞检测的方法和***,能提高细胞检测的准确性。
发明内容
本说明书实施例之一提供一种细胞检测方法,所述方法包括:获取待检测的细胞图像;利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果;所述目标识别模型至少包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层,所述目标识别模型的处理包括:利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像;利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域;利用所述感兴趣区域池化层对所述候选区域和所述第一特征图像进行处理,确定第二特征图像;利用所述多个全连接层分别对所述第二特征图像进行处理,得到多个第三特征图像;所述多个全连接层具备不同的神经元数量;对所述多个第三特征图像进行融合处理,得到第四特征图像;对所述第四特征图像进行分类处理和回归处理,确定所述识别结果。
在一些实施例中,所述多个全连接层包括三个全连接层,所述三个全连接层的神经元数量分别为2048、512和128。
在一些实施例中,所述利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域,包括:利用滑动窗口在所述第一特征图像上进行滑动处理,确定多个第一中心点;基于所述多个第一中心点在所述细胞图像上进行映射处理,确定多个第二中心点;基于预设尺寸的锚框在所述多个第二中心点中每个的位置处,生成多个候选锚框;所述预设尺寸的锚框基于所述目标识别模型的训练数据得到;基于所述多个第二中心点中每个的所述多个候选锚框,确定所述候选区域。
在一些实施例中,所述预设尺寸的锚框基于聚类算法对所述训练数据中的标注框的尺寸数据进行处理得到。在一些实施例中,所述聚类算法包括但不限于以下的一种或多种:K均值聚类算法、均值漂移算法和基于密度的聚类算法。在一些实施例中,所述预设尺寸的锚框为面积包括8*8和16*16,且长宽比包括1:1、1:1.5和2:1所对应的锚框。
在一些实施例中,所述目标识别模型还包括随机失活层;所述对所述第四特征图像进行分类处理和回归处理,确定所述识别结果,包括:利用所述随机失活层对所述第四特征图像进行处理,确定第五特征图像;对所述第五特征图像进行所述分类处理和所述回归处理,确定所述识别结果。
本说明书实施例之一提供一种细胞检测***,所述***包括:获取模块,用于获取待检测的细胞图像;处理模块,用于利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果;所述目标识别模型至少包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层,所述目标识别模型的处理包括:利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像;利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域;利用所述感兴趣区域池化层对所述候选区域和所述第一特征图像进行处理,确定第二特征图像;利用所述多个全连接层分别对所述第二特征图像进行处理,得到多个第三特征图像;所述多个全连接层具备不同的神经元数量;对所述多个第三特征图像进行融合处理,得到第四特征图像;对所述第四特征图像进行分类处理和回归处理,确定所述识别结果。
本说明书实施例之一提供一种细胞检测装置,包括处理器,所述装置包括处理器以及存储器,所述存储器用于存储指令,所述处理器用于执行所述指令,以实现如前任一项所述的细胞检测方法对应的操作。
本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,所述计算机指令被处理器执行时,实现如前任一项所述的细胞检测方法对应的操作。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的细胞检测***的应用场景示意图;
图2是根据本说明书一些实施例所示的细胞检测方法的示例性流程图;
图3是根据本说明书一些实施例所示的目标识别模型的示例性结构示意图;
图4是根据本说明书一些实施例所示的确定候选区域的示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的细胞检测***的应用场景示意图。
如图1所示,细胞检测***100可以包括处理设备110、网络120以及用户终端130。
处理设备110可用于处理与细胞检测相关联的信息和/或数据来执行在本说明书中揭示的一个或者多个功能。在一些实施例中,处理设备110可以用于获取待检测的细胞图像。在一些实施例中,处理设备110可以利用目标识别模型对细胞图像进行处理,确定细胞图像的识别结果。在一些实施例中,处理设备110可以包括一个或多个处理引擎(例如,单核心处理引擎或多核心处理器)。仅作为范例,处理设备110可以包括中央处理器(中央处理器)、特定应用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理器(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等中的一种或多种组合。
网络120可以促进信息和/或数据的交换。在一些实施例中,细胞检测***100的一个或者多个组件(例如处理设备110、用户终端130)可以通过网络120传送信息至细胞检测***100的其他组件。例如,处理设备110可以通过网络120获取用户终端130发送的待检测的细胞图像。又例如,用户终端130可以通过网络120获取处理设备110确定的细胞图像的识别结果。在一些实施例中,网络120可以是任意形式的有线或者无线网络,或其任意组合。仅作为范例,网络120可以是有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络等中的一种或多种组合。
用户终端130可以是带有数据获取、存储和/或发送功能的设备。在一些实施例中,用户终端130的使用者可以是使用细胞检测***的用户/操作者(例如,医生)。在一些实施例中,用户终端130可以包括但不限于移动设备130-1、平板电脑130-2、笔记本电脑130-3、台式电脑130-4等或其任意组合。示例性的移动设备130-1可以包括但不限于智能手机、个人数码助理(Personal Digital Assistance,PDA)、掌上游戏机、智能手表、可穿戴设备、虚拟显示设备、显示增强设备等或其任意组合。在一些实施例中,用户终端130可以将获取到的数据发送至细胞检测***100中的一个或多个设备。例如,用户终端130可以将获取到的数据传输至处理设备110。在一些实施例中,用户终端130获取到的数据可以是待检测的细胞图像。
在一些实施例中,所述细胞检测***100可以包括获取模块和处理模块。
在一些实施例中,获取模块可以用于获取待检测的细胞图像。
在一些实施例中,处理模块可以用于利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果;所述目标识别模型至少包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层,所述目标识别模型的处理包括:利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像;利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域;利用所述感兴趣区域池化层对所述候选区域和所述第一特征图像进行处理,确定第二特征图像;利用所述多个全连接层分别对所述第二特征图像进行处理,得到多个第三特征图像;所述多个全连接层具备不同的神经元数量;对所述多个第三特征图像进行融合处理,得到第四特征图像;对所述第四特征图像进行分类处理和回归处理,确定所述识别结果。
在一些实施例中,所述多个全连接层包括三个全连接层,所述三个全连接层的神经元数量分别为2048、512和128。
在一些实施例中,处理模块可以进一步用于利用滑动窗口在所述第一特征图像上进行滑动处理,确定多个第一中心点;基于所述多个第一中心点在所述细胞图像上进行映射处理,确定多个第二中心点;基于预设尺寸的锚框在所述多个第二中心点中每个的位置处,生成多个候选锚框;所述预设尺寸的锚框基于所述目标识别模型的训练数据得到;基于所述多个第二中心点中每个的所述多个候选锚框,确定所述候选区域。
在一些实施例中,所述预设尺寸的锚框基于聚类算法对所述训练数据中的标注框的尺寸数据进行处理得到。在一些实施例中,所述聚类算法包括但不限于以下的一种或多种:K均值聚类算法、均值漂移算法和基于密度的聚类算法。在一些实施例中,所述预设尺寸的锚框为面积包括8*8和16*16,且长宽比包括1:1、1:1.5和2:1所对应的锚框。
在一些实施例中,所述目标识别模型还包括随机失活层;处理模块可以进一步用于:利用所述随机失活层对所述第四特征图像进行处理,确定第五特征图像;对所述第五特征图像进行所述分类处理和所述回归处理,确定所述识别结果。
应当理解,图1所示的***及其模块可以利用各种方式来实现。例如,在一些实施例中,***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行***,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,以上对于细胞检测***及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该***的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子***与其他模块连接。在一些实施例中,图1中披露的获取模块和处理模块可以是一个***中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图2是根据本说明书一些实施例所示的细胞检测方法的示例性流程图。如图2所示,该流程200可以包括下述步骤:
步骤210,获取待检测的细胞图像。在一些实施例中,步骤210可以由获取模块执行。
在一些实施例中,待检测的细胞图像可以是需要进行细胞检测的图像,细胞检测可以是检测图像中细胞的类别和位置。在一些实施例中,待检测的细胞图像可以是任何格式的图像。例如,RGB格式、HSV格式和YUV格式等。在一些实施例中,待检测的细胞图像可以是经过预处理后得到的图像。预处理可以包括但不限于归一化和尺寸变换等。例如,待检测的细胞图像可以是归一化后变换至预设尺寸的图像,预设尺寸可以根据实际需求进行具体设置。
在一些实施例中,获取模块可以从用户终端130、存储单元或数据库中获取检测图像。
步骤220,利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果。在一些实施例中,步骤220可以由处理模块执行。
在一些实施例中,目标识别模型可以是预先训练好的机器学习模型。处理设备(例如,处理设备110)可以获取训练好的目标识别模型对细胞图像进行处理,确定细胞图像的识别结果。在一些实施例中,识别结果可以包括细胞的分类结果和回归结果,分类结果可以反映细胞的类别,回归结果可以反映细胞的位置。在一些实施例中,细胞的位置可以通过细胞的检测框表示,检测框即包围细胞的边框。关于识别结果的具体细节可以参见后文相关描述,在此不再赘述。
在一些实施例中,目标识别模型可以通过以下方式训练得到:获取多个携带标签的样本细胞图像;其中,标签用于表征样本细胞图像中至少一个样本细胞的标注类别和标注位置;基于多个样本细胞图像通过多次迭代更新初始目标识别模型的参数以减小各样本细胞图像对应的损失函数值,得到训练好的目标识别模型。
在一些实施例中,样本细胞图像可以是输入至初始目标识别模型中用于训练目标识别模型的数据。在一些实施例中,标签可以用于表征样本细胞图像的某种真实信息。例如,标签可以表征样本细胞图像中的样本细胞的真实类别和真实位置。在一些实施例中,标注位置可以通过标注框表示。在一些实施例中,标注框可以通过人工标注得到。例如,人工确定包围样本细胞的边框并进行标注。
在一些实施例中,目标识别模型可以由处理设备(例如,处理设备110或其他处理设备)在线训练或离线训练得到。在模型训练过程中,处理设备会不断地基于多个样本细胞图像更新初始目标识别模型的参数。具体的,处理设备会不断地调整初始目标识别模型的参数,以减小各个样本细胞图像对应的损失函数值,使得损失函数值满足预设条件。例如,损失函数值收敛,或损失函数值小于预设值。当损失函数满足预设条件时,模型训练完成,得到训练好的目标识别模型。
在一些实施例中,训练目标识别模型的损失函数可以包括类别损失函数和位置损失函数。在一些实施例中,类别损失函数可以采用交叉熵损失函数或Focal loss改进的交叉熵损失函数。优选地,类别损失函数可以采用Focal loss改进的交叉熵损失函数。在一些实施例中,位置损失函数可以采用L1 loss平均绝对误差、L2 loss均方误差损失函数、Smooth L1损失函数、IoU损失函数、GIoU损失函数、DIoU损失函数、或CIoU损失函数。
在一些实施例中,当类别损失函数采用Focal loss改进的交叉熵损失函数时,训练的类别损失函数可以为公式(1):
其中,Lfocal loss表示类别损失函数,α和γ表示平衡因子,y′表示目标识别模型对样本细胞图像中的样本细胞的类别预测值,y表示该样本细胞图像中的样本细胞的标注类别。在一些实施例中,α和γ可以是经验取值。例如,α为0.25,γ为2。
由于样本细胞图像中的样本细胞在图片中较背景区域所占比例小,因此,在目标识别模型的训练过程中会产生大量的负样本,导致正负样本比例严重失衡。通过利用Focalloss改进的交叉熵损失函数中的平衡因子,可以减少易分类样本的损失,使得模型更关注于困难的,错分的样本,同时还可以平衡正负样本本身的比例,避免正负样本比例严重失衡,从而提高目标识别模型的训练效果。
在一些实施例中,训练采用的初始目标识别模型与训练完成的目标识别模型的结构相同。对应的,在目标识别模型的训练过程中,各样本细胞图像对应的损失函数值可以通过以下过程确定:利用可分离残差卷积网络对样本细胞图像进行处理,确定第一样本特征图像;利用区域生成网络对样本第一特征图像进行处理,确定样本候选区域;利用感兴趣区域池化层对样本候选区域和第一样本特征图像进行处理,确定第二样本特征图像;利用多个全连接层分别对样本第二特征图像进行处理,得到多个第三样本特征图像;对多个第三样本特征图像进行融合处理,得到第四样本特征图像;对第四样本特征图像进行分类处理和回归处理,确定样本识别结果;至少基于至少一个样本细胞图像的样本识别结果与该样本细胞图像的标签之间的差异,确定损失函数值。在一些实施例中,还可以利用随机失活层对第四样本特征图像进行处理,确定第五样本特征图像;对第五样本特征图像进行分类处理和回归处理,确定样本识别结果。关于目标识别模型的训练过程对样本细胞图像的处理与目标识别模型的应用过程中对待检测的细胞图像的处理相同,具体可参见下述相关说明,在此不再赘述。
如图3所示,在一些实施例中,目标识别模型300至少可以包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层。
在一些实施例中,可分离残差卷积网络可以对待检测的细胞图像进行处理,确定第一特征图像。在一些实施例中,可分离残差卷积网络可以提取细胞图像中的特征。例如,提取方向梯度直方图(Histogram of Oriented Gradient,HOG)特征、LBP(Local BinaryPattern,局部二值模式)特征和Haar特征等。
在一些实施例中,可分离残差卷积网络可以包括多个深度卷积核和多个点向卷积核。在一些实施例中,多个深度卷积核可以对细胞图像包括的多个通道分别进行卷积处理,得到多个通道的空间特征图像。多个点向卷积核可以对多个通道的空间特征图像进行卷积处理,得到多个点特征图像。示例地,以细胞图像为RGB图像为例,则可分离残差卷积网络可以包括三个深度卷积核和三个点向卷积核,其中,三个深度卷积核分别对R通道、G通道和B通道进行卷积处理,得到这三个通道的空间特征图像。在一些实施例中,处理设备可以对多个点特征图像进行融合,确定第一特征图像。在一些实施例中,处理设备可以利用特征融合层(例如,contact层)对多个点特征图像进行融合,确定第一特征图像。在一些实施例中,深度卷积核可以是3*3的卷积核,点向卷积核可以是1*1的卷积核。
在一些实施例中,处理设备还可以采用包含有可分离残差卷积网络的深度卷积神经网络对待检测的细胞图像进行处理,确定第一特征图像。在一些实施例中,深度卷积神经网络可以是LeNet、AlexNet和VggNet中的一种或多种组合。优选地,深度卷积神经网络可以是VggNet中的Vgg16。在一些实施例中,处理设备可以将深度卷积神经网络中包含的卷积网络(例如,卷积块)替换为可分离残差卷积网络,得到包含有可分离残差卷积网络的深度卷积神经网络。例如,将Vgg16中包含的卷积网络(例如,卷积块)替换为可分离残差卷积网络。
在本说明书实施例中,通过采用可分离残差卷积网络,将常规卷积在空间维度上分离,网络宽度增加,丰富了提取到的特征,再进行逐点卷积,不仅降低了卷积操作的计算复杂度,还减少了参数数量,提升计算速度。同时,可分离残差卷积网络采用直连连接,为恒等映射,很好的解决了目标识别模型的梯度消失的问题。
在一些实施例中,目标识别模型还可以包括采样卷积层。在一些实施例中,采样卷积层可以连接可分离残差卷积网络,采样卷积层的输出可以是可分离残差卷积网络的输入。在一些实施例中,采样卷积层和可分离残差卷积网络构成的卷积网络可以对待检测的细胞图像进行处理,确定第一特征图像。在一些实施例中,采样卷积层可以是空洞卷积层。空洞卷积层可以扩大卷积核的感受野,从而使得卷积网络更好的提取图像的全局特征,提高目标识别模型的识别准确率。
在一些实施例中,区域生成网络可以是用于提取候选区域的网络。候选区域可以表征待检测的细胞图像中的细胞的可能位置。在一些实施例中,区域生成网络可以使用滑动窗口,生成候选区域。关于区域生成网络生成候选区域的具体细节可以参见图4及其相关描述,在此不再赘述。
在一些实施例中,感兴趣区域池化层可以对候选区域和第一特征图像进行处理,确定第二特征图像。在一些实施例中,感兴趣区域池化层可以从第一特征图像中提取每个候选区域的特征,并使每个候选区域生成固定尺寸的特征图,得到第二特征图像。在一些实施例中,第二特征图像可以包括每个候选区域相同维度的特征向量。通过感兴趣区域池化层使每个候选区域对应的特征向量的维度相同,可以满足后续全连接层的输入要求,便于后续全连接层的处理。
在一些实施例中,全连接层可以用于将一个特征空间线性变化到另一个特征空间。在一些实施例中,处理设备可以利用多个全连接层分别对第二特征图像进行特征提取,得到多个第三特征图像。
在一些实施例中,多个第三特征图像可以反映不同尺度下的高层特征。在一些实施例中,多个全连接层具备不同的神经元数量。在一些实施例中,多个全连接层包括三个全连接层,三个全连接层的神经元数量分别为2048、512和128。
在本说明书的实施例中,通过采用三个不同神经元的全连接层分别对第二特征图像进行特征提取,可以实现不同尺度的图像特征表示,从而能够提取到不同尺度下的高层特征,提高后续进行细胞检测的准确性。
在一些实施例中,处理设备可以对多个第三特征图像进行融合处理,得到第四特征图像。在一些实施例中,处理设备可以利用特征融合层对多个第三特征图像进行融合处理,得到第四特征图像。在一些实施例中,特征融合层可以是contact层。
在一些实施例中,目标识别模型还可以包括随机失活层。在一些实施例中,处理设备可以利用随机失活层对第四特征图像进行处理,确定第五特征图像。通过使用随机失活层可以丢弃全连接层中的部分神经元的输出,减弱了神经元节点间的联合适应性,增强了模型的泛化能力。对应的,通过包括有随机失活层的初始目标识别模型训练得到目标识别模型,随机失活层可以避免模型训练过程中出现的过拟合现象,提高模型的泛化能力。
在一些实施例中,处理设备可以对第四特征图像进行分类处理和回归处理,确定识别结果。在一些实施例中,处理设备还可以对第五特征图像进行分类处理和回归处理,确定识别结果。
在一些实施例中,处理设备可以利用分类层对第四特征图像或第五特征图像进行处理,得到分类识别结果。在一些实施例中,分类层可以包括全连接层和归一化层,或者包括卷积层和归一化层。归一化层可以包括softmax层或logits层。在一些实施例中,处理设备可以利用回归器对第四特征图像或第五特征图像进行处理,得到回归识别结果。
图4是根据本说明书一些实施例所示的确定候选区域的示例性流程图。如图4所示,该流程400可以包括步骤410-步骤440。在一些实施例中,步骤410-步骤440可以由处理模块执行。
步骤410,利用滑动窗口在所述第一特征图像上进行滑动处理,确定多个第一中心点。
在一些实施例中,利用滑动窗口在第一特征图像上进行滑动处理,可以理解为利用滑动窗口在第一特征图像上进行全图扫描。在一些实施例中,处理设备可以利用预设尺寸的滑动窗口以预设步长在第一特征图像上进行滑动处理,确定多个第一中心点。例如,滑动窗口的预设尺寸可以是3*3,预设步长可以是2。在一些实施例中,多个第一中心点可以是滑动窗口在每个滑动位置处所对应的中心点,该中心点为滑动窗口的中心点。
步骤420,基于所述多个第一中心点在所述细胞图像上进行映射处理,确定多个第二中心点。
步骤430,基于预设尺寸的锚框在所述多个第二中心点中每个的位置处,生成多个候选锚框;所述预设尺寸的锚框基于所述目标识别模型的训练数据得到。
在一些实施例中,多个第二中心点可以是第一中心点在细胞图像上进行映射后,生成的投影点。在一些实施例中,预设尺寸的锚框可以根据实际情况进行具体设置。在一些实施例中,预设尺寸的锚框可以基于目标识别模型的训练数据得到。在一些实施例中,目标识别模型的训练数据可以包括多个携带标签的样本细胞数据。如前所述,标签可以用于表征样本细胞图像中至少一个细胞的标注类别和标注位置,标注位置可以通过标注框表征。
在一些实施例中,预设尺寸的锚框可以基于目标识别模型的训练数据中的标注框得到。在一些实施例中,预设尺寸的锚框可以基于聚类算法对训练数据中的标注框的尺寸数据进行处理得到。在一些实施例中,聚类算法可以包括但不限于以下的一种或多种:K均值聚类算法、均值漂移算法和基于密度的聚类算法。优选地,聚类算法可以是K均值聚类算法。通过聚类算法对标注框的尺寸数据进行处理得到锚框的预设尺寸,由于标注框为细胞图像中细胞的标注位置,其更符合目标识别模型的细胞检测(或细胞识别)的应用场景,使得最终生成的锚框的尺寸更符合实际情况,从而使目标识别模型能准确检测到细胞图像中的细胞。
在一些实施例中,基于聚类算法得到的预设尺寸的锚框可以是面积包括8*8和16*16,且长宽比包括1:1、1:1.5和2:1所对应的锚框。由此可知,预设尺寸的锚框可以包括6种尺寸的锚框,分别为面积为8*8,且其长宽比分别为1:1、1:1.5和2:1的三种锚框,及面积为16*16,且其长宽比分别为1:1、1:1.5和2:1的三种锚框。由于细胞为小目标,通过将锚框的面积设置为8*8和16*16,可以更好的框定细胞对象,且相较于传统的9种尺寸的锚框,本说明书实施例的锚框尺寸可以减少锚框数量,从而减少目标识别模型的参数计算,避免冗余参数计算带来的检测速度变慢,同时可以降低计算成本。
步骤440,基于所述多个第二中心点中每个的所述多个候选锚框,确定所述候选区域。
在一些实施例中,候选锚框可以是以第二中心点为候选锚框的中心点,以预设尺寸确定的锚框。例如,以第二中心点为(x,y)为例,则候选锚框可以是以(x,y)为中心点,确定的面积为8*8、长宽比为1:1、1:1.5和2:1的三个锚框,及以(x,y)为中心点,确定的面积为16*16、长宽比为1:1、1:1.5和2:1的三个锚框。
在一些实施例,处理设备可以将多个第二中心点中每个的多个候选锚框确定为候选区域。例如,以上述示例为例,则处理设备可以将每个第二中心点处的六个锚框确定为候选区域。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的***。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种细胞检测方法,其特征在于,所述方法包括:
获取待检测的细胞图像;
利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果;所述目标识别模型至少包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层,所述目标识别模型的处理包括:
利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像,其中,所述可分离残差卷积网络包括多个深度卷积核和多个点向卷积核,所述利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像具体为:
所述多个深度卷积核对所述细胞图像包括的多个通道分别进行卷积处理,得到所述多个通道的空间特征图像,其中,每个所述深度卷积核对应一个所述通道;
所述多个点向卷积核对所述多个通道的所述空间特征图像进行卷积处理,得到多个点特征图像;以及
对所述多个点特征图像进行融合,确定所述第一特征图像;
利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域;
利用所述感兴趣区域池化层对所述候选区域和所述第一特征图像进行处理,确定第二特征图像;
利用所述多个全连接层分别对所述第二特征图像进行处理,得到多个第三特征图像;所述多个全连接层具备不同的神经元数量;
对所述多个第三特征图像进行融合处理,得到第四特征图像;
对所述第四特征图像进行分类处理和回归处理,确定所述识别结果;
训练所述目标识别模型的损失函数包括类别损失函数和位置损失函数,所述类别损失函数为改进的交叉熵损失函数,所述改进的交叉熵损失函数公式为:
其中,Lfocalloss表示所述类别损失函数,α和γ表示平衡因子,y表示所述目标识别模型对样本细胞图像中的样本细胞的类别预测值,y表示所述样本细胞图像中的所述样本细胞的标注类别。
2.如权利要求1所述的方法,其特征在于,所述多个全连接层包括三个全连接层,所述三个全连接层的神经元数量分别为2048、512和128。
3.如权利要求1所述的方法,其特征在于,所述利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域,包括:
利用滑动窗口在所述第一特征图像上进行滑动处理,确定多个第一中心点;
基于所述多个第一中心点在所述细胞图像上进行映射处理,确定多个第二中心点;
基于预设尺寸的锚框在所述多个第二中心点中每个的位置处,生成多个候选锚框;所述预设尺寸的锚框基于所述目标识别模型的训练数据得到;
基于所述多个第二中心点中每个的所述多个候选锚框,确定所述候选区域。
4.如权利要求3所述的方法,其特征在于,所述预设尺寸的锚框基于聚类算法对所述训练数据中的标注框的尺寸数据进行处理得到。
5.如权利要求4所述的方法,其特征在于,所述聚类算法包括但不限于以下的一种或多种:K均值聚类算法、均值漂移算法和基于密度的聚类算法。
6.如权利要求4所述的方法,其特征在于,所述预设尺寸的锚框为面积包括8*8和16*16,且长宽比包括1:1、1:1.5和2:1所对应的锚框。
7.如权利要求1所述的方法,其特征在于,所述目标识别模型还包括随机失活层;所述对所述第四特征图像进行分类处理和回归处理,确定所述识别结果,包括:
利用所述随机失活层对所述第四特征图像进行处理,确定第五特征图像;
对所述第五特征图像进行所述分类处理和所述回归处理,确定所述识别结果。
8.一种细胞检测***,其特征在于,所述***包括:
获取模块,用于获取待检测的细胞图像;
处理模块,用于利用目标识别模型对所述细胞图像进行处理,确定所述细胞图像的识别结果;所述目标识别模型至少包括可分离残差卷积网络、区域生成网络、感兴趣区域池化层和多个全连接层,所述目标识别模型的处理包括:
利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像,其中,所述可分离残差卷积网络包括多个深度卷积核和多个点向卷积核,所述利用所述可分离残差卷积网络对所述细胞图像进行处理,确定第一特征图像具体为:
所述多个深度卷积核对所述细胞图像包括的多个通道分别进行卷积处理,得到所述多个通道的空间特征图像,其中,每个所述深度卷积核对应一个所述通道;
所述多个点向卷积核对所述多个通道的所述空间特征图像进行卷积处理,得到多个点特征图像;以及
对所述多个点特征图像进行融合,确定所述第一特征图像;
利用所述区域生成网络对所述第一特征图像进行处理,确定候选区域;
利用所述感兴趣区域池化层对所述候选区域和所述第一特征图像进行处理,确定第二特征图像;
利用所述多个全连接层分别对所述第二特征图像进行处理,得到多个第三特征图像;所述多个全连接层具备不同的神经元数量;
对所述多个第三特征图像进行融合处理,得到第四特征图像;
对所述第四特征图像进行分类处理和回归处理,确定所述识别结果;
训练所述目标识别模型的损失函数包括类别损失函数和位置损失函数,所述类别损失函数为改进的交叉熵损失函数,所述改进的交叉熵损失函数公式为:
其中,Lfocalloss表示所述类别损失函数,α和γ表示平衡因子,y表示所述目标识别模型对样本细胞图像中的样本细胞的类别预测值,y表示所述样本细胞图像中的所述样本细胞的标注类别。
9.一种细胞检测装置,所述装置包括处理器以及存储器,所述存储器用于存储指令,其特征在于,所述处理器用于执行所述指令,以实现如权利要求1至7中任一项所述的细胞检测方法对应的操作。
10.一种计算机可读存储介质,所述存储介质存储计算机指令,其特征在于,所述计算机指令被处理器执行时,实现如权利要求1至7中任一项所述的细胞检测方法对应的操作。
CN202110483051.4A 2021-04-30 2021-04-30 一种细胞检测的方法和*** Active CN113111879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110483051.4A CN113111879B (zh) 2021-04-30 2021-04-30 一种细胞检测的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110483051.4A CN113111879B (zh) 2021-04-30 2021-04-30 一种细胞检测的方法和***

Publications (2)

Publication Number Publication Date
CN113111879A CN113111879A (zh) 2021-07-13
CN113111879B true CN113111879B (zh) 2023-11-10

Family

ID=76720698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110483051.4A Active CN113111879B (zh) 2021-04-30 2021-04-30 一种细胞检测的方法和***

Country Status (1)

Country Link
CN (1) CN113111879B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378864B (zh) * 2021-08-16 2021-11-12 浙江啄云智能科技有限公司 一种锚框参数的确定方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929569A (zh) * 2019-10-18 2020-03-27 平安科技(深圳)有限公司 人脸识别方法、装置、设备及存储介质
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330463B (zh) * 2017-06-29 2020-12-08 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法
CN108537775A (zh) * 2018-03-02 2018-09-14 浙江工业大学 一种基于深度学习检测的癌细胞跟踪方法
CN108510012B (zh) * 2018-05-04 2022-04-01 四川大学 一种基于多尺度特征图的目标快速检测方法
CN109359666B (zh) * 2018-09-07 2021-05-28 佳都科技集团股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的***病变细胞分类***
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN111027605A (zh) * 2019-11-28 2020-04-17 北京影谱科技股份有限公司 基于深度学习的细粒度图像识别方法和装置
CN112069874B (zh) * 2020-07-17 2022-07-05 中山大学 胚胎光镜图像中细胞的识别方法及***、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929569A (zh) * 2019-10-18 2020-03-27 平安科技(深圳)有限公司 人脸识别方法、装置、设备及存储介质
CN111666850A (zh) * 2020-05-28 2020-09-15 浙江工业大学 一种基于聚类生成候选锚框的细胞图像检测与分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
董洪义.《深度学习之PyTorch物体检测实战》.《深度学习之PyTorch物体检测实战》.2020,第173页. *
董洪义.《深度学习之PyTorch物体检测实战》.机械工业出版社,2020,第191-194页. *

Also Published As

Publication number Publication date
CN113111879A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
Sahasrabudhe et al. Self-supervised nuclei segmentation in histopathological images using attention
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
Iqbal et al. Developing a brain atlas through deep learning
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Marzahl et al. Deep learning-based quantification of pulmonary hemosiderophages in cytology slides
Sun et al. Deep learning‐based single‐cell optical image studies
Nawaz et al. Melanoma localization and classification through faster region-based convolutional neural network and SVM
Huang et al. Lesion-based contrastive learning for diabetic retinopathy grading from fundus images
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
TW202013311A (zh) 一種圖像處理方法、電子設備及存儲介質
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN110838108A (zh) 基于医疗图像的预测模型构建方法、预测方法及装置
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及***
US11710552B2 (en) Method and system for refining label information
CN113706562B (zh) 图像分割方法、装置、***及细胞分割方法
CN115409804A (zh) 一种乳腺磁共振影像的病灶区域识别标注及疗效预测方法
Behar et al. ResNet50-Based Effective Model for Breast Cancer Classification Using Histopathology Images.
CN115294086A (zh) 医学影像分割方法、分割模型训练方法、介质及电子设备
CN113111879B (zh) 一种细胞检测的方法和***
Cullen et al. Convolutional neural networks for rapid and simultaneous brain extraction and tissue segmentation
Salsabili et al. Multiresolution semantic segmentation of biological structures in digital histopathology
Su et al. Robust cell detection and segmentation in histopathological images using sparse reconstruction and stacked denoising autoencoders
KR101899729B1 (ko) 세포핵 기반의 암 탐지 방법 및 암 탐지를 위한 위한 학습 방법
Gonzalez et al. Evaluating rotation invariant strategies for mitosis detection through yolo algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant