CN116665210B - 基于多通道信息融合的细胞分类方法和装置 - Google Patents

基于多通道信息融合的细胞分类方法和装置 Download PDF

Info

Publication number
CN116665210B
CN116665210B CN202310935341.7A CN202310935341A CN116665210B CN 116665210 B CN116665210 B CN 116665210B CN 202310935341 A CN202310935341 A CN 202310935341A CN 116665210 B CN116665210 B CN 116665210B
Authority
CN
China
Prior art keywords
cell
image
channel
fusion
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310935341.7A
Other languages
English (en)
Other versions
CN116665210A (zh
Inventor
吕行
王华嘉
邝英兰
叶莘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Original Assignee
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengqin Shengao Yunzhi Technology Co ltd filed Critical Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority to CN202310935341.7A priority Critical patent/CN116665210B/zh
Publication of CN116665210A publication Critical patent/CN116665210A/zh
Application granted granted Critical
Publication of CN116665210B publication Critical patent/CN116665210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明提供一种基于多通道信息融合的细胞分类方法和装置,通过利用细胞实例分割模型,对细胞核图像进行实例分割,得到细胞核图像中各个细胞的细胞区域后,从各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像,再将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以利用二分类模型对该细胞在各通道的细胞荧光图像进行图像特征提取,提取并融合各个通道下的信号点特征,得到该细胞的融合图像特征,并基于该细胞的融合图像特征对该细胞进行分类,得到该细胞的细胞分类结果,可以更好地对细胞荧光图像的信号点特征进行提取和学习,并进行有效的特征融合,从而对该细胞做出更合理的判断,提高了细胞分类的效率和准确率。

Description

基于多通道信息融合的细胞分类方法和装置
技术领域
本发明涉及细胞分类技术领域,尤其涉及一种基于多通道信息融合的细胞分类方法和装置。
背景技术
荧光原位杂合(Fluorescent In Situ Hybridization,FISH)是一种细胞遗传学技术,可以用来对核酸进行检测和定位。荧光标记的核酸探针只和具有高度相似性的核酸杂合,可用于染色体上基因的定位,或在分子生态学中用来标记不同分类细菌或古菌中的核糖体RNA。基于多个荧光标记的FISH显微成像能够特异性的对于疾病进行高灵敏度的检测,因此对细胞在不同通道下的荧光成像进行检测,可以确认任一细胞是否为目标细胞。例如可以通过四通道荧光信号点图像和Dapi图像对视野内的细胞进行逐个检测判断,确定某一细胞是否为循环异常细胞(Circulating genetically Abnormal Cell,CAC)。
目前检测CAC细胞的做法通常是根据细胞的Dapi图像对细胞进行定位检测,然后根据定位细胞的四个通道信号点图像的荧光信号点个数来确定该细胞是不是CAC细胞。然而,该传统方法是人工对细胞的每个通道的信号点进行识别、判断,费时费力,效率太低。此外,还有种方式可以基于深度学习的目标检测模型对细胞的荧光信号点进行信号点检测,然后再根据识别出来的荧光信号点数量来判断该细胞是否是CAC细胞。该方式的问题则在于其风险程度高,如果一个通道的荧光信号点未被正确识别,则会影响对该细胞类型的判断,导致细胞分类错误。
发明内容
本发明提供一种基于多通道信息融合的细胞分类方法和装置,用以解决现有技术中传统人工检测方式效率太低、基于深度学习的检测方式则风险程度高、容易导致分类错误的缺陷。
本发明提供一种基于多通道信息融合的细胞分类方法,包括:
获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;
基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;
基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;
将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
根据本发明提供的一种基于多通道信息融合的细胞分类方法,所述基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果,具体包括:
基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征;
基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征;
基于所述二分类模型中的分类层,结合所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
根据本发明提供的一种基于多通道信息融合的细胞分类方法,所述基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征,具体包括:
基于所述二分类模型的特征提取层中的多个连续深度可分离卷积层,对所述任一细胞在各个通道的细胞荧光图像依次进行图像特征提取,得到最后一层深度可分离卷积层输出的所述任一细胞在各个通道的通道图像特征;
其中,每一深度可分离卷积层中的卷积核被分为多组,卷积核的组数与所述细胞荧光图像的数量相同,每一组卷积核用于对相应通道的细胞荧光图像进行图像特征提取,所述特征提取层中的多个连续深度可分离卷积层的卷积核数量依次增加。
根据本发明提供的一种基于多通道信息融合的细胞分类方法,所述基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征,具体包括:
基于所述融合层中的初次融合层,对所述任一细胞在各通道的通道图像特征的拼接结果进行初次融合,得到所述任一细胞的初始融合特征;
基于所述融合层中的融合编码层,对所述任一细胞的初始融合特征进行特征编码,得到所述任一细胞的融合图像特征。
根据本发明提供的一种基于多通道信息融合的细胞分类方法,所述初次融合层由卷积层构成,所述融合编码层由编码器构成。
根据本发明提供的一种基于多通道信息融合的细胞分类方法,所述二分类模型中的分类层由两个全连接层构成。
根据本发明提供的一种基于多通道信息融合的细胞分类方法,所述细胞实例分割模型和所述二分类模型是基于如下步骤训练得到的:
基于样本细胞核图像以及所述样本细胞核图像中每个细胞轮廓的坐标信息,训练得到所述细胞实例分割模型;
基于所述样本细胞核图像中每个细胞轮廓的坐标信息,对与所述样本细胞核图像在同一视野下拍摄的各通道的样本荧光信号点图像进行裁切,得到各个样本细胞在各通道的样本细胞荧光图像;
基于所述样本细胞在各通道的样本细胞荧光图像以及所述样本细胞的类别标签,训练得到所述二分类模型。
本发明还提供一种基于多通道信息融合的细胞分类装置,包括:
图像获取单元,用于获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;
细胞分割单元,用于基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;
图像切割单元,用于基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;
细胞分类单元,用于将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于多通道信息融合的细胞分类方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于多通道信息融合的细胞分类方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于多通道信息融合的细胞分类方法。
本发明提供的基于多通道信息融合的细胞分类方法和装置,通过利用细胞实例分割模型,对细胞核图像进行实例分割,得到细胞核图像中各个细胞的细胞区域后,从各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像,再将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以利用二分类模型对该细胞在各通道的细胞荧光图像进行图像特征提取,提取并融合各个通道下的信号点特征,得到该细胞的融合图像特征,并基于该细胞的融合图像特征对该细胞进行分类,得到该细胞的细胞分类结果,可以更好地对细胞荧光图像的信号点特征进行提取和学习,并进行有效的特征融合,从而对该细胞做出更合理的判断,提高了细胞分类的效率和准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于多通道信息融合的细胞分类方法的流程示意图之一;
图2是本发明提供的基于多通道信息融合的细胞分类方法的流程示意图之二;
图3是本发明提供的二分类模型运行方法的流程示意图;
图4是本发明提供的基于多通道信息融合的细胞分类装置的结构示意图;
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的基于多通道信息融合的细胞分类方法的流程示意图之一,如图1所示,该方法包括:
步骤110,获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;
步骤120,基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;
步骤130,基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;
步骤140,将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
具体地,获取显微镜在同一视野下拍摄的细胞核图像(例如可以是Dapi图像)和各通道的荧光信号点图像(例如可以是Gold、Red、Blue和Green四个通道下拍摄的荧光图像),其中各通道的荧光信号点图像中包括各个细胞内部的信号点成像。
随后,如图2所示,本发明实施例设计了两阶段深度学习网络分别对上述细胞核图像和各通道的荧光信号点图像进行处理,其中第一阶段为细胞实例分割模型,使用Dapi通道的细胞核图像(例如可以是层数大于3的Dapi图)对其中的各个细胞进行实例分割,得到该细胞核图像中各个细胞的细胞区域。其中,细胞实例分割模型可以基于Mask-rcnn网络构建。第二阶段在第一阶段的分割结果(即各个细胞的细胞区域)基础上,采用融合多通道荧光信号信息的深度学习网络——二分类模型,作为第二阶段分类器。
具体而言,可以基于该细胞核图像中各个细胞的细胞区域,从各通道(如Green、Red、Blue和Gold通道)的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像。即,任一通道的细胞荧光图像为该通道的荧光信号点图像的对应某一细胞的子图。将任一细胞在各通道的细胞荧光图像输入至二分类模型中,该二分类模型可以对该细胞在各通道的细胞荧光图像进行图像特征提取,得到该细胞的融合图像特征。其中,该细胞的融合图像特征中融合了该细胞在各个通道的细胞荧光图像中关于信号点的图像语义信息。随后,基于该细胞的融合图像特征对该细胞进行二分类,得到该细胞的细胞分类结果,而该细胞分类结果指示了该细胞是否为目标细胞(例如CAC细胞)。
此处,由于在图像特征提取阶段融合了任一细胞在各个通道下的信号点语义信息,基于该细胞在各个通道下的信号点语义信息的融合结果进行分类,可以更准确地区分目标细胞和非目标细胞,从而得到准确的细胞分类结果。另外,上述结合细胞在各个通道下的信号点语义信息的融合结果进行细胞分类的方式,可以更好地对细胞荧光图像的信号点特征进行提取和学习,并进行有效的特征融合,从而对该细胞做出更合理的判断,减少了人工对细胞的判读和复核数量,效率高且具备稳定的高准确率。
在一些实施例中,如图3所示,基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果,具体包括:
步骤310,基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征;
步骤320,基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征;
步骤330,基于所述二分类模型中的分类层,结合所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
具体而言,二分类模型包括特征提取层、融合层和分类层。其中,特征提取层用于分别对该细胞在各个通道的细胞荧光图像进行独立的图像特征提取,从而得到该细胞在各通道的通道图像特征。此处,之所以对各个通道的细胞荧光图像分别进行独立的信号点特征提取,是考虑到各个通道的细胞荧光图像虽属于同一细胞,相互之间存在一定的关联,但是同一细胞的不同细胞荧光图像中包含有丰富的差异性信息,例如信号点位置、信号点面积以及信号点强度等信号点特征存在差异,因此,利用特征提取层对各通道的细胞荧光图像进行互不干扰的特征提取,可以让二分类模型对各通道的细胞荧光图像可以更好地进行特征学习和分类,提升二分类模型的细胞分类精度。
在另一些实施例中,二分类模型的特征提取层中包含多个连续深度可分离卷积层。具体在基于二分类模型中的特征提取层,分别对该细胞在各个通道的细胞荧光图像进行图像特征提取,得到该细胞在各通道的通道图像特征时,可以基于该二分类模型的特征提取层中的多个连续深度可分离卷积层,对该细胞在各个通道的细胞荧光图像依次进行图像特征提取,得到最后一层深度可分离卷积层输出的该细胞在各个通道的通道图像特征。此处,每个深度可分离卷积层为一层卷积层,其中包含多个卷积核,而同一深度可分离卷积层中的卷积核会被分为多组,其中卷积核的组数与该细胞的细胞荧光图像的数量(即通道数量)相同(如果通道为Green、Red、Blue和Gold,则卷积核被分为4组),每一组卷积核用于对一个通道的细胞荧光图像进行图像特征提取。最后一层深度可分离卷积层的各组卷积核输出的是该细胞在各个通道的通道图像特征。此外,特征提取层中的多个连续深度可分离卷积层的卷积核数量依次增加,以逐步增强各层深度可分离卷积层的特征提取能力。
以三个深度可分离卷积层、Green、Red、Blue和Gold四个通道为例,第一个深度可分离卷积层的第一组卷积核用于对Green通道(仅为示例,具体对四个通道中的哪个通道进行处理本发明实施例对此不作具体限定,下同)的细胞荧光图像进行特征提取,第二组卷积核用于对Red通道的细胞荧光图像进行特征提取,第三组卷积核用于对Blue通道的细胞荧光图像进行特征提取,第四组卷积核用于对Gold通道的细胞荧光图像进行特征提取。第二个深度可分离卷积层和第三个深度可分离卷积层与之类似,第一组卷积核用于对上一深度可分离卷积层的第一组卷积核输出的特征图进行特征提取,第二组卷积核用于对上一深度可分离卷积层的第二组卷积核输出的特征图进行特征提取,以此类推。
二分类模型的融合层用于将该细胞在各通道的通道图像特征进行融合,得到该细胞的融合图像特征。在一些实施例中,融合层包括初次融合层和融合编码层,具体在融合层对该细胞在各通道的通道图像特征进行融合时,可以基于融合层中的初次融合层,对该细胞在各通道的通道图像特征的拼接结果进行初次融合,得到该细胞的初始融合特征。其中,初次融合层可以为卷积层,用于对各通道的通道图像特征的拼接结果进行卷积运算,实现各通道的信号点特征的初次融合。随后基于融合层中的融合编码层,对该细胞的初始融合特征进行特征编码,得到该细胞的融合图像特征。此处,融合编码层由编码器构成,利用编码器网络对初始融合特征进行特征编码,可以更好地从初始融合特征中包含的各通道信号点特征中提取并融合各通道信号点的关联性和差异性特征。其中,编码器可以采用resnet、densenet以及swin transformer v2模型等,本发明实施例对此不作具体限定。
二分类模型的分类层用于基于该细胞的融合图像特征对该细胞进行分类,得到该细胞的细胞分类结果。其中,该分类层可以由两个全连接层构成。
在一些实施例中,细胞实例分割模型和二分类模型可以基于如下步骤训练得到:
基于样本细胞核图像以及所述样本细胞核图像中每个细胞轮廓的坐标信息,训练得到所述细胞实例分割模型;
基于所述样本细胞核图像中每个细胞轮廓的坐标信息,对与所述样本细胞核图像在同一视野下拍摄的各通道的样本荧光信号点图像进行裁切,得到各个样本细胞在各通道的样本细胞荧光图像;
基于所述样本细胞在各通道的样本细胞荧光图像以及所述样本细胞的类别标签,训练得到所述二分类模型。
具体而言,首先收集大量的样本数据作为模型训练的基础。其中,样本数据包括同一视野下的样本细胞核图像和各通道的样本荧光信号点图像以及相应的数据标注。其中,数据标注可以以json形式存放,每个json文件对应一张样本细胞核图像,json文件里面包含该图像的每个细胞轮廓的坐标信息,以及每个细胞是否属于目标细胞的类别标签。根据json文件的细胞轮廓的坐标信息可以生成细胞实例分割模型的label,从而完成细胞实例分割网络的训练,具体可以基于样本细胞核图像以及样本细胞核图像中每个细胞轮廓的坐标信息,训练得到细胞实例分割模型。在训练细胞实例分割模型之前,可以对样本细胞核图像进行数据预处理,主要可以对其进行rand crop、HSV增强、随机垂直翻转等数据增强处理。
根据json文件中样本细胞核图像中细胞轮廓的坐标信息和每个细胞是否属于目标细胞的类别标签可以切割同一视野的各通道的样本荧光信号点图像,得到各类样本细胞在各通道的样本细胞荧光图像,以对二分类模型进行训练。具体可以基于样本细胞在各通道的样本细胞荧光图像以及相应样本细胞的类别标签,训练得到二分类模型。类似地,在训练二分类模型之前,可以对样本细胞荧光图像进行数据预处理,主要可以对其进行randcrop、HSV增强、随机垂直翻转等数据增强处理。
综上所述,本发明实施例提供的方法,通过利用细胞实例分割模型,对细胞核图像进行实例分割,得到细胞核图像中各个细胞的细胞区域后,从各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像,再将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以利用二分类模型对该细胞在各通道的细胞荧光图像进行图像特征提取,提取并融合各个通道下的信号点特征,得到该细胞的融合图像特征,并基于该细胞的融合图像特征对该细胞进行分类,得到该细胞的细胞分类结果,可以更好地对细胞荧光图像的信号点特征进行提取和学习,并进行有效的特征融合,从而对该细胞做出更合理的判断,提高了细胞分类的效率和准确率。
下面对本发明提供的基于多通道信息融合的细胞分类装置进行描述,下文描述的基于多通道信息融合的细胞分类装置与上文描述的基于多通道信息融合的细胞分类方法可相互对应参照。
基于上述任一实施例,图4是本发明提供的基于多通道信息融合的细胞分类装置的结构示意图,如图4所示,该装置包括:
图像获取单元410,用于获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;
细胞分割单元420,用于基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;
图像切割单元430,用于基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;
细胞分类单元440,用于将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
本发明实施例提供的装置,通过利用细胞实例分割模型,对细胞核图像进行实例分割,得到细胞核图像中各个细胞的细胞区域后,从各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像,再将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以利用二分类模型对该细胞在各通道的细胞荧光图像进行图像特征提取,提取并融合各个通道下的信号点特征,得到该细胞的融合图像特征,并基于该细胞的融合图像特征对该细胞进行分类,得到该细胞的细胞分类结果,可以更好地对细胞荧光图像的信号点特征进行提取和学习,并进行有效的特征融合,从而对该细胞做出更合理的判断,提高了细胞分类的效率和准确率。
基于上述任一实施例,所述基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果,具体包括:
基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征;
基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征;
基于所述二分类模型中的分类层,结合所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
基于上述任一实施例,所述基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征,具体包括:
基于所述二分类模型的特征提取层中的多个连续深度可分离卷积层,对所述任一细胞在各个通道的细胞荧光图像依次进行图像特征提取,得到最后一层深度可分离卷积层输出的所述任一细胞在各个通道的通道图像特征;
其中,每一深度可分离卷积层中的卷积核被分为多组,卷积核的组数与所述细胞荧光图像的数量相同,每一组卷积核用于对相应通道的细胞荧光图像进行图像特征提取,所述特征提取层中的多个连续深度可分离卷积层的卷积核数量依次增加。
基于上述任一实施例,所述基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征,具体包括:
基于所述融合层中的初次融合层,对所述任一细胞在各通道的通道图像特征的拼接结果进行初次融合,得到所述任一细胞的初始融合特征;
基于所述融合层中的融合编码层,对所述任一细胞的初始融合特征进行特征编码,得到所述任一细胞的融合图像特征。
基于上述任一实施例,所述初次融合层由卷积层构成,所述融合编码层由编码器构成。
基于上述任一实施例,所述二分类模型中的分类层由两个全连接层构成。
基于上述任一实施例,所述细胞实例分割模型和所述二分类模型是基于如下步骤训练得到的:
基于样本细胞核图像以及所述样本细胞核图像中每个细胞轮廓的坐标信息,训练得到所述细胞实例分割模型;
基于所述样本细胞核图像中每个细胞轮廓的坐标信息,对与所述样本细胞核图像在同一视野下拍摄的各通道的样本荧光信号点图像进行裁切,得到各个样本细胞在各通道的样本细胞荧光图像;
基于所述样本细胞在各通道的样本细胞荧光图像以及所述样本细胞的类别标签,训练得到所述二分类模型。
图5是本发明提供的电子设备的结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、存储器(memory)520、通信接口(Communications Interface)530和通信总线540,其中,处理器510,存储器520,通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令,以执行基于多通道信息融合的细胞分类方法,该方法包括:获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
此外,上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于多通道信息融合的细胞分类方法,该方法包括:获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的基于多通道信息融合的细胞分类方法,该方法包括:获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于多通道信息融合的细胞分类方法,其特征在于,包括:
获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;
基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;
基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;
将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果;
所述基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果,具体包括:
基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征;
基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征;
基于所述二分类模型中的分类层,结合所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
2.根据权利要求1所述的基于多通道信息融合的细胞分类方法,其特征在于,所述基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征,具体包括:
基于所述二分类模型的特征提取层中的多个连续深度可分离卷积层,对所述任一细胞在各个通道的细胞荧光图像依次进行图像特征提取,得到最后一层深度可分离卷积层输出的所述任一细胞在各个通道的通道图像特征;
其中,每一深度可分离卷积层中的卷积核被分为多组,卷积核的组数与所述细胞荧光图像的数量相同,每一组卷积核用于对相应通道的细胞荧光图像进行图像特征提取,所述特征提取层中的多个连续深度可分离卷积层的卷积核数量依次增加。
3.根据权利要求1所述的基于多通道信息融合的细胞分类方法,其特征在于,所述基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征,具体包括:
基于所述融合层中的初次融合层,对所述任一细胞在各通道的通道图像特征的拼接结果进行初次融合,得到所述任一细胞的初始融合特征;
基于所述融合层中的融合编码层,对所述任一细胞的初始融合特征进行特征编码,得到所述任一细胞的融合图像特征。
4.根据权利要求3所述的基于多通道信息融合的细胞分类方法,其特征在于,所述初次融合层由卷积层构成,所述融合编码层由编码器构成。
5.根据权利要求1所述的基于多通道信息融合的细胞分类方法,其特征在于,所述二分类模型中的分类层由两个全连接层构成。
6.根据权利要求1至5任一项所述的基于多通道信息融合的细胞分类方法,其特征在于,所述细胞实例分割模型和所述二分类模型是基于如下步骤训练得到的:
基于样本细胞核图像以及所述样本细胞核图像中每个细胞轮廓的坐标信息,训练得到所述细胞实例分割模型;
基于所述样本细胞核图像中每个细胞轮廓的坐标信息,对与所述样本细胞核图像在同一视野下拍摄的各通道的样本荧光信号点图像进行裁切,得到各个样本细胞在各通道的样本细胞荧光图像;
基于所述样本细胞在各通道的样本细胞荧光图像以及所述样本细胞的类别标签,训练得到所述二分类模型。
7.一种基于多通道信息融合的细胞分类装置,其特征在于,包括:
图像获取单元,用于获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像;
细胞分割单元,用于基于细胞实例分割模型,对所述细胞核图像进行实例分割,得到所述细胞核图像中各个细胞的细胞区域;
图像切割单元,用于基于所述细胞核图像中各个细胞的细胞区域,从所述各通道的荧光信号点图像中裁切出同一细胞在各通道的细胞荧光图像;
细胞分类单元,用于将任一细胞在各通道的细胞荧光图像输入至二分类模型中,以基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果;
所述基于所述二分类模型对所述任一细胞在各通道的细胞荧光图像进行图像特征提取,得到所述任一细胞的融合图像特征,并基于所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果,具体包括:
基于所述二分类模型中的特征提取层,分别对所述任一细胞在各个通道的细胞荧光图像进行图像特征提取,得到所述任一细胞在各通道的通道图像特征;
基于所述二分类模型中的融合层,将所述任一细胞在各通道的通道图像特征进行融合,得到所述任一细胞的融合图像特征;
基于所述二分类模型中的分类层,结合所述任一细胞的融合图像特征对所述任一细胞进行分类,得到所述任一细胞的细胞分类结果。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于多通道信息融合的细胞分类方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多通道信息融合的细胞分类方法。
CN202310935341.7A 2023-07-28 2023-07-28 基于多通道信息融合的细胞分类方法和装置 Active CN116665210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310935341.7A CN116665210B (zh) 2023-07-28 2023-07-28 基于多通道信息融合的细胞分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310935341.7A CN116665210B (zh) 2023-07-28 2023-07-28 基于多通道信息融合的细胞分类方法和装置

Publications (2)

Publication Number Publication Date
CN116665210A CN116665210A (zh) 2023-08-29
CN116665210B true CN116665210B (zh) 2023-10-17

Family

ID=87728237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310935341.7A Active CN116665210B (zh) 2023-07-28 2023-07-28 基于多通道信息融合的细胞分类方法和装置

Country Status (1)

Country Link
CN (1) CN116665210B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116913532B (zh) * 2023-09-12 2023-12-08 四川互慧软件有限公司 一种临床路径推荐方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226247A (zh) * 2016-07-15 2016-12-14 暨南大学 一种基于高光谱显微成像技术的细胞检测方法
CN106650796A (zh) * 2016-12-06 2017-05-10 国家纳米科学中心 一种基于人工智能的细胞荧光图像分类方法和***
CN111062296A (zh) * 2019-12-11 2020-04-24 武汉兰丁医学高科技有限公司 一种基于计算机的白细胞自动识别分类方法
CN111492368A (zh) * 2017-12-22 2020-08-04 文塔纳医疗***公司 用于基于膜特征对组织图像中的细胞进行分类的***和方法
CN113177927A (zh) * 2021-05-17 2021-07-27 西安交通大学 基于多特征和多分类器的骨髓细胞分类识别方法及***
CN113689396A (zh) * 2021-08-20 2021-11-23 深圳先进技术研究院 细胞荧光图像阈值化方法、***、终端及存储介质
CN113763370A (zh) * 2021-09-14 2021-12-07 佰诺全景生物技术(北京)有限公司 数字病理图像的处理方法、装置、电子设备及存储介质
CN114092934A (zh) * 2020-07-31 2022-02-25 骏实生物科技(上海)有限公司 循环肿瘤细胞的分类方法
CN114332855A (zh) * 2021-12-24 2022-04-12 杭州电子科技大学 一种基于明场显微成像的无标记白细胞三分类方法
CN114898866A (zh) * 2022-05-24 2022-08-12 广州锟元方青医疗科技有限公司 一种甲状腺细胞辅助诊断方法、设备和存储介质
CN115063796A (zh) * 2022-08-18 2022-09-16 珠海横琴圣澳云智科技有限公司 基于信号点内容约束的细胞分类方法和装置
CN115100647A (zh) * 2022-07-29 2022-09-23 烟台至公生物医药科技有限公司 一种***细胞的识别方法及装置
CN115100474A (zh) * 2022-06-30 2022-09-23 武汉兰丁智能医学股份有限公司 基于拓扑特征分析的甲状腺穿刺图像分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776606B2 (en) * 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
US9778263B2 (en) * 2013-11-13 2017-10-03 General Electric Company Quantitative in situ characterization of biological samples
US10915729B2 (en) * 2018-02-20 2021-02-09 The Regents Of The University Of Michigan Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification
US11455718B2 (en) * 2018-03-09 2022-09-27 Case Western Reserve University Predicting overall survival in early stage lung cancer with feature driven local cell graphs (FEDEG)
JP7416821B2 (ja) * 2019-03-22 2024-01-17 ベクトン・ディキンソン・アンド・カンパニー 高周波多重励起データを使用した蛍光イメージングのスペクトルアンミックス
EP4211657A2 (en) * 2020-09-08 2023-07-19 Insitro, Inc. Biological image transformation using machine-learning models

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226247A (zh) * 2016-07-15 2016-12-14 暨南大学 一种基于高光谱显微成像技术的细胞检测方法
CN106650796A (zh) * 2016-12-06 2017-05-10 国家纳米科学中心 一种基于人工智能的细胞荧光图像分类方法和***
CN111492368A (zh) * 2017-12-22 2020-08-04 文塔纳医疗***公司 用于基于膜特征对组织图像中的细胞进行分类的***和方法
CN111062296A (zh) * 2019-12-11 2020-04-24 武汉兰丁医学高科技有限公司 一种基于计算机的白细胞自动识别分类方法
CN114092934A (zh) * 2020-07-31 2022-02-25 骏实生物科技(上海)有限公司 循环肿瘤细胞的分类方法
CN113177927A (zh) * 2021-05-17 2021-07-27 西安交通大学 基于多特征和多分类器的骨髓细胞分类识别方法及***
CN113689396A (zh) * 2021-08-20 2021-11-23 深圳先进技术研究院 细胞荧光图像阈值化方法、***、终端及存储介质
CN113763370A (zh) * 2021-09-14 2021-12-07 佰诺全景生物技术(北京)有限公司 数字病理图像的处理方法、装置、电子设备及存储介质
CN114332855A (zh) * 2021-12-24 2022-04-12 杭州电子科技大学 一种基于明场显微成像的无标记白细胞三分类方法
CN114898866A (zh) * 2022-05-24 2022-08-12 广州锟元方青医疗科技有限公司 一种甲状腺细胞辅助诊断方法、设备和存储介质
CN115100474A (zh) * 2022-06-30 2022-09-23 武汉兰丁智能医学股份有限公司 基于拓扑特征分析的甲状腺穿刺图像分类方法
CN115100647A (zh) * 2022-07-29 2022-09-23 烟台至公生物医药科技有限公司 一种***细胞的识别方法及装置
CN115063796A (zh) * 2022-08-18 2022-09-16 珠海横琴圣澳云智科技有限公司 基于信号点内容约束的细胞分类方法和装置

Also Published As

Publication number Publication date
CN116665210A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111739010B (zh) 一种检测循环异常细胞的方法及装置
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
US8379961B2 (en) Mitotic figure detector and counter system and method for detecting and counting mitotic figures
CN115063796B (zh) 基于信号点内容约束的细胞分类方法和装置
CN112069921A (zh) 一种基于自监督知识迁移的小样本视觉目标识别方法
CN116665210B (zh) 基于多通道信息融合的细胞分类方法和装置
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
WO2024032623A1 (zh) 细胞核图像中荧光染色信号点的识别方法和装置
CN114998332B (zh) 核型异常细胞的确定方法和装置
CN109189965A (zh) 图像文字检索方法及***
CN115862073A (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN114049330A (zh) 一种荧光原位杂交图像中荧光特征融合方法及***
US20220390735A1 (en) Method and device for capturing microscopy objects in image data
CN110414317B (zh) 基于胶囊网络的全自动白细胞分类计数方法
KR20190114241A (ko) 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법
Marcuzzo et al. Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging
CN114387596A (zh) 细胞病理涂片自动判读***
Aggarwal et al. Protein Subcellular Localization Prediction by Concatenation of Convolutional Blocks for Deep Features Extraction from Microscopic Images
CN111680553A (zh) 一种基于深度可分离卷积的病理图像识别方法及***
CN115115939B (zh) 基于特征注意力机制的遥感图像目标细粒度识别方法
CN114037868B (zh) 图像识别模型的生成方法及装置
CN114863163A (zh) 一种基于细胞图像进行细胞分类的方法及***
CN113192022A (zh) 基于深度学习的病原孢子识别计数方法和装置
CN116309543B (zh) 基于图像的循环肿瘤细胞检测设备
Soleimany et al. Image segmentation of liver stage malaria infection with spatial uncertainty sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant