CN112257746A - 痘痘类型识别模型训练方法、识别方法及相关装置 - Google Patents

痘痘类型识别模型训练方法、识别方法及相关装置 Download PDF

Info

Publication number
CN112257746A
CN112257746A CN202010970101.7A CN202010970101A CN112257746A CN 112257746 A CN112257746 A CN 112257746A CN 202010970101 A CN202010970101 A CN 202010970101A CN 112257746 A CN112257746 A CN 112257746A
Authority
CN
China
Prior art keywords
pox
label
vaccinia
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010970101.7A
Other languages
English (en)
Inventor
陈仿雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202010970101.7A priority Critical patent/CN112257746A/zh
Publication of CN112257746A publication Critical patent/CN112257746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种痘痘类型识别模型训练方法、痘痘类型识别方法及相关装置,通过基于特征相似度划分痘痘分类组合的方式,使得能够增大不同痘痘分类组合之间的区分度,设置具有一级标签模块和二级标签模块的痘痘类型识别模型,使得该痘痘分类识别模型能够适用于使用具有一级标签及二级标签的痘痘图像进行训练,且在使用具有一级标签和二级标签的痘痘图像对上述的痘痘类型识别模型进行训练时,能够对痘痘类型的特征和痘痘分类组合的特征均进行学习,一级标签模块可以辅助完成卷积模块对痘痘类型的特征的学习,从而调整卷积模块,使得卷积模块能够更细致地区分不同类型的痘痘之间的特征,收敛后的痘痘类型识别模型对痘痘类型的识别准确性高。

Description

痘痘类型识别模型训练方法、识别方法及相关装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种痘痘类型识别模型训练方法、识别方法及相关装置。
背景技术
随着移动通信技术的快速发展以及人民生活水平的提升,各种智能终端已经广泛应用于人民的日常工作和生活,使得人们越来越习惯于使用智能终端。智能终端上可以安装多种不同类型的应用程序,具有美颜拍照、拍照测肤这类的功能的应用程序也越来越多,这类的应用程序通常具有自动分析出用户脸部的痘痘情况,根据痘痘情况针对性地提出皮肤改善方案的功能。然而,痘痘具有多种不同的类型,且不同的类型的痘痘之间可区分的特征不够明显,可区分度较低,因此,仍然存在对痘痘类型的识别准确度不高的问题。
发明内容
本发明的主要目的在于提供一种痘痘类型识别模型训练方法、识别方法及相关装置,可以有效提高对痘痘类型识别的准确性。
为实现上述目的,本发明第一方面提供一种痘痘类型识别模型训练方法,所述痘痘类型识别模型包含卷积模块、一级标签模块及二级标签模块,所述一级标签模块及所述二级标签模块分别与所述卷积模块连接,所述卷积模块用于对输入所述痘痘类型识别模型的所述痘痘图像进行卷积处理,得到第一特征图像,所述第一特征图像用于输入所述一级标签模块及输入所述二级标签模块,所述一级标签模块用于根据输入的第一特征图像输出第一预测数据,所述第一预测数据用于指示所述痘痘图像属于各一级标签的可能性,所述一级标签是与痘痘分类组合具有一对一关系的标签,所述痘痘分类组合是按照特征相似度划分的,且一个所述痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,所述二级标签模块用于根据输入的第一特征图像输出第二预测数据,所述第二预测数据用于指示所述痘痘图像属于各二级标签的可能性,所述二级标签是与痘痘类型具有一对一关系的标签;
所述方法包括:
获取痘痘样本数据集,所述痘痘样本数据集中包含痘痘图像、所述痘痘图像的一级标签及二级标签;
利用所述痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签确定所述痘痘类型识别模型收敛。
为实现上述目的,本发明第二方面提供一种痘痘类型识别方法,所述方法包括:
获取待识别痘痘图像;
将所述待识别痘痘图像输入至痘痘类型识别模型中,所述痘痘类型识别模型为采用如第一方面所述的痘痘类型识别模型的训练方法训练得到的;
根据所述痘痘类型识别模型输出的识别结果确定所述待识别痘痘图像的痘痘类型。
为实现上述目的,本发明第三方面提供一种痘痘类型识别模型训练装置,所述痘痘类型识别模型包含卷积模块、一级标签模块及二级标签模块,所述一级标签模块及所述二级标签模块分别与所述卷积模块连接,所述卷积模块用于对输入所述痘痘类型识别模型的所述痘痘图像进行卷积处理,得到第一特征图像,所述第一特征图像用于输入所述一级标签模块及输入所述二级标签模块,所述一级标签模块用于根据输入的第一特征图像输出第一预测数据,所述第一预测数据用于指示所述痘痘图像属于各一级标签的可能性,所述一级标签是与痘痘分类组合具有一对一关系的标签,所述痘痘分类组合是按照特征相似度划分的,且一个所述痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,所述二级标签模块用于根据输入的第一特征图像输出第二预测数据,所述第二预测数据用于指示所述痘痘图像属于各二级标签的可能性,所述二级标签是与痘痘类型具有一对一关系的标签;
所述装置包括:
获取模块,用于获取痘痘样本数据集,所述痘痘样本数据集中包含痘痘图像、所述痘痘图像的一级标签及二级标签;
训练模块,用于利用所述痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签确定所述痘痘类型识别模型收敛。
为实现上述目的,本发明第四方面提供一种痘痘类型识别装置,该装置包括:
图像获取模块,用于获取待识别痘痘图像;
输入模块,用于将所述待识别痘痘图像输入至目标痘痘类型识别模型中,所述目标痘痘类型识别模型为采用如第一方面所述的痘痘类型识别模型训练装置训练得到的;
根据所述目标痘痘类型识别模型输出的识别结果确定所述待识别痘痘图像的痘痘类型。
为实现上述目的,本发明第五方面提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行第一方面所述的痘痘类型识别模型训练方法中的各个步骤,或者执行如第二方面所述的痘痘类型识别方法中的各个步骤。
采用本发明实施例,具有如下有益效果:
本发明提供一种痘痘类型识别模型训练方法,该训练方法将使用到痘痘样本数据集,该痘痘样本数据集中包含痘痘图像、痘痘图像的一级标签及二级标签,其中,一级标签是与痘痘分类组合具有一对一关系的标签,痘痘分类组合是按照特征相似度划分的,且一个痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,二级标签是与痘痘类型具有一对一关系的标签,通过基于特征相似度划分痘痘分类组合的方式,使得能够增大不同痘痘分类组合之间的区分度,且设置具有一级标签模块和二级标签模块的痘痘类型识别模型,使得该痘痘分类识别模型能够适用于使用具有一级标签及二级标签的痘痘图像进行训练,且在使用具有一级标签和二级标签的痘痘图像对上述的痘痘类型识别模型进行训练时,能够对痘痘类型的特征和痘痘分类组合的特征均进行学习,且一级标签模块可以辅助完成卷积模块对痘痘类型的特征的学习,从而调整卷积模块,使得卷积模块能够更细致地区分不同类型的痘痘之间的特征,收敛后的痘痘类型识别模型对痘痘类型的识别准确性高,有效提高对痘痘类型识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明实施例中痘痘类型识别模型的框架示意图;
图2为本发明实施例中融合层的结构示意图;
图3为本发明实施例中痘痘类型识别模型训练方法的流程示意图;
图4为本发明图3所示实施例中步骤302的细化步骤的流程示意图;
图5为本发明实施例中痘痘类型识别方法的流程示意图;
图6为本发明实施例中痘痘类型识别模型训练装置的结构示意图;
图7为本发明实施例中痘痘类型识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于现有技术中,不同类型的痘痘之间可区分的特征不够明显,导致在对痘痘进行识别时,对痘痘类型的识别的准确度不高。
为了解决上述问题,本发明提出一种痘痘类型识别模型训练方法,通过在痘痘类型识别模型中设置一级标签模块和二级标签模块,并使用具有一级标签和二级标签的痘痘图像对上述的痘痘类型识别模型进行训练,使得能够利用一级标签模块辅助完成卷积模块对痘痘类型的特征的学习,从而调整卷积模块,使得卷积模块能够更细致地区分不同类型的痘痘之间的特征,且二级标签模块能够更多学习不同痘痘类型之间的更加深层次的高语义特征,训练得到的痘痘类型识别模型对痘痘类型的识别准确性更高,有效提高对痘痘类型识别的准确性。
为了更好地理解本发明实施例中的技术方案,下面先介绍一级标签及二级标签的概念。
其中,一级标签和二级标签都是与痘痘的类型相关的,痘痘的类型有多种,例如包括:结节型痘痘、丘疹型痘痘、囊肿型痘痘、脓包型痘痘、粉刺、痘后红斑等等,可以对不同类型的痘痘的特征进行提取,确定不同类型的痘痘的特征参数,并基于不同类型的痘痘的特征参数确定痘痘之间的相似度,并根据相似度划分痘痘分类组合,且一个痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,例如,对于结节型痘痘,可以确定其与其他所有类型的痘痘之间的相似度,并按照相似度对其他所有类型的痘痘进行排序,选择排在前N(N为正整数,例如N为1或2)的痘痘类型作为结节型痘痘的最相似的痘痘类型,且若该最相似度的痘痘类型为囊肿型痘痘,则将结节型痘痘与囊肿型痘痘划分为一个痘痘分类组合,以此类推,可以得到多个痘痘分类组合,且各个痘痘分类组合中包含的痘痘类型是不相同,且不重复的,即一种痘痘类型只是在一个痘痘分类组合中,而不会同时在两个痘痘分类组合中。例如,一种可能的痘痘分类组合划分结果可以为:粉刺、痘痘后红斑属于同一个痘痘分类组合,丘疹型痘痘和脓包型痘痘属于同一个痘痘分类组合,结节型痘痘和囊肿型痘痘属于同一个痘痘分类组合。且进一步地,可以分别为每个痘痘分类组合设置对应的一级标签,例如一级标签可以为A、B、C等等,或者0、1、2等等。
需要说明的是,通过设置一级标签的方式,使得能够增强不同痘痘分类组合之间的可区分度,使得训练得到的痘痘类型识别模型能够有效的区分不同痘痘类型组合。
进一步地,还将基于痘痘类型设置二级标签,其中,每一种痘痘类型都分别设置一个对应的二级标签,即二级标签是与痘痘类型具有一对一关系的标签,例如,对于结节型痘痘、丘疹型痘痘、囊肿型痘痘、脓包型痘痘、粉刺、痘后红斑等等痘痘类型,可以分别设置二级标签为0、1、2、3、4、5。可以理解的是,一级标签和二级标签均是与痘痘相关的,该便签的设置形式可以基于需要设置,此处不做限定。
在本发明实施例中,将训练得到能够有效区分不同类型的痘痘之间的特征的痘痘类型识别模型,为了更好地理解本发明实施例中的技术方案,先介绍本发明实施例中使用的痘痘类型识别模型的结构,请参阅图1,为本发明实施例中痘痘类型识别模型的框架示意图,包含卷积模块、一级标签模块及二级标签模块,一级标签模块及二级标签模块分别与卷积模块连接,卷积模块用于对输入痘痘类型识别模型的痘痘图像进行卷积处理,得到第一特征图像,第一特征图像用于输入一级标签模块及输入二级标签模块,一级标签模块用于根据输入的第一特征图像输出第一预测数据,第一预测数据用于指示痘痘图像属于各一级标签的可能性,二级标签模块用于根据输入的第一特征图像输出第二预测数据,第二预测数据用于指示痘痘图像属于各二级标签的可能性。可以理解的是,卷积模块输出的第一特征图像,可以对该第一特征图像进行复制,得到两份第一特征图像,其中一份第一特征图像输入至一级标签模块,另一份第一特征图像输入至二级标签模块,使得一级标签模块和二级标签模块使用相同的特征图像进行训练。
为了更好地理解本发明实施例中的痘痘类型识别模型的结构,请参阅下表,为在一种可行的实现方式中,痘痘类型识别模型的结构:
Figure BDA0002682162410000071
在上述表格中,c表示通道数,n表示该层重复的次数,s表示步长,Input表示输入的图像大小及通道数,且基于上述表格,可以确定在一种可行的实现方式中,痘痘类型识别模型包括8个3*3的卷积层(Conv2d(3*3)),12个融合层(ADD_block),2个上采样层及4个全连接层(FC),。
其中,一级标签模块102和二级标签模块103均与卷积模块101连接,且设置有融合层,该融合层可以确保输出的特征图包含浅层的纹理特征,且设置融合层主要是考虑到在对痘痘图像进行处理时,由于痘痘较小,且不同类型的痘痘之间的区分度小,对痘痘图像进行卷积的次数越多,丢失的特征也将越多,且丢失的通常是浅层的纹理特征,因此为了保留足够的浅层的纹理特征,设置了融合层。
请参阅图2,为本发明实施例中融合层的结构示意图,包括:输入节点、第一深度级可分离卷积层(Dwise层)、第一卷积层、第二卷积层、第二深度级可分离卷积层、第三卷积层,融合模块、输出节点,其中,输入节点、第一深度级可分离卷积层连接、第一卷积层及融合模块依次连接,输入节点、第二卷积层、第二深度级可分离卷积层、第三卷积层及融合模块依次连接,且输出节点与融合模块连接。
其中,特征图像是从输入节点输入融合层的,且该输入节点也是与上一层连接的节点,特征图像从输入节点输入之后,将复制一份特征图像,得到两份特征图像,一份特征图像输入至第一深度级可分离卷积层,且在经过第一深度级可分离卷积层及第一卷积层之后得到第一部分特征图像,且该第一部分特征图像输入至融合模块,另一份特征图像输入至第二卷积层、且在经过第二卷积层、第二深度级可分离卷积层、第三卷积层之后得到第二部分特征图像,该第二部分特征图像输入融合模块,融合模块将第一部分特征图像及第二部分特征图像进行融合,得到融合后的特征图像,且该融合后的特征图像从输出节点输出。
在一种可行的实现方式中,上述的第一深度级可分离卷积层及第二深度级可分离卷积层的卷积核的大小为3*3,第一卷积层、第二卷积层及第三卷积层的卷积核的大小为1*1。
在本发明实施例中,通过在痘痘类型识别模型中设置一级标签模块和二级标签模块,并使用具有一级标签和二级标签的痘痘图像对上述的痘痘类型识别模型进行训练,使得能够利用一级标签模块辅助完成卷积模块对痘痘类型的特征的学习,从而调整卷积模块,使得卷积模块能够更细致地区分不同类型的痘痘之间的特征,且使得二级标签模块能够学习更多不同痘痘类型之间的更加深层次的高语义特征,训练得到的痘痘类型识别模型对痘痘类型的识别准确性更高,有效提高对痘痘类型识别的准确性。
基于上述的痘痘类型识别模型的框架,请参阅图3,为本发明实施例中痘痘类型识别模型训练方法的流程示意图,该痘痘类型识别模型训练方法包括:
步骤301、获取痘痘样本数据集,痘痘样本数据集中包含痘痘图像、痘痘图像的一级标签及二级标签;
在本发明实施例中,需要先获取痘痘样本数据集,具体可以获取不同的应用场景、不同的拍摄质量以及不同痘痘类型的图像,痘痘类型可以划分为结节型痘痘、丘疹型痘痘、囊肿型痘痘、脓包型痘痘、粉刺、痘后红斑等等,且可以按照预设的一级标签和二级标签的设置规则,对获取到的图像进行一级标签和二级标签的标注,以得到上述的痘痘样本数据集,上述的痘痘样本数据集中包含痘痘图像、痘痘图像的一级标签和二级标签。可以理解的是,上述的痘痘样本数据集中的痘痘图像都是人脸上的痘痘图像。
步骤302、利用痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于第一预测数据、第二预测数据、痘痘图像的一级标签及二级标签确定痘痘类型识别模型收敛。
在本发明实施例中,将利用痘痘样本数据集中包含的痘痘图像对痘痘类型识别模型进行迭代训练,且每一次训练,痘痘类型识别模型中的一级标签模块101都将输出第一预测数据,痘痘类型识别模型中的二级标签模块102都将输出第二预测数据,使得能够基于该第一预测数据、第二预测数据、痘痘图像的一级标签及二级标签确定痘痘类型识别模型收敛。
在一种可行的实现方式中,在执行步骤302之前,还可以对痘痘样本数据集中的痘痘图像进行预处理,以使得痘痘样本数据集能够更适合对痘痘类型识别模型进行训练,增强痘痘样本数据集的特征,提高训练得到的痘痘类型识别模型用于识别痘痘的准确性。
具体的,可以获取痘痘样本数据集中的最大像素值及最小像素值,例如,可以先确定痘痘样本数据集中每一个痘痘图像的最大像素值及最小像素值,得到一个最大像素值集合,和一个最小像素值集合,在最大像素值集合中选取最大的值,作为上述的痘痘样本数据集中的最大像素值,且在最小像素值集合中选取最小的值,作为上述的痘痘样本数据集中的最小像素值。可以理解的是,确定痘痘样本数据集中的最大像素值和最小像素值的方式有多种,在实际应用中可以根据需要确定,此处不做限定。
在得到最大像素值和最小像素值之后,可利用最大像素值及最小像素值,对痘痘样本数据集中痘痘图像包含的像素点的像素值进行归一化处理,得到优化后的痘痘图像,通过该优化方式,对痘痘样本数据集中的所有痘痘图像进行优化,得到优化后的痘痘样本数据集,且在后续的对痘痘类型识别模型的训练过程中,使用该优化后的痘痘样本数据集,能够有效的适应痘痘类型识别模型并完成训练。
其中,归一化的方式如下:
Figure BDA0002682162410000101
其中,norm表示痘痘图像中像素点i优化后的像素值,xi表示痘痘图像中像素点i的像素值,max(x)表示最大像素值,min(x)表示最小像素值。
在本发明实施例中,通过在痘痘类型识别模型中设置一级标签模块和二级标签模块,并使用具有一级标签和二级标签的痘痘图像对上述的痘痘类型识别模型进行训练,使得能够利用一级标签模块辅助完成卷积模块对痘痘类型的特征的学习,从而调整卷积模块,使得卷积模块能够更细致地区分不同类型的痘痘之间的特征,且使得二级标签模块能够更多学习不同痘痘类型之间更加深层次的高语义特征,训练得到的痘痘类型识别模型对痘痘类型的识别准确性更高,有效提高对痘痘类型识别的准确性。
进一步地,请参阅图4,为本发明实施例中图3所示实施例中步骤302的细化步骤的流程示意图,包括:
步骤401、将痘痘图像输入至痘痘类型识别模型的卷积模块中;
步骤402、获取痘痘类型识别模块中一级标签模块输出的第一预测数据,及获取二级标签模块输出的第二预测数据;
步骤403、根据第一预测数据、第二预测数据、痘痘图像的一级标签及二级标签,确定痘痘类型识别模型是否收敛;
步骤404、若收敛,则确定收敛后的痘痘类型识别模型为训练完成后的痘痘类型识别模型;
步骤405、若未收敛,则对痘痘类型识别模型进行参数优化,并返回执行步骤401。
在本发明实施例中,在对痘痘类型识别模型进行训练时,可输入痘痘图像,该痘痘图像从痘痘类型识别模型的卷积模块输入,先由卷积模块对痘痘图像进行卷积处理,得到第一特征图像,且将对该第一特征图像进行复制,得到两份第一特征图像,其中一份第一特征图像将输入至一级标签模块中,一级标签模块将根据该第一特征图像输出第一预测数据,另一份第一特征图像将输入至二级标签模块中,该二级标签模块将根据该第一特征图像输出第二预测数据,将根据第一预测数据、第二预测数据、痘痘图像的一级标签及二级标签,确定痘痘类型识别模型是否收敛,若收敛,则确定收敛后的痘痘类型识别模型为训练完成后的痘痘类型识别模型,结束训练过程,若未收敛,则对痘痘类型识别模型进行参数优化,得到优化后的痘痘类型识别模型,并返回步骤401中的将痘痘图像输入至痘痘类型识别模型的卷积模块中。通过上述方式,能够有效的完成对痘痘类型识别模型的训练。
进一步的,上述步骤403包括:利用第一预测数据及痘痘图像的一级标签,得到第一损失值,利用第二预测数据及痘痘图像的二级标签,得到第二损失值;根据第一损失值及第二损失值确定痘痘类型识别模型是否收敛。
其中,在一种可行的实现方式中,得到第一损失值及第二损失值的方式具体可以是:将痘痘图像的一级标签及二级标签分别转换成one-hot类型的标签,得到一级one-hot标签及二级one-hot标签;并利用第一预测数据及一级one-hot标签得到第一损失值,利用第二预测数据及二级one-hot标签得到第二损失值。
其中,one-hot标签也可以称为多分类标签,该标签与分类数量有关,是基于分类数量的向量,例如,若一级标签的数量为4个,且按照顺序排列为A、B、C、D,一幅痘痘图像的一级标签为C时,则其转换后的one-hot标签为[0,0,1,0],痘痘图像的一级标签为A时,则其转换后的one-hot标签为[1,0,0,0],痘痘图像的一级标签为B时,则其转换后的one-hot标签为[0,1,0,0],痘痘图像的一级标签为D时,则其转换后的one-hot标签为[0,0,0,1]。需要说明的是,二级标签的转换方式是类似的。
其中,第一预测数据是用于指示痘痘图像属于各一级标签的可能性,例如,若一级标签的数量为4个,且分别代表痘痘分类组合A1、A2、A3、A4时,则痘痘图像的第一预测数据为[a1,a2,a3,a4],且表明痘痘图像属于痘痘分类组合A1的概率为a1,痘痘图像属于痘痘分类组合A2的概率为a2,痘痘图像属于痘痘分类组合A3的概率为a3,痘痘图像属于痘痘分类组合A4的概率为a4。此外,第二预测数据是用于指示痘痘图像属于各二级标签的可能性,且该第二预测数据的形式与第一预测数据类似,此处不做赘述。
其中,将利用第一预测数据及一级one-hot标签得到第一损失值,利用第二预测数据及二级one-hot标签得到第二损失值,将第一损失值和第二损失值相加,得到总损失值,根据该总损失值确定痘痘类型识别模型是否收敛。
具体的,总损失值的表达式如下:
Figure BDA0002682162410000121
其中,Yi 1表示痘痘图像的一级one-hot标签,Yj 2表示痘痘图像的二级one-hot标签,Ai表示第一预测数据,Bj表示第二预测数据,n表示一级标签的数量,m表示二级标签的数量。可以理解的是,
Figure BDA0002682162410000122
表示第一损失值,
Figure BDA0002682162410000123
表示第二损失值。
在本发明实施例中,在得到总损失值之后,该根据该总损失值确定痘痘类型识别模型是否收敛,若收敛,则将收敛后的痘痘类型识别模型确定为训练完成的痘痘类型识别模型,且结束训练过程。若不收敛,则对痘痘类型识别模型进行参数优化,得到参数优化后的痘痘类型识别模型,将该参数优化后的痘痘类型识别模型作为下一次训练使用的痘痘类型识别模型,并返回将痘痘图像输入至痘痘类型识别模型的卷积模块中的步骤,直至结束训练。
在对痘痘类型识别模型进行参数优化时,可以先确定迭代训练的次数i,利用该i的值对自适应矩估计(Adaptive moment estimation,adam)算法的学习率进行更新,得到更新后的学习率,并利用总损失值、更新后的学习率及adam算法对当前的痘痘类型识别模块进行参数优化,得到优化后的痘痘类型识别模型。
需要说明的是,使用adam算法需要预先配置参数,包括迭代次数的设置,初始学习率,学习率的权重衰减等等,每一次迭代训练,都需要更新adam算法的学习率。例如,迭代次数可以设置为500次,初始化学习率设置为0.001,学习率的权重衰减设置为0.0005,经过50次迭代,学习率将衰减成原来的1/10,其中,可以将学习率、总损失值输入adam算法中,得到adam输出的调整参数,利用该调整参数实现痘痘类型识别模型的参数优化。
在本实施例中,需要说明的是,一级标签模块的主要功能是用于辅助实现对卷积模块训练,因为在对痘痘类型识别模型进行训练时,会使用到一级标签模块的输出的第一预测数据确定损失值,表明在训练过程中对痘痘类型识别模型的参数优化时,会参考到一级标签模块的输出,由于一级标签模块是对痘痘分类组合的特征进行提取,因此,在痘痘类型识别模型的训练过程中会受到不同痘痘分类组合之间的特征差异的影响,该影响是增强训练得到的痘痘类型识别模型对不同痘痘分类组合之间的区分能力,能够有效区分不同的痘痘分类组合,且还会影响到对卷积模块和二级标签模块的训练,即增强卷积模块和二级标签模块对痘痘分类组合的区分度,及对不同痘痘类型的区分度,学习具有一级标签和二级标签的痘痘图像的特征,提升训练得到的痘痘类型识别模型的识别能力,能够有效的实现对痘痘的识别。
且进一步的,在实际应用中,可以使用训练完成的痘痘类型识别模型,且基于二级标签模块的输出的结果确定痘痘类型识别结果即可,丢弃一级标签模块输出的结果。或者,还可以在确定收敛后的痘痘类型识别模型为训练完成后的痘痘类型识别模型之后,去除收敛后的痘痘类型识别模型中的一级标签模块,得到用于识别痘痘类型的目标痘痘类型识别模型。因此,在训练完成后,可以保留一级标签模块也可以去除掉一级标签模块,且无论哪种情况,在对痘痘进行识别时,是使用二级标签模块的输出结果确定痘痘类型。
在本发明实施例中,可以基于不同痘痘类型之间的特征的相似度设置痘痘分类组合,并设置对应的一级标签,且为不同痘痘类型分别设置对应的二级标签,使得可以增加痘痘分类组合之间的特征的可区分度,及增加痘痘类型之间的特征的区分度,区分效果好,且通过设置一级标签模块和二级标签模块分别与卷积模块连接的方式,使得能够利用一级标签模块辅助完成二级标签的痘痘类型特征的学习,且调整整个痘痘类型识别模型对特征的学习,可以关注到更加细致的痘痘之间的可区分的特征,提高训练得到的痘痘类型识别模型的识别能力,提高识别的准确性。
可以理解的是,上述方法描述的是痘痘类型识别模型的训练过程,下面将介绍基于该训练得到的痘痘类型识别模型进行识别的过程,请参阅图5,为本发明实施例中痘痘类型识别方法的流程示意图,包括:
步骤501、获取待识别痘痘图像;
步骤502、将待识别痘痘图像输入至痘痘类型识别模型中;
步骤503、根据痘痘类型识别模型输出的识别结果确定待识别痘痘图像的痘痘类型。
在本发明实施例中,将获取到待识别痘痘图像,通常该待识别痘痘图像为人脸上的痘痘图像,还有其他的情况,例如,后背的痘痘图像也可以作为待识别痘痘图像。
可将上述的待识别痘痘图像输入至痘痘类型识别模型中,获取到该痘痘类型识别模型输出的识别结果,并根据该痘痘类型识别模型输出的识别结果确定待识别痘痘图像的痘痘类型。
在一种可行的实现方式中,痘痘类型识别模型可以是训练完成后的痘痘类型识别模型,包括卷积模块、一级标签模块和二级标签模块,且卷积模块分别连接第一标签模块和第二标签模块,此时,痘痘类型识别模型的输出结果包括一级标签模块输出的第一预测数据,及二级标签模块输出的二级预测数据,此时可以丢弃第一预测数据,并利用第二预测数据确定识别的痘痘类型,具体可以选择第二预测数据中的最大值对应的痘痘类型作为识别到的痘痘类型。可以理解的是,第一预测数据也可以不丢弃,而是用于进行验证,具体可以选择第一预测数据中的最大值对应的痘痘分类组合,并确定基于第二预测数据识别到的痘痘类型是否在该痘痘分类组合中,若在该痘痘分类组合中,可以确定识别准确性较高。
在另一种可行的实现方式中,上述的痘痘类型识别模型可以是训练完成后的且去除一级标签模块的目标痘痘类型识别模型,其输出结果则包含二级标签模块输出的第二预测数据,并可利用该第二预测数据确定识别的痘痘类型,具体可以选择第二预测数据中的最大值对应的痘痘类型作为识别到的痘痘类型。
在本发明实施例中,使用包含一级标签和二级标签的痘痘图像训练得到的痘痘类型识别模型进行痘痘类型的识别,具有识别的准确性高的优点。
请参阅图6,为本发明实施例中一种痘痘类型识别模型训练装置的结构示意图,其中,痘痘类型识别模型包含卷积模块、一级标签模块及二级标签模块,一级标签模块及二级标签模块分别与卷积模块连接,卷积模块用于对输入痘痘类型识别模型的痘痘图像进行卷积处理,得到第一特征图像,第一特征图像用于输入一级标签模块及输入二级标签模块,一级标签模块用于根据输入的第一特征图像输出第一预测数据,第一预测数据用于指示痘痘图像属于各一级标签的可能性,一级标签是与痘痘分类组合具有一对一关系的标签,痘痘分类组合是按照特征相似度划分的,且一个痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,二级标签模块用于根据输入的第一特征图像输出第二预测数据,第二预测数据用于指示痘痘图像属于各二级标签的可能性,二级标签是与痘痘类型具有一对一关系的标签;
上述装置包括:
获取模块601,用于获取痘痘样本数据集,痘痘样本数据集中包含痘痘图像、痘痘图像的一级标签及二级标签;
训练模块602,用于利用痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于第一预测数据、第二预测数据、痘痘图像的一级标签及二级标签确定痘痘类型识别模型收敛。
可以理解的是,图6所示实施例中的相关内容与前述方法实施例中描述的相关内容相似,具体可以参阅前述方法实施例中描述的内容,此处不做赘述。
在本发明实施例中,可以基于不同痘痘类型之间的特征的相似度设置痘痘分类组合,并设置对应的一级标签,且为不同痘痘类型分别设置对应的二级标签,使得可以增加痘痘分类组合之间的特征的可区分度,及增加痘痘类型之间的特征的区分度,区分效果好,且通过设置一级标签模块和二级标签模块分别与卷积模块连接的方式,使得能够利用一级标签模块辅助完成二级标签的痘痘类型特征的学习,且调整整个痘痘类型识别模型对特征的学习,可以关注到更加细致的痘痘之间的可区分的特征,提高训练得到的痘痘类型识别模型的识别能力,提高识别的准确性。
请参阅图7,为本发明实施例中一种痘痘类型识别装置的结构示意图,该装置包括:
图像获取模块701,用于获取待识别痘痘图像;
输入模块702,用于将待识别痘痘图像输入至目标痘痘类型识别模型中;
确定模块703,用于根据目标痘痘类型识别模型输出的识别结果确定待识别痘痘图像的痘痘类型。
可以理解的是,本装置实施例中相关模块的内容与前述方法实施例中的涉及到的内容相似,具体可以参阅前述方法实施例中描述的内容,此处不做赘述。
在本发明实施例中,使用包含一级标签和二级标签的痘痘图像训练得到的痘痘类型识别模型进行痘痘类型的识别,具有识别的准确性高的优点。
在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述方法实施例中的各个步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种痘痘类型识别模型训练方法,其特征在于,所述痘痘类型识别模型包含卷积模块、一级标签模块及二级标签模块,所述一级标签模块及所述二级标签模块分别与所述卷积模块连接,所述卷积模块用于对输入所述痘痘类型识别模型的痘痘图像进行卷积处理,得到第一特征图像,所述第一特征图像用于输入所述一级标签模块及输入所述二级标签模块,所述一级标签模块用于根据输入的第一特征图像输出第一预测数据,所述第一预测数据用于指示所述痘痘图像属于各一级标签的可能性,所述一级标签是与痘痘分类组合具有一对一关系的标签,所述痘痘分类组合是按照特征相似度划分的,且一个所述痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,所述二级标签模块用于根据输入的第一特征图像输出第二预测数据,所述第二预测数据用于指示所述痘痘图像属于各二级标签的可能性,所述二级标签是与痘痘类型具有一对一关系的标签;
所述方法包括:
获取痘痘样本数据集,所述痘痘样本数据集中包含痘痘图像、所述痘痘图像的一级标签及二级标签;
利用所述痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签确定所述痘痘类型识别模型收敛。
2.根据权利要求1所述的方法,其特征在于,所述利用所述痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签确定所述痘痘类型识别模型收敛,包括:
将所述痘痘图像输入至所述痘痘类型识别模型的卷积模块中;
获取所述痘痘类型识别模块中所述一级标签模块输出的所述第一预测数据,及获取所述二级标签模块输出的所述第二预测数据;
根据所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签,确定所述痘痘类型识别模型是否收敛;
若收敛,则确定收敛后的痘痘类型识别模型为训练完成后的痘痘类型识别模型;
若未收敛,则对所述痘痘类型识别模型进行参数优化,并返回执行所述将所述痘痘图像输入至所述痘痘类型识别模型的卷积模块中的步骤。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签,确定所述痘痘类型识别模型是否收敛,包括:
利用所述第一预测数据及所述痘痘图像的一级标签,得到第一损失值,利用所述第二预测数据及所述痘痘图像的二级标签,得到第二损失值;
根据所述第一损失值及所述第二损失值确定所述痘痘类型识别模型是否收敛。
4.根据权利要求3所述的方法,其特征在于,所述利用所述第一预测数据及所述痘痘图像的一级标签,得到第一损失值,利用所述第二预测数据及所述痘痘图像的二级标签,得到第二损失值,包括:
将所述一级标签及所述二级标签分别转换成one-hot类型的标签,得到一级one-hot标签及二级one-hot标签;
利用所述第一预测数据及所述一级one-hot标签得到所述第一损失值,利用所述第二预测数据及所述二级one-hot标签得到所述第二损失值。
5.根据权利要求1所述的方法,其特征在于,所述利用所述痘痘图像对预设的痘痘类型识别模型进行训练,得到训练后的痘痘类型识别模型之前还包括:
获取所述痘痘样本数据集中的最大像素值及最小像素值;
利用所述最大像素值及最小像素值,对所述痘痘样本数据集中痘痘图像包含的像素点的像素值进行归一化处理,得到优化后的痘痘图像。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述方法还包括:
在确定收敛后的痘痘类型识别模型为训练完成后的痘痘类型识别模型之后,去除所述收敛后的痘痘类型识别模型中的所述一级标签模块,得到用于识别痘痘类型的目标痘痘类型识别模型。
7.一种痘痘类型识别方法,其特征在于,所述方法包括:
获取待识别痘痘图像;
将所述待识别痘痘图像输入至痘痘类型识别模型中,所述痘痘类型识别模型为采用权利要求1-6任意一项所述的痘痘类型识别模型的训练方法训练得到的;
根据所述痘痘类型识别模型输出的识别结果确定所述待识别痘痘图像的痘痘类型。
8.一种痘痘类型识别模型训练装置,其特征在于,所述痘痘类型识别模型包含卷积模块、一级标签模块及二级标签模块,所述一级标签模块及所述二级标签模块分别与所述卷积模块连接,所述卷积模块用于对输入所述痘痘类型识别模型的所述痘痘图像进行卷积处理,得到第一特征图像,所述第一特征图像用于输入所述一级标签模块及输入所述二级标签模块,所述一级标签模块用于根据输入的第一特征图像输出第一预测数据,所述第一预测数据用于指示所述痘痘图像属于各一级标签的可能性,所述一级标签是与痘痘分类组合具有一对一关系的标签,所述痘痘分类组合是按照特征相似度划分的,且一个所述痘痘分类组合包含至少两个特征相似度满足预设条件的痘痘类型,所述二级标签模块用于根据输入的第一特征图像输出第二预测数据,所述第二预测数据用于指示所述痘痘图像属于各二级标签的可能性,所述二级标签是与痘痘类型具有一对一关系的标签;
所述装置包括:
获取模块,用于获取痘痘样本数据集,所述痘痘样本数据集中包含痘痘图像、所述痘痘图像的一级标签及二级标签;
训练模块,用于利用所述痘痘图像对预设的痘痘类型识别模型进行迭代训练,直至基于所述第一预测数据、所述第二预测数据、所述痘痘图像的一级标签及二级标签确定所述痘痘类型识别模型收敛。
9.一种痘痘类型识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别痘痘图像;
输入模块,用于将所述待识别痘痘图像输入至目标痘痘类型识别模型中,所述目标痘痘类型识别模型为采用权利要求9所述的痘痘类型识别模型的训练装置得到的;
根据所述目标痘痘类型识别模型输出的识别结果确定所述待识别痘痘图像的痘痘类型。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的痘痘类型识别模型训练方法的步骤,或者执行如权利要求7所述的痘痘类型识别方法中的步骤。
CN202010970101.7A 2020-09-15 2020-09-15 痘痘类型识别模型训练方法、识别方法及相关装置 Pending CN112257746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010970101.7A CN112257746A (zh) 2020-09-15 2020-09-15 痘痘类型识别模型训练方法、识别方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010970101.7A CN112257746A (zh) 2020-09-15 2020-09-15 痘痘类型识别模型训练方法、识别方法及相关装置

Publications (1)

Publication Number Publication Date
CN112257746A true CN112257746A (zh) 2021-01-22

Family

ID=74232359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010970101.7A Pending CN112257746A (zh) 2020-09-15 2020-09-15 痘痘类型识别模型训练方法、识别方法及相关装置

Country Status (1)

Country Link
CN (1) CN112257746A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361451A (zh) * 2021-06-24 2021-09-07 福建万福信息技术有限公司 基于多级模型和预置点自动调节的生态环境目标识别方法
CN113609909A (zh) * 2021-07-05 2021-11-05 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084217A (zh) * 2019-05-06 2019-08-02 苏州国科视清医疗科技有限公司 基于MOD-Net网络的眼动参数监测的疲劳检测方法
CN110322499A (zh) * 2019-07-09 2019-10-11 浙江科技学院 一种基于多层特征的单目图像深度估计方法
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算(北京)有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN110507288A (zh) * 2019-08-29 2019-11-29 重庆大学 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN110705566A (zh) * 2019-09-11 2020-01-17 浙江科技学院 一种基于空间金字塔池的多模态融合显著性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084217A (zh) * 2019-05-06 2019-08-02 苏州国科视清医疗科技有限公司 基于MOD-Net网络的眼动参数监测的疲劳检测方法
CN110322499A (zh) * 2019-07-09 2019-10-11 浙江科技学院 一种基于多层特征的单目图像深度估计方法
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算(北京)有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN110507288A (zh) * 2019-08-29 2019-11-29 重庆大学 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN110705566A (zh) * 2019-09-11 2020-01-17 浙江科技学院 一种基于空间金字塔池的多模态融合显著性检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361451A (zh) * 2021-06-24 2021-09-07 福建万福信息技术有限公司 基于多级模型和预置点自动调节的生态环境目标识别方法
CN113361451B (zh) * 2021-06-24 2024-04-30 福建万福信息技术有限公司 基于多级模型和预置点自动调节的生态环境目标识别方法
CN113609909A (zh) * 2021-07-05 2021-11-05 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113609909B (zh) * 2021-07-05 2024-05-31 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置

Similar Documents

Publication Publication Date Title
CN108960073B (zh) 面向生物医学文献的跨模态图像模式识别方法
CN111275685B (zh) 身份证件的翻拍图像识别方法、装置、设备及介质
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN111191568B (zh) 翻拍图像识别方法、装置、设备及介质
CN110807437B (zh) 视频粒度特征确定方法、装置和计算机可读存储介质
CN112200772A (zh) 痘痘检测设备
CN111191032B (zh) 语料扩充方法、装置、计算机设备和存储介质
JP2017062778A (ja) 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体
CN111832581B (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN112257746A (zh) 痘痘类型识别模型训练方法、识别方法及相关装置
CN113936298A (zh) 一种特征识别方法及装置、计算机可读存储介质
CN114332893A (zh) 表格结构识别方法、装置、计算机设备和存储介质
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN114091551A (zh) 色情图像识别方法、装置、电子设备及存储介质
CN111191035B (zh) 一种识别肺癌临床数据库文本实体的方法及装置
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN116152938A (zh) 身份识别模型训练和电子资源转移方法、装置及设备
CN116758622A (zh) 用于出勤管理***的数据处理方法、装置、***及介质
CN115187839B (zh) 图文语义对齐模型训练方法及装置
CN113378609A (zh) 代理商代签名的识别方法及装置
CN115510231A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN112699809A (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN113516182A (zh) 视觉问答模型训练、视觉问答方法和装置
CN113516148A (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN112418168B (zh) 车辆识别方法、装置、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122

RJ01 Rejection of invention patent application after publication