CN109614989B - 快速模型的训练方法、装置、计算机设备及存储介质 - Google Patents
快速模型的训练方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109614989B CN109614989B CN201811348231.6A CN201811348231A CN109614989B CN 109614989 B CN109614989 B CN 109614989B CN 201811348231 A CN201811348231 A CN 201811348231A CN 109614989 B CN109614989 B CN 109614989B
- Authority
- CN
- China
- Prior art keywords
- training
- model
- image
- sample image
- rapid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 297
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 124
- 238000003062 neural network model Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 13
- 241001465754 Metazoa Species 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 241000282465 Canis Species 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种快速模型的训练方法、装置、计算机设备及存储介质,包括:获取预设的训练样本图像;将所述训练样本图像输入到预设的辅助训练模型和初始的快速模型中;计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离;通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数。通过在对快速模型进行训练时,无需对参与训练的样本图像进行标记,节约了标记所需要的时间和花费的精力,提高了训练的速度。直接计算辅助模型输出的表征样本图像特征的特征向量,与快速模型输出的表征样本图像特征的特征向量之间的距离并进行反向传播,能够最大限度的缩短训练时间。
Description
技术领域
本发明实施例涉及模型训练领域,尤其是一种快速模型的训练方法、装置、计算机设备及存储介质。
背景技术
模拟人类***经网络的数学方法问世以来,人们已慢慢习惯了把这种人工神经网络直接称为神经网络。神经网络在***辨识、模式识别、智能控制等领域有着广泛而吸引人的前景,特别在智能控制中,人们对神经网络的自学习功能尤其感兴趣,并且把神经网络这一重要特点看作是解决自动控制中控制器适应能力这个难题的关键钥匙之一。
现有技术中,为了使神经网络模型具有对某一类或者多个类型的图像具有准确分类的能力,需要对初始化的神经网络模型进行训练。其中,训练的方式为:收集一定量级的样本图像,为了使训练至收敛的神经网络模型的鲁棒性更好,需要的训练样本往往是海量的。训练时首先对训练样本进行人为标定,然后将样本图像输入到神经网络模型中,得到神经网络模型输出的分类结果。比对分类结果和人为标定是否一致,不一致时通过反向算法校正神经网络模型的权值,使神经网络模型逐渐的收敛,由于,模型训练时输出的随机性很强,因此,训练过程极为漫长。
本发明创造的发明人在研究中发现,现有技术中为提高神经网络模型的准确性,往往需要投入大量的样本图像花费大量的时间才能够将神经网络模型训练至收敛状态,而在不具有上述条件的环境下,神经网络模型往往无法进行训练,或者训练得到的神经网络模型稳定性差准确性较低。
发明内容
本发明实施例提供能够通过辅助训练模型在少量样本和较短时间能够将模型,训练至收敛的快速模型的训练方法、装置、计算机设备及存储介质。
为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种快速模型的训练方法,包括:
获取预设的训练样本图像;
将所述训练样本图像输入到预设的辅助训练模型和初始的快速模型中,其中,所述辅助训练模型为预先训练至收敛状态用于提取图像特征向量的神经网络模型,所述快速模型为待训练的神经网络模型;
计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离;
通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数。
可选地,所述通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数之前还包括:
将所述特征距离与预设的第一阈值进行比对;
当所述特征距离大于所述第一阈值时,确认对所述特征距离进行反向传播。
可选地,所述通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数之后还包括:
反复迭代将所述训练样本图像输入到所述辅助训练模型和所述快速模型中,至所述特征距离小于等于所述第一阈值时,确认所述训练样本图像的训练结束。
可选地,所述特征距离包括欧氏距离和/或余弦距离,所述计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离包括:
获取所述辅助训练模型提取的所述训练样本图像的第一特征向量和所述快速模型提取的所述训练样本图像的第二特征向量;
比对所述第一特征向量和所述第二特征向量的欧氏距离和/或余弦距离。
可选地,所述获取预设的训练样本图像之前还包括:
获取目标用户或者目标场景中需要辨识图像的图像信息,其中,所述图像信息包括各辨识图像的图像类别;
根据所述图像信息中的图像类别对辨识图像进行聚类,以获取所述目标用户或者目标场景偏好辨识的图像类型;
根据所述图像类型收集训练快速模型的训练样本图像。
可选地,所述根据所述图像类型收集训练快速模型的训练样本图像包括:
以所述图像类型为限定条件在预设的图像数据库中进行检索;
将检索召回的图像确认为所述训练样本图像。
可选地,所述训练样本图像包括原始样本图像和派生样本图像,所述将检索召回的图像确认为所述训练样本图像之后还包括:
对所述原始样本图像进行图像处理,生成派生于所述原始样本图像的派生样本图像;
提取所述原始样本图像的特征向量和所述派生样本图像的特征向量;
计算所述原始样本图像的特征向量和所述派生样本图像的特征向量之间的特征差值;
当所述特征差值小于等于预设的第二阈值时,确认所述原始样本图像和派生样本图像为所述训练样本图像。
为解决上述技术问题,本发明实施例还提供一种快速模型的训练装置,包括:
获取模块,用于获取预设的训练样本图像;
处理模块,用于将所述训练样本图像输入到预设的辅助训练模型和初始的快速模型中,其中,所述辅助训练模型为预先训练至收敛状态用于提取图像特征向量的神经网络模型,所述快速模型为待训练的神经网络模型;
计算模块,用于计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离;
执行模块,用于通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数。
可选地,所述快速模型的训练装置还包括:
第一比对子模块,用于将所述特征距离与预设的第一阈值进行比对;
第一执行子模块,用于当所述特征距离大于所述第一阈值时,确认对所述特征距离进行反向传播。
可选地,所述快速模型的训练装置还包括:
第二执行子模块,用于反复迭代将所述训练样本图像输入到所述辅助训练模型和所述快速模型中,至所述特征距离小于等于所述第一阈值时,确认所述训练样本图像的训练结束。
可选地,所述特征距离包括欧氏距离和/或余弦距离,所述快速模型的训练装置还包括:
第一获取子模块,用于获取所述辅助训练模型提取的所述训练样本图像的第一特征向量和所述快速模型提取的所述训练样本图像的第二特征向量;
第二比对子模块,用于比对所述第一特征向量和所述第二特征向量的欧氏距离和/或余弦距离。
可选地,所述快速模型的训练装置还包括:
第二获取子模块,用于获取目标用户或者目标场景中需要辨识图像的图像信息,其中,所述图像信息包括各辨识图像的图像类别;
第一处理子模块,用于根据所述图像信息中的图像类别对辨识图像进行聚类,以获取所述目标用户或者目标场景偏好辨识的图像类型;
第三执行子模块,用于根据所述图像类型收集训练快速模型的训练样本图像。
可选地,所述快速模型的训练装置还包括:
第二处理子模块,用于以所述图像类型为限定条件在预设的图像数据库中进行检索;
第一确认子模块,用于将检索召回的图像确认为所述训练样本图像。
可选地,所述训练样本图像包括原始样本图像和派生样本图像,所述快速模型的训练装置还包括:
第三处理子模块,用于对所述原始样本图像进行图像处理,生成派生于所述原始样本图像的派生样本图像;
第一提取子模块,用于提取所述原始样本图像的特征向量和所述派生样本图像的特征向量;
第一计算子模块,用于计算所述原始样本图像的特征向量和所述派生样本图像的特征向量之间的特征差值;
第四执行子模块,用于当所述特征差值小于等于预设的第二阈值时,确认所述原始样本图像和派生样本图像为所述训练样本图像。
为解决上述技术问题,本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述快速模型的训练方法的步骤。
为解决上述技术问题,本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述快速模型的训练方法的步骤。
本发明实施例的有益效果是:通过在对快速模型进行训练时,无需对参与训练的样本图像进行标记,节约了标记所需要的时间和花费的精力,提高了训练的速度。同时,直接计算辅助模型输出的表征样本图像特征的特征向量,与快速模型输出的表征样本图像特征的特征向量之间的距离(欧式距离和/或余弦距离)并进行反向传播,采用这种方法将快速模型的训练转化为一种单纯的回归算法,能够最大限度的缩短训练时间,且能够保证训练完成时快速模型输出的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例快速模型的训练方法的基本流程示意图;
图2为本发明实施例通过阈值确定是否进行反向传播的流程示意图;
图3为本发明实施例计算两个模型提取特征向量之间的特征距离的一种流程示意图;
图4为本发明实施例根据具体应用场景获取训练样本图像的流程示意图;
图5为本发明实施例数据库检所获取训练样本图像的一种流程示意图;
图6为本发明实施例派生样本图像的生成方法流程示意图;
图7为本发明实施例快速模型的训练装置基本结构示意图;
图8为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信***),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位***)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
具体请参阅图1,图1为本实施例快速模型的训练方法的基本流程示意图。
如图1所示,一种快速模型的训练方法,包括:
S1100、获取预设的训练样本图像;
在对快速模型进行训练之前需要准备训练样本图像,训练样本图像的数量根据对快速模型的具体要求相对应,例如,对于快速模型泛化能力要求较高的应用场景要求的训练样本图像的数量越多,反之,则越少。
对于训练样本图像的获取能够采用公共图像数据库、自有图像数据库或者通过数据爬取的方式从互联网中进行爬取。
快速模型是指与现有的神经网络模型模型相比,需要通过训练确定的自由量(权值)的数量较少的、模型规模较小或者仅仅需要少量的训练样本图像就能够训练至收敛的神经网络模型。
快速模型由于其规模较小,对于计算机处理能力的要求较低,且实现的功能略微单一,因此,常使用于(不限于)移动智能终端或者环境因素(需要处理的图像变化较为单一)变化单一的应用场景中。
S1200、将所述训练样本图像输入到预设的辅助训练模型和初始的快速模型中,其中,所述辅助训练模型为预先训练至收敛状态用于提取图像特征向量的神经网络模型,所述快速模型为待训练的神经网络模型;
本实施方式中,为实现快速模型的训练,需要采用辅助训练模型进行训练。且本实施方式中参与训练的辅助训练模型被预先训练至收敛状态,即能够对训练样本图像做出准确分类的神经网络模型。本实施方式中,辅助训练模型能够为已经训练至收敛状态的卷积神经网络模型(CNN),但是辅助训练模型还能够是:深度神经网络模型(DNN)、循环神经网络模型(RNN)或者上述三种网络模型的变形模型。而快速模型也能够为上述三种模型中的任意一种或者变形模型,但是快速模型相比于辅助训练模型规模更小。
需要指出的是快速模型与辅助训练模型的训练方向需一致,或快速模型训练实现的目的是辅助训练模型的功能当中的一种。例如,快速模型训练的目的在于,对黄种人的人脸图像进行识别,辅助训练模型的功能也应该为对人脸图像进行识别,但是相对于快速模型而言,辅助训练模型具有更强大的识别能力,如能够对全人种的人脸图像进行识别,或者不仅仅能够识别人脸图像还能够识别人脸图像表征的用户年龄、性别或者颜值等。
在获取到训练样本图像后,对训练样本图像进行图像处理(将训练样本图像缩放或者剪切成为固定规格的图片)后,将训练样本图像分别输入到辅助训练模型和快速模型中。至此,辅助训练模型和快速模型分别对训练样本图像的特征向量进行提取。
S1300、计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离;
分别获取辅助训练模型和快速模型提取的训练样本图像的特征向量。然后计算两个模型特征向量之间的特征距离。其中特征距离包括两个特征向量之间的欧氏距离和/或余弦距离。特征距离的计算是通过损失函数进行的。在一些实施方式中,损失函数既能够计算两个模型特征向量之间的欧氏距离,又能够计算计算两个模型特征向量之间的余弦距离,并且通过欧氏距离和余弦距离的结合从不同维度,对快速模型的权值进行校正,加速快速模型的训练,提高快速模型的准确度。
由于,辅助训练模型已经预先被训练至收敛状态了,因此,辅助训练模型提取的训练样本图像的特征向量为准确的特征向量,而训练过程中,快速模型输出的特征向量则准确性较低。计算两个模型特征向量之间的距离,其实就是计算快速模型输出的特征向量距标准特征向量之间的距离。
S1400、通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数。
在计算得到两个模型提取同一训练样本图像的特征向量的特征距离后,将该特征向量通过损失函数进行反向传播,以校正快速模型中的图像过滤器(卷积层)的权重,校正的结果为使快速模型的提取的特征向量向辅助训练模型提取的特征向量靠近。至此,对于快速模型训练的一个环节完成,需要指出的是,步骤S1100-S1200仅仅是快速模型训练过程中的一个步骤,由于训练样本图像的数量,步骤S1100-S1200的训练是不断循环的,直至快速模型被训练至收敛状态时为止。
上述实施方式通过在对快速模型进行训练时,无需对参与训练的样本图像进行标记,节约了标记所需要的时间和花费的精力,提高了训练的速度。同时,直接计算辅助模型输出的表征样本图像特征的特征向量,与快速模型输出的表征样本图像特征的特征向量之间的距离(欧式距离和/或余弦距离)并进行反向传播,采用这种方法将快速模型的训练转化为一种单纯的回归算法,能够最大限度的缩短训练时间,且能够保证训练完成时快速模型输出的准确率。
在一些实施方式中,快速模型的训练过程并非每次都要进行反向传播的,当两个模型之间的特征距离大于设定的阈值时,才需要进行反向传播。请参阅图2,图2为本实施例通过阈值确定是否进行反向传播的流程示意图。
如图2所示,S1400之前还包括:
S1311、将所述特征距离与预设的第一阈值进行比对;
为了验证两个模型提取的特征向量之间的距离是否满足模型训练的需求,设定一个检验阈值,即第一阈值。第一阈值的设定能够根据对快速模型的准确度要求加以设定。即对于快速模型准确度要求越高,则第一阈值的设定数值越小,反之,对于快速模型的准确度要求越低,则第一阈值的设定数值越大。
S1312、当所述特征距离大于所述第一阈值时,确认对所述特征距离进行反向传播。
通过比较确定特征距离大于第一阈值时,即确定快速模型提取的特征向量与辅助训练模型提取的特征向量之间的距离较大,不符合快速模型训练的需求,需要通过反向传播来调整快速模型的权值,以使再次输入该训练样本图像时,快速模型提取的特征向量与辅助训练模型提取的特征向量之间的距离趋向于变小。当通过比较确定特征距离小于等于第一阈值时,则证明快速模型对于当前输入的训练样本图像的图像理解能力达到了设定要求无需进行反向传播,而是采用下一张训练样本图像对快速模型进行训练。
在本实施方式中,需要指出的是步骤S1100-S1200以及步骤S1311-S1312是循环进行的。S1400之后还包括
S1411、反复迭代将所述训练样本图像输入到所述辅助训练模型和所述快速模型中,至所述特征距离小于等于所述第一阈值时,确认所述训练样本图像的训练结束。
当通过比较确定特征距离大于第一阈值时,向同一张训练样本图像再次输入到的辅助训练模型和快速模型中,反复的执行S1200-S1400的步骤,直至当通过比较确定特征距离小于等于第一阈值时,对于该训练样本图像的训练结束,还其他训练样本图像继续进行训练。
通过上述方法当快速模型提取的特征向量与辅助训练模型提取的特征向量之间的距离均小于第一阈值时,或者小于第一阈值的比例大于设定值,如99%或其他比率设定值时,对于快速样本的训练结束。
在一些实施方式中,特征距离包括欧氏距离和/或余弦距离,计算两个模型提取特征向量之间的特征距离,就是计算特征向量之间的欧氏距离和/或余弦距离。请参阅图3,图3为本实施例计算两个模型提取特征向量之间的特征距离的一种流程示意图。
如图3所述,S1300还包括:
S1321、获取所述辅助训练模型提取的所述训练样本图像的第一特征向量和所述快速模型提取的所述训练样本图像的第二特征向量;
分别获取辅助训练模型和快速模型提取的训练样本图像的特征向量。其中,辅助训练模型提取的训练样本图像的特征向量为第一特征向量,快速模型提取的训练样本图像的特征向量为第二特征向量。
S1322、比对所述第一特征向量和所述第二特征向量的欧氏距离和/或余弦距离。
计算第一特征向量和第二特征向量之间的特征距离。其中特征距离包括两个特征向量之间的欧氏距离和/或余弦距离。特征距离的计算是通过损失函数进行的。在一些实施方式中,损失函数既能够计算两个模型特征向量之间的欧氏距离,又能够计算计算两个模型特征向量之间的余弦距离,并且通过欧氏距离和余弦距离的结合从不同维度,对快速模型的权值进行校正,加速快速模型的训练,提高快速模型的准确度。
在一些实施方式中,为了使提高快速模型在具体应用环境下的准确性,需要获取具有针对性的训练样本图像对快速模型进行训练。请参阅图4,图4为本实施例根据具体应用场景获取训练样本图像的流程示意图。
如图4所示,S1100之前还包括:
S1011、获取目标用户或者目标场景中需要辨识图像的图像信息,其中,所述图像信息包括各辨识图像的图像类别;
在对快速模型进行训练之前,首先需要收集合适的素材,而为了增强快速模型的在实际应用中的准确性,需要对使用快速模型的具体用户或者某个具体场景中的类别图片进行辨识。例如,使用快速模型的用户为资深的宠物爱好者,用户经常上传各种宠物图片进行物种辨识,则收集该用户上传的辨识图像。
其中,每张辨识图像均对应有一个图像信息,图像信息中包括各个辨识图像的图像类别。例如,辨识图像为宠物照片时,图像类型为宠物的物种名称。
S1012、根据所述图像信息中的图像类别对辨识图像进行聚类,以获取所述目标用户或者目标场景偏好辨识的图像类型;
根据获取的各个辨识图像的图像类别,对用户图像进行聚类统计。聚类统计即将辨识图像中图像类型相同的一类聚集为一类。然后根据同一个图像类型中辨识图像的数量确定用户或者应用场景中偏好辨识的图像类型。例如,用户上传各种动物图像上传进行辨识,但是由于用户是狂热的犬科动物爱好者,因此,上传的辨识图像大多数为全科动物的图像,因此,通过统计聚类用户偏好辨识的图像类型为犬科类图像。又或者,用户为旅行家,上传的辨识图像均为旅行途中的动植物图像,通过统计确认用户最近上传的图像均为非洲大陆的动植物图像,则确定用户在一段时间内身处非洲或者对非洲动植物产生较大的兴趣,确定偏好辨识的图像类型为非洲动植物图像。
S1013、根据所述图像类型收集训练快速模型的训练样本图像。
通过图像类型收集训练快速模型的训练样本图像。训练样本图像的获取能够采用公共图像数据库、自有图像数据库或者通过数据爬取的方式从互联网中进行爬取。例如,通过非洲国家博物馆的数据库,获取非洲动植物样本的图片作为训练样本图像,又或者通过网络爬虫爬取宠物犬的图片作为训练样本图像。
由于,在某种特殊的应用场景中使用时,要求快速模型无需太高的泛化能力,但是对于特定事物图像辨识准确度的要求确很高,通过识别该应用场景中或者用户偏好,来确定收集训练样本图像,对快速模型进行训练,能够使快速模型在针对的领域具有较高的准确性,很好的满足了用户的需求。
在一些实施方式中,训练样本图像均存储在图像数据库中,需要对某个快速模型进行训练时,需要通过检索的方式获取需要的训练样本图像。请参阅图5,图5为本实施例数据库检所获取训练样本图像的一种流程示意图。
如图5所示,S1013之后包括:
S1021、以所述图像类型为限定条件在预设的图像数据库中进行检索;
获取到用户或者应用场景中偏好的图像类型后,以该图像类型为检索条件在预设的图像数据库中进行检索。其中,图像数据库中的所有图像在入库时,均根据图像内容对图像进行标签的设置,例如,是图像为动物时,该图像的标签包括该动物的纲、目、科、属和名称等。
以该图像类型未检索条件进行检索,能够检索到图像标签与该图像类型相同或者相似的图像。
S1022、将检索召回的图像确认为所述训练样本图像。
将通过检索召回的图像确认为对应快速模型的训练样本图像。
在一些实施方式中,为弥补训练样本图像的不足,也为了增强快速模型的稳定性和抗干扰能力,在获取了原始样本图像后,对样本图像进行图像处理,生成派生于原始样本图像的派生样本图像。请参阅图6,图6为本实施例派生样本图像的生成方法流程示意图。
如图6所示,S1022之后还包括:
S1031、对所述原始样本图像进行图像处理,生成派生于所述原始样本图像的派生样本图像;
通过数据库或者通过网络爬虫技术爬取的训练样本图像被定义为原始样本图像。对原始样本图像进行图像处理生成的新的样本图像被定义为派生样本图像。
本实施方式中,对原始样本图像进行图像处理的方法包括(不限于):对原始样本图像进行图像剪切、图像旋转、或者噪声干扰当中的一种或者多种处理方式进行组合。
由于,原始样本图像与派生样本图像表达的实质内容完全相同,因此,辅助训练模型提取原始样本图像与派生样本图像的特征向量应当完全相同或者相似。因此,需要进一步的确认图像处理后的派生样本图像,是否形变到模型无法辨识的程度,若是,则该派生样本图像不能作为训练样本。
S1032、提取所述原始样本图像的特征向量和所述派生样本图像的特征向量;
将原始样本图像和派生样本图像先后输入到辅助训练模型中,提取原始样本图像的特征向量和派生样本图像的特征向量。
提取特征向量的模型不局限于辅助训练模型,在一些实施方式中,提取特征向量的模型还能够是已经训练至收敛状态,与快速模型具有相同的训练方向的神经网络模型。
S1033、计算所述原始样本图像的特征向量和所述派生样本图像的特征向量之间的特征差值;
计算得到原始样本图像的特征向量和派生样本图像的特征向量后,计算原始样本图像的特征向量和派生样本图像的特征向量之间的特征差值。其中特征差值计算通过损失函数计算,且特征差值能够是两个特征向量的欧氏距离和/或余弦距离。
S1034、当所述特征差值小于等于预设的第二阈值时,确认所述原始样本图像和派生样本图像为所述训练样本图像。
将计算得到的特征差值与预设的第二阈值进行比对,其中,为了验证两个特征向量之间的距离是否满足模型训练的需求,设定一个检验阈值,即第二阈值。第二阈值的设定能够根据对快速模型的靠干扰要求加以设定。即对于快速模型抗干扰要求越高,则第二阈值的设定数值越小,反之,对于快速模型的抗干扰要求越低,则第二阈值的设定数值越大。
当特征差值小于等于预设的第二阈值时,则表明派生样本图像符合训练的要求,确认原始样本图像和派生样本图像为所述训练样本图像;否则,则确认该派生样本图像不否和训练要求被丢弃。
由于,训练样本图像中的派生样本图像是由原始样本图像进行图像处理后得到的,其中包含的图像内容实质相同,且通过特征差值的验证,能够保证通过上述训练样本图像训练至收敛的快速模型,即使在分类的图像存在干扰的情况下也能够准确的提取出正确的特征向量,提高了模型的抗干扰性和稳定性。同时,由于快速模型的训练过程中,训练样本图像无需进行标定,因此,通过计算原始样本图像和派生样本图像之间的特征差值,能够保证快速模型能够准确的提取具有干扰图像的特征向量。
为解决上述技术问题,本发明实施例还提供一种快速模型的训练装置。
具体请参阅图7,图7为本实施例快速模型的训练装置基本结构示意图。
如图7所示,一种快速模型的训练装置,包括:获取模块2100、处理模块2200、计算模块2300和执行模块2400。其中,获取模块2100用于获取预设的训练样本图像;处理模块2200用于将训练样本图像输入到预设的辅助训练模型和初始的快速模型中,其中,辅助训练模型为预先训练至收敛状态用于提取图像特征向量的神经网络模型,快速模型为待训练的神经网络模型;计算模块2300用于计算辅助训练模型提取的训练样本图像的特征向量与快速模型提取的训练样本图像的特征向量之间的特征距离;执行模块2400用于通过对特征距离进行反向传播,以校正快速模型中的权重参数。
快速模型的训练装置通过在对快速模型进行训练时,无需对参与训练的样本图像进行标记,节约了标记所需要的时间和花费的精力,提高了训练的速度。同时,直接计算辅助模型输出的表征样本图像特征的特征向量,与快速模型输出的表征样本图像特征的特征向量之间的距离(欧式距离和/或余弦距离)并进行反向传播,采用这种方法将快速模型的训练转化为一种单纯的回归算法,能够最大限度的缩短训练时间,且能够保证训练完成时快速模型输出的准确率。
在一些实施方式中,快速模型的训练装置还包括:第一比对子模块和第一执行子模块。其中,第一比对子模块用于将特征距离与预设的第一阈值进行比对;第一执行子模块用于当特征距离大于第一阈值时,确认对特征距离进行反向传播。
在一些实施方式中,快速模型的训练装置还包括:第二执行子模块,用于反复迭代将训练样本图像输入到辅助训练模型和快速模型中,至特征距离小于等于第一阈值时,确认训练样本图像的训练结束。
在一些实施方式中,特征距离包括欧氏距离和/或余弦距离,快速模型的训练装置还包括:第一获取子模块和第二比对子模块。其中,第一获取子模块用于获取辅助训练模型提取的训练样本图像的第一特征向量和快速模型提取的训练样本图像的第二特征向量;第二比对子模块用于比对第一特征向量和第二特征向量的欧氏距离和/或余弦距离。
在一些实施方式中,快速模型的训练装置还包括:第二获取子模块、第一处理子模块和第三执行子模块。其中,第二获取子模块用于获取目标用户或者目标场景中需要辨识图像的图像信息,其中,图像信息包括各辨识图像的图像类别;第一处理子模块用于根据图像信息中的图像类别对辨识图像进行聚类,以获取目标用户或者目标场景偏好辨识的图像类型;第三执行子模块用于根据图像类型收集训练快速模型的训练样本图像。
在一些实施方式中,快速模型的训练装置还包括:第二处理子模块和第一确认子模块。其中,第二处理子模块用于以图像类型为限定条件在预设的图像数据库中进行检索;第一确认子模块用于将检索召回的图像确认为训练样本图像。
在一些实施方式中,快速模型的训练装置还包括:第三处理子模块、第一提取子模块、第一计算子模块和第四执行子模块。其中,第三处理子模块用于对原始样本图像进行图像处理,生成派生于原始样本图像的派生样本图像;第一提取子模块用于提取原始样本图像的特征向量和派生样本图像的特征向量;第一计算子模块用于计算原始样本图像的特征向量和派生样本图像的特征向量之间的特征差值;第四执行子模块用于当特征差值小于等于预设的第二阈值时,确认原始样本图像和派生样本图像为训练样本图像。
为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图8,图8为本实施例计算机设备基本结构框图。
如图8所示,计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种快速模型的训练方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种快速模型的训练方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图7中获取模块2100、处理模块2200、计算模块2300和执行模块2400的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有人脸图像关键点检测装置中执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备通过在对快速模型进行训练时,无需对参与训练的样本图像进行标记,节约了标记所需要的时间和花费的精力,提高了训练的速度。同时,直接计算辅助模型输出的表征样本图像特征的特征向量,与快速模型输出的表征样本图像特征的特征向量之间的距离(欧式距离和/或余弦距离)并进行反向传播,采用这种方法将快速模型的训练转化为一种单纯的回归算法,能够最大限度的缩短训练时间,且能够保证训练完成时快速模型输出的准确率。
本发明还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例快速模型的训练方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
Claims (9)
1.一种快速模型的训练方法,其特征在于,包括:
获取目标用户或者目标场景中需要辨识图像的图像信息,其中,所述图像信息包括各辨识图像的图像类别;
根据所述图像信息中的图像类别对辨识图像进行聚类,以获取所述目标用户或者目标场景偏好辨识的图像类型;
根据所述图像类型收集训练快速模型的训练样本图像,以获得符合所述目标用户或者所述目标场景偏好的训练样本图像;
获取预设的训练样本图像;
将所述训练样本图像输入到预设的辅助训练模型和初始的快速模型中,其中,所述辅助训练模型为预先训练至收敛状态用于提取图像特征向量的神经网络模型,所述快速模型为待训练的神经网络模型;
计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离;
通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数。
2.根据权利要求1所述的快速模型的训练方法,其特征在于,所述通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数之前还包括:
将所述特征距离与预设的第一阈值进行比对;
当所述特征距离大于所述第一阈值时,确认对所述特征距离进行反向传播。
3.根据权利要求2所述的快速模型的训练方法,其特征在于,所述通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数之后还包括:
反复迭代将所述训练样本图像输入到所述辅助训练模型和所述快速模型中,至所述特征距离小于等于所述第一阈值时,确认所述训练样本图像的训练结束。
4.根据权利要求1所述的快速模型的训练方法,其特征在于,所述特征距离包括欧氏距离和/或余弦距离,所述计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离包括:
获取所述辅助训练模型提取的所述训练样本图像的第一特征向量和所述快速模型提取的所述训练样本图像的第二特征向量;
比对所述第一特征向量和所述第二特征向量的欧氏距离和/或余弦距离。
5.根据权利要求1所述的快速模型的训练方法,其特征在于,所述根据所述图像类型收集训练快速模型的训练样本图像包括:
以所述图像类型为限定条件在预设的图像数据库中进行检索;
将检索召回的图像确认为所述训练样本图像。
6.根据权利要求5所述的快速模型的训练方法,其特征在于,所述训练样本图像包括原始样本图像和派生样本图像,所述将检索召回的图像确认为所述训练样本图像之后还包括:
对所述原始样本图像进行图像处理,生成派生于所述原始样本图像的派生样本图像;
提取所述原始样本图像的特征向量和所述派生样本图像的特征向量;
计算所述原始样本图像的特征向量和所述派生样本图像的特征向量之间的特征差值;
当所述特征差值小于等于预设的第二阈值时,确认所述原始样本图像和派生样本图像为所述训练样本图像。
7.一种快速模型的训练装置,其特征在于,包括:
第二获取子模块,用于获取目标用户或者目标场景中需要辨识图像的图像信息,其中,图像信息包括各辨识图像的图像类别;
第一处理子模块用于根据图像信息中的图像类别对辨识图像进行聚类,以获取目标用户或者目标场景偏好辨识的图像类型;
第三执行子模块用于根据图像类型收集训练快速模型的训练样本图像,以获得符合所述目标用户或者所述目标场景偏好的训练样本图像;
获取模块,用于获取预设的训练样本图像;
处理模块,用于将所述训练样本图像输入到预设的辅助训练模型和初始的快速模型中,其中,所述辅助训练模型为预先训练至收敛状态用于提取图像特征向量的神经网络模型,所述快速模型为待训练的神经网络模型;
计算模块,用于计算所述辅助训练模型提取的训练样本图像的特征向量与所述快速模型提取的训练样本图像的特征向量之间的特征距离;
执行模块,用于通过对所述特征距离进行反向传播,以校正所述快速模型中的权重参数。
8.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项权利要求所述快速模型的训练方法的步骤。
9.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至6中任一项权利要求所述快速模型的训练方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811348231.6A CN109614989B (zh) | 2018-11-13 | 2018-11-13 | 快速模型的训练方法、装置、计算机设备及存储介质 |
PCT/CN2018/125592 WO2020098121A1 (zh) | 2018-11-13 | 2018-12-29 | 快速模型的训练方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811348231.6A CN109614989B (zh) | 2018-11-13 | 2018-11-13 | 快速模型的训练方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109614989A CN109614989A (zh) | 2019-04-12 |
CN109614989B true CN109614989B (zh) | 2024-06-04 |
Family
ID=66003861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811348231.6A Active CN109614989B (zh) | 2018-11-13 | 2018-11-13 | 快速模型的训练方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109614989B (zh) |
WO (1) | WO2020098121A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309911B (zh) * | 2019-07-05 | 2021-01-05 | 安徽寒武纪信息科技有限公司 | 神经网络模型验证方法、装置、计算机设备和存储介质 |
CN111209567B (zh) * | 2019-12-30 | 2022-05-03 | 北京邮电大学 | 提高检测模型鲁棒性的可知性判断方法及装置 |
CN111368644B (zh) * | 2020-02-14 | 2024-01-05 | 深圳市商汤科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111291841B (zh) * | 2020-05-13 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 图像识别模型训练方法、装置、计算机设备和存储介质 |
CN111680754B (zh) * | 2020-06-11 | 2023-09-19 | 抖音视界有限公司 | 图像分类方法、装置、电子设备及计算机可读存储介质 |
CN111881757B (zh) * | 2020-06-29 | 2023-09-01 | 浪潮电子信息产业股份有限公司 | 一种行人重识别方法、装置、设备及介质 |
CN112529040A (zh) * | 2020-11-16 | 2021-03-19 | 深圳壹账通智能科技有限公司 | 模型生成的方法、装置、电子设备及介质 |
CN112381028A (zh) * | 2020-11-23 | 2021-02-19 | 苏州极目机器人科技有限公司 | 目标物的特征检测方法和装置 |
CN113065495B (zh) * | 2021-04-13 | 2023-07-14 | 深圳技术大学 | 图像相似度的计算方法、目标对象重识别方法及*** |
CN113139609B (zh) * | 2021-04-29 | 2023-12-29 | 国网甘肃省电力公司白银供电公司 | 基于闭环反馈的模型校正方法、装置和计算机设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247989A (zh) * | 2017-06-15 | 2017-10-13 | 北京图森未来科技有限公司 | 一种神经网络训练方法及装置 |
CN108133238A (zh) * | 2017-12-29 | 2018-06-08 | 国信优易数据有限公司 | 一种人脸识别模型训练方法和装置及人脸识别方法和装置 |
CN108734146A (zh) * | 2018-05-28 | 2018-11-02 | 北京达佳互联信息技术有限公司 | 人脸图像年龄判断方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9400955B2 (en) * | 2013-12-13 | 2016-07-26 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
US10713540B2 (en) * | 2017-03-07 | 2020-07-14 | Board Of Trustees Of Michigan State University | Deep learning system for recognizing pills in images |
US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
CN108182394B (zh) * | 2017-12-22 | 2021-02-02 | 浙江大华技术股份有限公司 | 卷积神经网络的训练方法、人脸识别方法及装置 |
-
2018
- 2018-11-13 CN CN201811348231.6A patent/CN109614989B/zh active Active
- 2018-12-29 WO PCT/CN2018/125592 patent/WO2020098121A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247989A (zh) * | 2017-06-15 | 2017-10-13 | 北京图森未来科技有限公司 | 一种神经网络训练方法及装置 |
CN108133238A (zh) * | 2017-12-29 | 2018-06-08 | 国信优易数据有限公司 | 一种人脸识别模型训练方法和装置及人脸识别方法和装置 |
CN108734146A (zh) * | 2018-05-28 | 2018-11-02 | 北京达佳互联信息技术有限公司 | 人脸图像年龄判断方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于空间信息的DBN图像分类快速训练模型;高强 等;***仿真学报;20150308;第27卷(第03期);第549-558页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020098121A1 (zh) | 2020-05-22 |
CN109614989A (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109614989B (zh) | 快速模型的训练方法、装置、计算机设备及存储介质 | |
CN109447140B (zh) | 一种基于神经网络深度学习的图像识别并推荐认知的方法 | |
US11238310B2 (en) | Training data acquisition method and device, server and storage medium | |
US11763164B2 (en) | Image-to-image search method, computer-readable storage medium and server | |
CN107977390B (zh) | 绘本识别方法、装置、***及电子设备 | |
CN111523621A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN111340131A (zh) | 图像的标注方法、装置、可读介质和电子设备 | |
CN108734146A (zh) | 人脸图像年龄判断方法、装置、计算机设备及存储介质 | |
CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
CN108446688B (zh) | 人脸图像性别判断方法、装置、计算机设备及存储介质 | |
CN111507467A (zh) | 神经网络模型的训练方法、装置、计算机设备及存储介质 | |
CN111507137A (zh) | 动作理解方法、装置、计算机设备及存储介质 | |
CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
CN113515669A (zh) | 基于人工智能的数据处理方法和相关设备 | |
CN105354252A (zh) | 一种信息处理方法和装置 | |
CN117079299A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115374950A (zh) | 样本检测方法、样本检测装置、电子设备及存储介质 | |
CN111597376B (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
CN117011616A (zh) | 一种图像内容审核方法、装置、存储介质和电子设备 | |
CN116311357A (zh) | 基于MBN-Transformer模型的不平衡牛身数据的双边识别方法 | |
CN112015937B (zh) | 一种图片地理定位方法及*** | |
CN115690566A (zh) | 一种基于深度迁移聚类学习的深海动物新物种识别方法 | |
CN112749565B (zh) | 基于人工智能的语义识别方法、装置和语义识别设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |