CN110533106A - 图像分类处理方法、装置及存储介质 - Google Patents

图像分类处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110533106A
CN110533106A CN201910816818.3A CN201910816818A CN110533106A CN 110533106 A CN110533106 A CN 110533106A CN 201910816818 A CN201910816818 A CN 201910816818A CN 110533106 A CN110533106 A CN 110533106A
Authority
CN
China
Prior art keywords
training
image
task
sample
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910816818.3A
Other languages
English (en)
Inventor
刘俊
叶燕罡
文伟
沈小勇
戴宇荣
贾佳亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910816818.3A priority Critical patent/CN110533106A/zh
Publication of CN110533106A publication Critical patent/CN110533106A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种图像分类处理方法、装置及存储介质,本申请预先训练了多个任务共享的图像分类模型,在需要实现多个任务的图像分类的情况下,可以将多个任务的待分类图像都输入该图像分类模型进行处理,得到各任务所需的分类结果,相对于传统方案将多个任务的待分类图像分别输入相应任务的图像分类模型进行处理的方案,只需要运行一次图像分类模型,大大降低了运行时间,减少了等待时间,提高了用户体验,且由于多任务共享一个图像分类模型,降低了图像分类模型开发、部署及维护成本,对于模型训练所需的训练图像,不需要为每一个训练图像配置所有任务的标注标签,大大减少了人工标注工作量,提高了模型训练效率。

Description

图像分类处理方法、装置及存储介质
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像分类方法、装置及存储介质。
背景技术
图像分类,是根据各自在图像信息中所反映的不同特征,将不同类别的目标区分开来的图像处理方法,在实际应用中,如人脸识别、性别识别、年龄识别等很多种任务中,都会涉及到图像分类处理。现有技术中,针对不同任务,通常会利用各自的深度学习网络,对特定的训练数据进行训练,得到满足相应任务需求的多个图像分类模型。
可见,这种图像分类处理方法,往往无法充分利用图像数据,对于多个任务,需要维护相应的多个图像分类模型,占用运算资源大,导致开发成本高,用户体验不足。
发明内容
有鉴于此,本申请实施例提供一种图像分类处理方法、装置及存储介质,实现了多个任务共享一个图像分类模型,降低了模型开发、部署及维护成本,且多个任务的图像分类只需要运行一次图像分类模型,大大缩短了运行时间,减小了等待反馈时间,提高了用户体验。
为实现上述目的,本申请实施例提供如下技术方案:
一方面,本申请提供了一种图像分类处理方法,所述方法包括:
获取多个任务的图像分类请求,所述图像分类请求携带有所述多个任务的待分类图像,且所述待分类图像携带有相应任务的任务标志位;
解析所述图像分类请求,得到所述多个任务的待分类图像;
将所述多个任务的待分类图像输入图像分类模型,得到所述多个任务各自的分类结果,所述图像分类模型是利用深度学习网络,对携带有同一任务标志位的训练样本进行监督训练得到的,所述训练样本来源于所述多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
将所述分类结果反馈至发送相应图像分类请求的客户端进行展示。
可选的,所述训练图像还携带有采样权重,所述图像分类模型的训练过程,包括:
利用每一次训练的训练样本各自的采样权重,更新相应次训练的多个任务的训练样本;
将所述多个任务的训练样本输入深度学习网络,对携带有同一任务标志位的训练样本进行监督训练,直至训练得到的多个任务的训练样本的损失值满足训练约束条件,将最后训练得到的深度学习模型确定为所述多个任务的图像分类模型。
又一方面,本申请提供了一种图像分类处理装置,所述装置包括:
请求获取模块,用于获取多个任务的图像分类请求,所述图像分类请求携带有所述多个任务的待分类图像,且所述待分类图像携带有相应任务的任务标志位;
请求解析模块,用于解析所述图像分类请求,得到所述多个任务的待分类图像;
图像分类模块,用于将所述多个任务的待分类图像输入图像分类模型,得到所述多个任务各自的分类结果,所述图像分类模型是利用深度学习网络,对携带有同一任务标志位的训练样本进行监督训练得到的,所述训练样本来源于所述多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
数据反馈模块,用于将所述分类结果反馈至发送相应图像分类请求的客户端进行展示。又一方面,本申请提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行,实现上述图像分类处理方法的各步骤。
基于上述技术方案,本申请需要实现多个任务的图像分类的情况下,由于这多个任务共享一个图像分类模型,可以将多个任务的待分类图像都输入该图像分类模型进行处理,得到各任务所需的分类结果,相对于传统方案将多个任务的待分类图像分别输入相应任务的图像分类模型进行处理的方案,只需要运行一次图像分类模型,大大降低了运行时间,提高了用户体验;且在该图像分类模型训练过程中,针对不同任务的训练图像配置不同的任务标志位,在将多个任务的训练图像输入共享的深度学习网络进行处理后,将会按照任务标志位,区分不同任务的训练图像,从而实现对携带同一任务标志位的训练图像,在相应任务分支上的监督训练,得到多个任务共享的图像分类模型,不需要针对多个任务训练各自的图像分类模型,大大降低了模型开发、部署及维护成本;另外,因任务标志位的配置,使得本申请只需要为各任务的训练图像配置相应任务的标注标签,不需要配置所有任务的标注标签,大大减少了训练图像的标注工作量,节约了人工标注成本,提高了模型训练效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请研发过程中提出的一种图像分类处理方法的示意图;
图2为实现本申请提出的一种图像分类处理方法的***结构示意图;
图3为本申请提出的一种图像分类处理方法中,图像分类模型的训练过程示意图;
图4为本申请提出的一种图像分类处理方法的一可选示例的流程示意图;
图5为本申请提出的一种图像分类处理方法的又一可选示例的示意图;
图6为本申请提出的一种图像分类处理方法的又一可选示例的流程示意图;
图7为本申请提出的一种图像分类处理方法的一可选应用场景的流程示意图;
图8为本申请提出的一种图像分类处理装置的一可选示例的结构示意图;
图9为本申请提出的一种图像分类处理装置的又一可选示例结构示意图;
图10为本申请提出的一种图像分类处理装置的又一可选示例结构示意图;
图11为本申请实施例提供的一种计算机设备的硬件结构示意图。
具体实施方式
为了解决背景技术部分描述的技术问题,随着人工智能在机器学习/深度学习方面的发展,本申请希望利用机器学习/深度学习这一人工智能技术,对现有的***架构进行改进,以提高模型训练性能。因此,本申请提出将不同任务的训练数据合在一起进行模型训练,即多任务共享深度学习网络的构思,以降低算法的开发成本,但是,在这种情况下,若采用有监督训练方式,就需要对每个任务的数据配置所有任务的标注标签,导致标注工作量巨大,成本高昂;若采用无监督或半监督训练方式,虽然不需要标注标签,但这种处理方式因没有可信赖的标注,将会导致训练得到的深度学习模型的输出精度较低。
具体的,可以基于DT(Domain transform,域转换)和无监督训练方式,通过搜索数据来提高深度学习算法(即上述深度学习网络)的性能。其中,基于DT的图像分类处理方法,参照图1示出的图像分类处理流程示意图,其是通过学些source domain(源域)与targetdomain(目标域)之间的一个关系,或共同的特征表示,达到提升算法在target domain上的性能,即利用丰富的source domain场景数据,来提高算法在少量target domain数据上的性能。
由此可见,基于DT的图像分类处理方法中,是利用不同数据进行深度学习模型的训练,要求source domain数据与target domain数据在视觉或语义上具有一定的联系,才能够将丰富的source domain信息迁移到target domain上,也就是说,这种图像分类处理方法对训练数据具有一定要求,影响了其适用场景范围;且这种方法只适当提高了在target domain上的性能,在source domain上的表现却不尽人意。
而对于上述采用无监督训练方式,得到上述深度学习模型的构思,其是利用无标签的数据提升在有标签数据上的算法性能,具体在模型训练或测试阶段,通过深度学习模型来预测未标注数据,并将得到的预测结果作为弱监督信号来优化深度学习算法,从而提升性能。
但是,这种无监督训练方式,对训练数据有约束要求,即未标注的图片需含有目标类别,而且,预测得到的是弱监督信号,可能不准确,导致性能难以在各个任务上保持。
为了更进一步改善上述问题,本申请提出在将不同任务的数据融合在一起,共享一个深度学习网络的基础上,提出为不同任务的训练数据配置不同的任务标志位,以便在训练过程中,据此区分不同任务的训练数据,实现多任务监督训练,这样情况下,本申请可以为训练数据配置所属任务的标注标签,不需要配置所有任务的标注标签,大大降低了训练数据的标注工作量,节约了人工标注成本,提高模型训练效率。
更进一步地,为了加强对困难样本的学习,降低因多任务融合后数据量巨大,对算法性能造成的不利影响,本申请还引入了“采样权重”概念,即对训练数据配置采样权重,以使在模型训练过程中能够动态选择每次训练的训练样本,保证图像分类模型在各个任务均有较好的表现,提高用户体验。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图2,为实现本申请提供的图像分类处理方法的一种***结构示意图,该***可以包括服务器10和客户端11,其中:
服务器10可以是为用户提供服务的服务设备,其可以是与客户端相匹配的服务器,在本实施例中,服务器可以执行本申请下文提供的图像分类处理方法,满足用户的多个任务的图像分类需求。
在实际应用中,服务器10可以是一个独立的服务设备,也可以是由多个服务器构成的服务集群,本实施例对该服务器的结构不作限定。
客户端11可以是安装在如手机、笔记本电脑、iPad、工控机等电子设备上的应用程序,其具体可以是独立的应用程序,如从应用商店下载安装的软件,也可以是网页应用程序,即无需下载,通过浏览器等应用程序直接启动客户端,建立与相应服务器之间的通信连接。
在本实施例实际应用中,用户通过客户端进入服务器的应用平台,浏览该应用平台提供的各种应用对象,若需要完成的一个或多个任务涉及到图像分类时,用户可以通过客户端将待分类图像发送至服务器,由服务器中预先训练得到的图像分类模型,直接实现对多个任务的待分类图像的处理,得到各任务的图像分类结果,并反馈至客户端进行展示,相对于将多个任务的待分类图像分批次发送至服务器,由服务器中相应的图像分类模型进行处理的构思,大大缩短了用户等待图像分类结果的时间,提高了用户体验。
需要说明,在本实施例提供的***中,并不局限于上文列举的服务器和客户端,还可以包括多媒体服务器等其他计算机设备,且上述服务器10通常可以包括数据库等,可以根据实际需要确定***组成构成,本实施例在此不再一一详述。
结合上图2所示的***结构示意图,参照图3,为本申请实施例提供一种图像分类处理方法中,图像分类模型训练过程的流程示意图,本实施提供的方法可以适用于计算机设备,该计算机设备可以是服务器,也可以是其他设备,本申请对实现图像分类模型的执行主体不做限定,训练得到的图像分类模型可以适用于相应的多个任务的图像分类,具体训练过程可以包括但并不局限于以下步骤:
步骤S11,获取多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
结合上文对本申请发明构思的描述,本申请将由多个任务共享一个深度学习网络,实现多任务监督训练,得到一个图像分类模型,本申请对这多个任务的任务类型及其内容不做限定。
举例说明,若训练图像是人脸图像,多个任务可以包括人脸识别任务、年龄识别任务、性别识别任务等等;对于其他类型的训练图像,也可以依据不同业务场景需求,确定相应的至少一个任务,如车辆分类任务、图像网络分类任务等,本申请不再一一列举。
本实施例中,为了区别不同任务的训练图像,本申请为多个任务配置了不同的任务标志位,并添加到相应任务的任务标志位中,以便通过该任务标志位能够准确识别相应训练图像属于哪一个任务。需要说明,本申请对多个任务各自的任务标志位的内容不做限定,可以是数字或字母编号等。
且,由于本申请通过任务标志位实现了不同任务的训练图像的区分,这样,在模型训练过程中,对任务1的训练图像进行监督训练,并不会使用其他任务的训练图像,所以,为了减少标注工作量,本申请只需要对任务1的训练图像配置任务1对应的标注标签,即对训练图像配置其所属任务的标注标签,不需要同时为一个训练图像配置所有任务对应的标注标签,大大降低了人工标注工作量,提高了模型训练效率。需要说明,本申请对各任务的训练图像的标注标签的内容不做限定,可以依据对应任务的任务内容确定,如人脸识别任务,标注标签可以是用户姓名或其他身份信息;性别识别任务,标注标签可以是男、女等性别信息等等。
此外,需要说明,本申请对多个任务的训练图像的来源不做限定,可以由用户通过客户端上传至服务器,也可以是服务器从第三方应用平台获取等,可以依据实际场景需求确定,本申请不做详述。
步骤S12,将多个任务的训练图像输入深度学习网络,对携带有同一任务标志位的训练图像进行监督训练,得到图像分类模型;
本实施例中,可以将获取的多个任务的训练图像都输入至深度学习网络进行多任务监督训练,得到用于实现对这多个任务中的任一任务的图像分类的图像分类模型。
其中,在模型训练过程中,由于本申请被训练的每个训练图像携带有所属任务的任务标志位,深度学习网络就能够通过该任务标志位,识别接收到的各训练图像具体属于哪个任务的,以便在多任务监督训练过程中,利用该任务标志位忽略相应训练图像在其他任务上的代价损失(损失函数得到的损失值),以提高训练模型的准确性及效率。也就是说,在多任务的监督训练过程中,携带同一任务标志位的训练图像将在相应任务分支上进行监督训练,即分别对任务1对应的训练图像进行监督训练,对任务2对应的训练图像进行监督训练;对任务3对应的训练图像进行监督训练,依次类推,实现多任务的监督训练。本申请对每一个任务的训练图像的监督训练的具体实现方法不做详述,可以包括但并不局限于以下可选示例描述的训练方法。需要说明,上述多个任务可能存在至少两个任务对应同一训练图像的情况,本实施例可以在不同任务的训练集的训练图像中仅该任务的任务标志位,也就是说,同一个训练图像,在不同任务的训练集中的任务标志位不同,同理,在不同任务的训练集中的标注标签也可能有所差异。
由此可见,在上述图像分类模型训练过程中,多个任务的训练图像共享一个深度学习网络进行模型训练,大大降低了深度学习网络算法的开发、部署成本,且这多个任务只需要维护一个图像分类模型,降低了模型维护成本和工作量。
其中,对于不同任务的训练图像,由于能够通过任务标志位进行区分,本实施例将直接配置相应任务的标注标签,不需要为每一个训练图像配置所有任务的标注标签,大大降低了人工标注工作量,提高了模型训练效率及准确性。
在实际应用中,按照上文描述的方法预先训练得到多个任务共享的图像分类模型后,本申请可以利用该图像分类模型,同时实现多个任务的图像分类。下面将对图像分类模型的具体应用过程进行说明,参照图4,示出了本申请提出的图像分类处理方法的一可选示例的流程图,该方法可以适用于计算机设备,该计算机设备可以是服务器,如图4所示,该方法可以包括但并不局限于以下步骤:
步骤S21,获取多个任务的图像分类请求;
其中,该图像分类请求可以携带有这多个任务的待分类图像,且待分类图像携带有相应任务的任务标志位。
需要说明的是,步骤S21的多个任务包含在共享上述图像分类模型的多个任务中,本申请对这多个任务的具体内容不做限定,关于各任务的任务标志位的配置方法,可以参照上述训练图像的任务标志位的描述。
在实际应用中,图像分类请求可以是用户使用客户端过程中发起的,多个任务的待分类图像也可以是由用户选定的,或者是由客户端或为客户端提供服务的服务器,选定多个任务的待分类图像,本申请对图像分类请求的生成过程不做限定。
步骤S22,解析图像分类请求,得到多个任务的待分类图像;
步骤S23,将多个任务的待分类图像输入图像分类模型,得到多个任务各自的分类结果;
继上文实施例的描述,该图像分类模型是利用多个任务共享的深度学习网络,对携带有同一任务标志位的训练样本进行监督训练得到的,而该训练样本来源于这多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位,关于该图像分类模型的训练过程可以参照上述实施例相应部分的描述,不作赘述。
步骤S24,将分类结果反馈至发送相应图像分类请求的客户端进行展示。
本申请对各任务的分类结果的内容不做限定,可以依据具体任务的内容以及待分类图像的内容确定,本申请不做一一详述。作为本申请一可选示例,计算机设备得到各任务的分类结果后,还可以获取与各分类结果相匹配的业务信息,再将该业务信息反馈至发送相应图像分类请求的客户端进行展示,满足用户的业务需求,本申请对该业务信息的具体内容不做限定,可以依据各种应用场景的需求确定。
由此可见,本实施例中,在预先训练出多个任务共享的图像分类模型的情况下,对于多个任务的待分类图像,不需要发送至不同的图像分类模型进行分类处理,而是将这多个任务的待分类图像都输入一个图像分类模型,运行一次图像分类模型,即可得到各任务所需的分类结果,大大缩短了运行时间,降低了等待时间,提高了用户体验。
为了进一步提高图像分类模型输出的准确性,加强对困难样本的学习,降低因多任务融合后数据量巨大,对算法性能造成的不利影响,保证图像分类模型在各个任务均有较好的表现,提高用户体验,参照图5所示的流程示意图,在图像分类模型训练过程中,本申请还可以引入“采样权重”的概念,即为各任务的训练图像配置相应的采样权重,并在不断训练过程中,不断调整各训练图像的采样权重,并利用调整后的采样权重,重新从原始的训练图像中,获取本次训练所需的训练样本继续进行训练,直至满足模型训练的约束条件,得到所需的适用于多任务的图像分类模型。
具体的,参照图6示出的本申请提供的图像分类处理方法的又一可选示例的流程图,该方法仍可以适用于计算机设备,该计算机设备可以是上述***架构中的服务器,也可以是区别于该服务器的其他设备,本申请对训练图像分类模型的执行主体不做限定,如图6所示,图像分类模型的训练过程可以包括但并不局限于以下步骤:
步骤S31,获取多个任务的训练图像,不同任务的训练图像携带有初始采样权重及不同的任务标志位;
本实施例中,该采样权重可以表征相应训练图像的采样概率,以达到针对性训练困难样本,保持算法性能,通常可以取0~1之间的数值,但并不局限于此。在实际应用中,困难训练图像的采样权重往往大于易分训练图像的采样权重,而对于训练图像是否为困难训练样本可以通过模型训练过程中得到的损失值确定,通常情况下,所得损失值越大,说明相应训练图像越难学习,可以适当增加其采样权重,具体实现过程可以参照以下步骤的描述。
关于训练图像的任务标志位的确定可以参照上述实施例相应部分的描述,不再赘述。
应该理解的是,为了提高图像分类模型训练准确性及效率,上述多个任务可以是语义相关联的任务,或者多个任务的训练图像的分布差异不会很大,这样在学习过程中,能够更好地学习到共性;避免对完全不相关的多个任务的训练图像进行监督训练,增大模型训练难度,但本申请对确定多个任务的方式,以及多个任务的及其训练图像的具体内容不做限定。
步骤S32,利用训练图像携带的初始采样权重,从获取的训练图像中,得到本次训练的多个任务的训练样本;
可选的,本申请可以将各训练图像的初始采样权重设置为1,但并不局限于这种配置方式,这种情况下,在首次监督训练时,可以将开始获取的多个任务的原始的训练图像,作为相应任务的训练样本,以实现本次的监督训练。
步骤S33,将多个任务的训练样本输入深度学习网络进行处理,得到相应的特征序列;
本实施例可以利用一个深度学习网络对多个任务的训练样本进行特征提取,得到各训练样本的特征序列,具体实现过程不做详述。
步骤S34,获取多个任务的任务标志位各自对应的分类子网络及损失函数;
本实施例中,对于不同的任务可以在深度学习网络中配置相应的分类子网络,该分类子网络可以包括但并不局限于深度学习网络的卷积层、全连接层及预设网络的一个或多个的组合,该预设网络可以依据实际需要进行灵活配置,本申请不做限定。
对于不同任务的损失函数可以不同,也可以存在一个或多个任务的损失函数相同的情况,本申请对此不做限定,该损失函数可以是softmax、crossEntropy(交叉熵)或其他损失函数,可以依据业务需求确定,本申请不作详述。
步骤S35,通过多个分类子网络及其对应的损失函数,对携带相应任务标志位的训练样本的特征序列进行监督训练,得到相应任务的训练样本的损失值;
继上述分析,为了加强对困难样本的学习,将根据任务为每个训练图像配置了一个采样权重,初始化时,可以将所有训练图像的采样权重均设置为1,对于每一个任务的训练图像,完成一次监督训练后,将会得到本次监督训练出的各训练图像的损失值,由该损失值的大小表征相应训练图像学习的困难程度。本申请对如何利用分类子网络和损失函数,对多个任务的训练图像的监督训练过程不作详述。
需要说明,在对训练图像的监督训练过程中,会考虑各训练图像的采用权重,不断更新训练样本,以便能够在每次迭代训练时,能够选中困难训练样本,本申请对设置不同训练样本的采样权重的方法不做限定,如分段函数等。
步骤S36,利用同一任务的训练样本的损失值,对相应任务的训练样本的采样权重进行调整;
由于损失值越大,说明相应训练图像越难学习,可以适当增大其采样权重;反之,损失值越小,说明相应训练图像越容易学习,可以适当减小其采样权重,本申请对利用损失值大小,调整同一任务的多个训练图像的采样权重的实现方法不做限定。
步骤S37,利用调整后的训练样本的采样权重,对相应任务的训练图像进行采样,得到下一次训练的多个任务的训练样本;
步骤S38,将得到的多个任务的训练样本输入深度学习网络继续进行监督训练直至训练得到的多个任务的训练样本的损失值满足训练约束条件,将最后训练得到的深度学习模型确定为这多个任务的图像分类模型。
可见,本申请在对携带同一任务标志位的训练图像进行多任务监督训练过程中,会动态调整各训练样本的采用权重,并利用每一次训练的训练样本各自的采样权重,更新相应次训练的多个任务的训练样本,将更新后的多个任务的训练样本输入深度学习网络继续进行监督训练,这样,随着训练的进行,容易学习的训练样本的采样权重将会降低,以使这类训练样本在下一次训练获取训练样本时,被再次确定为采样概率的降低,反之,困难训练样本的采样权重会增大,即加强了对困难训练样本的学习,以使所得图像分类模型在多个任务中均有较好的表现,避免了在某一任务应用中图像分类准确性较高,但在其他任务应用中的图像分类准确性低的情况发生。
且,本实施例多个任务的训练图像,共享一个深度学习网络训练得到的图像分类模型,降低了算法的开发、部署及维护成本,在实际应用中,对于需要进行图像分类的多个任务的待分类图像,只需要运行一次图像分类模型即可,大大缩短了运行时间,提高了用户体验。
另外,如上文分析,通过任务标志位区分不同任务的训练图像,将多个任务的训练图像输入共享的深度学习网络后,多个任务共同训练实现了多任务监督训练,不需要一个一个训练,提高了模型训练效率。
基于上述各实施例描述的图像分类处理方法的发明构思,下面将以对人脸图像分类,实现人脸识别任务、年龄识别任务和性别识别任务为例,对本申请提出的图像分类处理方法进行说明,参照图7所示的场景流程图,用户将电脑或手机等电子设备采集到的各用户的人脸图像上传至服务器,服务器也可以从其他应用平台获取各用户的人脸图像,之后,服务器可以从获取到的人脸图像中,确定出用于实现人脸识别任务、年龄识别任务和性别识别任务各自的人脸图像,作为相应任务的训练样本,并为各训练样本配置相应任务的任务标志位以及采样权重,各训练样本的初始采样权重可以选取1,但并不局限于此。
之后,服务器可以将得到的人脸识别任务、年龄识别任务和性别识别任务这三个任务的训练样本都输入至深度学习网络,通过各自的分类子网络及损失函数进行监督训练,并利用训练得到的各任务的训练样本的损失值,动态调整相应训练样本的采样权重,按照上述方式继续对具有调整后的采样权重,重新从开始获取的训练样本中,获取下一次训练所需的训练样本,再将重新获取的训练样本输入深度学习网络继续进行监督训练,以不断优化训练得到的深度训练模型,直至训练得到的这三个任务的训练样本的损失函数均满足训练约束条件,停止模型训练,并将最后训练得到的深度学习模型作为这三个任务的图像分类模型。
在后续实际应用中,用户再向服务器发送实现人脸识别任务、年龄识别任务和性别识别任务中的一个或多个任务的待分类人脸图像后,可以由上述训练得到的图像分类模型对该待分类人脸图像进行处理,直接得到满足这一个或多个任务的需求,如利用待分类人脸图像,运行一次图像分类模型,即可识别出该待分类人脸图像中的用户身份、用户年龄(其可以是预设的一个年龄段)及用户性别,相对于使用多个图像分类模型,分别对待分类人脸图像进行处理,得到满足不同任务的需求结果的方案,大大缩短了模型运行时间,缩短了用户等待任务结果的时间,提高了用户体验。
而且,如上述实施例各技术效果的描述,本申请提出的这种多个任务共享的图像分类模型的训练方法,大大减少了数据标注工作量,提高了模型训练效率,以及训练所得图像分类模型的输出准确性。且相对于为每一个任务训练一个模型的方案,只需要维护一个共享的图像分类模型,大大降低了算法开发、部署及维护成本。
参照图8,为本申请提供的一种图像分类处理装置的结构示意图,该装置可以应用于计算机设备,该计算机设备可以是服务器,具体可以包括但并不局限于:
请求获取模块21,用于获取多个任务的图像分类请求,所述图像分类请求携带有所述多个任务的待分类图像,且所述待分类图像携带有相应任务的任务标志位;
请求解析模块22,用于解析所述图像分类请求,得到所述多个任务的待分类图像;
图像分类模块23,用于将所述多个任务的待分类图像输入图像分类模型,得到所述多个任务各自的分类结果,所述图像分类模型是利用深度学习网络,对携带有同一任务标志位的训练样本进行监督训练得到的,所述训练样本来源于所述多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
数据反馈模块24,用于将所述分类结果反馈至发送相应图像分类请求的客户端进行展示。
可选的,为了实现上述图像分类模型的训练,如图9所示,上述装置还可以包括:训练图像获取模块25,用于获取多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
图像训练模块26,用于将所述多个任务的训练图像输入深度学习网络,对携带有同一任务标志位的训练图像进行监督训练,得到图像分类模型,所述图像分类模型用于实现对所述多个任务中的任一任务的图像分类。
可选的,为了进一步提高训练模型的精度,加强对困难样本的学习,本申请还可以为各任务的训练图像配置采样权重,以便在训练过程中,按照该采样权重,实现对初始获取的多个任务的训练图像的采样,得到下一次训练所需的训练样本,并随着训练次数的增加,不断增大困难训练样本的采样权重,减小易学习训练样本的采样权重。
基于此,如图9所示,上述图像训练模块26可以包括:
训练样本更新单元261,用于利用每一次训练的训练样本各自的采样权重,更新相应次训练的多个任务的训练样本;
模型训练单元262,用于将所述多个任务的训练样本输入深度学习网络,对携带有同一任务标志位的训练样本进行监督训练,直至训练得到的多个任务的训练图像的损失值满足训练约束条件,将最后训练得到的深度学习模型确定为所述多个任务的图像分类模型。
本申请对训练约束条件的内容不做限定,如多个任务的训练图像的损失值小于阈值,或变化量小于阈值等等,可以依据具体应用场景的需求确定。
可选的,如图10所示,上述训练样本更新单元261可以包括:
采样权重调整单元2611,用于在每一次监督训练过程中,利用上一次训练得到的同一任务的训练样本的损失值,对相应任务的训练样本的采样权重进行调整;
训练样本更新单元2612,用于利用调整后的训练样本的采样权重,对相应任务的训练图像进行采样,得到本次训练的多个任务的训练样本。
本实施例中,上述采样权重可以表征相应训练图像(训练样本)的采样概率,且同一任务的训练图像的损失值越大,相应训练图像的采样权重越大。
作为本申请又一可选示例,上述图像训练模块26还可以包括:
损失函数获取单元,用于在对携带有任一任务标志位的训练图像进行监督训练过程中,获取所述任务标志位对应的损失函数;
监督训练单元,用于利用所述损失函数,对携带相应任务标志位的训练图像进行监督训练。
可选的,该图像训练模块26还可以包括:
分类子网络获取单元,用于获取多个任务标志位各自对应的分类子网络,所述分类子网络包括所述深度学习网络的卷积层、全连接层及预设网络的一个或多个的组合;
相应地,上述监督训练单元具体可以用于利用同一任务标志位对应的分类子网络和损失函数,对携带任务标志位的训练图像进行监督训练。
在上述各实施例的基础上,上述图像分类处理装置还可以包括:
业务信息获取模块,用于获取与所述分类结果相匹配的业务信息;
业务信息反馈模块,用于将该业务信息反馈至发送相应图像分类请求的客户端进行展示。
应该理解,上述装置描述的各装置、单元均可以是应用程序构成的功能模块,其实现相应功能的具体过程,可以参照上述方法实施例相应部分的描述,不做赘述。
本申请实施例还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行,实现上述图像分类处理方法的各步骤,该图像分类处理方法的实现过程可以参照上述方法实施例的描述。
如图11所示,本申请实施例还提供了一种计算机设备的硬件结构示意图,该计算机设备可以是实现上述图像分类处理方法的服务器,可以包括:通信接口31、存储器32和处理器33;
在本申请实施例中,通信接口31、存储器32、处理器33可以通过通信总线实现相互间的通信,且该通信接口31、存储器32、处理器33及通信总线的数量可以为至少一个。
可选的,通信接口31可以为通信模块的接口,如GSM模块的接口、WIFI模块的接口等;
处理器33可能是一个中央处理器CPU,或者是特定集成电路ASIC
(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器32可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,存储器32存储有程序,处理器33调用存储器32所存储的程序,以实现上述应用于计算机设备的图像分类处理方法的各步骤,具体实现过程可以参照上述方法实施例相应部分的描述。
本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像分类处理方法,其特征在于,所述方法包括:
获取多个任务的图像分类请求,所述图像分类请求携带有所述多个任务的待分类图像,且所述待分类图像携带有相应任务的任务标志位;
解析所述图像分类请求,得到所述多个任务的待分类图像;
将所述多个任务的待分类图像输入图像分类模型,得到所述多个任务各自的分类结果,所述图像分类模型是利用深度学习网络,对携带有同一任务标志位的训练样本进行监督训练得到的,所述训练样本来源于所述多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
将所述分类结果反馈至发送相应图像分类请求的客户端进行展示。
2.根据权利要求1所述的方法,其特征在于,所述训练图像还携带有采样权重,所述图像分类模型的训练过程,包括:
利用每一次训练的训练样本各自的采样权重,更新相应次训练的多个任务的训练样本;
将所述多个任务的训练样本输入深度学习网络,对携带有同一任务标志位的训练样本进行监督训练,直至训练得到的多个任务的训练样本的损失值满足训练约束条件,将最后训练得到的深度学习模型确定为所述多个任务的图像分类模型。
3.根据权利要求2所述的方法,其特征在于,所述利用每一次训练的训练样本各自的采样权重,更新相应次训练的多个任务的训练样本,包括:
在每一次监督训练过程中,利用上一次训练得到的同一任务的训练样本的损失值,对相应任务的训练样本的采样权重进行调整;
利用调整后的训练样本的采样权重,对相应任务的训练图像进行采样,得到本次训练的多个任务的训练样本。
4.根据权利要求3所述的方法,其特征在于,所述采样权重表征相应训练图像的采样概率,且同一任务的训练图像的损失值越大,相应训练图像的采样权重越大。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述图像分类模型的训练过程,包括:
在对携带有任一任务标志位的训练图像进行监督训练过程中,获取所述任务标志位对应的损失函数;
利用所述损失函数,对携带相应任务标志位的训练图像进行监督训练。
6.根据权利要求5所述的方法,其特征在于,所述对携带有同一任务标志位的训练图像进行监督训练,得到图像分类模型,还包括:
获取多个任务标志位各自对应的分类子网络,所述分类子网络包括所述深度学习网络的卷积层、全连接层及预设网络的一个或多个的组合;
所述利用所述损失函数,对携带相应任务标志位的训练图像进行监督训练,包括:
利用同一任务标志位对应的分类子网络和损失函数,对携带任务标志位的训练图像进行监督训练。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取与所述分类结果相匹配的业务信息;
将所述业务信息反馈至发送相应图像分类请求的客户端进行展示。
8.一种图像分类处理装置,其特征在于,所述装置包括:
请求获取模块,用于获取多个任务的图像分类请求,所述图像分类请求携带有所述多个任务的待分类图像,且所述待分类图像携带有相应任务的任务标志位;
请求解析模块,用于解析所述图像分类请求,得到所述多个任务的待分类图像;
图像分类模块,用于将所述多个任务的待分类图像输入图像分类模型,得到所述多个任务各自的分类结果,所述图像分类模型是利用深度学习网络,对携带有同一任务标志位的训练样本进行监督训练得到的,所述训练样本来源于所述多个任务的训练图像,不同任务的训练图像携带有不同的任务标志位;
数据反馈模块,用于将所述分类结果反馈至发送相应图像分类请求的客户端进行展示。
9.根据权利要求8所述的装置,其特征在于,所述训练图像还携带有采样权重,所述装置还包括图像训练模块,所述图像训练模块包括:
训练样本更新单元,用于利用每一次训练的训练样本各自的采样权重,更新相应次训练的多个任务的训练样本;
模型训练单元,用于将所述多个任务的训练样本输入深度学习网络,对携带有同一任务标志位的训练样本进行监督训练,直至训练得到的多个任务的训练图像的损失值满足训练约束条件,将最后训练得到的深度学习模型确定为所述多个任务的图像分类模型。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行,实现如权利要求1-7任意一项所述的图像分类处理方法的各步骤。
CN201910816818.3A 2019-08-30 2019-08-30 图像分类处理方法、装置及存储介质 Pending CN110533106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910816818.3A CN110533106A (zh) 2019-08-30 2019-08-30 图像分类处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910816818.3A CN110533106A (zh) 2019-08-30 2019-08-30 图像分类处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110533106A true CN110533106A (zh) 2019-12-03

Family

ID=68665767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910816818.3A Pending CN110533106A (zh) 2019-08-30 2019-08-30 图像分类处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110533106A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429414A (zh) * 2020-03-18 2020-07-17 腾讯科技(深圳)有限公司 基于人工智能的病灶影像样本确定方法和相关装置
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所(北京)有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN111858999A (zh) * 2020-06-24 2020-10-30 北京邮电大学 一种基于分段困难样本生成的检索方法及装置
CN112085051A (zh) * 2020-07-24 2020-12-15 西安电子科技大学 基于加权投票的图像分类方法、***及电子设备
CN112966744A (zh) * 2021-03-08 2021-06-15 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463922A (zh) * 2014-12-03 2015-03-25 天津大学 一种基于集成学习的图像特征编码及识别方法
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及***
CN107844784A (zh) * 2017-12-08 2018-03-27 广东美的智能机器人有限公司 人脸识别方法、装置、计算机设备和可读存储介质
CN109447259A (zh) * 2018-09-21 2019-03-08 北京字节跳动网络技术有限公司 多任务处理及多任务处理模型训练方法、装置和硬件装置
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109583485A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于反馈训练的有监督深度学习方法
CN109800807A (zh) * 2019-01-18 2019-05-24 北京市商汤科技开发有限公司 分类网络的训练方法及分类方法和装置、电子设备
CN109815965A (zh) * 2019-02-13 2019-05-28 腾讯科技(深圳)有限公司 一种图像过滤方法、装置及存储介质
CN110008984A (zh) * 2019-01-22 2019-07-12 阿里巴巴集团控股有限公司 一种基于多任务样本的目标模型训练方法和装置
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463922A (zh) * 2014-12-03 2015-03-25 天津大学 一种基于集成学习的图像特征编码及识别方法
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及***
CN107844784A (zh) * 2017-12-08 2018-03-27 广东美的智能机器人有限公司 人脸识别方法、装置、计算机设备和可读存储介质
CN109447259A (zh) * 2018-09-21 2019-03-08 北京字节跳动网络技术有限公司 多任务处理及多任务处理模型训练方法、装置和硬件装置
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109583485A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于反馈训练的有监督深度学习方法
CN109800807A (zh) * 2019-01-18 2019-05-24 北京市商汤科技开发有限公司 分类网络的训练方法及分类方法和装置、电子设备
CN110008984A (zh) * 2019-01-22 2019-07-12 阿里巴巴集团控股有限公司 一种基于多任务样本的目标模型训练方法和装置
CN109815965A (zh) * 2019-02-13 2019-05-28 腾讯科技(深圳)有限公司 一种图像过滤方法、装置及存储介质
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429414A (zh) * 2020-03-18 2020-07-17 腾讯科技(深圳)有限公司 基于人工智能的病灶影像样本确定方法和相关装置
CN111429414B (zh) * 2020-03-18 2023-04-07 腾讯科技(深圳)有限公司 基于人工智能的病灶影像样本确定方法和相关装置
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所(北京)有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN111858999A (zh) * 2020-06-24 2020-10-30 北京邮电大学 一种基于分段困难样本生成的检索方法及装置
CN111858999B (zh) * 2020-06-24 2022-10-25 北京邮电大学 一种基于分段困难样本生成的检索方法及装置
CN112085051A (zh) * 2020-07-24 2020-12-15 西安电子科技大学 基于加权投票的图像分类方法、***及电子设备
CN112085051B (zh) * 2020-07-24 2024-02-09 西安电子科技大学 基于加权投票的图像分类方法、***及电子设备
CN112966744A (zh) * 2021-03-08 2021-06-15 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN110533106A (zh) 图像分类处理方法、装置及存储介质
Chen et al. DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing
US10922866B2 (en) Multi-dimensional puppet with photorealistic movement
CN106445147B (zh) 基于人工智能的对话***的行为管理方法及装置
EP3731161A1 (en) Model application method and system, and model management method and server
CN111754985B (zh) 一种语音识别模型的训练以及语音识别的方法和装置
CN111523324B (zh) 命名实体识别模型的训练方法及装置
US11956506B2 (en) Method and system for user-oriented streaming of content
CN109919078A (zh) 一种视频序列选择的方法、模型训练的方法及装置
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
CN107508866A (zh) 减小移动设备端神经网络模型更新的传输消耗的方法
CN108306804A (zh) 一种Ethercat主站控制器及其通信方法和***
CN108304376B (zh) 文本向量的确定方法、装置、存储介质及电子装置
CN111527501A (zh) 芯片适配确定方法及相关产品
CN113377030B (zh) 一种路口信号控制模型的确定方法和相关装置
CN111651989B (zh) 命名实体识别方法和装置、存储介质及电子装置
CN112084959A (zh) 一种人群图像处理方法及装置
US20200286012A1 (en) Model application method, management method, system and server
CN117744759A (zh) 文本信息的识别方法、装置、存储介质及电子设备
CN112199154A (zh) 一种基于分布式协同采样中心式优化的强化学习训练***及方法
KR20210096405A (ko) 사물 학습모델 생성 장치 및 방법
CN113535930B (zh) 模型训练方法、装置及存储介质
CN112749364B (zh) 基于人工智能的网页生成方法、装置、设备及存储介质
CN107633219A (zh) 一体化光学字符识别方法和***
CN111753855A (zh) 一种数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination