CN117011628A - 图像分类模型训练方法、图像分类方法及装置 - Google Patents

图像分类模型训练方法、图像分类方法及装置 Download PDF

Info

Publication number
CN117011628A
CN117011628A CN202210673448.4A CN202210673448A CN117011628A CN 117011628 A CN117011628 A CN 117011628A CN 202210673448 A CN202210673448 A CN 202210673448A CN 117011628 A CN117011628 A CN 117011628A
Authority
CN
China
Prior art keywords
image
classification model
image classification
training
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210673448.4A
Other languages
English (en)
Inventor
卢东焕
宁慕楠
张欣宇
熊竹
陈勃
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210673448.4A priority Critical patent/CN117011628A/zh
Publication of CN117011628A publication Critical patent/CN117011628A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像分类模型训练方法、图像分类方法、装置、电子设备、存储介质，方法包括：对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类，由此，在减少训练数据总量和无需重进行数据标注的前提下，提高图像分类模型训练训练的准确率，及时准确地发现感染者，节省传染病流行病学调查的时间。

Description

图像分类模型训练方法、图像分类方法及装置
技术领域
本发明涉及疾病种类信息处理技术，尤其涉及图像分类模型训练方法、图像分类方法、装置、电子设备及存储介质。
背景技术
目前A型冠状病毒检测可以由民众通过购买快速检测试纸、检测盒、检测卡，在家完成快速的A型冠状病毒检测。但是这种自我检测，只是完成了生物或化学原理的检测试纸、检测盒、检测卡的检测步骤，还存在一个问题就是检测后的信息上报和收集，现有的检测方法的检测结果还需要被检测人进行进一步的目视观察和判读，再操作手机进行汇报，检测结果尚不能自动、快速的采集和上传，尚未充分利用信息化的优势。同时由于用户的图像上传与采集的熟练度不同，用户经常不能上传完整的检测图像，给信息收集带来了不利影响，不利于相关职能部门全面掌握疫情态势信息，影响了对传染病的预防与排查。
发明内容
有鉴于此，本发明实施例提供一种图像分类模型训练方法、图像分类方法、装置、电子设备及存储介质，能够实现通过对图像分类模型的训练，在减少训练数据总量和无需重进行数据标注的前提下，利于弱监督的训练方式，稳定提高图像分类模型训练训练的准确率，减少训练时间，减轻图像分类模型的过拟合缺陷，同时图像分类模型的多任务损失函数能够灵活地适应不同疾病的检测使用需求，实现图像分类模型的大规模应用。同时可以实现通过图像的分类结果对存在感染风险的图像进行精确地判断，及时准确地发现感染者，节省传染病流行病学调查的时间。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种图像分类模型训练方法，包括：
获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；
对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；
根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；
通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
本发明实施例还提供了一种图像分类方法，包括：
获取待分类图像和疾病种类信息，其中，所述疾病种类信息包括：
疾病种类标识、以及与所述疾病种类标识对应的确诊图像边界框状态；
通过图像分类模型中的特征提取网络，对所述训练样本集合进行特征提取，得到所述训练样本集合的图像特征；
通过图像分类模型中的图像分类网络，对所述训练样本集合的图像特征进行分类，得到待分类图像的分类结果；
其中，所图像分类模型如权利要求1至5任一项所述的方法训练得到；
当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，发出确诊警报信息。
本发明实施例还提供了一种图像分类模型训练装置，包括：
信息传输模块，用于获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；
信息处理模块，用于对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；
所述信息处理模块，用于根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；
所述信息处理模块，用于通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
上述方案中，
所述信息处理模块，用于根据所述图像分类模型的使用环境，确定所述图像分类模型所对应的疾病种类；
所述信息处理模块，用于根据所述疾病种类，确定所述图像分类模型对应的边界框种类，以及与所述边界框种类对应的分类损失函数；
所述信息处理模块，用于获取所述边界框的置信度损失函数；
所述信息处理模块，用于根据所述分类损失函数和所述置信度损失函数，计算所述图像分类模型的多任务损失函数。
上述方案中，
所述信息处理模块，用于根据所述图像分类模型的使用环境，对所述第二原始样本图像进行本地增广处理，得到本地增广图像，以实现对所述第二原始样本图像的局部邻域信息执行空间滤波；
所述信息处理模块，用于对所述第二原始样本图像进行全局增广处理，得到全局增广图像，以实现调整所述第二原始样本图像的清晰度。
上述方案中，
所述信息处理模块，用于确定与所述图像分类模型的使用环境相匹配的动态噪声阈值；
所述信息处理模块，用于根据所述动态噪声阈值对所述训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的训练样本集合；或者，
所述信息处理模块，用于确定与所述图像分类模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的训练样本集合。
上述方案中，
所述信息处理模块，用于基于所述训练样本集合的特征向量和所述多任务损失函数，调整所述图像分类模型的网络参数；
所述信息处理模块，用于直至所述图像分类模型对应的不同维度的损失函数达到相应的收敛条件时，确定所述图像分类模型的网络参数，以实现所述图像分类模型的参数与使用环境相适配。
本发明实施例还提供了一种图像分类装置，包括：
数据传输模块，用于获取待分类图像和疾病种类信息，其中，所述疾病种类信息包括：
疾病种类标识、以及与所述疾病种类标识对应的确诊图像边界框状态；
数据处理模块，用于通过图像分类模型中的特征提取网络，对所述训练样本集合进行特征提取，得到所述训练样本集合的图像特征；
数据处理模块，用于通过图像分类模型中的图像分类网络，对所述训练样本集合的图像特征进行分类，得到待分类图像的分类结果；
所述数据处理模块，用于当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，发出确诊警报信息。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前述的图像分类模型训练方法。
本发明所一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的图像分类模型训练方法。
本发明实施例具有以下有益效果：
本发明通过获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。由此，能够实现通过对图像分类模型的训练，在减少训练数据总量和无需重进行数据标注的前提下，利于弱监督的训练方式，稳定提高图像分类模型训练训练的准确率，减少训练时间，减轻图像分类模型的过拟合缺陷，同时图像分类模型的多任务损失函数能够灵活地适应不同疾病的检测使用需求，实现图像分类模型的大规模应用。同时可以实现通过图像的分类结果对存在感染风险的图像进行精确地判断，及时准确地发现感染者，节省传染病流行病学调查的时间。
附图说明
图1A是本发明实施例提供的图像分类模型训练方法的使用环境示意图；
图1B为本发明实施例中待分类图像的一个可选的示意图；
图2为本发明实施例提供的图像分类模型训练装置的组成结构示意图；
图3为本发明实施例中待分类图像一个可选的示意图；
图4为本发明实施例中待分类图像一个可选的示意图；
图5为本发明实施例提供的图像分类模型训练方法一个可选的流程示意图；
图6A为本发明实施例中YOLO网络的工作原理示意图；
图6B为本发明实施例中图像分类模型的模型结构示意图；
图7为本发明实施例中图像分类模型的模型中Focus工作示意图；
图8为本发明实施例中小程序采集待分类图像的示意图；
图9为本发明实施例中检测选择示意图；
图10为本发明实施例所提供的图像分类方法一个可选的过程示意图。
图11为本发明实施例中分类结果示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行线上直播(视频推流)的功能或者是在线视频的播放功能。
3)卷积神经网络(CNN Convolutional Neural Networks)是一类包含卷积计算且具有深度结构的前馈神经网络(Feed forward Neural Networks)，是深度学***移不变分类(shift-i nvariantclassification)。
4)模型训练，对图像数据集进行多分类学习。该模型可采用Tensor Flow、 torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多图像分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出图像分类结果。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
5)神经网络(Neural Network，NN)：人工神经网络(Artificial Neural Network，ANN)，简称神经网络或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经***，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
6)Contrastive loss：对比损失函数，其可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。这样的结果就是，在低维空间，同一种类的点会产生聚类的效果，不同种类的mean会隔开。类似fisher降维，但fisher降维不具有out-of-sample exte nsion的效果，不能对new sample进行作用。
7)Soft max：归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在[0，1]之间，并且所有元素的和为1。
图1A为本发明实施例提供的图像分类模型训练方法的使用场景示意图，参见图1A，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1)通过网络300从相应的服务器2 00中获取不同的相应图像的病历信息进行浏览，或者获取相应的医疗图像，并对图像的流行病学调查结果进行分析，终端通过网络300连接服务器200，网络 300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1)通过网络300从相应的服务器200中所获取的相应图像的病历信息类型既可以相同也可以不相同，例如：终端(包括终端1 0-1和终端10-2)既可以通过网络300从相应的服务器200中获取与图像相匹配的流行病学调查结果，也可以通过网络300从相应的服务器200中获取与当前目标相关联的人群(例如密接病例，次密接病例，同时空伴随病例)的流行病学调查进行浏览。服务器200中可以保存有不同图像各自对应的相应图像的病历信息，也可以保存与所述图像的相应图像的病历信息相匹配的流行病学调查。在本发明的一些实施例中，服务器200中所保存的疾病种类信息可以包括：各类型传染病的信息，每一种类型的传染病可以通过对应的疾病种类标识进行区分、同时还可以保存与疾病种类标识对应的确诊预警阈值，在通过图像分类模型得到待分类图像的分类结果后，利用确诊预警阈值及时的发出确诊警报信息通知相应的疾控部门。其中，本申请中的疾病信息所携带的疾病种类标识可以表征各类型的传染病，具体来说，传染病分为甲类、乙类和丙类。以A型冠状病毒感染为例，终端10-2可以通过抗原检测试纸进行自我检测，确定是否确诊 A型冠状病毒感，参考图1B，图1B为本发明实施例中待分类图像的一个可选的示意图，其中，T检测线和C质控线都出现清晰可见的红色条带，判为阳性， T线颜色越深，阳性越强；只有C质控线出现清晰可见的红色条带，判为阴性；若C质控线不出现红色条带，判为无效。通过终端10-2采集图1B所示的图像，可以使得服务器200获取相应的分类图像，并通过服务器200中所部署的图像分类模型进行图像分类处理，确定用户是否感染A型冠状病毒感。
其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用***能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作***)、存储设备和网络设备。
结合实施例图1A所示，本发明实施例所提供的图像确定方法可以通过相应的云端设备实现，例如：终端(包括终端10-1和终端10-2)通过网络300连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。
具体来说，结合前序实施例中的图1A所示，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
需要说明的是，无论针对哪一种现有的传染病，在进行流行病学调查时都可以基于本实施例的图像分类模型训练方法训练图像分类模型，从而便于医生的远程查阅与使用，也可以根据疾病种类对图像分类模型进行微调，以符合疾病的流行病学调查需求，例如A型冠状病毒检测试纸作为待分类图像时，包括：样本添加窗口，检测窗口，标识线窗口(C线和T线)，艾滋病检测试纸作为待分类图像时，包括：样本添加窗口和结果判断窗口。
服务器200通过网络300向终端(终端10-1和/或终端10-2)发送同一图像的相应图像的病历信息以实现终端(终端10-1和/或终端10-2)的用户对图像的相应图像的病历信息进行分析，因此。作为一个事例，服务器200部署相应的神经网络模型，在部署前还需要对图像分类模型进行训练，具体包括：获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
下面对本发明实施例的图像分类模型训练装置的结构做详细说明，图像分类模型训练装置可以各种形式来实施，如带有图像分类模型训练装置处理功能的专用终端，也可以为设置有图像分类模型训练装置处理功能的服务器，例如前序图1A中的服务器200。图2为本发明实施例提供的图像分类模型训练装置的组成结构示意图，可以理解，图2仅仅示出了图像分类模型训练装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的图像分类模型训练装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。图像分类模型训练装置中的各个组件通过总线***205耦合在一起。可以理解，总线***205用于实现这些组件之间的连接通信。总线***205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线***205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作***和应用程序。其中，操作***包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的图像分类模型训练装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像分类模型训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像分类模型训练方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DS P、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPG A，Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的图像分类模型训练装置采用软硬件结合实施的示例，本发明实施例所提供的图像分类模型训练装置可以直接体现为由处理器20 1执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器2 02，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的图像分类模型训练方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的图像分类模型训练装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific I ntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的图像分类模型训练方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持图像分类模型训练装置的操作。这些数据的示例包括：用于在图像分类模型训练装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像分类模型训练方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的图像分类模型训练装置可以采用软件方式实现，图2示出了存储在存储器202中的图像分类模型训练装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括图像分类模型训练装置，图像分类模型训练装置中包括以下的软件模块信息传输模块2081和信息处理模块2082。当图像分类模型训练装置中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的图像分类模型训练方法，其中，图像分类模型训练装置中各个软件模块的功能，包括：
信息传输模块2081，用于获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像。
信息处理模块2082，用于对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合。
所述信息处理模块2082，用于根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数。
所述信息处理模块2082，用于通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
当图像分类模型训练完成后，电子设备中可以继续部署图像分类装置，具体包括：
数据传输模块，用于获取待分类图像和疾病种类信息，其中，所述疾病种类信息包括：疾病种类标识、以及与所述疾病种类标识对应的确诊图像边界框状态；数据处理模块，用于通过图像分类模型中的特征提取网络，对所述训练样本集合进行特征提取，得到所述训练样本集合的图像特征；数据处理模块，用于通过图像分类模型中的图像分类网络，对所述训练样本集合的图像特征进行分类，得到待分类图像的分类结果；所述数据处理模块，用于当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，发出确诊警报信息。
继续结合图1A所示的使用场景对本申请所提供的图像分类模型训练方法进行说明，其中，首先对相关技术中，疾病诊断过程中，对待分类图像处理过程进行说明，以A型冠状病毒感染为例，终端10-2可以通过抗原检测试纸进行自我检测，确定是否确诊A型冠状病毒感，参考图3和图4，图3为本发明实施例中待分类图像一个可选的示意图，图4为本发明实施例中待分类图像一个可选的示意图，对于A型冠状抗原检测的结果可以分为阳性，阴性和无效三种，如果C线和T线均有标识为阳性，如果只有C线有标识为阴性，如果C线没有标识为无效。但在实际应用中，很难只通过该规则直接得到良好的判定结果，如图3所示，由于产品缺陷，不能只通过比较C，T字符标志和标识线的位置来进行判定，因为有的抗原试剂C、T字符很不明显，不利于进行自动识别；另一种如图4所示，对于采集信息不熟练的用户，往往不能获取完整的待分类图像，因此，影响了识别的准确性。当图4所示的待分类图像对应的密接者超出隔离期发病时，传统对密接者的隔离防控措施就在一定程度上失效，存在疾病再传播风险。人工采集则无法适应流行性疾病的传播速度，加重了人工重复统计的工作量。
为解决上述缺陷，参考图5，图5为本发明实施例提供的图像分类模型训练方法一个可选的流程示意图，其中图像可以选择不同的疾病种类信息预测场景进行使用，可以理解地，5所示的步骤可以由运行图像分类模型训练装置的各种电子设备执行，例如可以是带有图像分类处理功能的专用终端、服务器或者服务器集群。下面针对图5示出的步骤进行说明。
步骤501：图像分类模型训练装置获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像。
在本发明的一些实施例中，以A型冠状病毒感染为例，终端10-2可以通过抗原检测试纸进行自我检测，确定是否确诊A型冠状病毒感，所生成的待分类图像如图1B所示，在图像分类模型的训练阶段，由于需要对原始样本图像的样本添加窗口，检测窗口，C线和T线所处的标识线窗口分别进行标注，提高了标注成本，减少了可用数据。为了增加样本图像的数据量，提升分类模型的训练精度，因此引入一种基于图像整体标注的弱监督损失。使用弱监督损失的原始样本图像可以分为两种，一种是作为第二原始样本图像A型冠状抗原检测图像(阳性，阴性均可使用)，另一种是作为第一原始样本图像的无关图像或者无效图像。
在本发明的一些实施例中，在训练样本获取的初始阶段，由于用户的图像采集设备不同，采集方式不熟练，因此第二原始样本图像的清晰度会受到影响，为了保证第二原始样本图像的清晰度，可以执行以下处理：
根据所述图像分类模型的使用环境，对所述第二原始样本图像进行本地增广处理，得到本地增广图像，以实现对所述第二原始样本图像的局部邻域信息执行空间滤波；对所述第二原始样本图像进行全局增广处理，得到全局增广图像，以实现调整所述第二原始样本图像的清晰度。其中，第二原始样本图像记为X，进行两种类型的变换，分别为：全局增广处理Global和本地增广处理L ocal。其中，全局增广处理可以导出一个将输入颜色映射到输出颜色的变换函数。本地增广处理可以根据局部邻域信息执行空间滤波以确定像素颜色。在本发明的一些实施例中，为了增强样本处理效果，在进行图像处理时，对本地增广处理X1方向的增强，仅作Local变换，在全局增广处理结果X2侧同时做Global 和Local的变换，使得图像分类模型能够更好的学习全局增广处理Global和本地增广处理Local之间的联系。需要说明的是，数据增广操作的示例包括但不限于大小缩放、颜色抖动、高斯滤波等，对此本申请不做具体限制。
步骤502：图像分类模型训练装置对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合。
在本发明的一些实施例中，确定与所述图像分类模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值对所述初始训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的初始训练样本集合；其中由于图像分类模型的使用环境不同，与所述图像分类模型的使用环境相匹配的动态噪声阈值也不相同，例如，以A型冠状病毒感染为例，对于用户阳性样本图像、阴性样本图像和无效样本图像的数量比例差距太大，将会影响图像分类模型的训练速度，因此，可以提升阳性样本图像(即第二原始样本图像)所占的训练样本集合的比例，同样对于艾滋病检测环境来说，可以根据动态噪声值提升阴样本图像(即第一原始样本图像)所占的训练样本集合的比例，以提升图像分类模型的训练精确度。
在本发明的一些实施例中，还可以确定与所述图像分类模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述初始训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的初始训练样本集合。其中，当图像分类模型固化于相应的硬件机构中，例如手持检测终端，使用环境为对A型冠状病毒感染进行检测，由于噪声较为单一，通过固定图像分类模型相对应的固定噪声阈值，能够有效提升图像分类模型的训练速度，减少用户的等待时间，也利于A 型冠状病毒感染中图像分类模型的大规模使用。
步骤503：图像分类模型训练装置根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数。
在本发明的一些实施例中，根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数，可以通过以下方式实现：
根据所述图像分类模型的使用环境，确定所述图像分类模型所对应的疾病种类；根据所述疾病种类，确定所述图像分类模型对应的边界框种类，以及与所述边界框种类对应的分类损失函数；获取所述边界框的置信度损失函数；根据所述分类损失函数和所述置信度损失函数，计算所述图像分类模型的多任务损失函数。以A型冠状病毒感染为例，终端10-2可以通过抗原检测试纸进行自我检测，确定是否确诊A型冠状病毒感，所生成的待分类图像如图1B所示，此时，图像分类模型可以包括YOLO网络(You Only Look Once)，参考图6A，图6A为本发明实施例中YOLO网络的工作原理示意图，利用图像分类模型所包括的YOLO网络，可以对抗原试纸的对应的待检测图像中的三种不同区域进行识别，即样本添加窗口，检测窗口、标识线窗口(包括T线和C线)。通过对上述区域在待检测图像中是否有相对位置关系，可以实现对待检测图像的分类，其中，T检测线和C质控线都出现清晰可见的红色条带，判为阳性，T线颜色越深，阳性越强；只有C质控线出现清晰可见的红色条带，判为阴性；若C质控线不出现红色条带，判为无效。
YOLO网络在工作时，图像分类模型首先将输入的样本图像分成S*S个网格，然后每个单元格负责检测中心点落在该单元格的目标，而对于每个单元格，该网络会预测B个边框的结果，预测输出就是该边框是目标的置信度，边框的坐标以及每个边框在多个类别上的概率，因此网络对于每一张图像，最终会输出S*S*(5*B+C)个预测值，其中C代表每个类别的概率值的数量，对于每一个网格来说(图像共有S*X个网格)，5*B可以表示为两部分：4*B+1*B，其中， 4*B代表检测框的左上角和右下角的坐标的数量，1*B表示检测框置信度，最终通过YOLO网络可以实现对待检测图像中的样本添加窗口，检测窗口、标识线窗口(包括T线和C线)进行识别。
由于A型冠状病毒的检测试纸图像有三个检测框，因此这里C＝3。如图6A 所示，其中如果有图像落在一个方格里，第一项取1，否则取0。每一个边界框有5个参数需要预测，x，y，h，w，confidence(置信度)。(x，y)表示的是框的中心点坐标，和方格的边界有关。(h，w)表示的是框的宽度的高度，和整个图片有关。之后根据阈值可以去除置信度较低与阈值的窗口，最后再通过非极大值抑制(Non-Maximum Suppression)去除冗余窗口就可以得到最终预测结果。非极大值抑制，常用于计算机视觉任务中抑制不是极大值的检测结果，这里主要指目标检测任务中非极大值抑制，去除冗余的重叠检测框。将检测结果分类别按概率进行降序排序，具体包括以下步骤：(a)假设图像分类检测任务中预测为检测框类别的框按降序排列有A、B、C、D、E；(b)选取概率最高的框A，标记为接受框，判断剩余框B、C、D、E与A的IoU值(两个区域重叠的部分除以两个区域的集合部分得出的结果)；(c)一般IoU阈值设置为0.2～0.5，大于该阈值，说明是冗余的框，需要丢弃，假设B超过阈值被丢弃，C、D、E未超过阈值；(d)继续从余下检测框中，选择概率最大的框C，标记为接受框，计算框 D、E与C的IoU值，同样IoU大于阈值的丢弃；(e)如此迭代重复以上过程，直至处理完各类别的所有检测框。通过非极大值抑制处理，由此可以实现实时检测出分类图像中每一个检测框。
步骤504：图像分类模型训练装置通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
在本发明的一些实施例中，通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，可以通过以下方式实现：
基于所述训练样本集合的特征向量和所述多任务损失函数，调整所述图像分类模型的网络参数；直至所述图像分类模型对应的不同维度的损失函数达到相应的收敛条件时，确定所述图像分类模型的网络参数，以实现所述图像分类模型的参数与使用环境相适配。为了更好的说明多任务损失函数的构造过程和图像分类模型的训练过程，下面以图像分类模型采用yolov5结构为例，对图像分类模型的训练过程进行说明。
参考图6B，图6B为本发明实施例中图像分类模型的模型结构示意图，其中，yolov5结构主要分为四个部分：输入端，特征提取网络(Backbone)，Neck 结构，Prediction结构，其中Neck结构和Prediction结构可以构成图像分类模型中的图像分类网络。首先在输入端进行Mosaic数据增强，自适应锚框计算，自适应缩放图片等操作。在输入端采取数据增强的方式，即对原始图片随机地进行缩放、裁剪、排布等方式进行拼接。这样可以丰富图片的背景，同时变相地提高了batch size(一次训练所选取的样本数)，使得训练对本身batchsize的依赖减小。
其次在Backbone部分加入Focus切片操作和CSPDarknet53结构。Darknet 53是yolov3的Backbone网络，是由ResNet改进而来。Darknet53在保留了Re sNet对特征的表达能力的基础上，又避免了ResNet网络过深带来的梯度消失问题。Darknet53在ImageNet上的准确率与ResNet-152相差无几，并且速度远超 ResNet-152。
CSP结构是将输入分为两个部分，一部分通过Residual block(残差模块)计算，另一部分直接通过short cut，最后进行Concat操作拼接。如图3所示，采用了short cut操作，CSP结构可以减少部分计算量并且大大丰富梯度组合，同样计算量的减少也意味着推理的速度的提升。由于避免了重复的梯度信息，且通过Concat的操作加大梯度信息的差异，提升了CNN(卷积神经网络)的学习能力，同时也意味着推理准确性的提高。
CSPDarknet53结构由CSPNet网络与Darknet53组合而成，有着计算量小且准确率高的优点。参考图7，图7为本发明实施例中图像分类模型的模型中Foc us工作示意图，如图7所示，在进入Backbone之前的Focus操作，可以将一张 608×608×3的RGB三通道的彩色图片，转化为304×304×12大小的特征，减少输入大小，通道相对之前增加四倍，以此降低浮点运算量，提升速度。进一步地，再经过一次卷积(CBL)操作，最终变成304×304×64的特征图，Focu s层将w-h平面上的信息转换到通道维度，再通过3*3卷积的方式提取不同特征。采用这种方式可以减少下采样带来的信息损失，以提升图像分类模型的训练精确度，保证对于A型冠状病毒的检测试纸图像的准确识别。
Neck部分在网络中有融合和提取特征的作用，是网络关键的一部分。Neck 部分采用FPN+PAN的结构，是将FPN(Feature Pyramid Network)网络与PANet (PathAggregationNetwork)融合之后的结果。如图5所示，FPN自顶向下，将顶层的特征通过上采样和Concat操作与底层的特征融合。而Bottom-up Path Aug mentation部分，与FPN相反，采用自底向上的特征金字塔结构。这样更好地融合了底层与顶层之间的参数，提升检测效果。左侧箭头自底向上的操作，需要经历几百层网络，浅层的信息丢失严重；而右侧箭头所经历的网络层数较浅，可以更好保存浅层信息，减少信息丢失，增强了网络提取特征、融合特征的能力。
在预测部分，最重要的是损失函数的定义，损失函数是下一次反向传播的依凭标准。Predication部分采用泛化交并比损失(CIOU Loss Generalized Intersection overUnion)计算边框损失，Predication部分损失函数包括边界框的分类损失(classificationloss)和置信度损失(confidence loss)，结合图1B，以A型冠状病毒感染为例，可以使用A代表预测框，B代表真实框，C代表包含A与 B的最小闭合框，交并比(IOU Intersection overUnion)的计算公式参考公式1：
分类损失由两部分组成，第一部分是边界框的置信损失，代表这个框是否为正确的目标框，第二部分是分类损失，代表这个边界框应该属于哪一类目标。两者均用交叉熵损失函数，计算参考公式2：
其中，N代表边界框的总数，M代表类别数量，对于本发明中的置信损失， M＝2，而对于分类损失，M＝3。yi，c代表样本的真实类别，当样本i属于c类时，yi，c＝1，否则为0。而pi,c代表网络所预测的样本i属于c类的概率。
图像分类模型的处理得到最终的SxSx(5*B+C)个预测值后，可以取其中的C 个通道结果，即SxSxC个输出，然后对这个输出做全局最大池化处理(max po ol)，得到C个输出，即用图像中所有可能的检测框的最大概率，来代表该图像中存在样本添加窗口，检测窗口，C线和T线的概率。对于A型冠状抗原检测图像，不论阳性，阴性，这几种框都应该存在；而对于无关图像而言，这几种框都不应该存在，至此，图像分类模型完成了训练，可以部署在相应的服务器或者云服务器网络中。
参考图8，图8为本发明实施例中小程序采集待分类图像的示意图，即时通讯客户端的用户可以通过即时通讯客户端的小程序采集和上传待分类图像，需要说明的是，为了保证检测的准确性，当使用本申请所提供的图像分类模型时，仅能够实时采集待分类图像，不能够调用终端本地所保存的图像。当用户通过图8所示的小程序采集待分类图像时，图9为本发明实施例中检测选择示意图，可以向用户展示图9，以C型病毒，A型冠状病毒，B型病毒三种传染病为例， C型病毒，A型冠状病毒，B型病毒同属于接触传播，三者之间的关系为同为急性传染病。但是，C型病毒，A型冠状病毒属于呼吸道传染病，当确定疾病种类信息为呼吸道传染病时，利用知识图谱查找与所述呼吸道传染病对应的第一接触方式为空气接触，第一传播介质为飞沫、尘埃和气溶胶，第一易感染人群为飞沫接触人群、尘埃接触人群和气溶胶接触人群。B型病毒属于消化道传染病，当确定疾病种类信息为消化道传染病时，利用知识图谱查找与所述消化道传染病对应的第二接触方式为粪口传播，第二传播介质为粪便污染的周围的环境、食物、水源，第二易感染人群为接触粪便污染环境、食物、水源的人群。用户可以灵活地根据使用需求选择检测疾病的种类。
参考图10，图10为本发明实施例所提供的图像分类方法一个可选的过程示意图，具体包括以下步骤：
步骤1001：获取待分类图像和疾病种类信息，其中，所述疾病种类信息包括：疾病种类标识、以及与所述疾病种类标识对应的确诊图像边界框状态。
步骤1002：通过图像分类模型中的特征提取网络，对所述训练样本集合进行特征提取，得到所述训练样本集合的图像特征。
步骤1003：通过图像分类模型中的图像分类网络，对所述训练样本集合的图像特征进行分类，得到待分类图像的分类结果。
其中，待分类图像的分类结果如图11所示，首先需要判定这几种检测区域的完整性，假如三类中有任何一类的缺失，都会提示用户上传结果无效。如果三类框都存在且标识线有两条，那就会被划分为阳性患者。而如果只检测到一条标识线的时候，由于如前文所说，C和T字符不明显，通过比较样本添加窗口，检测窗口的相对位置来判定该标识线是C还是T的。因为用户上传图像的方向有多种可能，所以无法确认C线就一定在T线上方，但按照现在A型冠状抗原检测试剂的设计，样本添加窗口是一定在检测窗口下方的，因此我们认为如果标识线在检测窗口中靠近样本添加窗口的那一半，就是T线，否则即为C 线。输出结果描述如下：
步骤1004：当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，发出确诊警报信息。
其中，以A型冠状病毒为例，当待分类图像的分类结果确认为阳性病例时，待分类图像对应的用户可能出现肌力下降，感觉症状，失语，视物不清，眩晕，头痛，恶心，呕吐，认知障碍，意识障碍等病症，说明用户可能已经感染A型冠状病毒，因此需要及时发出确诊警报信息。通过即时通讯客户端的小程序采集待分类图像，并将所述待分类图像向云服务器发送；当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，将所述即时通讯客户端的注册用户信息，发送至所述云服务器中，以实现通过所述云服务器对所述待分类图像对应的目标对象进行追踪，由此对待分类图像对应的用户进行隔离治疗。
有益技术效果：
本发明通过获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。由此，能够实现通过对图像分类模型的训练，在减少训练数据总量和无需重进行数据标注的前提下，利于弱监督的训练方式，稳定提高图像分类模型训练训练的准确率，减少训练时间，减轻图像分类模型的过拟合缺陷，同时图像分类模型的多任务损失函数能够灵活地适应不同疾病的检测使用需求，实现图像分类模型的大规模应用。同时可以实现通过图像的分类结果对存在感染风险的图像进行精确地判断，及时准确地发现感染者，节省传染病流行病学调查的时间。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种图像分类模型训练方法，其特征在于，所述方法包括：
获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；
对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；
根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；
通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
2.根据权利要求1所述的方法，其特征在于，根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数，包括：
根据所述图像分类模型的使用环境，确定所述图像分类模型所对应的疾病种类；
根据所述疾病种类，确定所述图像分类模型对应的边界框种类，以及与所述边界框种类对应的分类损失函数；
获取所述边界框的置信度损失函数；
根据所述分类损失函数和所述置信度损失函数，计算所述图像分类模型的多任务损失函数。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述图像分类模型的使用环境，对所述第二原始样本图像进行本地增广处理，得到本地增广图像，以实现对所述第二原始样本图像的局部邻域信息执行空间滤波；
对所述第二原始样本图像进行全局增广处理，得到全局增广图像，以实现调整所述第二原始样本图像的清晰度。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定与所述图像分类模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值对所述训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的训练样本集合；或者，
确定与所述图像分类模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的训练样本集合。
5.根据权利要求1所述的方法，其特征在于，通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，包括：
基于所述训练样本集合的特征向量和所述多任务损失函数，调整所述图像分类模型的网络参数；
直至所述图像分类模型对应的不同维度的损失函数达到相应的收敛条件时，确定所述图像分类模型的网络参数，以实现所述图像分类模型的参数与使用环境相适配。
6.一种图像分类方法，其特征在于，所述方法包括：
获取待分类图像和疾病种类信息，其中，所述疾病种类信息包括：
疾病种类标识、以及与所述疾病种类标识对应的确诊图像边界框状态；
通过图像分类模型中的特征提取网络，对所述训练样本集合进行特征提取，得到所述训练样本集合的图像特征；
通过图像分类模型中的图像分类网络，对所述训练样本集合的图像特征进行分类，得到待分类图像的分类结果；
其中，所图像分类模型如权利要求1至5任一项所述的方法训练得到；
当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，发出确诊警报信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
通过即时通讯客户端的小程序采集待分类图像，并将所述待分类图像向云服务器发送；
当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，将所述即时通讯客户端的注册用户信息，发送至所述云服务器中，以实现通过所述云服务器对所述待分类图像对应的目标对象进行追踪。
8.一种图像分类模型训练装置，其特征在于，所述装置包括：
信息传输模块，用于获取无标注的第一原始样本图像和携带标注信息的第二原始样本图像；
信息处理模块，用于对所述第一原始样本图像和所述第二原始样本图像进行组合，形成图像分类模型的训练样本集合；
所述信息处理模块，用于根据所述图像分类模型的使用环境，确定所述图像分类模型的多任务损失函数；
所述信息处理模块，用于通过所述训练样本集合和所述任务损失函数，对所述图像分类模型进行训练，确定所述图像分类模型的模型参数，以实现通过所述图像分类模型对待分类图像进行分类。
9.一种图像分类装置，其特征在于，所述装置包括：
数据传输模块，用于获取待分类图像和疾病种类信息，其中，所述疾病种类信息包括：
疾病种类标识、以及与所述疾病种类标识对应的确诊图像边界框状态；
数据处理模块，用于通过图像分类模型中的特征提取网络，对所述训练样本集合进行特征提取，得到所述训练样本集合的图像特征；
数据处理模块，用于通过图像分类模型中的图像分类网络，对所述训练样本集合的图像特征进行分类，得到待分类图像的分类结果；
其中，图像分类模型如权利要求1至5任一项所述的方法训练得到；
所述数据处理模块，用于当所述待分类图像的分类结果与所述确诊图像边界框状态相同时，发出确诊警报信息。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时实现权利要求1至5任一项所述的图像分类模型训练方法，或者实现权利要求6-7任一项所述的图像分类方法。
11.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时，实现权利要求1至5任一项所述的图像分类模型训练方法，或者实现权利要6-7任一项所述的图像分类方法。
12.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至5任一项所述的图像分类模型训练方法，或者实现权利要求6-7任一项所述的图像分类方法。
CN202210673448.4A 2022-06-14 2022-06-14 图像分类模型训练方法、图像分类方法及装置 Pending CN117011628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210673448.4A CN117011628A (zh) 2022-06-14 2022-06-14 图像分类模型训练方法、图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210673448.4A CN117011628A (zh) 2022-06-14 2022-06-14 图像分类模型训练方法、图像分类方法及装置

Publications (1)

Publication Number Publication Date
CN117011628A true CN117011628A (zh) 2023-11-07

Family

ID=88573324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210673448.4A Pending CN117011628A (zh) 2022-06-14 2022-06-14 图像分类模型训练方法、图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN117011628A (zh)

Similar Documents

Publication Publication Date Title
CN108229478B (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
US20210256320A1 (en) Machine learning artificialintelligence system for identifying vehicles
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
US20220366567A1 (en) Systems and methods for object detection and recognition
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及***
CN110555420A (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
US20240249515A1 (en) Method and apparatus for training image recognition model, device, and medium
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
Balchandani et al. A deep learning framework for smart street cleaning
Yadav et al. An improved deep learning-based optimal object detection system from images
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN115984537A (zh) 图像处理方法、装置及相关设备
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN116958729A (zh) 对象分类模型的训练、对象分类方法、装置及存储介质
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
Zhong A convolutional neural network based online teaching method using edge-cloud computing platform
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN117011628A (zh) 图像分类模型训练方法、图像分类方法及装置
CN109325521B (zh) 用于虚拟人物的检测方法及装置
Tran et al. Leveraging Deep Learning and Knowledge Distillation for Enhanced Traffic Anomaly Detection in Transportation Systems
Thevarasa et al. Weighted Ensemble Algorithm for Aerial Imaging Based Mosquito Breeding Sites Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination