CN113505859B - 模型训练方法及装置、图像识别方法及装置 - Google Patents

模型训练方法及装置、图像识别方法及装置 Download PDF

Info

Publication number
CN113505859B
CN113505859B CN202111035290.XA CN202111035290A CN113505859B CN 113505859 B CN113505859 B CN 113505859B CN 202111035290 A CN202111035290 A CN 202111035290A CN 113505859 B CN113505859 B CN 113505859B
Authority
CN
China
Prior art keywords
category
image
images
data corresponding
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111035290.XA
Other languages
English (en)
Other versions
CN113505859A (zh
Inventor
蔡鑫
崔亚轩
邱慎杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Taimei Medical Technology Co Ltd
Original Assignee
Zhejiang Taimei Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Taimei Medical Technology Co Ltd filed Critical Zhejiang Taimei Medical Technology Co Ltd
Priority to CN202111035290.XA priority Critical patent/CN113505859B/zh
Publication of CN113505859A publication Critical patent/CN113505859A/zh
Application granted granted Critical
Publication of CN113505859B publication Critical patent/CN113505859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种模型训练方法及装置、图像识别方法及装置，涉及神经网络技术领域。该模型训练方法包括：利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定M幅图像各自对应的第一类别识别结果；基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据；基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据；基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到图像识别模型。本申请能够为错误预测的图像样本重新定义其学习难易权重，进而使模型更多关注到错误预测的图像样本，极大提高训练得到的图像识别模型的识别精准度。

Description

模型训练方法及装置、图像识别方法及装置
技术领域
本申请涉及神经网络技术领域，具体涉及一种模型训练方法及装置、图像识别方法及装置。
背景技术
通常情况下，三维医学图像序列包括多个部位。为了方便阅片人操作，需要确定三维医学图像序列中的图像各自所属的部位（即确定三维医学图像序列中的图像各自对应的类别），以便基于部位提取出该部位对应的图像。
然而，现有的部位识别方法和部位提取方法，精准度均较低。
发明内容
为了解决上述技术问题，提出了本申请。本申请实施例提供了一种模型训练方法及装置、图像识别方法及装置。
第一方面，本申请一实施例提供了一种模型训练方法，该模型训练方法包括：利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定M幅图像各自对应的第一类别识别结果；基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据；基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据；基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到图像识别模型，其中，图像识别模型用于确定待识别图像序列中的图像各自对应的类别识别结果。
结合第一方面，在第一方面的某些实现方式中，基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据，包括：针对M幅图像中的每幅图像，基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据；基于图像对应的边界一致率数据，确定图像对应的类别一致率数据。
结合第一方面，在第一方面的某些实现方式中，基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据，包括：基于图像对应的第一类别识别结果，确定图像对应的相邻预测类别的序列信息；基于图像对应的类别标签数据，确定图像对应的相邻真实类别的序列信息；基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据。
结合第一方面，在第一方面的某些实现方式中，相邻预测类别的序列信息包括图像所属预测类别的中间序列信息和结束序列信息、与图像所属预测类别相邻的下一预测类别的中间序列信息和起始序列信息，相邻真实类别的序列信息包括图像所属真实类别的中间序列信息和结束序列信息、与图像所属真实类别相邻的下一真实类别的中间序列信息和起始序列信息。其中，基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据，包括：基于与图像所属预测类别相邻的下一预测类别的起始序列信息、图像所属预测类别的结束序列信息、与图像所属真实类别相邻的下一真实类别的起始序列信息和图像所属真实类别的结束序列信息，确定第一偏移数据；基于与图像所属预测类别相邻的下一预测类别的中间序列信息、图像所属预测类别的中间序列信息、与图像所属真实类别相邻的下一真实类别的中间序列信息和图像所属真实类别的中间序列信息，确定第二偏移数据；基于第一偏移数据和第二偏移数据，确定图像对应的边界一致率数据。
结合第一方面，在第一方面的某些实现方式中，图像对应的边界一致率数据，确定图像对应的类别一致率数据，包括：基于待识别图像序列样本对应的层厚信息和/或层间距信息，确定待识别图像序列样本对应的一致率分类区间信息；基于一致率分类区间信息和图像对应的边界一致率数据，确定图像对应的类别一致率数据。
结合第一方面，在第一方面的某些实现方式中，基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据，包括：确定M幅图像各自对应的高斯分布概率权重数据；基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据。
结合第一方面，在第一方面的某些实现方式中，确定M幅图像各自对应的高斯分布概率权重数据，包括：针对M幅图像中的每幅图像，基于图像所属真实类别包含的图像数量确定高斯半径，以图像所属真实类别的中心序列信息作为分布的均值，得到高斯分布概率权重数据。
结合第一方面，在第一方面的某些实现方式中，基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据，包括：基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第一增量权重数据；基于M幅图像各自对应的第一增量权重数据和第一类别分配权重数据，确定M幅图像各自对应的第二类别分配权重数据。
结合第一方面，在第一方面的某些实现方式中，基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到图像识别模型，包括：基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到第二识别模型；利用第二识别模型，确定M幅图像各自对应的第二类别识别结果；基于M幅图像各自对应的类别标签数据和第二类别识别结果，得到M幅图像各自对应的当前类别分配权重数据；基于M幅图像各自对应的第一类别分配权重数据、第二类别分配权重数据和当前类别分配权重数据，确定M幅图像各自对应的第三类别分配权重数据；基于M幅图像各自对应的第三类别分配权重数据训练第二识别模型，得到图像识别模型。
第二方面，本申请一实施例提供了一种图像识别方法，该图像识别方法包括：确定图像识别模型，该图像识别模型基于上述第一方面提及的模型训练方法训练得到；利用图像识别模型，确定待识别图像序列中的图像各自对应的类别识别结果。
第三方面，本申请一实施例提供了一种模型训练装置，该模型训练装置包括：第一确定模块，用于利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定M幅图像各自对应的第一类别识别结果；第二确定模块，用于基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据；第三确定模块，用于基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据；训练模块，用于基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到图像识别模型，其中，图像识别模型用于确定待识别图像序列中的图像各自对应的类别识别结果。
第四方面，本申请一实施例提供了一种图像识别装置，该图像识别装置包括：模型确定模块，用于确定图像识别模型，该图像识别模型基于上述第一方面提及的模型训练方法训练得到；识别结果确定模块，用于利用图像识别模型，确定待识别图像序列中的图像各自对应的类别识别结果。
第五方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面提及的模型训练方法和/或第二方面所提及的图像识别方法。
第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述第一方面提及的模型训练方法和/或第二方面所提及的图像识别方法。
本申请实施例提供的模型训练方法，能够考虑到图像样本相对于模型的学习难易问题。此外，本申请实施例通过利用当前训练轮次的模型输出的类别识别结果确定M幅图像各自对应的类别一致率数据，进而基于M幅图像各自对应的类别一致率数据确定下一训练轮次的类别分配权重数据的方式，使所确定的类别分配权重数据充分顾及了预测偏移数据，即，具体从图像序列的序列信息（即图像位置关系）的角度顾及了预测偏移数据。如此设置，本申请实施例能够为错误预测的图像样本重新定义其学习难易权重，进而使模型更多关注到错误预测的图像样本，极大提高训练得到的图像识别模型的识别精准度。
附图说明
图1所示为本申请一实施例提供的模型训练方法的流程示意图。
图2所示为本申请一实施例提供的基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据的流程示意图。
图3所示为本申请一实施例提供的基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据的流程示意图。
图4所示为本申请一实施例提供的基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据的流程示意图。
图5所示为本申请一实施例提供的基于图像对应的边界一致率数据，确定图像对应的类别一致率数据的流程示意图。
图6所示为本申请一实施例提供的基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据的流程示意图。
图7所示为本申请一实施例提供的基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据的流程示意图。
图8所示为本申请一实施例提供的基于M幅图像各自对应的第二类别分配权重数据训练第二识别模型，得到图像识别模型的流程示意图。
图9所示为本申请一实施例提供的图像识别方法的流程示意图。
图10所示为本申请一实施例提供的模型训练装置的结构示意图。
图11所示为本申请一实施例提供的图像识别装置的结构示意图。
图12所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
众所周知，通常情况下，三维医学图像序列包括多个部位。比如，三维医学图像序列为整个人体的医学图像序列，共包括13个部位，分别为脑，脑鼻咽，鼻咽，鼻咽颈，颈，颈胸，胸，胸腹，腹，腹盆腔，盆腔，盆腔下肢和下肢。为了方便后续处理，需要确定三维医学图像序列中的图像各自所属的部位（即确定三维医学图像序列中的图像各自对应的类别），以便基于部位提取出该部位对应的图像。比如，方便阅片人基于划分好的部位图像进行后续的一些操作，比如品质控制（Quality Control，QC）等。
现有的部位识别模型能够解决如何从三维医学图像序列中，基于具体部位提取出该具体部位对应的图像的技术问题，但是精准度比较低。原因之一在于类别不均衡的问题，原因另一在于难易样本的问题。
针对上述提及的类别不均衡的问题，具体而言，一般来说，人体易出现病灶的部位较为集中，因此相关部位的图像采集会更频繁，例如头、胸、腹，而不易出现病灶的部位（例如脚，小腿等）的图像采集量会少得多。不同部位的图像数据量差异过大会使得部位识别模型在学习的过程中更偏向于学习数据量较多的部位的特征，数据量较小的部位由于数量问题，对模型更新的贡献太少，导致模型无法学习到其特征，这极大地影响了模型的最终效果。
针对上述提及的难易样本的问题，利用上述提及的共包括13个部位的整个人体的医学图像序列举例解释。具体而言，在所列举的13个部位中，包括7个具体部位和6个过渡部位。其中，7个具体部位包括脑，鼻咽，颈，胸，腹，盆腔和下肢，6个过渡部位包括脑鼻咽，鼻咽颈，颈胸，胸腹，腹盆腔和盆腔下肢。即，每相邻的两个具体部位之间存在一个过渡部位。过渡部位作为两个相邻的具体部位的中间区域，其特点是在图像结构上既有上一个具体部位的特征，又有下一个具体部位的特征，因此在学***衡的现象。因此，通常情况下，具体部位可被称作简单样本，过渡部位可被称作困难样本。
为了解决部位识别模型的识别精准度较差的技术问题，本申请实施例提供一种模型训练方法及装置、图像识别方法及装置，以实现提高图像识别的识别精准度的目的。需要注意的是，本申请实施例提供的方法不局限于医学场景中的三维医学图像序列，亦可以应用到自然场景中的视频数据。下面结合图1至图9详细介绍本申请实施例提及的模型训练方法和图像识别方法。
图1所示为本申请一实施例提供的模型训练方法的流程示意图。如图1所示，本申请实施例提供的模型训练方法包括如下步骤。
步骤S100，利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定M幅图像各自对应的第一类别识别结果。其中，M幅图像属于待识别图像序列样本，M幅图像对应N个类别，M和N均为大于1的正整数。
示例性地，M幅图像对应N个类别的含义是，待识别图像序列样本共涉及N个类别（比如N个部位类别），那么，M幅图像中的每幅图像均属于N个类别中的其中一个类别。
示例性地，图像对应的类别分配权重数据表征的是，根据图像对于模型来说的实际学习难度，为图像分配的能够表征学习难易的类别分配权重数据。对应地，步骤S100中提及的第一类别分配权重数据指的是图像对应的初始类别分配权重数据。在一些实施例中，在模型开始训练之前，因不知M幅图像各自对于模型来说的实际学习难度，所以为M幅图像各自分配一统一的初始类别分配权重数据，比如数值1。
示例性地，第一识别模型为建立的初始识别模型。在一些实施例中，第一识别模型为多分类卷积神经网络模型。因多分类卷积神经网络模型可通过层级转移学习，保存推理并在后续层级上进行新的学习，且在使用模型之前无需单独进行特征提取，因此，更适用于本申请的图像处理场景。
可以理解，即使第一识别模型作为初始模型或中间模型未完全收敛，其也能够输出类别识别结果（即第一类别识别结果）。那么，针对M幅图像中的每幅图像，将该图像对应的类别标签数据和第一类别识别结果作比较，便可验证第一类别识别结果是否正确。
步骤S200，基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据。
示例性地，类别一致率数据用于表征M幅图像各自对应的第一类别识别结果和类别标签数据之间的偏移程度。具体地，图像对应的类别一致率表示的是，图像所属类别的一致率数据（即图像所属真实类别的一致率数据）。可以理解为，针对图像所属的类别，基于M幅图像各自对应的类别标签数据确定图像所属的类别对应的真实图像集，基于M幅图像各自对应的第一类别识别结果确定图像所属的类别对应的预测图像集，进而基于真实图像集和预测图像集之间的偏移数据（又称偏差数据）确定图像所属的类别对应的一致率，即图像对应的类别一致率。可以理解为，上述提及的N个类别分别对应有一个一致率数据，那么，图像对应的类别一致率数据即可理解为图像所属类别的一致率数据。
步骤S300，基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据。
示例性地，针对M幅图像中的每幅图像，基于该图像对应的第一类别分配权重数据和类别一致率数据，确定该图像对应的第二类别分配权重数据。也就是说，所确定的第二类别分配权重数据涉及了类别一致率数据这一参数。
步骤S400，基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到图像识别模型。其中，图像识别模型用于确定待识别图像序列中的图像各自对应的类别识别结果。
示例性地，步骤S400中提及的图像识别模型为训练得到的、收敛的图像识别模型。
虽然步骤S400提及的是基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，但是可以理解，训练第一识别模型也需要待识别图像序列样本的一些必要数据。比如，在一些实施例中，上述提及的待识别图像序列样本包括至少一个CT图像序列，针对每个CT图像序列中的每幅图像，均用x（series, slice, data, gt, a, w）表示。其中，series表示该CT图像序列的序列id，slice表示该幅图像在该CT图像序列中的id，data表示该幅图像的图像像素数据，gt表示该幅图像的真实标签（即下述提及的类别标签数据），a表示该幅图像对应类别的类别权重，w表示该幅图像在训练中的再分配难易权重（即类别分配权重数据），初始值为1（即第一类别分配权重数据为1）。
在实际训练过程中，先将待识别图像序列样本中的M幅图像的顺序打乱，然后基于M幅图像各自对应的第一类别分配权重数据和第一识别模型生成M幅图像各自对应的第一类别识别结果，然后，基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据，并基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据，继而基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，训练n轮后便可得到图像识别模型。也就是说，第一识别模型和图像识别模型的区别在于，一些具体的模型参数不同。值得注意的是，图像识别模型可视为最终收敛的模型，在第一识别模型和图像识别模型之间，还可能基于训练轮次生成多个中间模型。此外，将M幅图像的顺序打乱的目的在于防止模型抖动，加快模型收敛。
需要说明的是，上述提及的将待识别图像序列样本中的M幅图像的顺序打乱，只是在训练过程中（比如当前轮次的训练过程中），在计算类别一致率等数据时，需要将打乱的M幅图像的顺序恢复。
在一些实施例中，判断模型是否收敛的条件为，模型的识别精度达到预设精度，并在多个迭代周期内没有超过波动阈值的波动。
本申请实施例提供的模型训练方法，能够考虑到图像样本相对于模型的学习难易问题。此外，本申请实施例通过利用当前训练轮次的模型输出的类别识别结果确定M幅图像各自对应的类别一致率数据，进而基于M幅图像各自对应的类别一致率数据确定下一训练轮次的类别分配权重数据的方式，使所确定的类别分配权重数据充分顾及了预测偏移数据，即，具体从图像序列的序列信息（即图像位置关系）的角度顾及了预测偏移数据。如此设置，本申请实施例能够为错误预测的图像样本重新定义其学习难易权重，进而使模型更多关注到错误预测的图像样本，极大提高训练得到的图像识别模型的识别精准度。
进一步地，在图1所示实施例的基础上延伸出本申请另一实施例。具体地，在本申请实施例中，在步骤S100之前，还需执行步骤：基于包括M幅图像的待识别图像序列样本，确定M幅图像各自对应的第一类别分配权重数据。也就是说，在步骤S100之前，还需执行分别为M幅图像赋予第一类别分配权重数据，即确定M幅图像各自对应的第一类别分配权重数据的步骤。
示例性地，在一些实施例中，第一识别模型中使用的损失函数如下述公式（1）所示。
Figure 433189DEST_PATH_IMAGE001
（1）
在公式（1）中，
Figure 846853DEST_PATH_IMAGE002
表示当前图像对应的类别权重，
Figure 605861DEST_PATH_IMAGE003
表示预测概率，
Figure 79568DEST_PATH_IMAGE004
表示再分配难易权重（即上述实施例提及的类别分配权重数据，比如第二类别分配权重数据）。
图2所示为本申请一实施例提供的基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图2所示，在本申请实施例中，基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据步骤，包括如下步骤。
步骤S210，针对M幅图像中的每幅图像，基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据。
示例性地，边界一致率数据指的是，预测得到的类别交界位置与对应地真实的类别交界位置之间的偏移程度。
步骤S220，基于图像对应的边界一致率数据，确定图像对应的类别一致率数据。
比如，图像对应的边界一致率数据包括，图像所属类别的起始边界的边界一致率数据和图像所属类别的结束边界的边界一致率数据，那么，图像对应的类别一致率数据可基于图像所属类别的起始边界的边界一致率数据和图像所属类别的结束边界的边界一致率数据确定。
本申请实施例提及的利用图像对应的边界一致率数据确定图像对应的类别一致率数据的方式，能够充分顾及边界处的偏移数据。由于边界处的图像样本相对于非边界处的图像样本更难以被模型学习，因此，本申请实施例能够使模型进一步更多关注到边界图像样本，进而进一步提高训练得到的图像识别模型的识别精准度。
图3所示为本申请一实施例提供的基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据的流程示意图。在图2所示实施例基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图3所示，在本申请实施例中，基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据步骤，包括如下步骤。
步骤S211，基于图像对应的第一类别识别结果，确定图像对应的相邻预测类别的序列信息。
示例性地，图像对应的相邻预测类别的序列信息指的是，图像所属类别对应的相邻预测类别的序列信息。
步骤S212，基于图像对应的类别标签数据，确定图像对应的相邻真实类别的序列信息。
示例性地，图像对应的相邻真实类别的序列信息指的是，图像所属类别对应的相邻真实类别的序列信息。
步骤S213，基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据。
下面结合图4举例说明基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据的具体实现方式。
图4所示为本申请一实施例提供的基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据的流程示意图。具体地，在本申请实施例中，相邻预测类别的序列信息包括图像所属预测类别的中间序列信息和结束序列信息、与图像所属预测类别相邻的下一预测类别的中间序列信息和起始序列信息。相邻真实类别的序列信息包括图像所属真实类别的中间序列信息和结束序列信息、与图像所属真实类别相邻的下一真实类别的中间序列信息和起始序列信息。
此外，如图4所示，基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据步骤，包括如下步骤。
步骤S2131，基于与图像所属预测类别相邻的下一预测类别的起始序列信息、图像所属预测类别的结束序列信息、与所述图像所属真实类别相邻的下一真实类别的起始序列信息和图像所属真实类别的结束序列信息，确定第一偏移数据。
步骤S2132，基于与图像所属预测类别相邻的下一预测类别的中间序列信息、图像所属预测类别的中间序列信息、与所述图像所属真实类别相邻的下一真实类别的中间序列信息和图像所属真实类别的中间序列信息，确定第二偏移数据。
步骤S2133，基于第一偏移数据和第二偏移数据，确定图像对应的边界一致率数据。
示例性地，边界一致率数据可基于下述公式（2）计算得到。
Figure 924027DEST_PATH_IMAGE005
（2）
在公式（2）中，k表示类别，即第k个类别。如果针对待识别图像序列样本共包括四个类别，n表示图像序列的起始部位类别，m表示图像序列的结束部位类别，则n=1，m=4，而k为大于或等于1，且小于4的正整数。
Figure 875803DEST_PATH_IMAGE006
和
Figure 20476DEST_PATH_IMAGE007
表示预测结果的两个相邻部位样本集，可以理解为是上述提及的图像所属类别对应的相邻预测类别的部位样本集。
Figure 665084DEST_PATH_IMAGE008
和
Figure 731260DEST_PATH_IMAGE009
表示真实结果的两个相邻部位样本集，可以理解为是上述提及的图像所属类别对应的相邻真实类别的部位样本集。
具体地，
Figure 486727DEST_PATH_IMAGE010
表示与图像所属预测类别相邻的下一预测类别的起始序列信息（即下一部位的起始位置的序列信息），
Figure 954748DEST_PATH_IMAGE011
表示图像所属预测类别的结束序列信息（即类别为k的部位的结束位置的序列信息）。
Figure 770258DEST_PATH_IMAGE012
表示与图像所属真实类别相邻的下一真实类别的起始序列信息，
Figure 589309DEST_PATH_IMAGE013
表示图像所属真实类别的结束序列信息。
Figure 820570DEST_PATH_IMAGE014
表示与图像所属预测类别相邻的下一预测类别的中间序列信息，
Figure 533311DEST_PATH_IMAGE015
表示图像所属预测类别的中间序列信息（即类别为k的部位的中间位置的序列信息），
Figure 129509DEST_PATH_IMAGE016
表示与图像所属真实类别相邻的下一真实类别的中间序列信息，
Figure 560490DEST_PATH_IMAGE017
图像所属真实类别的中间序列信息。
由此可见，上述公式（2）能够表征预测出的两个类别的交界位置与实际交界位置的偏移程度。
本申请实施例提及的边界一致率数据的确定方式，能够充分利用图像对应的第一类别识别结果和图像对应的类别标签数据之间的差异信息，进而得到能够精准表征相邻类别之间的边界偏移量的边界一致率数据，并为后续模型更多关注到边界图像样本提供了前提条件。
图5所示为本申请一实施例提供的基于图像对应的边界一致率数据，确定图像对应的类别一致率数据的流程示意图。在图2所示实施例基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本申请实施例中，基于图像对应的边界一致率数据，确定图像对应的类别一致率数据步骤，包括如下步骤。
步骤S221，基于待识别图像序列样本对应的层厚信息和/或层间距信息，确定待识别图像序列样本对应的一致率分类区间信息。
步骤S222，基于一致率分类区间信息和图像对应的边界一致率数据，确定图像对应的类别一致率数据。
示例性地，基于待识别图像序列样本对应的层厚信息和/或层间距信息，确定待识别图像序列样本共对应四个一致率分类区间，分别为严重不一致区间（0，a]、一般不一致区间（a，b]、轻微一致区间（b，1）和完全一致区间[1]。并且，四个一致率分类区间各自对应的用于计算图像样本权重的调制系数C为1，0.5，0.1，0。其中，a和b可基于经验值确定。
举例说明，a=1/8，b=1/4，那么，严重不一致区间（0，1/8]、一般不一致区间（1/8，1/4]、轻微一致区间（1/4，1）和完全一致区间[1]。进一步地，如果基于上述公式（2）计算得到的
Figure 533125DEST_PATH_IMAGE018
的值符合1/8<
Figure 365952DEST_PATH_IMAGE019
<1/4，即
Figure 133051DEST_PATH_IMAGE020
落入一般不一致区间。那么，便可得到该边界一致率数据
Figure 254591DEST_PATH_IMAGE021
对应的边界增量系数
Figure 155551DEST_PATH_IMAGE022
。此外，在一些实施例中，边界增量系数亦可以表示为
Figure 452671DEST_PATH_IMAGE023
，即
Figure 780884DEST_PATH_IMAGE024
。
可以理解，在得到边界增量系数之后，便可确定类别一致率数据。比如，可利用下述公式（3）至（5）确定类别一致率数据。
Figure 796245DEST_PATH_IMAGE025
（3）
Figure 766475DEST_PATH_IMAGE026
（4）
Figure 183681DEST_PATH_IMAGE027
（5）
在上述公式（4）和（5）中，
Figure 682795DEST_PATH_IMAGE028
表示类别一致率数据，
Figure 513348DEST_PATH_IMAGE029
。如果
Figure 631477DEST_PATH_IMAGE030
，则基于上述公式（3）确定类别一致率数据，如果
Figure 27823DEST_PATH_IMAGE031
，则基于上述公式（4）确定类别一致率数据，如果
Figure 573205DEST_PATH_IMAGE032
，则基于上述公式（5）确定类别一致率数据。
本公开实施例提及的模型训练方法，通过基于待识别图像序列样本对应的层厚信息和/或层间距信息，确定待识别图像序列样本对应的一致率分类区间信息，基于一致率分类区间信息和图像对应的边界一致率数据，确定图像对应的类别一致率数据的方式，实现了基于图像对应的边界一致率数据，确定图像对应的类别一致率数据的目的。由于待识别图像序列样本对应的一致率分类区间信息是基于待识别图像序列样本对应的层厚信息和/或层间距信息确定的，因此，本公开实施例能够基于待识别图像序列样本对应的一致率分类区间信息建立待识别图像序列样本对应的层厚信息和/或层间距信息与图像对应的边界一致率数据之间的关联关系，进而能够使所确定的图像对应的类别一致率数据涉及层厚信息和/或层间距信息的权重影响因素，从而进一步提高所确定的图像对应的类别一致率数据的精准度。
图6所示为本申请一实施例提供的基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据的流程示意图。在图1所示实施例基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本申请实施例中，基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据步骤，包括如下步骤。
步骤S310，确定M幅图像各自对应的高斯分布概率权重数据。
示例性地，图像对应的高斯分布概率权重数据基于图像所属类别包含的所有图像样本的高斯分布概率确定。
比如，图像对应的高斯分布概率权重数据B基于下述公式（6）确定。
Figure 687791DEST_PATH_IMAGE033
（6）
在公式（6）中，
Figure 344032DEST_PATH_IMAGE034
表示图像样本，
Figure 860464DEST_PATH_IMAGE035
表示基于图像样本的高斯分布概率公式。
进一步地，在一些实施例中，针对M幅图像中的每幅图像，基于图像所属真实类别包含的图像数量确定高斯半径，以图像所属真实类别的中心序列信息作为分布的均值，得到高斯分布概率权重数据。示例性地，图像对应的高斯分布概率权重数据B基于下述公式（7）确定。
Figure 842326DEST_PATH_IMAGE036
（7）
在公式（7）中，x表示真实标签中当前样本距离样本所在类的中间位置的距离，
Figure 444209DEST_PATH_IMAGE037
表示以图像（又称图像样本）所属真实类别的中心序列信息作为分布的均值，
Figure 904140DEST_PATH_IMAGE038
表示将图像所属真实类别包含的图像数量总数的一半作为高斯半径。需要说明的是，结合上述公式可知，
Figure 275079DEST_PATH_IMAGE039
与当前类别对应的两个边界一致率相关。如果当前类别对应的边界一致率相同，则
Figure 490159DEST_PATH_IMAGE040
，即正太分布曲线的中心不偏移。如果不同，则正太分布曲线的中心向边界一致率大的一侧偏移，以便最终减小该侧的图像样本的分配权重，进而使错误样本更好地被学习。
步骤S320，基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据。
下面结合图7进一步举例说明基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据的具体实现方式。
图7所示为本申请一实施例提供的基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据的流程示意图。在图6所示实施例基础上延伸出图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之处，相同之处不再赘述。
如图7所示，在本申请实施例中，基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据步骤，包括如下步骤。
步骤S321，基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第一增量权重数据。
步骤S322，基于M幅图像各自对应的第一增量权重数据和第一类别分配权重数据，确定M幅图像各自对应的第二类别分配权重数据。
示例性地，当前训练轮次的类别分配权重数据
Figure 189125DEST_PATH_IMAGE041
（又可称为当前训练轮次的难易权重增量数据）可基于下述公式（8）确定。可以理解，步骤S320中提及的第二类别分配权重数据即为
Figure 577381DEST_PATH_IMAGE042
。
Figure 943772DEST_PATH_IMAGE043
（8）
在公式（8）中，
Figure 329754DEST_PATH_IMAGE044
表示第一增量权重数据，1表示第一类别分配权重数据（可以理解为，初始类别分配权重数据为1）。
相对来说，越靠近所属类别的边缘的图像，越难以被模型很好地学习。因此，本申请实施例基于高斯分布概率权重数据使靠近所属类别的边缘的图像被赋予较大增量值，相对地，靠近所属类别的中心的图像被赋予较小增量值，以便模型能够更好地学习靠近所属类别的边缘的图像的特征。也就是说，所确定的M幅图像各自对应的第二类别分配权重数据充分顾及了图像序列的时序序列特征。
图8所示为本申请一实施例提供的基于M幅图像各自对应的第二类别分配权重数据训练第二识别模型，得到图像识别模型的流程示意图。在图1所示实施例基础上延伸出图8所示实施例，下面着重叙述图8所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图8所示，在本申请实施例中，基于M幅图像各自对应的第二类别分配权重数据训练第二识别模型，得到图像识别模型步骤，包括如下步骤。
步骤S410，基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到第二识别模型。
步骤S420，利用第二识别模型，确定M幅图像各自对应的第二类别识别结果。
步骤S430，基于M幅图像各自对应的类别标签数据和第二类别识别结果，得到M幅图像各自对应的当前类别分配权重数据。
步骤S440，基于M幅图像各自对应的第一类别分配权重数据、第二类别分配权重数据和当前类别分配权重数据，确定M幅图像各自对应的第三类别分配权重数据。
示例性地，针对M幅图像中的每幅图像，该图像对应的第三类别分配权重数据，是通过对该图像对应的第一类别分配权重数据、第二类别分配权重数据和当前类别分配权重数据进行历史平均值计算的方式得到的。换句话说，该图像对应的第三类别分配权重数据，是通过对该图像对应的历史类别分配权重数据进行平均值计算的方式得到的。也就是说，下一训练轮次的类别分配权重数据，是通过对下一训练轮次之前的所有训练轮次（包括当前训练轮次）各自对应的类别分配权重数据进行平均值计算的方式得到的。
步骤S450，基于M幅图像各自对应的第三类别分配权重数据训练第二识别模型，得到图像识别模型。
本申请实施例能够防止再分配权重时训练轮次的随机性对权重分配的影响，进而提高所得到的图像识别模型的鲁棒性。
需要说明的是，在实际应用过程中，步骤S450的具体实现方式可以为，再得到第三识别模型、第四识别模型、第五识别模型等等，然后不断利用得到的中间模型确定的类别识别结果计算得到当前训练轮次的类别一致率数据，进而利用当前训练轮次的类别一致率数据修正M幅图像各自对应的类别分配权重数据，直至得到收敛的图像识别模型。
此外，可以理解，在基于M幅图像各自对应的第三类别分配权重数据训练第二识别模型，得到图像识别模型的步骤中，基于每次当前训练轮次训练结束后得到的新的识别模型（比如第四识别模型），均可基于该新的识别模型输出的M幅图像各自对应的类别识别结果和M幅图像各自对应的类别标签数据，得到M幅图像各自对应的新的类别一致率数据（可视为下一训练轮次的类别一致率数据），进而基于M幅图像各自对应的新的类别一致率数据继续下一训练轮次的训练，如此循环迭代，直至得到收敛的图像识别模型。
图9所示为本申请一实施例提供的图像识别方法的流程示意图。如图9所示，本申请实施例提供的图像识别方法包括如下步骤。
步骤S500，确定图像识别模型。
示例性地，图像识别模型基于上述实施例提及的模型训练方法训练得到。
步骤S600，利用图像识别模型，确定待识别图像序列中的图像各自对应的类别识别结果。
示例性地，待识别图像序列为三维医学图像序列，对应地，类别识别结果为部位识别结果。
本申请实施例利用图像识别模型，实现了精准地确定待识别图像序列中的图像各自对应的类别识别结果的目的。
上文结合图1至图9，详细描述了本申请的方法实施例，下面结合图10至图12，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图10所示为本申请一实施例提供的模型训练装置的结构示意图。如图10所示，本申请实施例提供的模型训练装置包括第一确定模块100、第二确定模块200、第三确定模块300和训练模块400。具体地，第一确定模块100用于利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定M幅图像各自对应的第一类别识别结果。第二确定模块200用于基于M幅图像各自对应的类别标签数据和第一类别识别结果，确定M幅图像各自对应的类别一致率数据。第三确定模块300用于基于M幅图像各自对应的类别一致率数据，确定M幅图像各自对应的第二类别分配权重数据。训练模块400用于基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到图像识别模型。
在一些实施例中，第二确定模块200还用于，针对M幅图像中的每幅图像，基于图像对应的类别标签数据和第一类别识别结果，确定图像对应的边界一致率数据，基于图像对应的边界一致率数据，确定图像对应的类别一致率数据。
在一些实施例中，第二确定模块200还用于，基于图像对应的第一类别识别结果，确定图像对应的相邻预测类别的序列信息，基于图像对应的类别标签数据，确定图像对应的相邻真实类别的序列信息，基于图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定图像对应的边界一致率数据。
在一些实施例中，相邻预测类别的序列信息包括图像所属预测类别的中间序列信息和结束序列信息、与图像所属预测类别相邻的下一预测类别的中间序列信息和起始序列信息，相邻真实类别的序列信息包括图像所属真实类别的中间序列信息和结束序列信息、与图像所属真实类别相邻的下一真实类别的中间序列信息和起始序列信息。此外，第二确定模块200还用于，基于与图像所属预测类别相邻的下一预测类别的起始序列信息、图像所属预测类别的结束序列信息、与图像所属真实类别相邻的下一真实类别的起始序列信息和图像所属真实类别的结束序列信息，确定第一偏移数据，基于与图像所属预测类别相邻的下一预测类别的中间序列信息、图像所属预测类别的中间序列信息、与图像所属真实类别相邻的下一真实类别的中间序列信息和图像所属真实类别的中间序列信息，确定第二偏移数据，基于第一偏移数据和第二偏移数据，确定图像对应的边界一致率数据。
在一些实施例中，第二确定模块200还用于，基于待识别图像序列样本对应的层厚信息和/或层间距信息，确定待识别图像序列样本对应的一致率分类区间信息，基于一致率分类区间信息和图像对应的边界一致率数据，确定图像对应的类别一致率数据。
在一些实施例中，第三确定模块300还用于，确定M幅图像各自对应的高斯分布概率权重数据，基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第二类别分配权重数据。
在一些实施例中，第三确定模块300还用于，基于M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定M幅图像各自对应的第一增量权重数据，基于M幅图像各自对应的第一增量权重数据和第一类别分配权重数据，确定M幅图像各自对应的第二类别分配权重数据。
在一些实施例中，训练模块400还用于，基于M幅图像各自对应的第二类别分配权重数据训练第一识别模型，得到第二识别模型，利用第二识别模型，确定M幅图像各自对应的第二类别识别结果，基于M幅图像各自对应的类别标签数据和第二类别识别结果，得到M幅图像各自对应的当前类别分配权重数据，基于M幅图像各自对应的第一类别分配权重数据、第二类别分配权重数据和当前类别分配权重数据，确定M幅图像各自对应的第三类别分配权重数据。
图11所示为本申请一实施例提供的图像识别装置的结构示意图。如图11所示，本申请实施例提供的图像识别装置包括模型确定模块500和识别结果确定模块600。具体地，模型确定模块500用于确定图像识别模型。识别结果确定模块600用于利用图像识别模型，确定待识别图像序列中的图像各自对应的类别识别结果。
下面，参考图12来描述根据本申请实施例的电子设备。图12所示为本申请一实施例提供的电子设备的结构示意图。
如图12所示，电子设备70包括一个或多个处理器710和存储器720。
处理器710可以是中央处理单元（Central Processing Unit，CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备70中的其他组件以执行期望的功能。
存储器720可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（Random Access Memory，RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（Read-Only Memory，ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器710可以运行程序指令，以实现上文提及的本申请的各个实施例的模型训练方法、图像识别方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如待识别图像序列样本等各种内容。
在一个示例中，电子设备70还可以包括：输入装置730和输出装置740，这些组件通过总线***和/或其他形式的连接机构（未示出）互连。
该输入装置730可以包括例如键盘、鼠标等等。
该输出装置740可以向外部输出各种信息，包括类别识别结果等。该输出装置740可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图12中仅示出了该电子设备70中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的模型训练方法、图像识别方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的模型训练方法、图像识别方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read-OnlyMemory，EPROM或闪存）、光纤、便携式紧凑盘只读存储器（Compact Disc Read-OnlyMemory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种模型训练方法，其特征在于，包括：
利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定所述M幅图像各自对应的第一类别识别结果；
基于所述M幅图像各自对应的类别标签数据和第一类别识别结果，确定所述M幅图像各自对应的类别一致率数据；
基于所述M幅图像各自对应的类别一致率数据，确定所述M幅图像各自对应的第二类别分配权重数据；
基于所述M幅图像各自对应的第二类别分配权重数据训练所述第一识别模型，训练n轮后得到图像识别模型，其中，所述图像识别模型用于确定待识别图像序列中的图像各自对应的类别识别结果；
其中，所述基于所述M幅图像各自对应的类别一致率数据，确定所述M幅图像各自对应的第二类别分配权重数据，包括：确定所述M幅图像各自对应的高斯分布概率权重数据；基于所述M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定所述M幅图像各自对应的第二类别分配权重数据。
2.根据权利要求1所述的模型训练方法，其特征在于，所述基于所述M幅图像各自对应的类别标签数据和第一类别识别结果，确定所述M幅图像各自对应的类别一致率数据，包括：
针对所述M幅图像中的每幅图像，
基于所述图像对应的类别标签数据和第一类别识别结果，确定所述图像对应的边界一致率数据；
基于所述图像对应的边界一致率数据，确定所述图像对应的类别一致率数据。
3.根据权利要求2所述的模型训练方法，其特征在于，所述基于所述图像对应的类别标签数据和第一类别识别结果，确定所述图像对应的边界一致率数据，包括：
基于所述图像对应的第一类别识别结果，确定所述图像对应的相邻预测类别的序列信息；
基于所述图像对应的类别标签数据，确定所述图像对应的相邻真实类别的序列信息；
基于所述图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定所述图像对应的边界一致率数据。
4.根据权利要求3所述的模型训练方法，其特征在于，所述相邻预测类别的序列信息包括所述图像所属预测类别的中间序列信息和结束序列信息、与所述图像所属预测类别相邻的下一预测类别的中间序列信息和起始序列信息，所述相邻真实类别的序列信息包括所述图像所属真实类别的中间序列信息和结束序列信息、与所述图像所属真实类别相邻的下一真实类别的中间序列信息和起始序列信息，
其中，所述基于所述图像对应的相邻预测类别的序列信息、相邻真实类别的序列信息，确定所述图像对应的边界一致率数据，包括：
基于所述与所述图像所属预测类别相邻的下一预测类别的起始序列信息、所述图像所属预测类别的结束序列信息、所述与所述图像所属真实类别相邻的下一真实类别的起始序列信息和所述图像所属真实类别的结束序列信息，确定第一偏移数据；
基于所述与所述图像所属预测类别相邻的下一预测类别的中间序列信息、所述图像所属预测类别的中间序列信息、所述与所述图像所属真实类别相邻的下一真实类别的中间序列信息和所述图像所属真实类别的中间序列信息，确定第二偏移数据；
基于所述第一偏移数据和所述第二偏移数据，确定所述图像对应的边界一致率数据。
5.根据权利要求2至4任一项所述的模型训练方法，其特征在于，所述图像对应的边界一致率数据，确定所述图像对应的类别一致率数据，包括：
基于所述待识别图像序列样本对应的层厚信息和/或层间距信息，确定所述待识别图像序列样本对应的一致率分类区间信息；
基于所述一致率分类区间信息和所述图像对应的边界一致率数据，确定所述图像对应的类别一致率数据。
6.根据权利要求1所述的模型训练方法，其特征在于，所述确定所述M幅图像各自对应的高斯分布概率权重数据，包括：
针对所述M幅图像中的每幅图像，基于所述图像所属真实类别包含的图像数量确定高斯半径，以所述图像所属真实类别的中心序列信息作为分布的均值，得到所述高斯分布概率权重数据。
7.根据权利要求1所述的模型训练方法，其特征在于，基于所述M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定所述M幅图像各自对应的第二类别分配权重数据，包括：
基于所述M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定所述M幅图像各自对应的第一增量权重数据；
基于所述M幅图像各自对应的第一增量权重数据和第一类别分配权重数据，确定所述M幅图像各自对应的第二类别分配权重数据。
8.根据权利要求1至4任一项所述的模型训练方法，其特征在于，所述基于所述M幅图像各自对应的第二类别分配权重数据训练所述第一识别模型，训练n轮后得到图像识别模型，包括：
基于所述M幅图像各自对应的第二类别分配权重数据训练所述第一识别模型，得到第二识别模型；
利用所述第二识别模型，确定所述M幅图像各自对应的第二类别识别结果；
基于所述M幅图像各自对应的类别标签数据和第二类别识别结果，得到所述M幅图像各自对应的当前类别分配权重数据；
基于所述M幅图像各自对应的第一类别分配权重数据、第二类别分配权重数据和当前类别分配权重数据，确定所述M幅图像各自对应的第三类别分配权重数据；
基于所述M幅图像各自对应的第三类别分配权重数据训练所述第二识别模型，得到所述图像识别模型。
9.一种图像识别方法，其特征在于，包括：
确定图像识别模型，所述图像识别模型基于上述权利要求1至8任一项所述的模型训练方法训练得到；
利用所述图像识别模型，确定待识别图像序列中的图像各自对应的类别识别结果。
10.一种模型训练装置，其特征在于，包括：
第一确定模块，用于利用第一识别模型，基于M幅图像各自对应的第一类别分配权重数据确定所述M幅图像各自对应的第一类别识别结果；
第二确定模块，用于基于所述M幅图像各自对应的类别标签数据和第一类别识别结果，确定所述M幅图像各自对应的类别一致率数据；
第三确定模块，用于基于所述M幅图像各自对应的类别一致率数据，确定所述M幅图像各自对应的第二类别分配权重数据，其中，所述基于所述M幅图像各自对应的类别一致率数据，确定所述M幅图像各自对应的第二类别分配权重数据，包括：确定所述M幅图像各自对应的高斯分布概率权重数据；基于所述M幅图像各自对应的类别一致率数据和高斯分布概率权重数据，确定所述M幅图像各自对应的第二类别分配权重数据；
训练模块，用于基于所述M幅图像各自对应的第二类别分配权重数据训练所述第一识别模型，训练n轮后得到图像识别模型，其中，所述图像识别模型用于确定待识别图像序列中的图像各自对应的类别识别结果。
11.一种图像识别装置，其特征在于，包括：
模型确定模块，用于确定图像识别模型，所述图像识别模型基于上述权利要求1至8任一项所述的模型训练方法训练得到；
识别结果确定模块，用于利用所述图像识别模型，确定待识别图像序列中的图像各自对应的类别识别结果。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至9任一项所述的方法。
13.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至9任一项所述的方法。
CN202111035290.XA 2021-09-06 2021-09-06 模型训练方法及装置、图像识别方法及装置 Active CN113505859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111035290.XA CN113505859B (zh) 2021-09-06 2021-09-06 模型训练方法及装置、图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111035290.XA CN113505859B (zh) 2021-09-06 2021-09-06 模型训练方法及装置、图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN113505859A CN113505859A (zh) 2021-10-15
CN113505859B true CN113505859B (zh) 2021-12-28

Family

ID=78016316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111035290.XA Active CN113505859B (zh) 2021-09-06 2021-09-06 模型训练方法及装置、图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN113505859B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028880B (zh) * 2023-02-07 2023-07-04 支付宝(杭州)信息技术有限公司 训练行为意图识别模型的方法、行为意图识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及***
CN111523621A (zh) * 2020-07-03 2020-08-11 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及***
CN111814835A (zh) * 2020-06-12 2020-10-23 理光软件研究所（北京）有限公司 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN111523621A (zh) * 2020-07-03 2020-08-11 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113505859A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN109271958B (zh) 人脸年龄识别方法及装置
CN112269769B (zh) 数据压缩方法、装置、计算机设备及存储介质
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN108647571B (zh) 视频动作分类模型训练方法、装置及视频动作分类方法
CN113408674B (zh) 模型训练方法及装置、图像识别方法及装置
CN110942248B (zh) 交易风控网络的训练方法及装置、交易风险检测方法
KR102570070B1 (ko) 일반화된 사용자 모델을 이용한 사용자 인증 방법 및 장치
JP6172317B2 (ja) 混合モデル選択の方法及び装置
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
CN111784699B (zh) 一种对三维点云数据进行目标分割方法、装置及终端设备
CN113505859B (zh) 模型训练方法及装置、图像识别方法及装置
CN111652371A (zh) 一种离线强化学习网络训练方法、装置、***及存储介质
CN108549857B (zh) 事件检测模型训练方法、装置及事件检测方法
CN113095333A (zh) 无监督特征点检测方法及装置
CN111191722B (zh) 通过计算机训练预测模型的方法及装置
CN114547917A (zh) 仿真预测方法、装置、设备及存储介质
CN110765843A (zh) 人脸验证方法、装置、计算机设备及存储介质
CN109783769B (zh) 一种基于用户项目评分的矩阵分解方法和装置
CN111275059B (zh) 一种图像处理方法、装置和计算机可读存储介质
CN112465805A (zh) 用于钢筋冲压折弯的质量检测的神经网络的训练方法
Chandramohan et al. Sparse approximate dynamic programming for dialog management
CN116541507A (zh) 一种基于动态语义图神经网络的视觉问答方法及***
CN114970732A (zh) 分类模型的后验校准方法、装置、计算机设备及介质
US20240020531A1 (en) System and Method for Transforming a Trained Artificial Intelligence Model Into a Trustworthy Artificial Intelligence Model
CN116391193B (zh) 以基于能量的潜变量模型为基础的神经网络的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant