CN111931912A - 网络模型的训练方法及装置，电子设备及存储介质 - Google Patents

网络模型的训练方法及装置，电子设备及存储介质 Download PDF

Info

Publication number
CN111931912A
CN111931912A CN202010789650.4A CN202010789650A CN111931912A CN 111931912 A CN111931912 A CN 111931912A CN 202010789650 A CN202010789650 A CN 202010789650A CN 111931912 A CN111931912 A CN 111931912A
Authority
CN
China
Prior art keywords
iteration
ith
sample set
training sample
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010789650.4A
Other languages
English (en)
Inventor
简伟健
赵朝炜
王瑜
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoxiang Technology Co ltd
Beijing Infervision Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN202010789650.4A priority Critical patent/CN111931912A/zh
Publication of CN111931912A publication Critical patent/CN111931912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种网络模型的训练方法及装置，电子设备及存储介质。该训练方法包括：根据第i‑1次迭代的训练样本集，通过不同的多个第i‑1网络模型，预测第i‑1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，当i‑1＝0时，第i‑1次迭代的训练样本集为初始训练样本集，多个第i‑1网络模型为初始网络模型；根据多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本；根据滤除第i次迭代的不确定样本的第i次迭代的训练样本集，更新多个第i‑1网络模型的网络参数，获得多个第i网络模型；迭代执行上述步骤至第n次迭代，获得训练完成的网络模型，i为大于或等于1且小于或等于n的整数，n为大于或等于2的整数，训练样本集包括多个医学图像样本。

Description

网络模型的训练方法及装置，电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种网络模型的训练方法及装置，电子设备及存储介质。
背景技术
医学图像种类丰富、数据量庞大，数据标注需要专业的医学知识，难度很高。常见的医学图像，如CT或MRI，医生一般是观看断层二维图像，这在某种程度上使医生不易直观的从多个视角对目标部位进行观察分析，进一步提高了标注难度。另外，图像质量不佳，病变部位不明显，很容易造成医学图像的标注缺失。标注缺失是指把部分正样本当作了负样本，比如，对于网络模型的分割任务，原本是前景的正样本的区域被标记为背景的负样本，对于网络模型的检测任务，原本是标记框中的正样本被标记为标记框外的负样本，这样会增加网络模型的漏诊率。
发明内容
有鉴于此，本申请的实施例致力于提供一种网络模型的训练方法及装置，电子设备及存储介质，能够有效降低网络模型的漏诊率，并提高网络模型的查全率。
根据本申请实施例的第一方面，提供了一种网络模型的训练方法，包括：根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，当i-1＝0时，所述第i-1次迭代的训练样本集为初始训练样本集，所述多个第i-1网络模型为初始网络模型；根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本；根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型；迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，其中，所述i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数，所述训练样本集包括多个医学图像样本。
在一个实施例中，所述根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，包括：将所述第i-1次迭代的训练样本集输入所述多个第i-1网络模型中，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，一个第i-1网络模型对应一个第i概率值。
在一个实施例中，所述根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本，包括：根据所述多个第i-1网络模型对应的加权值，计算所述多个第i概率值的第i加权平均值；将所述第i加权平均值小于所述第i预设阈值的负样本确定为所述第i次迭代的不确定样本。
在一个实施例中，所述方法还包括：对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集；将所述训练样本集和所述数据扩充后的训练样本集确定为所述初始训练样本集，其中，所述初始训练样本集中的每个负样本对应多个类型不同的子负样本。
在一个实施例中，所述对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集，包括：对所述训练样本集中的每个样本进行仿射变换、弹性形变、数据增强、伽马变换中的至少一项数据扩充操作，以获得所述数据扩充后的训练样本集。
在一个实施例中，所述根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，包括：根据所述第i-1次迭代的训练样本集，通过所述多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本对应的多个类型不同的子负样本为负样本的多个第i概率值，其中，一个第i-1网络模型对应多个第i子概率值，一个第i子概率值对应一个子负样本，所述多个第i子概率值对应一个第i概率值。
在一个实施例中，所述根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本，包括：对所述多个第i子概率值进行均值计算，以获得所述第i-1次迭代的训练样本集中的每个负样本的第i平均值，其中，所述多个第i-1网络模型对应多个第i平均值；根据所述多个第i-1子网络模型对应的加权值和所述多个第i平均值，计算所述多个第i概率值的第i总平均值；将所述第i总平均值小于所述第i预设阈值的负样本确定为所述第i次迭代的不确定样本。
在一个实施例中，所述根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型，包括：从所述第i-1次迭代的训练样本集中滤除所述第i次迭代的不确定样本，获得所述第i次迭代的训练样本集；根据所述第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得所述多个第i网络模型。
在一个实施例中，所述迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，包括：迭代执行上述步骤至第n次迭代，直到迭代的次数n大于多个第n-1网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量时，停止迭代；根据第n次迭代的训练样本集，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
在一个实施例中，所述方法还包括：获取第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本，其中，所述困难样本为负样本。
在一个实施例中，所述迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，包括：迭代执行上述步骤至第n次迭代，直到迭代的次数n大于多个第n-1网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量时，停止迭代；根据第n次迭代的训练样本集和所述困难样本，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
在一个实施例中，所述获取第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本，包括：根据第1次迭代至第n次迭代中的至少一次迭代的不确定样本，通过所述多个第i-1网络模型，预测第1次迭代至第n次迭代中的至少一次迭代的不确定样本为负样本的概率值；将所述概率值大于预设概率阈值的不确定样本确定为所述困难样本。
根据本申请实施例的第二方面，提供了一种网络模型的训练装置，包括：预测模块，配置为根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，当i-1＝0时，所述第i-1次迭代的训练样本集为初始训练样本集，所述多个第i-1网络模型为初始网络模型；确定模块，配置为根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本；更新模型，配置为根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型；迭代模块，配置为迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，其中，i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数。
在一个实施例中，所述装置还包括：用于执行上述实施例提及的网络模型的训练方法中的各个步骤的模块。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于上述任一实施例所述的网络模型的训练方法。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的网络模型的训练方法。
本申请的实施例所提供的一种网络模型的训练方法，通过确定训练样本集中的不确定的负样本(即，标注缺失的正样本)，可以将不确定样本从训练样本集中滤除，再以滤除不确定样本的训练样本集对网络模型进行重新训练，从而能够有效降低网络模型的漏诊率，并提高网络模型的查全率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所提供的一种实施环境的示意图。
图2所示为本申请一个实施例提供的网络模型的训练方法的流程示意图。
图3所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。
图4a所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。
图4b所示为本申请一个实施例提供的多个网络模型对预测结果进行集成的一个示例。
图5所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。
图6所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。
图7所示为本申请又一个实施例提供的网络模型的训练方法的流程示意图。
图8所示为本发明一个实施例提供的网络模型的训练装置的框图。
图9所示为本发明一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
申请概述
CT(Computed Tomography)就是指电子计算机断层扫描，脑出血(cerebralhemorrhage)是指非外伤性脑实质内血管破裂引起的出血，占全部脑卒中的20％～30％，虽然在脑卒中患者中的比例不高，但是脑出血急性期病死率为30％～40％，大部分死亡发生在发病两周内，幸存者中多数留有不同程度的运动障碍、认知障碍、言语吞咽障碍等后遗症。CT平扫作为脑卒中检查的必备技术，除了鉴别缺血性脑卒中和出血性脑卒中之外，还有一些细微征象可以预测脑出血是否会扩大，对于治疗方案确定和预后判断都有帮助。
深度学习通过建立具有阶层结构的人工神经网络，在计算***中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
在机器学习的有监督学习算法中，目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时只能得到多个有偏好的模型(即，弱监督模型，其在某些方面表现的比较好)。集成学习就是组合多个弱监督模型，以期得到一个更好更全面的强监督模型，集成学习潜在的思想是：由于强监督模型拥有来自多个弱监督模型的更好的泛化能力，因此，即便某一个弱监督模型得到了错误的预测，其他的弱监督模型也可以将错误纠正回来，从而所得到的预测结果比单个弱监督模型更加准确。
数据标注是通过数据加工人员借助类似于labelimage这样的标记工具，对人工智能学习数据进行加工的一种行为。通常数据标注的类型包括：图像标注、语音标注、文本标注、视频标注等种类。标记的基本形式有标注画框、3D画框、文本转录、图像打点、目标物体轮廓线等。标注缺失是指在标注过程中，由于人为或者数据质量不佳造成某些数据标注遗漏的现象，也就是把某些正样本当做负样本的现象。
虽然现有的集成学习在提升网络模型的预测效果非常有效，但是仍无法处理存在标注缺失的情况，即，如果把部分正样本当作了负样本，集成学习所得到的网络模型也会继续学习错误的标注，将正样本的特征学习为负样本的特征。
例如，对于肺结节检测的标注，由于肺部断层很多，医生需要翻阅很多层进行判断，加上某些结节体积很小，在断层上不明显，医生在长时间工作的情况下难免会遗漏。又如气管分割的标注，由于4级以上的气管很细，如果精细划分这部分的气管，会大大增加医生标注的工作量，所以级数较高的气管不可避免会缺失。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***
图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从CT扫描仪130处获取医学图像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
CT扫描仪130用于对人体组织进行X线扫描，得到人体组织的CT图像，即，本申请中的医学图像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，服务器120接收计算机设备110采集到的训练样本，并通过训练样本对不同的多个网络模型进行训练，以得到训练完成的网络模型。但本申请实施例对此不加以限定，在另一些可选的实施例中，计算机设备110采集训练样本，并且通过训练样本对不同的多个网络模型进行训练，以得到训练完成的网络模型。
基于图1所示的***架构，本申请实施例提供的方法可应用于各种医学图像的计算机视觉任务。
示例性方法
图2是本申请一个实施例提供的网络模型的训练方法的流程示意图。图2所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图2所示，该方法包括如下内容。
S210：根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，当i-1＝0时，所述第i-1次迭代的训练样本集为初始训练样本集，所述多个第i-1网络模型为初始网络模型。
该训练样本集包括多个医学图像样本，该医学图像可以为肺部图像、脑部图像、心脏图像等，本申请实施例对此不作具体限定。
在一实施例中，当i-1＝0时，第i-1次迭代的训练样本集为初始训练样本集，多个第i-1网络模型为初始网络模型，初始网络模型也包括多个网络模型。但是本申请实施例并不限定i-1的具体取值，还可以为任意正整数。
该多个网络模型是类型不同的模型，该多个网络模型之间的差异越大，对该多个网络模型进行集成学习后所得到的网络模型的集成效果越好。该多个网络模型的生成策略可以有：a、采用不同的超参数；b、使用不同的损失函数；c、设计不同的网络结构，如采用resnet，densenet，senet等结构；d、采用不同的网络，如采用卷积神经网络(ConvolutionalNeural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，但是本申请实施例对该多个网络模型的生成策略不作具体限定。
在一实施例中，通过多个第i-1网络模型，可以预测出第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，即，只针对训练样本集中的负样本进行预测，来预测其为负样本的概率值。针对同一个负样本，每一轮迭代均可以得到多个概率值，多轮迭代所得到的多个概率值是不相同的。
即便某多个网络模型中的一个网络模型得到了错误的负样本的预测，多个网络模型中的其他的网络模型也可以将错误纠正回来，从而所得到的负样本的预测结果比单个网络模型更加准确。但是本申请实施例并不具体限定多个网络模型的具体个数，可以根据不同应用场景进行选择。
S220：根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本。
在一实施例中，将多个第i概率值与第i预设阈值进行比较，可以获得第i次迭代的不确定样本，即，根据上一次迭代的训练样本集，通过上一次迭代的多个网络模型，可以得到本次迭代的不确定样本。
每一轮迭代均对应一个预设阈值，每一轮迭代对应的预设阈值是不相同的。随着迭代次数的不断增加，可以不断地降低预设阈值的大小，以便于得到更多确定的负样本，从而在保证查全率的基础上提高模型的查准率。但是，本申请实施例并不限定每一轮迭代对应的预设阈值的具体取值，可以根据不同应用场景进行选择。
该不确定样本可以包括标注缺失的正样本(即，不确定的负样本)，即，标记的时候将该不确定样本标记为负样本，但是实际上该不确定样本是正样本；该标记缺失的样本还可以包括难于学习的负样本(即，困难样本)，即，标记的时候将该不确定样本标记为负样本，实际上该不确定样本也的确是负样本，只是对模型而言，该不确定样本难于进行学习。
S230：根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型。
在一实施例中，根据滤除第i次迭代的不确定样本的第i次迭代的训练样本集，重新训练多个第i-1网络模型，以重新更新多个第i-1网络模型的网络参数，从而获得新的多个第i网络模型。即，根据上一次迭代的训练样本集，通过上一次迭代的多个网络模型，可以得到本次迭代的不确定样本，再根据本次迭代的不确定样本来得到本次迭代的训练样本集，最后根据本次迭代的训练样本集来重新训练上次迭代的多个网络模型，以更新上次迭代的多个网络模型的网络参数，从而获得本次迭代的多个网络模型。
在重新训练过程中，可以采用较强的正则化训练方法，比如，使用较大的weightdecay系数，较大的dropout率，使得多个网络模型的泛化能力更好，不会在训练样本集中仍存在的不确定的负样本和/或者难于学习的负样本上过拟合。
S240：迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，其中，i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数。
在一实施例中，迭代执行上述步骤S210、S220以及S230至第n次迭代，可以获得训练完成的网络模型，该训练完成的网络模型是由训练完成的多个类型不同的网络模型集成所得。
上述迭代的过程至少包括两轮迭代，即，第1次迭代：根据初始训练样本集，获得第一次迭代的不确定样本，再根据滤除第一次迭代的不确定样本的第一次迭代的训练样本集，来重新训练初始网络模型，以得到多个第一次迭代的网络模型；第2次迭代：再根据滤除第一次迭代的不确定样本的第一次迭代的训练样本集，获得第二次迭代的不确定样本，再根据滤除第二次迭代的不确定样本的第二次迭代的训练样本集，来重新训练多个第一次迭代的网络模型，以得到多个第二次迭代的网络模型。以此类推，完成n次迭代，从而获得训练完成的网络模型。
由此可见，通过确定训练样本集中的不确定的负样本(即，标注缺失的正样本)，可以将不确定样本从训练样本集中滤除，再以滤除不确定样本的训练样本集对网络模型进行重新训练，从而能够有效降低网络模型的漏诊率，并提高网络模型的查全率。
医学图像标注往往存在标签缺失等情况，利用包含不确定样本的数据进行模型训练，会造成模型召回率较低。通过执行上述步骤，可以让模型预测过程中漏诊情况大大降低，提高模型的鲁棒性；另外，由于允许标注缺失的情况，可以有效降低医生标注数据的工作量。
在本申请另一个实施例中，所述根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，包括：将所述第i-1次迭代的训练样本集输入所述多个第i-1网络模型中，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，一个第i-1网络模型对应一个第i概率值。
将第i-1次迭代的训练样本集分别输入多个第i-1网络模型中，一个第i-1网络模型可以预测第i-1次迭代的训练样本集中的负样本为负样本的一个第i概率值，多个第i-1网络模型可以预测第i-1次迭代的训练样本集中的负样本为负样本的多个第i概率值。例如，针对同一个负样本，多个第i-1网络模型中的一个网络模型预测该负样本为负样本的概率为80％，多个第i-1网络模型中的另一个网络模型预测该负样本为负样本的概率为85％，多个第i-1网络模型中的再一个网络模型预测该负样本为负样本的概率为90％，以此类推，预测得到多个第i概率值。
在本申请另一个实施例中，所述根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本，包括：根据所述多个第i-1网络模型对应的加权值，计算所述多个第i概率值的第i加权平均值；将所述第i加权平均值小于所述第i预设阈值的负样本确定为所述第i次迭代的不确定样本。
多个第i-1网络模型中的每个第i-1网络模型均对应一个加权值。假设多个第i-1网络模型的个数为X个，一个第i-1网络模型对应的第i概率值为px，一个第i-1网络模型对应的加权值为wx，那么多个第i概率值的第i加权平均值为
Figure BDA0002623306100000101
针对同一个负样本，每一轮迭代均可以得到一个加权平均值，多轮迭代所得到的多个加权平均值是不相同的。
将第i加权平均值与第i预设阈值进行比较，当第i加权平均值小于第i预设阈值时，将与之对应的负样本确定为第i次迭代的不确定样本。由于第i-1次迭代的训练样本集中的第i加权平均值小于第i预设阈值的负样本可能会有很多个，所以第i次迭代的不确定样本的个数也可以有很多个，但是本申请实施例并不限定第i次迭代的不确定样本的具体个数。
在本申请另一个实施例中，如图3所示，图2所示的方法还包括如下内容。
S310：对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集。
为提高数据的利用率，使得训练得到的网络模型的鲁棒性更高，可以对训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集。
S320：将所述训练样本集和所述数据扩充后的训练样本集确定为所述初始训练样本集，其中，所述初始训练样本集中的每个负样本对应多个类型不同的子负样本。
在一实施例中，可以将训练样本集(即，未经数据扩充的训练样本集)和数据扩充后的训练样本集确定为初始训练样本集，即，如果针对训练样本集进行三次数据扩充，那么数据扩充后的训练样本集的样本数量为三倍的未经数据扩充的训练样本集的样本数量。这样所得到的初始训练样本集中的每个负样本均对应多个类型不同的子负样本，该多个类型不同的子负样本就是指未经数据扩充的子负样本和经过数据扩充的子负样本。
本实施例中所述的训练样本集可以为采集得到的多个原始训练样本构成的原始训练样本集，将原始训练样本集(即，未经数据扩充的原始训练样本集)和数据扩充后的原始训练样本集确定为初始训练样本集，将其导入如图2所示的迭代步骤中进行处理。
如上所述，当i-1＝0时，第i-1次迭代的训练样本集为初始训练样本集，也就是说，每一轮迭代中的训练样本集均包括未经数据扩充的训练样本集和数据扩充后的训练样本集，每一轮迭代中的训练样本集中的每个负样本均对应多个类型不同的子负样本。
但是本申请实施例并不限定多个类型不同的子负样本的具体个数，可以根据不同应用场景进行选择。在本申请另一个实施例中，所述对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集，包括：对所述训练样本集中的每个样本进行仿射变换、弹性形变、数据增强、伽马变换中的至少一项数据扩充操作，以获得所述数据扩充后的训练样本集。
为获得数据扩充后的训练样本集，可以对训练样本集中的每个样本进行仿射变换、弹性形变、数据增强、伽马变换中的至少一项数据扩充操作，但是本申请实施例并不以此为限，还可以采用其他的数据扩充操作。
针对一个负样本，使其经过不同的数据扩充操作后，可以得到不同类型的子负样本，例如，第一个子负样本是未经数据扩充的子负样本，第二个子负样本是经过仿射变换后的子负样本，第三个子负样本是经过伽马变换的子负样本，以此类推，得到多个类型不同的子负样本。
在本申请另一个实施例中，如图4a所示的方法是图2所示的方法的示例，图4a所示的方法包括如下内容。
S410：根据所述第i-1次迭代的训练样本集，通过所述多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本对应的多个类型不同的子负样本为负样本的多个第i概率值，其中，一个第i-1网络模型对应多个第i子概率值，一个第i子概率值对应一个子负样本，所述多个第i子概率值对应一个第i概率值。
该第i-1次迭代的训练样本集包括未经数据扩充的第i-1次迭代的训练样本集和数据扩充后的第i-1次迭代的训练样本集，该第i-1次迭代的训练样本集中的每个负样本均对应多个类型不同的子负样本。
将该第i-1次迭代的训练样本集中的每个负样本对应的多个类型不同的子负样本分别输入多个第i-1网络模型中。一个第i-1网络模型可以预测第i-1次迭代的训练样本集中的一个负样本对应的多个类型不同的子负样本为负样本的多个第i子概率值，其中，一个第i子概率值对应一个子负样本，多个子负样本对应多个第i子概率值，多个第i子概率值对应一个第i概率值，因此，多个第i-1网络模型可以预测得到多个第i概率值。
例如，针对同一个负样本，其包括3个类型不同的子负样本，即，第一子负样本，第二子负样本以及第三子负样本，多个第i-1网络模型中的一个网络模型预测第一子负样本为负样本的第i子概率值为80％，第二子负样本为负样本的第i子概率值为70％，第三子负样本为负样本的第i子概率值为90％，其中，第i子概率值80％、第i子概率值70％以及第i子概率值90％构成了一个第i概率值；多个第i-1网络模型中的另一个网络模型预测第一子负样本为负样本的第i子概率值为85％，第二子负样本为负样本的第i子概率值为75％，第三子负样本为负样本的第i子概率值为95％，其中，第i子概率值85％、第i子概率值75％以及第i子概率值95％构成了另一个第i概率值，以此类推，预测得到多个第i概率值。
通过迭代训练多个网络模型，每次迭代对多个网络模型预测的不同扩充数据(即，未经数据扩充的第i-1次迭代的训练样本集和数据扩充后的第i-1次迭代的训练样本集)的结果进行集成，得到确定的负样本与不确定样本；然后下次迭代只训练原始标注的正样本和确定的负样本。这样，能够避免将标注缺失的正样本(即，不确定的负样本)进行训练，从而降低过拟合的现象，提高网络模型的查全率。
S420：对所述多个第i子概率值进行均值计算，以获得所述第i-1次迭代的训练样本集中的每个负样本的第i平均值，其中，所述多个第i-1网络模型对应多个第i平均值。
对每个第i-1网络模型对应的多个第i子概率值进行均值计算，以获得第i-1次迭代的训练样本集中的每个负样本的第i平均值。假设多个第i子概率值的个数为Y个，第i子概率值为py，多个第i-1网络模型的个数为X个，那么一个第i-1网络模型对应的第i平均值为
Figure BDA0002623306100000131
针对同一个负样本，每一轮迭代均可以得到一个平均值，多轮迭代所得到的多个平均值是不相同的。
S430：根据所述多个第i-1子网络模型对应的加权值和所述多个第i平均值，计算所述多个第i概率值的第i总平均值。
多个第i-1网络模型中的每个第i-1网络模型均对应一个加权值。假设多个第i-1网络模型的个数为X个，一个第i-1网络模型对应的第i平均值为
Figure BDA0002623306100000132
一个第i-1网络模型对应的加权值为wx，那么多个第i概率值的第i总平均值为
Figure BDA0002623306100000133
针对同一个负样本，每一轮迭代均可以得到一个总平均值，多轮迭代所得到的多个总平均值是不相同的。
S440：将所述第i总平均值小于所述第i预设阈值的负样本确定为所述第i次迭代的不确定样本。
将第i总平均值与第i预设阈值进行比较，当第i总平均值小于第i预设阈值时，将与之对应的负样本确定为第i次迭代的不确定样本。由于第i-1次迭代的训练样本集中的第i总平均值小于第i预设阈值的负样本可能会有很多个，所以第i次迭代的不确定样本的个数也可以有很多个，但是本申请实施例并不限定第i次迭代的不确定样本的具体个数。
图4a所示的方法中的步骤S450和S460分别与图2所示的方法中的步骤S230和S240相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S230和S240。
例如，针对肺部医学图像的分割任务而言，图4b所示为多个网络模型对预测结果进行集成的一个示例。
将未经数据扩充的训练样本集和数据扩充后的训练样本集分别输入X个网络模型中，即，网络模型1至网络模型X，每个网络模型可以得到预测结果(即，图4b中间的背景掩模1至背景掩模X)为：正样本所在的区域(即，前景区域)，不确定样本所在的区域(即，疑似前景区域)，以及确定的负样本所在的区域(即，背景区域)，即，由白色点构成的区域为前景区域(即，正样本)，由黑色斜线构成的区域为疑似前景区域(即，不确定样本)，白色区域为背景区域(即，确定的负样本)。
将X个网络模型所得到的正样本所在的区域，不确定样本所在的区域，以及确定的负样本所在的区域进行集成，可以得到集成结果(即，图4b最右侧的融合后的掩模)为：由白色点构成的区域为前景区域(即，正样本)，由黑色斜线构成的区域为融合后的疑似前景区域(即，不确定样本)，白色区域为融合后的背景区域(即，确定的负样本)。所得到的不确定样本不参与下一轮训练。
在本申请另一个实施例中，所述根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型，包括：从所述第i-1次迭代的训练样本集中滤除所述第i次迭代的不确定样本，获得所述第i次迭代的训练样本集；根据所述第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得所述多个第i网络模型。
在得到第i次迭代的不确定样本后，将第i次迭代的不确定样本从第i-1次迭代的训练样本集中滤除，以得到不包含不确定样本的第i次迭代的训练样本集，即，第i次迭代的训练样本集包括原始标注的正样本和滤除不确定样本的负样本(即，确定的负样本)。
将得到第i次迭代的训练样本集输入到多个第i-1网络模型中进行重新训练，以重新更新多个第i-1网络模型的网络参数，从而获得多个第i网络模型。也就是说，不再使多个第i-1网络模型学习不确定样本的特征。
在本申请另一个实施例中，如图5所示的方法是图2所示的方法的示例，图5所述的方法包括如下内容。
如图5所示的方法中的步骤S510、S520以及S530与图2所示的方法中的步骤S210、S220以及S230相似，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S210、S220以及S230。
S540：迭代执行上述步骤至第n次迭代，直到迭代的次数n大于多个第n网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量时，停止迭代。
当满足一定的迭代终止条件，即，迭代的次数n大于多个第n-1网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量，停止迭代。
例如，当迭代的次数n大于多个第n-1网络模型中的至少一个第n-1网络模型的超参数时，停止迭代，但是本申请实施例并不具体限定超参数的具体类型，比如，可以为迭代的次数n与至少一个第n-1网络模型的神经网络的层数进行比较。同时，本申请实施例也并不限定迭代次数n与多少个第n-1网络模型的超参数进行比较，可以为迭代的次数n均大于五个第n-1网络模型的超参数。
例如，当第n次迭代的训练样本集中的负样本数量满足预设数量，停止迭代，但是本申请实施例并不限定预设数量的具体取值，可以根据不同应用场景进行选择。
S550：根据第n次迭代的训练样本集，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
在得到第n次迭代的训练样本集后，将第n次迭代的训练样本集输入到多个第n-1网络模型中进行重新训练，以重新更新多个第n-1网络模型的网络参数，从而获得多个第n网络模型。最后，基于所述多个第n网络模型，确定训练完成的网络模型，该训练完成的网络模型是由训练完成的类型不同的多个第n网络模型集成所得。
在本申请另一个实施例中，如图6所示的方法是图2所示的方法的示例，图6所示的方法包括如下内容。
如图6所示的方法中的步骤S610、S620以及S630与图2所示的方法中的步骤S210、S220以及S230相似，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S210、S220以及S230。
S640：获取第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本，其中，所述困难样本为负样本。
实际上，困难样本就是如上所述的难于学习的负样本，如果网络模型仅对易于学习的样本进行学习，那么它就会对困难样本的预测能力较差，因此，为了使网络模型学习到的特征的多样性，以提高网络模型对困难样本的预测能力，可以将第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本挑选出来，以供网络模型的训练使用。
但是本申请实施例并不限定从第1次迭代至第n次迭代中的至少一次迭代的不确定样本中挑选出多少个困难样本，困难样本的数量与第n次迭代的训练样本集的样本数量的比值可以设置为1：k，即，困难样本的数量仅占第n次迭代的训练样本集的样本数量的1/k，本申请实施例也并不具体限定k的取值，可以根据不同应用场景进行选择。同时，本申请实施例也并不限定从第1次迭代至第n次迭代中的哪一次迭代中挑选困难样本，也可以根据不同应用场景进行选择。
S650：迭代执行上述步骤至第n次迭代，直到迭代的次数n大于多个第n网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量时，停止迭代。
本实施例中的步骤S650与本申请上述实施例中的步骤S540相似，具体细节将不在此处进行赘述，请参考上述实施例中的步骤S540。
S660：根据第n次迭代的训练样本集和所述困难样本，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
在得到第n次迭代的训练样本集和困难样本后，将第n次迭代的训练样本集和困难样本混合输入到多个第n-1网络模型中进行重新训练，以重新更新多个第n-1网络模型的网络参数，从而获得多个第n网络模型。最后，基于所述多个第n网络模型，确定训练完成的网络模型，该训练完成的网络模型是由训练完成的类型不同的多个第n网络模型集成所得。
在本申请另一个实施例中，所述获取第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本，包括：根据第1次迭代至第n次迭代中的至少一次迭代的不确定样本，通过所述多个第i-1网络模型，预测第1次迭代至第n次迭代中的至少一次迭代的不确定样本为负样本的概率值；将所述概率值大于预设概率阈值的不确定样本确定为所述困难样本。
将第1次迭代至第n次迭代中的至少一次迭代的不确定样本输入到多个第i-1网络模型中，来预测第1次迭代至第n次迭代中的至少一次迭代的不确定样本为负样本的概率值，再将概率值大于预设概率阈值的不确定样本确定为困难样本。
但是本申请实施例并不限定预设概率阈值的具体取值，可以根据不同应用场景进行选择。
在一实施例中，可以将第1次迭代至第n次迭代中的至少一次迭代的不确定样本按照图2所示的方法进行处理，即，将第1次迭代至第n次迭代中的至少一次迭代的不确定样本作为初始样本数据，迭代执行步骤S210至S240，以此获得困难样本。
图7所示为本申请又一个实施例提供的网络模型的训练方法的流程示意图。如图7所示的方法为本申请的一个方法示例，不能够以此来限制本申请的保护范围。图7所示的方法包括如下内容。
S710：对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集；将所述训练样本集和所述数据扩充后的训练样本集确定为所述初始训练样本集。
S720：根据所述第i-1次迭代的训练样本集，通过所述多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本对应的多个类型不同的子负样本为负样本的多个第i概率值。
S730：根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本。
S740：根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型。
S750：判断是否满足迭代终止条件。
若满足迭代终止条件，则执行步骤S760：根据第n次迭代的训练样本集，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
若不满足迭代终止条件，则重复执行步骤S720、S730以及S740，直到满足迭代终止条件。
本实施例中的所有步骤与本申请上述相关实施例的相关步骤相似，具体细节将不在此处进行赘述，请参考上述相关实施例的相关步骤。
示例性装置
本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图8所示为本申请一个实施例提供的网络模型的训练装置的框图。如图8所示，该装置800包括：
预测模块810，配置为根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，当i-1＝0时，所述第i-1次迭代的训练样本集为初始训练样本集，所述多个第i-1网络模型为初始网络模型；
确定模块820，配置为根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本；
更新模型830，配置为根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型；
迭代模块840，配置为迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，其中，i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数。
在一个实施例中，所述装置800还包括：用于执行上述实施例提及的网络模型的训练方法中的各个步骤的模块。
示例性电子设备
下面，参考图9来描述根据本申请实施例的电子设备。图9图示了根据本申请实施例的电子设备的框图。
如图9所示，电子设备900包括一个或多个处理器99和存储器920。
处理器910可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备900中的其他组件以执行期望的功能。
存储器920可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器910可以运行所述程序指令，以实现上文所述的本申请的各个实施例的网络模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备900还可以包括：输入装置930和输出装置940，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如，该输入装置930可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置930可以是通信网络连接器。
此外，该输入设备930还可以包括例如键盘、鼠标等等。
该输出装置940可以向外部输出各种信息，包括确定出的征象类别信息等。该输出设备940可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备900中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备900还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的网络模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的网络模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种网络模型的训练方法，其特征在于，包括：
根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，当i-1＝0时，所述第i-1次迭代的训练样本集为初始训练样本集，所述多个第i-1网络模型为初始网络模型；
根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本；
根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型；
迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，其中，所述i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数，所述训练样本集包括多个医学图像样本。
2.根据权利要求1所述的训练方法，其特征在于，所述根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，包括：
将所述第i-1次迭代的训练样本集输入所述多个第i-1网络模型中，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，一个第i-1网络模型对应一个第i概率值。
3.根据权利要求2所述的训练方法，其特征在于，所述根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本，包括：
根据所述多个第i-1网络模型对应的加权值，计算所述多个第i概率值的第i加权平均值；
将所述第i加权平均值小于所述第i预设阈值的负样本确定为所述第i次迭代的不确定样本。
4.根据权利要求1所述的训练方法，其特征在于，还包括：
对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集；
将所述训练样本集和所述数据扩充后的训练样本集确定为所述初始训练样本集，其中，所述初始训练样本集中的每个负样本对应多个类型不同的子负样本。
5.根据权利要求4所述的训练方法，其特征在于，所述对所述训练样本集中的每个样本进行数据扩充，以获得数据扩充后的训练样本集，包括：
对所述训练样本集中的每个样本进行仿射变换、弹性形变、数据增强、伽马变换中的至少一项数据扩充操作，以获得所述数据扩充后的训练样本集。
6.根据权利要求4所述的训练方法，其特征在于，所述根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，包括：
根据所述第i-1次迭代的训练样本集，通过所述多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本对应的多个类型不同的子负样本为负样本的多个第i概率值，其中，一个第i-1网络模型对应多个第i子概率值，一个第i子概率值对应一个子负样本，所述多个第i子概率值对应一个第i概率值。
7.根据权利要求6所述的训练方法，其特征在于，所述根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本，包括：
对所述多个第i子概率值进行均值计算，以获得所述第i-1次迭代的训练样本集中的每个负样本的第i平均值，其中，所述多个第i-1网络模型对应多个第i平均值；
根据所述多个第i-1子网络模型对应的加权值和所述多个第i平均值，计算所述多个第i概率值的第i总平均值；
将所述第i总平均值小于所述第i预设阈值的负样本确定为所述第i次迭代的不确定样本。
8.根据权利要求1至7中任一项所述的训练方法，其特征在于，所述根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型，包括：
从所述第i-1次迭代的训练样本集中滤除所述第i次迭代的不确定样本，获得所述第i次迭代的训练样本集；
根据所述第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得所述多个第i网络模型。
9.根据权利要求1至7中任一项所述的训练方法，其特征在于，所述迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，包括：
迭代执行上述步骤至第n次迭代，直到迭代的次数n大于多个第n-1网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量时，停止迭代；
根据第n次迭代的训练样本集，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
10.根据权利要求1至7中任一项所述的训练方法，其特征在于，还包括：
获取第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本，其中，所述困难样本为负样本，
其中，所述迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，包括：
迭代执行上述步骤至第n次迭代，直到迭代的次数n大于多个第n-1网络模型的超参数和/或第n次迭代的训练样本集中的负样本数量满足预设数量时，停止迭代；
根据第n次迭代的训练样本集和所述困难样本，更新多个第n-1网络模型的网络参数，获得训练完成的所述网络模型。
11.根据权利要求10所述的训练方法，其特征在于，所述获取第1次迭代至第n次迭代中的至少一次迭代的不确定样本中的困难样本，包括：
根据第1次迭代至第n次迭代中的至少一次迭代的不确定样本，通过所述多个第i-1网络模型，预测第1次迭代至第n次迭代中的至少一次迭代的不确定样本为负样本的概率值；
将所述概率值大于预设概率阈值的不确定样本确定为所述困难样本。
12.一种网络模型的训练装置，其特征在于，包括：
预测模块，配置为根据第i-1次迭代的训练样本集，通过不同的多个第i-1网络模型，预测所述第i-1次迭代的训练样本集中的每个负样本为负样本的多个第i概率值，其中，当i-1＝0时，所述第i-1次迭代的训练样本集为初始训练样本集，所述多个第i-1网络模型为初始网络模型；
确定模块，配置为根据所述多个第i概率值与第i预设阈值，获得第i次迭代的不确定样本；
更新模型，配置为根据滤除所述第i次迭代的不确定样本的第i次迭代的训练样本集，更新所述多个第i-1网络模型的网络参数，获得多个第i网络模型；
迭代模块，配置为迭代执行上述步骤至第n次迭代，获得训练完成的所述网络模型，其中，i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数。
13.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至11中任一项所述的训练方法。
14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至11中任一项所述的训练方法。
CN202010789650.4A 2020-08-07 2020-08-07 网络模型的训练方法及装置，电子设备及存储介质 Pending CN111931912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789650.4A CN111931912A (zh) 2020-08-07 2020-08-07 网络模型的训练方法及装置，电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789650.4A CN111931912A (zh) 2020-08-07 2020-08-07 网络模型的训练方法及装置，电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111931912A true CN111931912A (zh) 2020-11-13

Family

ID=73307972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789650.4A Pending CN111931912A (zh) 2020-08-07 2020-08-07 网络模型的训练方法及装置，电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111931912A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103166830A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 一种智能选择训练样本的垃圾邮件过滤***和方法
CN107798390A (zh) * 2017-11-22 2018-03-13 阿里巴巴集团控股有限公司 一种机器学习模型的训练方法、装置以及电子设备
US20190079468A1 (en) * 2017-09-11 2019-03-14 International Business Machines Corporation Adaptive control of negative learning for limited reconstruction capability auto encoder
CN110019770A (zh) * 2017-07-24 2019-07-16 华为技术有限公司 训练分类模型的方法与装置
CN110084374A (zh) * 2019-04-24 2019-08-02 第四范式（北京）技术有限公司 构建基于pu学习的模型的方法、装置及预测方法、装置
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机***有限公司 神经网络模型的训练方法、装置和电子设备
CN110263166A (zh) * 2019-06-18 2019-09-20 北京海致星图科技有限公司 基于深度学习的舆情文本分类方法
WO2020042795A1 (zh) * 2018-08-31 2020-03-05 阿里巴巴集团控股有限公司 样本属性评估模型训练方法、装置及服务器
CN110880177A (zh) * 2019-11-26 2020-03-13 北京推想科技有限公司 一种图像识别方法及装置
CN111160484A (zh) * 2019-12-31 2020-05-15 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN111199175A (zh) * 2018-11-20 2020-05-26 株式会社日立制作所 一种目标检测网络模型的训练方法及装置
CN111369524A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 结节识别模型训练方法、结节识别方法及装置
CN111476256A (zh) * 2019-01-24 2020-07-31 北京京东尚科信息技术有限公司 基于半监督学习的模型训练方法、装置及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103166830A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 一种智能选择训练样本的垃圾邮件过滤***和方法
CN110019770A (zh) * 2017-07-24 2019-07-16 华为技术有限公司 训练分类模型的方法与装置
US20190079468A1 (en) * 2017-09-11 2019-03-14 International Business Machines Corporation Adaptive control of negative learning for limited reconstruction capability auto encoder
CN107798390A (zh) * 2017-11-22 2018-03-13 阿里巴巴集团控股有限公司 一种机器学习模型的训练方法、装置以及电子设备
US20200210899A1 (en) * 2017-11-22 2020-07-02 Alibaba Group Holding Limited Machine learning model training method and device, and electronic device
WO2020042795A1 (zh) * 2018-08-31 2020-03-05 阿里巴巴集团控股有限公司 样本属性评估模型训练方法、装置及服务器
CN111199175A (zh) * 2018-11-20 2020-05-26 株式会社日立制作所 一种目标检测网络模型的训练方法及装置
CN111476256A (zh) * 2019-01-24 2020-07-31 北京京东尚科信息技术有限公司 基于半监督学习的模型训练方法、装置及电子设备
CN110084374A (zh) * 2019-04-24 2019-08-02 第四范式（北京）技术有限公司 构建基于pu学习的模型的方法、装置及预测方法、装置
CN110263166A (zh) * 2019-06-18 2019-09-20 北京海致星图科技有限公司 基于深度学习的舆情文本分类方法
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机***有限公司 神经网络模型的训练方法、装置和电子设备
CN110880177A (zh) * 2019-11-26 2020-03-13 北京推想科技有限公司 一种图像识别方法及装置
CN111160484A (zh) * 2019-12-31 2020-05-15 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN111369524A (zh) * 2020-03-02 2020-07-03 北京推想科技有限公司 结节识别模型训练方法、结节识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任亚峰: "基于标注和未标注数据的虚假评论识别研究", 中国博士学位论文全文数据库, pages 3 *
裔阳;周绍光;赵鹏飞;胡屹群;: "基于正样本和未标记样本的遥感图像分类方法", 计算机工程与应用, no. 04 *

Similar Documents

Publication Publication Date Title
Hu et al. Early action prediction by soft regression
Wang et al. Inferring salient objects from human fixations
Jiang et al. Scalor: Generative world models with scalable object representations
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
WO2021073380A1 (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN111126574B (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
Lai et al. Understanding more about human and machine attention in deep neural networks
GB2571825A (en) Semantic class localization digital environment
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
Liu et al. Data-free knowledge transfer: A survey
Gupta et al. ALMNet: Adjacent layer driven multiscale features for salient object detection
Liu et al. Counting people by estimating people flows
Zhao et al. Versatile framework for medical image processing and analysis with application to automatic bone age assessment
CN111445457B (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
WO2023109361A1 (zh) 用于视频处理的方法、***、设备、介质和产品
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及***
Wang et al. Exploring domain knowledge for facial expression-assisted action unit activation recognition
Li et al. NIA-Network: Towards improving lung CT infection detection for COVID-19 diagnosis
CN109918538B (zh) 视频信息处理方法及装置、存储介质及计算设备
Zhao et al. Deeply supervised active learning for finger bones segmentation
JP2019086979A (ja) 情報処理装置、情報処理方法及びプログラム
Ramasso et al. Human action recognition in videos based on the transferable belief model: application to athletics jumps
CN112488178B (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
Jin et al. Density-based one-shot active learning for image segmentation
CN111445456A (zh) 分类模型、网络模型的训练方法及装置、识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

CB02 Change of applicant information