CN109740752A - 深度模型训练方法及装置、电子设备及存储介质 - Google Patents

深度模型训练方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109740752A
CN109740752A CN201811646430.5A CN201811646430A CN109740752A CN 109740752 A CN109740752 A CN 109740752A CN 201811646430 A CN201811646430 A CN 201811646430A CN 109740752 A CN109740752 A CN 109740752A
Authority
CN
China
Prior art keywords
training
markup information
training sample
external frame
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811646430.5A
Other languages
English (en)
Other versions
CN109740752B (zh
Inventor
李嘉辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811646430.5A priority Critical patent/CN109740752B/zh
Publication of CN109740752A publication Critical patent/CN109740752A/zh
Priority to SG11202100043SA priority patent/SG11202100043SA/en
Priority to PCT/CN2019/114493 priority patent/WO2020134532A1/zh
Priority to KR1020217004148A priority patent/KR20210028716A/ko
Priority to JP2021507067A priority patent/JP7158563B2/ja
Priority to TW108143792A priority patent/TW202026958A/zh
Priority to US17/136,072 priority patent/US20210118140A1/en
Application granted granted Critical
Publication of CN109740752B publication Critical patent/CN109740752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种深度模型训练方法及装置、电子设备及存储介质。所述深度模型训练方法包括：获取待训练模型输出的第n+1标注信息，所述待训练模型经过n次训练；获取待训练模型输出的第n+1标注信息n为大于或等于1的整数；基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；将所述第n+1训练样本对所述待训练模型进行第n+1轮训练。

Description

深度模型训练方法及装置、电子设备及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种深度模型训练方法及装置、电子设备及存储介质。
背景技术
深度学习模型可以通过训练集的训练之后，具有一定的分类或识别能力。所述训练集通常包括：训练数据及训练数据的标注数据。但是一般情况下，标注数据都需要人工进行手动标注。一方面纯手动标注所有的训练数据，工作量大、效率低，且标注过程中存在人工错误；另一方面，若需要实现高精度的标注，例如以图像领域的标注为例，需要实现像素级分割，纯人工标注要达到像素级分割，难度非常大且标注精度也难以保证。
故基于纯人工标注的训练数据进行深度学习模型的训练，会存在训练效率低、训练得到的模型因为训练数据自身精度低导致模型的分类或识别能力精度达不到预期。
发明内容
有鉴于此，本发明实施例期望提供一种深度模型训练方法及装置、电子设备及存储介质。
本发明的技术方案是这样实现的：
一种深度学习模型训练方法，包括：
获取待训练模型输出的第n+1标注信息，所述待训练模型已经过n轮训练；n为大于或等于1的整数；
基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；
将所述第n+1训练样本对所述待训练模型进行第n+1轮训练。
基于上述方案，所述基于所述训练数据及所述第n+1标注信息生成第n+1训练样本，包括：
基于所述训练数据及所述第n+1标注信息、及第1训练样本生成第n+1训练样本；
或者，
基于所述训练数据及所述第n+1标注信息、及第n训练样本生成第n+1训练样本，其中，所述第n训练样本包括：所述训练数据及第一标注信息构成的第1训练样本、及前n-1轮训练得到的标注信息与所述训练样本分别构成的第2训练样本至第n-1训练样本待训练模型。
基于上述方案，所所述方法包括：
确定n是否小于N，其中，N为所述待训练模型的最大训练轮数；
所述获取待训练模型输出的第n+1标注信息，包括：
若n小于N，获取所述待训练模型输出的第n+1标注信息。
基于上述方案，所述方法包括：
获取所述训练数据及所述训练数据的初始标注信息；
基于所述初始标注信息，生成所述第一标注信息。
基于上述方案，所所述获取所述训练数据及所述训练数据的初始标注信息，包括：
获取包含有多个分割目标的训练图像及所述分割目标的外接框；
所述基于所述初始标注信息，生成所述第一标注信息，包括：
基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓。
基于上述方案，所述基于所述初始标注信息，生成所述第一标注信息，还包括：
基于所述外接框，生成具有重叠部分的两个所述分割目标的分割边界。
基于上述方案，所述基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓，包括：
基于所述外接框，在所述外接框内绘制与细胞形状一致的所述外接框的内接椭圆。
一种深度学习模型训练装置，包括：
标注模块，用于获取待训练模型输出的第n+1标注信息，所述待训练模型已经过n轮训练；n为大于或等于1的整数；
第一生成模块，用于基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；
训练模块，用于将所述第n+1训练样本对所述待训练模型进行第n+1轮训练待训练模型。
基于上述方案，所述第一生成模块，具体用于基于所述训练数据及所述第n+1标注信息、及第1训练样本生成第n+1训练样本；或者，基于所述训练数据及所述第n+1标注信息、及第n训练样本生成第n+1训练样本，其中，所述第n训练样本包括：所述训练数据及第一标注信息构成的第1训练样本、及前n-1轮训练得到的标注信息与所述训练样本分别构成的第2训练样本至第n-1训练样本。
基于上述方案，所述装置包括：
确定模块，用于确定n是否小于N，其中，N为所述待训练模型的最大训练轮数；
所述标注模块，用于若n小于N，获取所述待训练模型输出的第n+1标注信息。
基于上述方案，所述装置包括：
获取模块，用于获取所述训练数据及所述训练数据的初始标注信息；
第二生成模块，用于基于所述初始标注信息，生成所述第一标注信息。
基于上述方案，所述获取模块，具体用于获取包含有多个分割目标的训练图像及所述分割目标的外接框；
所述第二生成模块，具体用于基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓。
基于上述方案，所述第一生成模块，具体用于基于所述外接框，生成具有重叠部分的两个所述分割目标的分割边界。
基于上述方案，所述第二生成模块，具体用于基于所述外接框，在所述外接框内绘制与细胞形状一致的所述外接框的内接椭圆。
一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意一个技术方案提供的深度学习模型训练方法。
一种电子设备，包括：
存储器；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令实现前述任意一个技术方案提供的深度学习模型训练方法。
本发明实施例提供的技术方案，会利用深度学习模型前一轮训练完成之后对训练数据进行标注获得标注信息，该标注信息用作下一轮训练的训练样本，可以利用非常少的初始标注(例如，初始的人工标注或者设备标注)的训练数据进行模型训练，然后面利用逐步收敛的待训练模型自身识别输出的标注数据作为下一轮训练样本，由于待训练模型在前一轮训练过程中模型参数会依据大部分标注正确的数据生成，而少量标注不正确或者标注精度低的数据对待训练模型的模型参数影响小，如此反复迭代多次，待训练模型的标注信息会越来越精确，训练结果也越来越好。由于模型利用自身的标注信息构建训练样本，如此，减少了人工手动标注等初始标注的数据量，减少了人工手动标注等初始标注所导致的效率低及人工错误，具有模型训练速度快及训练效果好的特点，且采用这种方式训练的深度学习模型，具有分类或识别精确度高的特点。
附图说明
图1为本发明实施例提供的第一种深度学习模型训练方法的流程示意图；
图2为本发明实施例提供的第二种深度学习模型训练方法的流程示意图；
图3为本发明实施例提供的第三种深度学习模型训练方法的流程示意图；
图4为本发明实施例提供的一种深度学习模型训练装置的结构示意图；
图5为本发明实施例提供的一种训练集的变化示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种深度学习模型训练方法，包括：
步骤S110：获取待训练模型输出的第n+1标注信息，所述待训练模型已经过n轮训练；
步骤S120：基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；
步骤S130：将所述第n+1训练样本对所述待训练模型进行第n+1轮训练。
本实施例提供的深度学习模型训练方法可以用于各种电子设备中，例如，各种大数据模型训练的服务器中。
在进行第1轮训练时，获取待训练模型的模型结构。以待训练模型为神经网络为例进行说明，首先需要确定神经网络的网络结构，该网络结构可包括：网络的层数、每层包括的节点数，层与层之间的节点的连接关系，以及初始的网络参数。该网络参数包括：节点的权重和/或阈值。
获取第1训练样本，所述第一训练样本可包括：训练数据和训练数据的第一标注数据；以图像分割为例，所述训练数据为图像；所述第一标注数据可为图像分割目标和背景的掩码图像；
利用第1训练样本训练对待训练模型进行第一轮训练。神经网络等深度学习模型被训练之后，深度学习模型的模型参数(例如，神经网络的网络参数)发生改变；利用改变了模型参数的待训练模型对图像进行处理输出标注信息，该标注信息与初始的第一标注信息进行比对，通过比对的结果计算深度学习模型的当前的损失值；若当前的损失值小于损失阈值可以停止该轮训练。
在本实施例中的步骤S110中，首先会利用已经完成n轮训练的待训练模型对训练数据进行处理，此时待训练模型会获得输出，该输出即为所述第n+1标注数据，该第n+1标注数据与训练数据对应起来，就形成了训练样本。
在一些实施例中，可以将训练数据和第n+1标注信息直接作为第n+1训练样本，用于待训练模型的第n+1轮训练样本。
在还有一些实施例中，可以将训练数据和第n+1标注数据，及第1训练样本共同组成待训练模型的第n+1轮训练样本。
所述第1训练样本为对待训练模型进行第1轮训练的训练样本；第M训练样本为对待训练模块进行第M轮训练的训练样本，M为正整数。
此处的第1训练样本可为：初始获得训练数据及训练数据的第一标注信息，此处的第一标注信息可为人工手动标注的信息。
在还有一些实施例中，训练数据和第n+1标注信息，并将这个训练样本和第n轮训练时采用的第n训练样的并集构成第n+1训练样本。
总之，上述三种生成第n+1训练样本的方式都是设备自动生成样本的方式，如此，无需用户手动标注等其他设备来标注获得第n+1轮训练的训练样本，减少了人工手动标等初始标注注样本所消耗的时间，提升了深度学习模型的训练速率，且减少深度学习模型因为手动标注的不准确或不精确导致的模型训练后的分类或识别结果的不够精确的现象，提升了深度学习模型训练后的分类或识别结果的精确度。
在本实施例中完成一轮训练包括：待训练模型对训练集中的每一个训练样本都完成了至少一次学习。
在步骤S130中利用第n+1训练样本对待训练模型进行第n+1轮训练。
在本实施例中，若初始标注中有少量错误，由于模型训练过程中会关注训练样本的共同特点，则这些错误的影响对模型训练就越来越小，从而模型的精确度也越来越高。
例如，以所述训练数据为S张图像为例，则第1训练样本可为S张图像及这S张图像的人工标注结果，若S张图像中有一张图像标注图像精确度不够，但是待训练模型在第一轮训练过程中，由于剩余S-1张图像的标注结构精确度达到预期阈值，则这S-1张图像及其对应的标注数据对待训练模型的模型参数影像更大。在本实施例中，所述深度学习模型包括但不限于神经网络；所述模型参数包括但不限于：神经网络中网络节点的权值和/或阈值。所述神经网络可为各种类型的神经网络，例如，U-net或V-net。所述神经网络可包括：对训练数据进行特征提取的编码部分和基于提取的特征获取语义信息的解码部分。
例如，编码部分可以对图像中分割目标所在区域等进行特征提取，得到区分分割目标和背景的掩码图像，解码器基于掩码图像可以得到一些语义信息，例如，通过像素统计等方式获得目标的组学特征等。
该组学特征可包括：目标的面积、体积、形状等形态特征，和/或，基于灰度值形成的灰度值特征等。
所述灰度值特征可包括：直方图的统计特征等。
总之，在本实施例中，经过第一轮训练后的待训练模型在识别S张图像时，会初始标注精度不够的那一张图像待训练模型的模型参数的影响度相比于另外S-1张的响度小的。待训练模型将利用从其他S-1张图像上学习获得网络参数来进行标注，而此时初始标注精度不够的图像的标注精度是向其他S-1张图像的标注精度靠齐的，故这一张图像所对应的第2标注信息是会比原始的第1标注信息的精度提升的。如此，构成的第2训练集包括：S张图像和原始的第一标注信息构成的训练数据、及S张图像和待训练模型自行标注的第二标注信息构成的训练数据。故在本实施例中，可以利用待训练模型在训练过程中会基于大多数正确或高精度的标注信息进行学习，逐步抑制初始标注精度不够或不正确的训练样本的负面影响，从而采用这种方式进行深度学习模型的自动迭代，不仅能够实现训练样本的人工标注大大的减少，而且还会通过自身迭代的特性逐步提升训练精度，使得训练后的待训练模型的精确度达到预期效果。
在上述举例中所述训练数据以图像为例，在一些实施例中，所述训练数据还可以图像以外的语音片段、所述图像以外的文本信息等；总之，所述训练数据的形式有多种，不局限于上述任意一种。
在一些实施例中，如图2所示，所述方法包括：
步骤S100：确定n是否小于N，其中，N为所述待训练模型的最大训练轮数；
所述步骤S110可包括：
若n小于N，待训练模型获取待训练模型输出的第n+1标注信息。
在本实施例中在构建第n+1训练集之前，首先会确定目前待训练模型的训练轮数是否达到预定的最大训练轮数N，若未大达到才生成第n+1标注信息，以构建第n+1训练集，否则，则确定模型训练完成停止所述深度学习模型的训练。
在一些实施例中，所述N的取值可为4、5、6、7或8等经验值或者统计值。
在一些实施例中，所述N的取值范围可为3到10之间，所述N的取值可以是训练设备从人机交互接口接收的用户输入值。
在还有一些实施例中，确定是否停止待训练模型的训练还可包括：
利用测试集进行所述待训练模型的测试，若测试结果表明所述待训练模型的对测试集中测试数据的标注结果的精确度达到特定值，则停止所述待训练模型的训练，否则进入到所述步骤S110以进入下一轮训练。此时，所述测试集可为精确标注的数据集，故可以用于衡量一个待训练模型的每一轮的训练结果，以判定是否停止待训练模型的训练。
在一些实施例中，如图3所示，所述方法包括：
步骤S210：获取所述训练数据及所述训练数据的初始标注信息；
步骤S220：基于所述初始标注信息，生成所述第一标注信息。
在本实施例中，所述初始标注信息可为所述训练数据的原始标注信息，该原始标注信息可为人工手动标注的信息，也可以是其他设备标注的信息。例如，具有一定标注能力的其他设备标注的信息。
本实施例中，获取到训练数据及初始标注信息之后，会基于初始标注信息生成第一标注信息。此处的第一标注信息可直接包括所述初始标注信息和/或根据所述初始标准信息生成的精细化的第一标注信息。
例如，若训练数据为图像，图像包含有细胞成像，所述初始标注信息可为大致标注所述细胞成像所在位置的标注信息，而所述第一标识信息可为精确指示所述细胞所在位置的标注信息，总之，在本实施例中，所述第一标注信息对分割对象的标注精确度可高于所述初始标注信息的精确度。
如此，即便由人工进行所述初始标注信息的标注，也降低了人工标注的难度，简化了人工标注。
例如，以细胞成像为例，细胞由于其椭圆球体的形态，一般在二维平面图像内细胞的外轮廓都呈现为椭圆形。所述初始标注信息可为医生手动绘制的细胞的外接框。所述第一标注信息可为：训练设备基于手动标注的外接框生成的内接椭圆。在计算内接椭圆相对于外接框，减少细胞成像中不属于细胞成像的像素个数，故第一标注信息的精确度是高于所述初始标注信息的精确度的。
故进一步地，所述步骤S210可包括：获取包含有多个分割目标的训练图像及所述分割目标的外接框；
所述步骤S220可包括：基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓。
在一些实施例中，所述与分割目标形状一致的标注轮廓可为前述椭圆形，还可以为圆形，或者，三角形或者其他对边形等于分割目标形状一致的形状，不局限于椭圆形。
在一些实施例中，所述标注轮廓为内接于所述外接框的。所述外接框可为矩形框。
在一些实施例中，所述步骤S220还包括：
基于所述外接框，生成具有重叠部分的两个所述分割目标的分割边界。
在一些图像中，两个分割目标之间会有重叠，在本实施例中所述第一标注信息还包括：两个重叠分割目标之间的分割边界。
例如，两个细胞成像，细胞成像A叠在细胞成像B上，则细胞成像A被绘制出细胞边界之后和细胞B成像被绘制出细胞边界之后，两个细胞边界交叉形成一部分框出了两个细胞成像之间的交集。在本实施例中，可以根据细胞成像A和细胞成像B之间的位置关系，擦除细胞成像B的细胞边界位于细胞成像A内部的部分，并以细胞成像A的位于细胞成像B中的部分作为所述分割边界。
总之，在本实施例中，所述步骤S220可包括：利用两个分割目标的位置关系，在两者的重叠部分绘制分割边界。
在一些实施例中，在绘制分割边界时，可以通过修正两个具有重叠边界的分割目标其中一个的边界来实现。为了突出边界，可以通过像素膨胀的方式，可以加粗边界。例如，通过细胞成像A的细胞边界在所述重叠部分向细胞成像B方向上扩展预定个像素，例如，1个或多个像素，加粗重叠部分的细胞成像A的边界，从而使得该加粗边界被识别为分割边界。
在一些实施例中，所述基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓，包括：基于所述外接框，在所述外接框内绘制与细胞形状一致的所述外接框的内接椭圆。
在本本实施例中分割目标为细胞成像，所述标注轮廓包括所述细胞形状这一张的外接框的内接椭圆。
在本实施例中，所述第一标注信息包括以下至少之一：
所述细胞成像的细胞边界(对应于所述内接椭圆)；
重叠细胞成像之间的分割边界。
若在一些实施例中，所述分割目标不是细胞而是其他目标，例如，分割目标为集体相中的人脸，人脸的外接框依然可以是矩形框，但是此时人脸的标注边界可能是鹅蛋形脸的边界，圆形脸的边界等，此时，所述形状不局限于所述内接椭圆。
当然以上仅是举例，总之在本实施例中，所述待训练模型在自身的训练过程中利用自身前一轮的训练结果输出训练数据的标注信息，以构建下一轮的训练集，通过反复迭代多次完成模型训练，无需手动标注大量的训练样本，具有训练速率快及通过反复迭代可以提升训练精确度。
如图4所示，本实施例提供一种深度学习模型训练装置，包括：
标注模块110，用于获取待训练模型输出的第n+1标注信息，所述待训练模型已经过n轮训练；n为大于或等于1的整数；
第一生成模块120，用于基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；
训练模块130，用于将所述第n+1训练样本对所述待训练模型进行第n+1轮训练。
在一些实施例中，所述标注模块110，第一生成模块120及训练模块130可为程序模块，所述程序模块被处理器执行后，能够实现前述第n+1标注信息的生成、第n+1训练集的构成及待训练模型的训练。
在还有一些实施例中，所述标注模块110，第一生成模块120及训练模块130可为软硬结合模型；所述软硬结合模块可为各种可编程阵列，例如，现场可编程阵列或复杂可编程阵列。
在另外一些实施例中，所述标注模块110，第一生成模块120及训练模块130可纯硬件模块，所述纯硬件模块可为专用集成电路。
在一些实施例中，所述第一生成模块120，具体用于基于所述训练数据及所述第n+1标注信息、及第1训练样本生成第n+1训练样本；或者，基于所述训练数据及所述第n+1标注信息、及第n训练样本生成第n+1训练样本，其中，所述第n训练样本包括：所述训练数据及第一标注信息构成的第1训练样本、及前n-1轮训练得到的标注信息与所述训练样本分别构成的第2训练样本至第n-1训练样本。
在一些实施例中，所述装置包括：
确定模块，用于确定n是否小于N，其中，N为所述待训练模型的最大训练轮数；
所述标注模块110，用于若n小于N，待训练模型获取所述待训练模型输出的第n+1标注信息。
在一些实施例中，所述装置包括：
获取模块，用于获取所述训练数据及所述训练数据的初始标注信息；
第二生成模块，用于基于所述初始标注信息，生成所述第一标注信息。
在一些实施例中，所述获取模块，具体用于获取包含有多个分割目标的训练图像及所述分割目标的外接框；
所述基于所述初始标注信息，生成所述第一标注信息，包括：
基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓。
在一些实施例中，所述第一生成模块120，具体用于基于所述外接框，生成具有重叠部分的两个所述分割目标的分割边界。
在一些实施例中，所述第二生成模块，具体用于基于所述外接框，在所述外接框内绘制与细胞形状一致的所述外接框的内接椭圆。
以下结合上述实施例提供一个具体示例：
示例1：
本示例提供一种深度学习模型的自学习式弱监督学学习方法。
以图5中每一个物体的包围矩形框作为输入，进行自我学习，能够输出该物体，以及其他没有标注的物体的像素分割结果。
以细胞分割为例子，一开始有图中部分细胞的包围矩形标注。观察发现细胞大部分是椭圆，于是在矩形中画个最大内接椭圆，不同椭圆之间画好分割线，椭圆边缘也画上分割线；作为初始监督信号。此处的监督信号即为训练集中的训练样本；
训练一个分割模型。
此分割模型在此图上预测，得到的预测图和初始标注图作并集，作为新的监督信号，再重复训练该分割模型。
通过观测发现图中的分割结果变得越来越好。
如图5所示，对原始图像进行标注得到一个掩膜图像构建第一训练集，利用第一训练集进行第一轮训练，训练完之后，利用深度学习模型进行图像识别得到第2标注信息，基于第二标注信息构建第2训练集。利用第二训练集完成第二轮训练之后输出第3标注信息，基于第三标注信息得到第3训练集。如此反复迭代训练多轮之后停止训练。
在相关技术中，总是复杂的考虑第一次分割结果的概率图，做峰值、平缓区域等等的分析，然后做区域生长等，对于阅读者而言，复现工作量大，实现困难。本示例提供的深度学习模型训练方法，不对输出分割概率图做任何计算，直接拿来和标注图做并集，再继续训练模型，这个过程实现简单。
如图6示，本申请实施例提供了一种电子设备，包括：
存储器，用于存储信息；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的深度学习模型训练方法，例如，如图1至图3所示的方法中的一个或多个。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述电子设备还包括摄像头，该摄像头可采集各种图像，例如，医疗影像等。
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的深度学习模型训练方法，例如，如图1至图3所示的方法中的一个或多个。
所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。
本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的深度学习模型训练方法，例如，如图1至图3所示的方法中的一个或多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种深度学习模型训练方法，其特征在于，包括：
获取待训练模型输出的第n+1标注信息，所述待训练模型已经过n轮训练；n为大于或等于1的整数；
基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；
将所述第n+1训练样本对所述待训练模型进行第n+1轮训练。
2.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据及所述第n+1标注信息生成第n+1训练样本，包括：
基于所述训练数据及所述第n+1标注信息、及第1训练样本生成第n+1训练样本；
或者，
基于所述训练数据及所述第n+1标注信息、及第n训练样本生成第n+1训练样本，其中，所述第n训练样本包括：所述训练数据及第一标注信息构成的第1训练样本、及前n-1轮训练得到的标注信息与所述训练样本分别构成的第2训练样本至第n-1训练样本待训练模型。
3.根据权利要求1或2所述的方法，其特征在于，所述方法包括：
确定n是否小于N，其中，N为所述待训练模型的最大训练轮数；
所述获取待训练模型输出的第n+1标注信息，包括：
若n小于N，获取所述待训练模型输出的第n+1标注信息。
4.根据权利要求2所述的方法，其特征在于，所述方法包括：
获取所述训练数据及所述训练数据的初始标注信息；
基于所述初始标注信息，生成所述第一标注信息。
5.根据权利要求4所述的方法，其特征在于，
所述获取所述训练数据及所述训练数据的初始标注信息，包括：
获取包含有多个分割目标的训练图像及所述分割目标的外接框；
所述基于所述初始标注信息，生成所述第一标注信息，包括：
基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓。
6.根据权利要求5所述的方法，其特征在于，所述基于所述初始标注信息，生成所述第一标注信息，还包括：
基于所述外接框，生成具有重叠部分的两个所述分割目标的分割边界。
7.根据权利要求5所述的方法，其特征在于，
所述基于所述外接框，在所述外接框内绘制与所述分割目标形状一致的标注轮廓，包括：
基于所述外接框，在所述外接框内绘制与细胞形状一致的所述外接框的内接椭圆。
8.一种深度学习模型训练装置，其特征在于，包括：
标注模块，用于获取待训练模型输出的第n+1标注信息，所述待训练模型已经过n轮训练；n为大于或等于1的整数；
第一生成模块，用于基于所述训练数据及所述第n+1标注信息生成第n+1训练样本；
训练模块，用于将所述第n+1训练样本对所述待训练模型进行第n+1轮训练待训练模型。
9.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令；所述计算机可执行指令被执行后，能够实现权利要求1至7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
存储器；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令实现前述权利要求1至7任一项所述的方法。
CN201811646430.5A 2018-12-29 2018-12-29 深度模型训练方法及装置、电子设备及存储介质 Active CN109740752B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201811646430.5A CN109740752B (zh) 2018-12-29 2018-12-29 深度模型训练方法及装置、电子设备及存储介质
SG11202100043SA SG11202100043SA (en) 2018-12-29 2019-10-30 Deep model training method and apparatus, electronic device, and storage medium
PCT/CN2019/114493 WO2020134532A1 (zh) 2018-12-29 2019-10-30 深度模型训练方法及装置、电子设备及存储介质
KR1020217004148A KR20210028716A (ko) 2018-12-29 2019-10-30 딥러닝 모델의 트레이닝 방법, 장치, 전자 기기 및 저장 매체
JP2021507067A JP7158563B2 (ja) 2018-12-29 2019-10-30 深層モデルの訓練方法及びその装置、電子機器並びに記憶媒体
TW108143792A TW202026958A (zh) 2018-12-29 2019-11-29 深度模型訓練方法及裝置、電子設備及儲存介質
US17/136,072 US20210118140A1 (en) 2018-12-29 2020-12-29 Deep model training method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811646430.5A CN109740752B (zh) 2018-12-29 2018-12-29 深度模型训练方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109740752A true CN109740752A (zh) 2019-05-10
CN109740752B CN109740752B (zh) 2022-01-04

Family

ID=66362804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811646430.5A Active CN109740752B (zh) 2018-12-29 2018-12-29 深度模型训练方法及装置、电子设备及存储介质

Country Status (7)

Country Link
US (1) US20210118140A1 (zh)
JP (1) JP7158563B2 (zh)
KR (1) KR20210028716A (zh)
CN (1) CN109740752B (zh)
SG (1) SG11202100043SA (zh)
TW (1) TW202026958A (zh)
WO (1) WO2020134532A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399927A (zh) * 2019-07-26 2019-11-01 玖壹叁陆零医学科技南京有限公司 识别模型训练方法、目标识别方法及装置
CN110909688A (zh) * 2019-11-26 2020-03-24 南京甄视智能科技有限公司 人脸检测小模型优化训练方法、人脸检测方法及计算机***
WO2020134532A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
CN113487575A (zh) * 2021-07-13 2021-10-08 中国信息通信研究院 用于训练医学影像检测模型的方法及装置、设备、可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
CN113947771B (zh) * 2021-10-15 2023-06-27 北京百度网讯科技有限公司 图像识别方法、装置、设备、存储介质以及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074034A (zh) * 2011-01-06 2011-05-25 西安电子科技大学 多模型人体运动跟踪方法
CN102184541A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 多目标优化人体运动跟踪方法
CN102622766A (zh) * 2012-03-01 2012-08-01 西安电子科技大学 多目标优化的多镜头人体运动跟踪方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN109066861A (zh) * 2018-08-20 2018-12-21 四川超影科技有限公司 基于机器视觉的智能巡检机器人自动充电控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114172A (ja) 2013-12-10 2015-06-22 オリンパスソフトウェアテクノロジー株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN106250874B (zh) * 2016-08-16 2019-04-30 东方网力科技股份有限公司 一种服饰及随身物品的识别方法和装置
KR20180044739A (ko) * 2016-10-24 2018-05-03 삼성에스디에스 주식회사 딥 러닝을 이용한 룰 생성방법 및 장치
EP3625677A4 (en) 2017-05-14 2021-04-21 Digital Reasoning Systems, Inc. SYSTEMS AND METHODS FOR QUICKLY CREATING, MANAGING AND SHARING LEARNING MODELS
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法
US20190102674A1 (en) * 2017-09-29 2019-04-04 Here Global B.V. Method, apparatus, and system for selecting training observations for machine learning models
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN108764372B (zh) * 2018-06-08 2019-07-16 Oppo广东移动通信有限公司 数据集的构建方法和装置、移动终端、可读存储介质
CN109740752B (zh) * 2018-12-29 2022-01-04 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074034A (zh) * 2011-01-06 2011-05-25 西安电子科技大学 多模型人体运动跟踪方法
CN102184541A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 多目标优化人体运动跟踪方法
CN102622766A (zh) * 2012-03-01 2012-08-01 西安电子科技大学 多目标优化的多镜头人体运动跟踪方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN109066861A (zh) * 2018-08-20 2018-12-21 四川超影科技有限公司 基于机器视觉的智能巡检机器人自动充电控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI ET AL.: "BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation", 《COMPUTER SCIENCE COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020134532A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
CN110399927A (zh) * 2019-07-26 2019-11-01 玖壹叁陆零医学科技南京有限公司 识别模型训练方法、目标识别方法及装置
CN110909688A (zh) * 2019-11-26 2020-03-24 南京甄视智能科技有限公司 人脸检测小模型优化训练方法、人脸检测方法及计算机***
CN113487575A (zh) * 2021-07-13 2021-10-08 中国信息通信研究院 用于训练医学影像检测模型的方法及装置、设备、可读存储介质
CN113487575B (zh) * 2021-07-13 2024-01-16 中国信息通信研究院 用于训练医学影像检测模型的方法及装置、设备、可读存储介质

Also Published As

Publication number Publication date
TW202026958A (zh) 2020-07-16
CN109740752B (zh) 2022-01-04
JP2021533505A (ja) 2021-12-02
JP7158563B2 (ja) 2022-10-21
KR20210028716A (ko) 2021-03-12
SG11202100043SA (en) 2021-02-25
WO2020134532A1 (zh) 2020-07-02
US20210118140A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN109740752A (zh) 深度模型训练方法及装置、电子设备及存储介质
CN109740668A (zh) 深度模型训练方法及装置、电子设备及存储介质
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
Lu et al. Adaptive object detection using adjacency and zoom prediction
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN110135231A (zh) 动物面部识别方法、装置、计算机设备和存储介质
CN109559295A (zh) 图像分析***、方法、计算机可读存储介质、及电子终端
CN109858476B (zh) 标签的扩充方法和电子设备
CN110796135B (zh) 目标的定位方法及装置、计算机设备、计算机存储介质
CN110648309B (zh) 基于条件生成对抗网络合成红细胞图像的方法及相关设备
CN106056609B (zh) 基于dbnmi模型实现遥感影像自动标注的方法
CN110197206A (zh) 图像处理的方法及装置
CN110298348A (zh) 遥感影像建筑物样本区域提取方法及***、存储介质、设备
CN110033012A (zh) 一种基于通道特征加权卷积神经网络的生成式目标跟踪方法
Li et al. Staged detection–identification framework for cell nuclei in histopathology images
CN111382638B (zh) 一种图像检测方法、装置、设备和存储介质
CN113096080B (zh) 图像分析方法及***
CN112991281B (zh) 视觉检测方法、***、电子设备及介质
CN109978863A (zh) 基于x射线图像的目标检测方法及计算机设备
CN102034117B (zh) 一种图像分类方法和装置
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
CN113139581B (zh) 一种基于多图融合的图像分类方法和***
CN113240640B (zh) 菌落计数方法、装置及计算机可读存储介质
CN112508900B (zh) 细胞病理图像分割方法及装置
CN115424250A (zh) 一种车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40006395

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 100084 rooms 1101-1117, 11 / F, 58 North Fourth Ring Road West, Haidian District, Beijing

Patentee after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: Room 710-712, 7th floor, No. 1 Courtyard, Zhongguancun East Road, Haidian District, Beijing

Patentee before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.