CN113299373A - 图像标注方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像标注方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113299373A
CN113299373A CN202110533545.9A CN202110533545A CN113299373A CN 113299373 A CN113299373 A CN 113299373A CN 202110533545 A CN202110533545 A CN 202110533545A CN 113299373 A CN113299373 A CN 113299373A
Authority
CN
China
Prior art keywords
image
annotated
annotation
label
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110533545.9A
Other languages
English (en)
Inventor
钱令军
陈黔江
刘远明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiying Medical Technology Co ltd
Original Assignee
Shenzhen Zhiying Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhiying Medical Technology Co ltd filed Critical Shenzhen Zhiying Medical Technology Co ltd
Priority to CN202110533545.9A priority Critical patent/CN113299373A/zh
Publication of CN113299373A publication Critical patent/CN113299373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于图像标注技术领域，提供一种图像标注方法、装置、电子设备及计算机可读存储介质，包括：从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签；通过本申请可以解决图像标注效率低、标注质量差的问题。

Description

图像标注方法、装置、电子设备及计算机可读存储介质
技术领域
本申请属于图像标注技术领域，具体涉及一种图像标注方法、装置、电子设备及计算机可读存储介质。
背景技术
随着大数据时代的到来和基于深度学习的计算机视觉识别技术的广泛应用，对有意义的数据进行专业化处理变得尤为重要。例如：在医学影像领域，通常需要标注海量医学影像图像中病灶的位置、类别、形状等，根据标注的信息进行临床分析。
然而，目前对医学影像中重要数据的标注工作几乎全部通过人工标注方式标注而获得。但人工标注方式效率低下，而且标注结果是否准确很大程度上依赖于标注人员的标注水平，所以通过人工标注方式对海量数据进行标注的质量无法实现有效保证。
因此，如何解决对海量医学影像图像的快速、高质量标注，成为当前人工智能在医学影像发展中亟待解决的技术问题。
发明内容
有鉴于此，本申请提供了一种图像标注方法、装置、电子设备及计算机可读存储介质，可以解决图像标注效率低、标注质量差的问题。
本申请实施例的第一方面提供了一种图像标注方法，包括：
从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；
将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；
根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
在第一方面的另一种实现方式中，所述从预设数据库中获取N张第一待标注图像，包括：
将所述N张第一待标注图像的格式转换为预设格式，获得转换后的所述N张第一待标注图像。
在第一方面的另一种实现方式中，所述将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签，包括：
将所述第一待标注图像输入所述图像标注模型，得到第一标注标签；
判断所述第一标注标签是否与所述第一待标注图像中目标物体所属的标签相匹配；
若所述第一标注标签与所述第一待标注图像中目标物体所属的标签相匹配，则将所述第一标注标签确定为所述第一待标注图像的初始标注标签。
在第一方面的另一种实现方式中，所述第一待标注图像的初始标注标签包括所述第一待标注图像中所述目标物体的初始标注位置和初始标注类别；
所述修正模型中包括第一子模型；
所述根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签，包括：
根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注位置进行修正，获得所述第一待标注图像中所述目标物体的修正位置；
根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注类别进行修正，获得所述第一待标注图像中所述目标物体的修正类别；
根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签。
在第一方面的另一种实现方式中，所述修正模型中包括第二子模型；
所述根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签，包括：
根据所述第二子模型对所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别再次进行修正，获得所述第一待标注图像的最终标注标签。
在第一方面的另一种实现方式中，在根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签之后，所述方法还包括：
根据所述第一待标注图像的最终标注标签和所述第一待标注图像更新所述图像标注模型，获得更新后的所述图像标注模型；
获取第二待标注图像，其中，所述第二待标注图像为所述预设数据库中除所述N张第一待标注图像外的M张待标注图像，1≤M≤H-N；
将所述第二待标注图像输入更新后的所述图像标注模型，获得所述第二待标注图像的初始标注标签；
根据所述修正模型修正所述第二待标注图像的初始标注标签，获得所述第二待标注图像的最终标注标签；
根据所述第一待标注图像的最终标注标签、所述第一待标注图像、所述第二待标注图像的最终标注标签和所述第二待标注图像，再次更新所述图像标注模型。
本申请实施例的第二方面提供了一种图像标注装置，包括：
获取模块，用于从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；
预测模块，用于将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；
修正模块，用于根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
在第二方面的另一种实现方式中，所述预测模块还用于：
判断第一标注标签是否与所述第一待标注图像中目标物体所属的标签相匹配；若所述第一标注标签与所述第一待标注图像中目标物体所属的标签相匹配，则将所述第一标注标签确定为所述第一待标注图像的初始标注标签。
本申请实施例的第三方面提供了一种电子设备，包括：处理器，所述处理器用于运行存储器中存储的计算机程序，以实现如第一方面所述的显示方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述的显示方法。
本申请实施例在从预设数据库中获取N张第一待标注图像后，1≤N＜H，H为所述预设数据库中待标注图像的总数；将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；然后，根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。本方案通过预设的修正模型对预测得到的所述第一待标注图像的初始标注标签进行了修正，从而获得了所述第一待标注图像的最终标注标签，如此一来，可以解决传统人工标注方式存在的图像标注效率低、标注质量差的问题。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。
图1示出本申请实施例提供的图像标注方法的流程示意图；
图2示出本申请另一实施例提供的图像标注方法的流程示意图；
图3示出本申请实施例的图像标注装置的示意框图；
图4示出本申请实施例的电子设备的示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
本领域技术人员可以理解，附图只是示例实施例的示意图，可能不是按比例的。附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。
参见图1，是本发明实施例提供的一种图像标注方法的流程示意图，如图所示，该方法可以包括以下步骤：
步骤S110，从预设数据库中获取N张第一待标注图像。
其中，1≤N＜H，H为预设数据库中待标注图像的总数。
本申请实施例提供一种图像标注方法，该方法中，在创建预设数据库之前，需要对存储于原始数据库或指定文件中的所有未标注图像进行一个初步筛选，所述初步筛选的目的是去除掉未标注图像中非关注图像，从而得到关注图像。作为举例，在医学影像领域，海量的医学影像图像中可能包括手部影像图像、肺部影像图像、脑部影像图像、腹部影像图像、脚部影像图像等，如果影像医师仅仅想分析肺部疾病，那么，肺部影像图像就是关注图像，除肺部影像图像外的其它医学影像图像就是非关注图像；那么，非关注图像就会在初步筛选阶段中被去除，从而得到关注图像即肺部影像图像。
最后，将经过初步筛选获得的关注图像即肺部影像图像作为待标注图像存放在预设数据库中，从而为图像标注提供数据来源。
初步筛选的方法可以采用传统的图像特征识别方法、机器学习中的支持向量机方法以及深度学习中的多类别分类方法等，本申请对此不做限定。
本申请实施例中，预设数据库是预先创建的，用来存储待标注图像。作为举例，在医学影像领域，预设数据库可以是影像归档和通信***(Picture Archiving andCommunication Systems，PACS)，待标注图像可以是医学影像图像，本申请实施例中的医学影像图像存储于PACS***。
预设数据库中总共存储有H张待标注图像，一般H>2。从预设数据库中获取的待标注图像可以是多张，也可以是一张，即N的取值范围可以是：1≤N＜H。
为了便于描述，此处将从所述预设数据库中获取的N张待标注图像定义为第一待标注图像。
在本申请另一实施例中，所述从预设数据库中获取N张第一待标注图像，包括：
将所述N张第一待标注图像的格式转换为预设格式，获得转换后的所述N张第一待标注图像。
本申请实施例中，预设数据库中存储的待标注图像携带有属性和描述信息，其中属性可以包括图像拍摄的拍摄信息、拍摄器材(拍摄机身、镜头、闪光灯等)、拍摄参数(快门速度、光圈F值、ISO速度、焦距、测光模式等)等信息；描述可以包括待标注图像中的像素数目和每个像素点的像素值，待标注图像的属性和描述可以以矩阵格式存储在预设数据库或指定文件中，当然也可以以其它格式进行存储。
作为另一示例，在医学影像领域，大量的医学影像会以医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)标准格式存储于PACS***中，那么，DICOM格式就是医学影像图像在PACS***中的格式。
一般从预设数据库中获取到待标注图像后，需要根据实际需求将待标注图像的格式转换为预设格式，其中，预设格式可以是PNG、JPG、BMP、PSD等。
当然，实际应用中，所述待标注图像也可以直接以预设格式存储于预设数据库中，本申请对此不作限定。
下述实施例中的第一待标注图像，可以指格式转换前的第一待标注图像，也可以指格式转换后的第一待标注图像。
步骤S120，将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签。
本申请实施例中，预设的图像标注模型可以是一个初始模型，如对网络参数和网络结构等进行初始设定后的卷积神经网络模型；也可以是通过训练样本预先训练后的模型。
此处，将步骤S110中获取的第一待标注图像输入预设的图像标注模型后，由所述图像标注模型对所述第一待标注图像中的目标物体行预测标注得到第一待标注图像中目标物体的预测标注结果，本申请实施例中将得到的目标物体的预测标注结果定义为第一待标注图像的初始标注标签。所述初始标注标签包含了第一待标注图像中目标物体的初始标注位置和初始标注类别。
在本申请另一实施例中，所述将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签，包括：
步骤S1201，将所述第一待标注图像输入所述图像标注模型，得到第一标注标签。
本申请实施例中，图像标注模型会对输入的第一待标注图像中所有物体的位置和类别进行一个预测标注，得到第一待标注图像中所有物体的预测标注位置和预测标注类别，第一待标注图像中所有物体的预测标注位置和所预测标注类别一起组成了第一待标注图像的标注标签。
为了便于描述，此处将第一待标注图像输入图像标注模型而得的第一待标注图像中所有物体的标注标签定义为第一标注标签。
然而，需要说明的是，尽管第一待标注图像都是所述关注图像，但得到的第一待标注图像的第一标注标签内可能同时包含了目标物体的标注标签和非目标物体的标注标签。
步骤S1202，判断所述第一标注标签是否与所述第一待标注图像中目标物体所属的标签相匹配。
本申请实施例中，如步骤S1201中所述，所述第一标注标签可能包含了目标物体的标注标签和非目标物体的标注标签。
为了便于说明，此处接着步骤S110中的示例继续进行阐释。在得到了关注图像即肺部影像图像后，将肺部影像图像输入图像标注模型中，图像标注模型就会对输入的肺部影像图像进行一个预测标注，得到肺部影像图像的第一标注标签。可以理解，一般情况下，肺部影像图像反映的肺部疾病可能是肺气肿、肺炎、肺大泡、肺癌、气胸等。如此一来，对肺部影像图像进行预测标注后获得的第一标注标签就有可能是对上述多种肺部疾病进行预测标注后得到的标注标签；当然，第一标注标签内也可能会包含无需标注的正常肺部影像图像。如果影像医师只关注肺部影像图像中反映肺气肿和肺癌疾病的标注标签，那么，肺部影像图像中反映肺气肿和肺癌疾病的标注标签就是第一标注标签中目标物体的标注标签；肺部影像图像中反映肺大泡、肺炎、气胸疾病的标注标签以及正常的肺部影像图像就是第一标注标签中非目标物体的标注标签。
本申请实施例中，就需要判断获得的第一标注标签是否与第一待标注图像中目标物体所属的标签相匹配。
需要说明的是，上述示例只是其中一种情况，本申请对此不作特别限定。
步骤S1203，若所述第一标注标签与所述第一待标注图像中目标物体所属的标签相匹配，则将所述第一标注标签确定为所述第一待标注图像的初始标注标签。
本申请实施例中，经过判断，若第一标注标签与第一待标注图像中目标物体所属的标签相匹配，则将第一标注标签确定为第一待标注图像的初始标注标签。上述情况就是第一标注标签都是第一待标注图像中目标物体所属的标签。作为举例，假设第一标注标签都是对肺部影像图像中肺癌和肺气肿疾病进行标注得到的标签，而第一待标注图像中目标物体的所属的标签也是肺癌和肺气肿疾病；那么，这样一来第一标注标签与第一待标注图像中目标物体所属的标签就完全匹配，即第一标注标签就是第一待标注图像的初始标注标签。
本申请实施例中，还存在另外一种情况，如果所述第一标注标签包含步骤S1202中所述的多种肺部疾病，而第一待标注图像中目标物体所属的标签是肺气肿和肺癌疾病。那么，步骤S1203就会将第一标注标签中与第一待标注图像中目标物体所属的标签相匹配的标注标签确定为第一待标注图像的初始标注标签。
步骤S130，根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
本申请实施例中，修正模型可以是根据修正需要预先设定的模型，修正模型包括第一子模型和第二子模型；其中，第一子模型和第二子模型可以是为标注人员公开的标注客户端labelImg、labelme、在线标注工具等，也可以是专家***，还可以是预设的软件程序、插件程序等可以用来对第一待标注图像的初始标注标签进行修正的工具。本申请对此不做限定。
本申请实施例中，预设的修正模型会对第一待标注图像的初始标注标签进行修正，使得经过修正的第一待标注图像的初始标注标签与本申请第一待标注图像中目标物体所属的标签更加吻合，从而获得第一待标注图像的最终标注标签。
在本申请另一实施例中，所述根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签，包括：
步骤S1301，根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注位置进行修正，获得所述第一待标注图像中所述目标物体的修正位置。
本申请实施例中，第一待标注图像中目标物体的初始标注位置可能与更加精确的实际位置之间存在或多或少的偏差，此时，就需要对第一待标注图像中目标物体的初始标注位置进行修正，得到更加接近实际位置的修正位置。在该实施例中，修正操作可以包括删除、移动、和拖动边缘坐标等。修正操作可以是由人工通过客户端(labelImg、labelme、在线标注工具)修正的过程，也可以是将第一待标注图像的初始标注标签上传到专家***由专家进行审核修正的过程，还可以是由预设的软件程序、插件程序自动修正的过程。本申请对此不作限定。
步骤S1302，根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注类别进行修正，获得所述第一待标注图像中所述目标物体的修正类别。
本申请实施例中，在经过步骤S1202后，尽管初始标注标签内包含的都是目标物体的标注标签，但是初始标注标签中的初始标注类别可能并不正确，在通过第一子模型对初始标注类别进行修正时，可以对不正确的初始标注类别进行修正，修正操作包括删除、移动等操作。作为示例，比如实际是肺气肿，却标成了肺癌，那么就可以将标注错误的初始标签类别由肺癌改成肺气肿。此外，也可以移动初始标注类别对应的初始标注位置，使得移动后的初始标注位置处的初始标注类别为第一待标注图像中目标物体所属的类别。当然，还可以对完全标注错误的标签进行删除。
步骤S1303，根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签。
此处需要补充说明是，在实际应用中可对第一待标注图像中目标物体的初始标注类别和初始标注位置都进行修正，之后根据S1303中的步骤确定最终标注标签。也可以仅对其中的初始标注位置或初始标注类别进行修正，相应的，根据修正位置或修正类别确定最终标注标签。当然，具体的修正策略可以从初始标注标签的标注准确度出发进行选择。
本申请实施例中，第一待标注图像中目标物体的修正位置和修正类别是在步骤S1302中获取的。
在本申请另一实施例中，在所述根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签，包括：
根据所述第二子模型对所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别再次进行修正，获得所述第一待标注图像的最终标注标签。
本申请实施例中，采用与步骤S1301和步骤S1302相同的方法，通过第二子模型对步骤S1303中获得的第一待标注图像中目标物体的修正位置和修正类别进行再次的修正从而获得第一待标注图像的最终标注标签。
当然，第二子模型也可以仅对第一待标注图像中目标物体的修正位置或修正类别进行再次的修正，具体修正策略也取决于步骤S1302中获得的修正位置和修正类别的修正准确度。
第二子模型可以采用和第一子模型相同的模型，相当于通过重复修正的方式提高标注准确度。第二子模型还可以采用和第一子模型不同的模型，相当于通过不同的模型、采用不同的方式进行修正。
参见图2，在本申请另一实施例中，在所述根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签之后，所述方法还包括：
步骤S140，根据所述第一待标注图像的最终标注标签和所述第一待标注图像更新所述图像标注模型，获得更新后的所述图像标注模型。
本申请实施例中，可以通过获得的第一待标注图像的最终标注标签和所述第一待标注图像去更新图像标注模型，从而为下一批待标注图像的预测标注提供新的模型，经过更新后的新的模型跟更新前的图像标注模型相比具有更优的预测标注性能，该性能可以是预测标注的精度比更新前模型的预测标注精度高，预测标注的速率也比更新前模型的预测标注速率快；本申请对此不作限定。
步骤S150，获取第二待标注图像。
其中，所述第二待标注图像为所述预设数据库中除所述N张第一待标注图像外的M张待标注图像，1≤M≤H-N。
本申请实施例中，从预设数据库中剩余的H-N张待标注图像中获取M张待标注图像作为第二待标注图像，可以理解，第二待标注图像是另一批次的待标注图像。
需要进一步补充说明的是，第一待标注图像和第二待标注图像只是两个批次，其中，第一待标注图像的数量和第二待标注图像的数量可以相同也可以不同。同样，能够理解，在实际应用中可以将预设数据库中的H张待标注图像平均划分成n个批次，也可以根据需求非平均划分成n个批次。
步骤S160，将所述第二待标注图像输入更新后的所述图像标注模型，获得所述第二待标注图像的初始标注标签。
对本申请实施例实现过程的描述可参照步骤S120，在此不再重复说明。只是需要补充的是，在本申请实施例中，是通过更新后的图像标注模型对第二待标注图像进行预测标注，从而得到的是第二待标注图像的初始标注标签。
步骤S170，根据所述修正模型修正所述第二待标注图像的初始标注标签，获得所述第二待标注图像的最终标注标签。
对本申请实施例的实现过程的描述可参照步骤S130，在此不再做重复说明。同样需要补充的是，本申请实施例中是通过修正模型对第二待标注图像的初始标注标签进行修正，从而得到的是第二待标注图像的最终标注标签。
步骤S180，根据所述第一待标注图像的最终标注标签、所述第一待标注图像、所述第二待标注图像的最终标注标签和所述第二待标注图像，再次更新所述图像标注模型。
本申请实施例中，将第一待标注图像的最终标注标签、第一待标注图像、第二待标注图像的最终标注标签和第二待标注图像一起作为新的训练样本，输入更新后的所述图像标注模型，对所述更新后的所述图像标注模型进行训练，从而得到再次更新后的所述图像标注模型。
需要补充说明的是，在得到再次更新后的图像标注模型后，可以再次获取预设数据库中的待标注图像，然后依次执行如权利要求1至权利要求6所述的图像标注方法，直至满足循环截止条件时，获得最终优化后的图像标注模型。其中，循环截止条件可以是完成了对预设数据库中所有待标注图像的标注工作，也可以是达到了对本申请中图像标注模型进行训练的训练次数，还可以是更新后的图像标注模型的预测标注精度达到了预设条件，当然，还可以是上述三个条件同时满足。
当然，如果在循环截止后，预设数据库中又添加了新的待标注图像需要标注，可以接着上一循环截止时获得的优化后的图像标注模型和本申请中权利要求1至权利要求6所述的图像标注方法完成对预设数据库中新添加的待标注图像的标注工作，并获得不断优化后的图像标注模型。
图3示出本申请一实施例提供的图像标注装置的示意框图，为了便于说明，仅示出与本申请实施例相关的部分。
所述图像标注装置3，包括：
获取模块310，用于从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；
预测模块320，用于将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；
修正模块330，用于根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
作为本申请另一实施例，所述获取模块310还用于：
将所述N张第一待标注图像的格式转换为预设格式，获得转换后的所述N张第一待标注图像。
作为本申请另一实施例，所述预测模块320还用于：
判断所述第一标注标签是否与所述第一待标注图像中目标物体所属的标签相匹配；若所述第一标注标签与所述第一待标注图像中目标物体所属的标签相匹配，则将所述第一标注标签确定为所述第一待标注图像的初始标注标签。
可选的，所述第一待标注图像的初始标注标签包括所述第一待标注图像中所述目标物体的初始标注位置和初始标注类别；
所述修正模型中包括第一子模型；
作为本申请另一实施例，所述修正模块330还用于：
根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注位置进行修正，获得所述第一待标注图像中所述目标物体的修正位置；
根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注类别进行修正，获得所述第一待标注图像中所述目标物体的修正类别；
根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签。
可选的，所述修正模型中包括第二子模型；
作为本申请另一实施例，所述修正模块330还用于：
根据所述第二子模型对所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别再次进行修正，获得所述第一待标注图像的最终标注标签。
参见3，作为本申请另一实施例，装置3还包括：
更新模块340，用于根据所述第一待标注图像的最终标注标签和所述第一待标注图像更新所述图像标注模型，获得更新后的所述图像标注模型；
获取第二待标注图像，其中，所述第二待标注图像为所述预设数据库中除所述N张第一待标注图像外的M张待标注图像，1≤M≤H-N；
将所述第二待标注图像输入更新后的所述图像标注模型，获得所述第二待标注图像的初始标注标签；
根据所述修正模型修正所述第二待标注图像的初始标注标签，获得所述第二待标注图像的最终标注标签；
根据所述第一待标注图像的最终标注标签和所述第一待标注图像以及所述第二待标注图像的最终标注标签和所述第二待标注图像，再次更新所述图像标注模型。
需要说明的是，上述装置/单元之间的执行过程和相互之间的信息交互与本申请实施例提供的显示方法基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图4是本申请一实施例提供的电子设备的示意框图。如图4所示，该实施例的电子设备4包括：
一个或多个处理器400、存储器410以及存储在所述存储器410中并可在所述处理器400上运行的计算机程序420。所述处理器400执行所述计算机程序420时实现上述各个方法实施例中的步骤，例如图1所示的步骤S110至S130。或者，所述处理器400执行所述计算机程序420时实现上述装置实施例中各模块的功能，例如图3所示模块310至340的功能。
示例性的，所述计算机程序420可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器410中，并由所述处理器400执行，以完成本申请所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序420在所述电子设备4中的执行过程。例如，所述计算机程序420可以被分割成获取模块、预测模块、修正模块，示例性的：
获取模块，用于从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；
预测模块，用于将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；
修正模块，用于根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
所述电子设备包括但不仅限于处理器400、存储器410。本领域技术人员可以理解，图4仅仅是电子设备4的一个示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备4还可以包括输入设备、输出设备、网络接入设备、总线等。
所述处理器400可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器410可以是所述电子设备4的内部存储单元，例如电子设备4的硬盘或内存。所述存储器410也可以是所述电子设备4的外部存储设备，例如所述电子设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器410还可以既包括所述电子设备4的内部存储单元也包括外部存储设备。所述存储器410用于存储所述计算机程序以及所述电子设备4所需的其他程序和数据。所述存储器410还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的电子设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被一个或多个处理器执行时，可实现上述各个方法实施例的步骤。
同样，作为一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像标注方法，其特征在于，包括：
从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；
将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；
根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
2.如权利要求1所述的图像标注方法，其特征在于，所述从预设数据库中获取N张第一待标注图像，包括：
将所述N张第一待标注图像的格式转换为预设格式，获得转换后的所述N张第一待标注图像。
3.如权利要求1所述的图像标注方法，其特征在于，所述将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签，包括：
将所述第一待标注图像输入所述图像标注模型，得到第一标注标签；
判断所述第一标注标签是否与所述第一待标注图像中目标物体所属的标签相匹配；
若所述第一标注标签与所述第一待标注图像中目标物体所属的标签相匹配，则将所述第一标注标签确定为所述第一待标注图像的初始标注标签。
4.如权利要求3所述的图像标注方法，其特征在于，所述第一待标注图像的初始标注标签包括所述第一待标注图像中所述目标物体的初始标注位置和初始标注类别；
所述修正模型中包括第一子模型；
所述根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签，包括：
根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注位置进行修正，获得所述第一待标注图像中所述目标物体的修正位置；
根据所述第一子模型对所述第一待标注图像中所述目标物体的初始标注类别进行修正，获得所述第一待标注图像中所述目标物体的修正类别；
根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签。
5.如权利要求4所述的图像标注方法，其特征在于，所述修正模型中包括第二子模型；
所述根据所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别确定所述第一待标注图像的最终标注标签，包括：
根据所述第二子模型对所述第一待标注图像中所述目标物体的所述修正位置和所述修正类别再次进行修正，获得所述第一待标注图像的最终标注标签。
6.如权利要求1所述的图像标注方法，其特征在于，在根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签之后，所述方法还包括：
根据所述第一待标注图像的最终标注标签和所述第一待标注图像更新所述图像标注模型，获得更新后的所述图像标注模型；
获取第二待标注图像，其中，所述第二待标注图像为所述预设数据库中除所述N张第一待标注图像外的M张待标注图像，1≤M≤H-N；
将所述第二待标注图像输入更新后的所述图像标注模型，获得所述第二待标注图像的初始标注标签；
根据所述修正模型修正所述第二待标注图像的初始标注标签，获得所述第二待标注图像的最终标注标签；
根据所述第一待标注图像的最终标注标签、所述第一待标注图像、所述第二待标注图像的最终标注标签和所述第二待标注图像，再次更新所述图像标注模型。
7.一种图像标注装置，其特征在于，包括：
获取模块，用于从预设数据库中获取N张第一待标注图像，1≤N＜H，H为所述预设数据库中待标注图像的总数；
预测模块，用于将所述第一待标注图像输入预设的图像标注模型，获得所述第一待标注图像的初始标注标签；
修正模块，用于根据预设的修正模型修正所述第一待标注图像的初始标注标签，获得所述第一待标注图像的最终标注标签。
8.如权利要求7所述的图像标注装置，其特征在于，所述预测模块还用于：
判断第一标注标签是否与所述第一待标注图像中目标物体所属的标签相匹配；若所述第一标注标签与所述第一待标注图像中目标物体所属的标签相匹配，则将所述第一标注标签确定为所述第一待标注图像的初始标注标签。
9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于运行存储器中存储的计算机程序，以实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储计算机程序，所述计算机程序在处理器上运行时实现如权利要求1至6任一项所述的方法。
CN202110533545.9A 2021-05-17 2021-05-17 图像标注方法、装置、电子设备及计算机可读存储介质 Pending CN113299373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533545.9A CN113299373A (zh) 2021-05-17 2021-05-17 图像标注方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533545.9A CN113299373A (zh) 2021-05-17 2021-05-17 图像标注方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113299373A true CN113299373A (zh) 2021-08-24

Family

ID=77322389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533545.9A Pending CN113299373A (zh) 2021-05-17 2021-05-17 图像标注方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113299373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、***、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573279A (zh) * 2018-03-19 2018-09-25 精锐视觉智能科技（深圳）有限公司 图像标注方法及终端设备
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法
CN109800805A (zh) * 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理***以及计算机设备
CN111507480A (zh) * 2020-04-16 2020-08-07 光际科技(上海)有限公司 标注方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573279A (zh) * 2018-03-19 2018-09-25 精锐视觉智能科技（深圳）有限公司 图像标注方法及终端设备
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法
CN109800805A (zh) * 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理***以及计算机设备
CN111507480A (zh) * 2020-04-16 2020-08-07 光际科技(上海)有限公司 标注方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、***、计算机设备和存储介质
CN114972930B (zh) * 2022-08-02 2022-12-06 四川大学 面部图像的皮损标注方法、***、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US11080857B2 (en) Systems and methods for segmenting an image
WO2021104056A1 (zh) 一种肿瘤自动分割***、方法及电子设备
CN108734120B (zh) 标注图像的方法、装置、设备和计算机可读存储介质
WO2020157761A1 (en) Automated evaluation of embryo implantation potential
US8411948B2 (en) Up-sampling binary images for segmentation
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
TWI747120B (zh) 深度模型訓練方法及裝置、電子設備及儲存介質
CN111445440A (zh) 一种医学图像分析方法、设备和存储介质
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN111062441A (zh) 基于自监督机制和区域建议网络的场景分类方法及装置
CN113065609B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN112132232A (zh) 医学图像的分类标注方法和***、服务器
Alawad et al. Machine learning and deep learning techniques for optic disc and cup segmentation–a review
CN115147862A (zh) 底栖动物自动识别方法、***、电子设备和可读存储介质
CN113299373A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
US20220189208A1 (en) Gesture recognition method, device and computer-readable storage medium
CN113706562A (zh) 图像分割方法、装置、***及细胞分割方法
CN111145196A (zh) 图像分割方法、装置及服务器
CN111985471B (zh) 一种车牌定位方法、装置及存储介质
CN112613425A (zh) 一种面向小样本水下图像的目标识别方法及***
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN115601547A (zh) 样本图像获取、货物管理方法、装置、设备及存储介质
Qian et al. Context-aware transformer for 3d point cloud automatic annotation
Lubbad et al. A comparative analysis of deep learning-based approaches for classifying dental implants decision support system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210824