CN110880022A - 标注方法、装置及存储介质 - Google Patents

标注方法、装置及存储介质 Download PDF

Info

Publication number
CN110880022A
CN110880022A CN201911102202.6A CN201911102202A CN110880022A CN 110880022 A CN110880022 A CN 110880022A CN 201911102202 A CN201911102202 A CN 201911102202A CN 110880022 A CN110880022 A CN 110880022A
Authority
CN
China
Prior art keywords
class
label
labeled
image
probability value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911102202.6A
Other languages
English (en)
Inventor
庞芸萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Priority to CN201911102202.6A priority Critical patent/CN110880022A/zh
Publication of CN110880022A publication Critical patent/CN110880022A/zh
Priority to US16/880,954 priority patent/US11790266B2/en
Priority to EP20178354.5A priority patent/EP3822859A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Library & Information Science (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种标注方法，包括：基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。

Description

标注方法、装置及存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种标注方法、装置及存储介质。
背景技术
随着图像识别技术的广泛应用，图像数据成为图像处理过程中必不可少的基础数据。且基础数据集的处理是图像处理技术中的关键步骤。其中，一个最核心也是最困难的任务是让计算机理解图像的语义，而图像标注则是其中的关键技术。图像标注包括单标签标注和多标签标注。例如，某个图像上包括蓝天、白云、草地的特征，如果仅仅标注图像上的蓝天特征，则为单标签标注；如果同时标注图像上的蓝天、白云和草地3个特征，则为多标签标注。
相关技术中，图像的标注过程大多需要人工完成。由于单标签标注只需标注一个标签，而多标签标注需要同时标注多个标签，相比于单标签标注的图像数据集的获得，多标签标注的图像数据集的获得变得更加繁琐。特别是针对图像特征较多的图像，多标签标注的标签数量随着图像数量的增加呈***式增长。标注完备的多标签数据集会耗费大量的人力物力。
发明内容
本公开提供一种标注方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种标注方法，包括：
基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，在所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值之前，还包括：
获取目标应用场景下的第三图像集；其中，所述第三图像集包括第三样本图像；
采用不同种类标签对所述第三样本图像的不同图像特征进行标注，获得第一图像集。
其中，所述方法还包括：
根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；
所述将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，包括：
以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，所述第N类标签包括P个不同的子标签，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，包括：
基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数。
其中，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，包括：
基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；
从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；
基于所述第二数量与第一数量的比值确定第一类概率值。
其中，所述方法还包括：
建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；
存储所述关联关系表；
所述将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，包括：
从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
根据本公开实施例的第二方面，还提供一种标注装置，所述装置包括确定模块和添加模块，其中，
所述确定模块，用于基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；
所述添加模块，用于将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，所述装置还包括获取模块和标注模块；其中，
所述获取模块，用于获取目标应用场景下的第三图像集；
所述标注模块，用于采用不同种类标签对所述第三图像集中的图像所包含的不同种类图像特征进行标注，获得第一图像集。
其中，所述装置还包括分类模块，其中，
所述分类模块，用于根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；
所述添加模块，还用于以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，所述第N类标签包括P个不同的子标签，所述确定模块，还用于基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数。
其中，所述确定模块，还用于基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；基于所述第二数量与第一数量的比值确定第一类概率值。
其中，所述装置还包括关联模块，所述关联模块，用于建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；存储所述关联关系表；
所述确定模块，还用于从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
根据本公开实施例的第三方面，还提供一种标注装置，其中，所述装置包括：处理器和用于存储能够在所述处理器上运行计算机服务的存储器，其中所述处理器用于运行所述计算机服务时，实现本公开任一实施例所述的标注方法。
根据本公开实施例的第四方面，还提供一种存储介质，所述存储介质中有计算机可执行指令，所述计算机可执行指令被处理器执行实现本公开任一实施例所述的标注方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，通过基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值；这样，通过所述第一类概率值建立了所述第M类标签和所述第N类标签之间的关联关系。将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。这样，由于通过所述第一类概率值建立了所述第M类标签和所述第N类标签之间的关联关系，则无需通过人工识别每张图像中的每个特征，并对每个特征逐一进行标注，而是通过建立的所述第M类标签和所述第N类标签之间的关联关系，可以在第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，批量添加所述第一类概率值，直接利用第一类概率值实现了对第二图像集中被标注有所述第M类标签的第二样本图像中第N类标签的批量标注，使得标注更加高效。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种标注方法的流程图。
图1a是根据一示例性实施例示出的一种风景图片标注示意图。
图1b是根据一示例性实施例示出的一种应用本公开实施例的人脸识别模型训练方法流程图。
图2是根据一示例性实施例示出的一种标注方法的流程图。
图3是根据一示例性实施例示出的一种标注方法的流程图。
图4是根据一示例性实施例示出的一种标注方法的流程图。
图5是根据一示例性实施例示出的一种标注方法的流程图。
图6是根据一示例性实施例示出的一种标注方法的流程图。
图7是根据一示例性实施例示出的一种标注装置的框图。
图8是根据一示例性实施例示出的一种标注装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种标注方法的流程图，如图1所示，所述方法包括以下步骤：
步骤S11，基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；
这里，所述第一图像集可以是在某一应用场景下的图像集。例如，在人脸识别应用场景中，所述图像集可以是人脸图像集。在车牌识别应用场景中，所述图像集可以是车牌图像集。所述第一标签信息可以是与所述第一图像中的图像特征相对应的标签信息。例如，所述第一图像为风景图片，所述风景图片中包括草地、蓝天和白云等图像特征。如果通过标签1、标签2、标签3分别对所述风景图片中的草地、蓝天、白云的图像特征进行标注，则所述第一标签信息包含指示草地的标签1、指示蓝天的标签2和指示白云的标签3。
所述第一标签信息可以通过特征向量表示。例如，风景图片的第一标签信息的特征向量表示为X＝{1、2、3}，其中，1、2、3分别为标签1、标签2、标签3对应的标签值。这里，所述第M类标签与所述第N类标签为不同类型的标签。
这里，以第一图像集是风景图片集为例，对确定所述第一类概率的过程进行说明。所述风景图片集包括图片A、图片B、图片C。所述风景图片集中的图片包括草地、蓝天和白云3个图像特征。需要说明的是，所述风景图片可以只包括所述3个图像特征中的一个或2个，或者全部进行标注。
表一示出了风景图片被标注的情况。其中，“/”代表图像特征未被标注或风景图片中并不包含有对应特征。这里，需要说明的是，标签值可以根据需要灵活设定。本示例中，请参见图1a，将草地、蓝天、白云依次对应的标签1、标签2、标签3的标签值分别设置为1、2、3。
图像特征标注表
Figure BDA0002270199350000061
表一
可以知道：风景图片集中的图片A、图片B和图片C都符合被标注为1的条件。这里，图片B和图片C同时被标注为2，则图片同时被标注为2的第一类概率为2/3；只有图片C同时被标注为3，则图片同时被标注为3的第一类概率为1/3。这样，确定了图片被标注为1时，图片被标注为2的第一类概率为2/3，被标注为3的第一类概率为1/3。
风景图片集中的图片B和图片C符合被标注为2的条件。这里，图片B和图片C同时被标注为1，则图片同时被标注为1的第一类概率为1；只有图片C同时被标注为3，则图片同时被标注为3的第一类概率为1/2。这样，确定了图片被标注为2时，图片被标注为1的第一类概率为1，被标注为3的第一类概率为1/2。
风景图片集中的图片C符合被标注为3的条件，且图片C同时被标注为1，则图片同时被标注为1的第一类概率为1；图片C同时被标注为2，则图片同时被标注为2的第一类概率为1。这样，确定了图片被标注为3时，图片被标注为1的第一类概率为1，被标注为3的第一类概率为1。上述确定的第一类概率将用于后续步骤S12中。
步骤S12，将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中；
这里，所述第二标签信息可以采用特征向量表示。仍然以风景图片集为例，对所述第一类概率值的添加过程进行说明。所述风景图片集包括图片A、图片B、图片C。所述风景图片集中的图片包括草地、蓝天和白云3个图像特征。表二示出了添加第一类概率值之前风景图片被标注的情况。其中，“/”代表图像特征未被标注或图片不具有对应的图像特征。这里，需要说明的是，表中的标签值1、2、3可以根据需要灵活设定。
图像特征标注表
Figure BDA0002270199350000062
表二
这里，所述风景图片集中的图片A、图片B、图片C添加第一类概率值前的第二标签信息用特征向量表示，所述图片A、图片B、图片C对应的特征向量分别为：A＝{1、0、0}；B＝{0、2、0}；C＝{0、0、3}。这里，未被标注的图像特征在所述特征向量中对应用0表示。
基于步骤S11中所述第一类概率值的确定过程已经知道：
图片A被标注为1时，图片A被标注为2的第一类概率为2/3，被标注为3的第一类概率为1/3。
图片B被标注为2时，图片B被标注为1的第一类概率为1，被标注为3的第一类概率为1/2。
图片C被标注为3时，图片C被标注为1的第一类概率为1，被标注为3的第一类概率为1。
则：
图片A添加所述第一类概率值后的第二标签信息为：A＝{1、2/3、1/3}。
图片B添加所述第一类概率值后的第二标签信息为：B＝{1、2、1/2}。
图片C添加所述第一类概率值后的第二标签信息为：C＝{1、1、3}。
表三示出了添加所述第一类概率值后风景图片被标注的情况。
图像特征标注表
Figure BDA0002270199350000071
表三
这里，请参见图1b，以人脸识别应用场景为例，公开了一种利用本公开实施例获得的图像集应用于人脸识别训练的方法，所述方法包括：
步骤a，获取人脸图片集，对所述人脸图片集中人脸图片的人脸特征进行标注，获得第一图像集。其中，所述人脸特征包括：眼睛、鼻子、嘴巴、头发等。这里，每张人脸特征都对应有一个标签，例如，眼睛对应标签1、鼻子对应标签2等。
步骤b，基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数。这里，所述第一标签信息包含对人脸特征进行标注的信息。
步骤c，将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，获得更新后的第二图像集。
步骤d，将更新后的所述第二图像集作为人脸识别模型的训练样本进行人脸识别模型的训练。
本公开实施例中，通过基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值；这样，通过所述第一类概率值建立了所述第M类标签和所述第N类标签之间的关联关系。将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。这样，由于通过所述第一类概率值建立了所述第M类标签和所述第N类标签之间的关联关系，则无需通过人工识别图像的特征进行标注，而是基于所述关联关系，直接将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，使得多标签图像的标注更加高效。
其中，图2是根据一示例性实施例示出的一种注册方法的流程图，如图2所示，在步骤S11中，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值之前，还包括：
步骤S21，获取目标应用场景下的第三图像集。
这里，所述目标应用场景可以包括需要应用被标注的图像样本集的任何场景。例如，人脸识别应用场景、车牌识别应用场景等。以人脸识别应用场景为例，所述第三图像集可以包括多张人脸图片。所述人脸图片可以是在特定的光照环境、特定的拍摄角度、特定的距离场景下拍摄获得的。例如，在光照强度为1000Lux、摄像机镜头拍摄角度为水平向上倾斜60度、人距离摄像头的拍摄距离为1米的应用场景中获得人脸图片样本集。这里，所述第三图像集可以为已经存在的数据集。
步骤S22，采用不同种类标签对所述第三图像集中的图像所包含的不同种类图像特征进行标注，获得第一图像集。
这里，所述图像特征可以是图像中的纹理特征、颜色特征、形状特征等。这里，不同种类标签可以是对应不同标签值的标签。以人脸图像为例，一种人脸图像可以包括眼睛、鼻子、嘴巴、头发等形状特征，可以分别用1、2、3、4表示；人脸图像还可以有黑头发、黄皮肤，则黑、黄等颜色特征，可以分别用5、6表示。这里，可以是对所述第三图像集中的图像包含的所有的不同种类图像特征进行完备的标注。
其中，图3是根据一示例性实施例示出的一种标注方法的流程图，如图3所示，所述方法还包括：
步骤S31，根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；
例如，所述第二图像集中包括的第二样本图像有A1、A2、A3、A4、A5、A6、A7、A8、A9。以所述第二样本图像为风景图片为例，风景图片具有蓝天、白云、草地3个图像特征。上述图片通过特征向量表示分别对应为：
A1：{1、0、0}；
A2：{0、0、1}；
A3：{1、0、0}；
A4：{0、1、0}；
A5：{1、0、0}；
A6：{0、0、1}；
A7：{0、1、0}；
A8：{0、0、1}；
A9：{1、0、0}；
其中，所述特征向量的第一维度、第二维度、第三维度分别用于表示蓝天、白云、草地是否被标注。具体地，每个维度的值代表对应的图像特征是否被标注，标注为1代表该维度对应的图像特征被标注，标注0时代表该维度对应的图像特征未被标注。则，通过标注的不同的标签的类型对所述第二图像集进行分类后，所述第二图像集包括3个子集，分别为第一子集、第二子集和第三子集。其中，所述第一子集包括A1、A3、A5、A9；所述第二子集包括A4、A7；所述第三子集包括：A2、A6、A8。
步骤S12中，所述将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，包括：
步骤S32，以所述子集为处理单位，将所述第一类概率值，批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
这里，以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中，能够批量处理具有相同类型标签的所述第二样本图像，处理效率更高。例如，由于上述第一子集包括的A1、A3、A5、A9都包括第一维度对应的标签1，那么，添加的是相同的所述第一类概率值，则可以批量添加第二维度对应的标签和第三维度对应的标签，从而增加添加效率。
其中，图4是根据一示例性实施例示出的一种标注方法的流程图，如图4所示，所述第N类标签包括P个不同的子标签，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，包括：
步骤S41，基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数；
这里，仍然以风景图片为例，第一样本图像包括蓝天、白云和草地3种图像特征。第一图像集包括图片A、图片B、图片C共3个第一样本图像，标注情况如表四。
图像特征标注表
Figure BDA0002270199350000101
表四
可以知道，在对一个所述第一样本图像被标注有草地对应的标签时，同时被标注有蓝天对应的子标签为图片A、B、C，则被标注为子标签1的概率值为1；同时被标注有蓝天对应的子标签为图片A和图片C，则被标注为子标签2的概率值为2/3。即第一类概率值包括1和2/3。
这里，在确定了在对一个所述第一样本图像被标注有草地对应的标签时，同时被标注有蓝天的概率值为1，同时被标注有白云的概率值为2/3。则在第二图像样本标注有草地时，就可以通过概率值1和2/3分别标注所述第二图像样本中的蓝天和白云。这里，能够对具有多标签的已有数据集进行有效利用。
这里，当确定了在对一个所述第一样本图像被标注有草地对应的标签时，同时被标注有蓝天对应的标签和白云对应的标签的第二类概率值为2/3。则在第二样本图像标注有草地和白云时，就可以通过所述第二类概率值2/3标注所述第二样本图像。这里，能够基于标注有2个标签的第二样本图像获得标注有3个标签的第二样本图像。这样，能够对具有多标签的已有数据集也能够进行有效利用。
其中，图5是根据一示例性实施例示出的一种标注方法的流程图，如图5所示，所述S11中，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，包括：
步骤S51，基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；
这里，以风景图片为例，所述第M类标签可以为图像特征草地对应的标签，假设所述第一图像集中标注有草地标签的所述第一样本图像有10张。则所述第一数量为10。
步骤S52，从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；
这里，假设所述N类标签为蓝天对应的标签，假设所述标注有草地标签的所述第一样本图像中标注有蓝天标签的所述第一样本图像有5张。则所述第二数量为5。
步骤S53，基于所述第二数量与第一数量的比值确定第一类概率值。
基于上述的第一数量和第二数量，所述第一类概率值为5/10＝1/2。
其中，图6是根据一示例性实施例示出的一种标注方法的流程图，如图6所示，所述方法还包括：
步骤S61，建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；
这里，仍然以风景图片为例，所述风景图片包括用于标注草地的标签1、用于标注蓝天的标签2、用于标注白云的标签3。其中，第一样本图像被标注有标签1时，同时被标注有标签2的第一类概率值为1/3；第一样本图像被标注有标签2时，同时被标注有标签1的第一类概率值为1/2；第一样本图像被标注有标签1时，同时被标注有标签3的第一类概率值为1/6；第一样本图像被标注有标签3时，同时被标注有标签1的第一类概率值为1/2；第一样本图像被标注有标签2时，同时被标注有标签3的第一类概率值为1/5；第一样本图像被标注有标签3时，同时被标注有标签2的第一类概率值为1/2。那么，所述关联关系表可以如下表五。
图像特征标注表
标签种类 标签种类 概率值
第M类标签 第N类标签 第一类概率值
1 2 1/3
2 1 1/2
1 3 1/6
3 1 1/2
2 3 1/5
3 2 1/2
表五
步骤S62，存储所述关联关系表；
这里，可以是将表五中的数据依次存储在存储单元中。
所述将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，包括：
步骤S63，从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
这里，从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，可以是以第M类标签和第N类标签作为查询索引号从所述关联关系表中进行查询。例如，以表五为例，当第M类标签为1，第N类标签为2时，查询到的所述第一类概率值为1/3。
其中，图7是根据一示例性实施例示出的一种标注装置的框图，如图7所示，所述装置包括：确定模块73和添加模块76，其中，
所述确定模块73，用于基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；
所述添加模块76，用于将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，所述装置还包括获取模块71和标注模块72；其中，
所述获取模块71，用于获取目标应用场景下的第三图像集；其中，所述第三图像集包括第三样本图像；
所述标注模块72，用于采用不同种类标签对所述第三样本图像的不同图像特征进行标注，获得第一图像集。
其中，所述装置还包括分类模块75，其中，
所述分类模块75，用于根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；
所述添加模块76，还用于以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，所述第N类标签包括P个不同的子标签，所述确定模块73，还用于基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数。
其中，所述确定模块73，还用于基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；基于所述第二数量与第一数量的比值确定第一类概率值。
其中，所述装置还包括关联模块74，所述关联模块74，用于建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；存储所述关联关系表；
所述确定模块73，还用于从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
其中，图8是根据一示例性实施例示出的一种标注装置的框图，如图8所示，所述装置包括：处理器81和用于存储能够在所述处理器81上运行计算机服务的存储器82，其中所述处理器81用于运行所述计算机服务时，执行如下步骤：基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
所述处理器81还用于运行所述计算机程序时执行如下步骤：获取目标应用场景下的第三图像集；其中，所述第三图像集包括第三样本图像；采用不同种类标签对所述第三样本图像的不同图像特征进行标注，获得第一图像集。
所述处理器81还用于运行所述计算机程序时执行如下步骤：根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
所述处理器81还用于运行所述计算机程序时执行如下步骤：所述第N类标签包括P个不同的子标签，基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数。
所述处理器81还用于运行所述计算机程序时执行如下步骤：基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；基于所述第二数量与第一数量的比值确定第一类概率值。
所述处理器81还用于运行所述计算机程序时执行如下步骤：建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；存储所述关联关系表；从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
本公开实施例还提供一种存储介质，所述存储介质中有计算机可执行指令，所述计算机可执行指令被处理器执行实现本公开任一实施例所述的标注方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种标注方法，其特征在于，包括：
基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；
将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
2.根据权利要求1所述的方法，其特征在于，在所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值之前，还包括：
获取目标应用场景下的第三图像集；其中，所述第三图像集包括第三样本图像；
采用不同种类标签对所述第三样本图像的不同图像特征进行标注，获得第一图像集。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；
所述将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，包括：
以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
4.根据权利要求1所述的方法，其特征在于，所述第N类标签包括P个不同的子标签，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，包括：
基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数。
5.根据权利要求1所述的方法，其特征在于，所述基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，包括：
基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；
从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；
基于所述第二数量与第一数量的比值确定第一类概率值。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；
存储所述关联关系表；
所述将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中，包括：
从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
7.一种标注装置，其特征在于，所述装置包括确定模块和添加模块，其中，
所述确定模块，用于基于第一图像集的第一标签信息，确定在对一个第一样本图像被标注有第M类标签时，被标注有第N类标签的第一类概率值，其中，所述M与所述N不等，且均为正整数；
所述添加模块，用于将所述第一类概率值，添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括获取模块和标注模块；其中，
所述获取模块，用于获取目标应用场景下的第三图像集；其中，所述第三图像集包括第三样本图像；
所述标注模块，用于采用不同种类标签对所述第三样本图像的不同图像特征进行标注，获得第一图像集。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括分类模块，其中，
所述分类模块，用于根据标签的类型，对第二图像集中的第二样本图像进行分类，获得所述第二图像集的子集，其中，同一子集中的所述样本图像均被标注有第M类标签；
所述添加模块，还用于以所述子集为处理单位，将所述第一类概率值批量添加到所述子集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
10.根据权利要求7所述的装置，其特征在于，所述第N类标签包括P个不同的子标签，所述确定模块，还用于基于所述第一图像集的第一标签信息，确定在对一个所述第一样本图像被标注有第M类标签时，被标注有所述P个子标签的第一类概率值，其中，所述第一类概率值包括所述第一样本图像被标注有第M类标签时被标注有任一所述子标签的概率值；其中，P为大于1的正整数。
11.根据权利要求7所述的装置，其特征在于，所述确定模块，还用于基于第一图像集中第一样本图像的标签信息，获取标注有第M类标签的所述第一样本图像，和标注有所述第M类标签的所述第一样本图像的第一数量；从所述标注有第M类标签的所述第一样本图像中获取标注有第N类标签的所述第一样本的第二数量；基于所述第二数量与第一数量的比值确定第一类概率值。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括关联模块，所述关联模块，用于建立所述第M类标签、所述第N类标签、所述第一类概率值之间的关联关系表；存储所述关联关系表；
所述确定模块，还用于从所述关联关系表中查询第一样本图像被标注有第M类标签时被标注有第N类标签的第一类概率值，将所述第一类概率值添加到第二图像集中被标注有所述第M类标签的第二样本图像的第二标签信息中。
13.一种标注装置，其特征在于，所述装置包括：处理器和用于存储能够在所述处理器上运行计算机服务的存储器，其中所述处理器用于运行所述计算机服务时，实现权利要求1-6任一项所述的标注方法。
14.一种存储介质，其特征在于，所述存储介质中有计算机可执行指令，所述计算机可执行指令被处理器执行实现权利要求1-6任一项所述的标注方法。
CN201911102202.6A 2019-11-12 2019-11-12 标注方法、装置及存储介质 Pending CN110880022A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911102202.6A CN110880022A (zh) 2019-11-12 2019-11-12 标注方法、装置及存储介质
US16/880,954 US11790266B2 (en) 2019-11-12 2020-05-21 Annotation method and device, and storage medium
EP20178354.5A EP3822859A1 (en) 2019-11-12 2020-06-04 Annotation method and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911102202.6A CN110880022A (zh) 2019-11-12 2019-11-12 标注方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110880022A true CN110880022A (zh) 2020-03-13

Family

ID=69730386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911102202.6A Pending CN110880022A (zh) 2019-11-12 2019-11-12 标注方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11790266B2 (zh)
EP (1) EP3822859A1 (zh)
CN (1) CN110880022A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639705A (zh) * 2020-05-29 2020-09-08 江苏云从曦和人工智能有限公司 一种批量图片标注方法、***、机器可读介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408100A (zh) * 2018-09-08 2019-03-01 扬州大学 一种基于多源数据的软件缺陷信息融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5521881B2 (ja) * 2010-08-12 2014-06-18 富士ゼロックス株式会社 画像識別情報付与プログラム及び画像識別情報付与装置
US8458174B1 (en) * 2011-09-02 2013-06-04 Google Inc. Semantic image label synthesis
KR102646889B1 (ko) * 2018-12-21 2024-03-12 삼성전자주식회사 스타일 변환을 위한 영상 처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408100A (zh) * 2018-09-08 2019-03-01 扬州大学 一种基于多源数据的软件缺陷信息融合方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ABDULRAHEEM ALI等: ""An automatic image tragging based on word co-occurrence analysis"", 《CAMP》 *
LIN ZIJIA等: ""Image tag completion via image-specific and tag-specific linear sparse reconstructions"", 《CVPR》 *
ROELOF VAN ZWOL等: ""Flickr Tag Recommendation based on Collective Knowledge"", 《PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON WORLD WIDE WEB》 *
ZHANG JULI等: ""Cograph regularized collective nonnegative matrix factorization for multilable image annotation"", 《IEEE ACCESS》 *
刘梦迪等: ""图像自动标注技术研究进展"", 《计算机应用》 *
许莉莉等: ""基于补全矩阵的多标签相关性情感分类"", 《计算机***应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639705A (zh) * 2020-05-29 2020-09-08 江苏云从曦和人工智能有限公司 一种批量图片标注方法、***、机器可读介质及设备
CN111639705B (zh) * 2020-05-29 2021-06-29 江苏云从曦和人工智能有限公司 一种批量图片标注方法、***、机器可读介质及设备

Also Published As

Publication number Publication date
US11790266B2 (en) 2023-10-17
EP3822859A1 (en) 2021-05-19
US20210142125A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US10528618B2 (en) Image processing and matching
US10102443B1 (en) Hierarchical conditional random field model for labeling and segmenting images
CN108229519B (zh) 图像分类的方法、装置及***
JP5782404B2 (ja) 画質評価
US20180107660A1 (en) System, method and apparatus for organizing photographs stored on a mobile computing device
US11455831B2 (en) Method and apparatus for face classification
US20210174135A1 (en) Method of matching image and apparatus thereof, device, medium and program product
Sahbi Imageclef annotation with explicit context-aware kernel maps
US9715638B1 (en) Method and apparatus for identifying salient subimages within a panoramic image
CN110309810B (zh) 一种基于批次中心相似度的行人重识别方法
WO2024077781A1 (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN115082551A (zh) 一种基于无人机航拍视频的多目标检测的方法
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及***
CN110880022A (zh) 标注方法、装置及存储介质
Chandrakala et al. Application of artificial bee colony optimization algorithm for image classification using color and texture feature similarity fusion
CN113780116A (zh) ***分类方法、装置、计算机设备和存储介质
CN114821658B (zh) 牛脸识别方法、运行控制装置、电子设备及存储介质
CN110781817A (zh) 一种解决部件不对齐的行人再识别方法
CN111353536B (zh) 图像的标注方法、装置、可读介质和电子设备
Basak et al. An improved Bag-of-Features approach for object recognition from natural images
CN112418321A (zh) 标志图像的识别方法和装置
Yuan et al. Traffic sign recognition based on a context-aware scale-invariant feature transform approach
Chamasemani et al. Region-based surveillance video retrieval with effective object representation
CN115309941B (zh) 一种基于ai的智能标签检索方法及***
US11977951B1 (en) Optimal matching of image portion data sets

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination