CN112541372B - 一种困难样本筛选方法及装置 - Google Patents

一种困难样本筛选方法及装置 Download PDF

Info

Publication number
CN112541372B
CN112541372B CN201910890908.7A CN201910890908A CN112541372B CN 112541372 B CN112541372 B CN 112541372B CN 201910890908 A CN201910890908 A CN 201910890908A CN 112541372 B CN112541372 B CN 112541372B
Authority
CN
China
Prior art keywords
image
target area
area image
missed
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910890908.7A
Other languages
English (en)
Other versions
CN112541372A (zh
Inventor
马贤忠
董维山
江浩
胡皓瑜
范一磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910890908.7A priority Critical patent/CN112541372B/zh
Priority to PCT/CN2020/094109 priority patent/WO2021051887A1/zh
Publication of CN112541372A publication Critical patent/CN112541372A/zh
Application granted granted Critical
Publication of CN112541372B publication Critical patent/CN112541372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种困难样本筛选方法及装置，该方法包括：利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度；提取每一第一漏检目标区域图像的图像特征；基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，对应关系包括已标注图像的图像特征及其对应标签之间的对应关系；将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像，以实现自动化地筛选出困难样本。

Description

一种困难样本筛选方法及装置
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种困难样本筛选方法及装置。
背景技术
深度学习依赖于大量的训练数据即样本，但是当样本的数量达到一定规模后，不同的新增样本图像对模型性能提升的潜力是不一样的。
对于目标检测(Object Detection，也称物体检测)模型而言，困难样本即包含漏检目标和误检目标的样本，都是对提升目标检测模型的性能很有价值的数据。为了在一定程度上提升目标检测模型的性能，需要尽可能优先获取作为困难样本的样本，以利用困难样本训练优化相应的目标检测模型。
那么，如何自动化地从样本中筛选出困难样本成为亟待解决的问题。
发明内容
本发明提供了一种困难样本筛选方法及装置，以实现自动化地筛选出困难样本。具体的技术方案如下：
第一方面，本发明实施例提供了一种困难样本筛选方法，包括：
利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；
对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；
基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；
将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。
可选的，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：
基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。
可选的，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：
针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；
基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签。
可选的，所述基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：
针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；
针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。
可选的，所述基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：
针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；
判断所述第一数量是否满足预设统计条件，其中，所述满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；
若判断所述第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为所述漏检标签；
若判断所述第一数量不满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。
可选的，所述利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像的步骤，包括：
利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；
若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；
若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
可选的，在所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤之前，所述方法还包括：
建立对应关系的过程，其中，所述过程包括：
获得建立图像以及每一建立图像对应的标注信息，其中，所述标注信息包括：所对应建立图像包含的目标所在区域的标注位置信息；
利用所述目标检测模型，对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及所述至少一个第二漏检目标区域图像对应的检测位置信息，其中，所述至少一个第二漏检目标区域图像为所对应置信度低于所述预设阈值的区域图像；
对每一第二漏检目标区域图像进行图像特征提取，确定每一第二漏检目标区域图像的图像特征；
针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系。
可选的，所述针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系的步骤，包括：
针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交并比；
针对每一第二漏检目标区域图像，将该第二漏检目标区域图像对应的交并比与预设交并比阈值进行比较；
若第二漏检目标区域图像对应的交并比不小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为漏检标签；
若第二漏检目标区域图像对应的交并比小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为非漏检标签，以建立得到所述对应关系。
第二方面，本发明实施例提供了一种困难样本筛选装置，包括：
第一确定模块，被配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；
第二确定模块，被配置为对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；
第三确定模块，被配置为基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；
第四确定模块，被配置为将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。
可选的，所述第三确定模块，包括：
第一确定单元，被配置为基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
第二确定单元，被配置为基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。
可选的，所述第一确定单元，包括：
第一确定子模块，被配置为针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；
第二确定子模块，被配置为基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签。
可选的，所述第二确定子模块，被具体配置为针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；
针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。
可选的，所述第二确定单元，被具体配置为针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；
判断所述第一数量是否满足预设统计条件，其中，所述满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；
若判断所述第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为所述漏检标签；
若判断所述第一数量不满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。
可选的，所述第一确定模块，被具体配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；
若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；
若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
可选的，所述装置还包括：
关系建立模块，被配置为在所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签之前，建立对应关系的过程，其中，所述关系建立模块，包括：
获得单元，被配置为获得建立图像以及每一建立图像对应的标注信息，其中，所述标注信息包括：所对应建立图像包含的目标所在区域的标注位置信息；
第三确定单元，被配置为利用所述目标检测模型，对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及所述至少一个第二漏检目标区域图像对应的检测位置信息，其中，所述至少一个第二漏检目标区域图像为所对应置信度低于所述预设阈值的区域图像；
第四确定单元，被配置为对每一第二漏检目标区域图像进行图像特征提取，确定每一第二漏检目标区域图像的图像特征；
第五确定单元，被配置为针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系。
可选的，所述第五确定单元，被具体配置为针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交并比；
针对每一第二漏检目标区域图像，将该第二漏检目标区域图像对应的交并比与预设交并比阈值进行比较；
若第二漏检目标区域图像对应的交并比不小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为漏检标签；
若第二漏检目标区域图像对应的交并比小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为非漏检标签，以建立得到所述对应关系。
由上述内容可知，本发明实施例提供的一种困难样本筛选方法及装置，可以利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，对应关系包括已标注图像的图像特征及其对应标签之间的对应关系；将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。
应用本发明实施例，可以基于包括已标注图像的图像特征及其对应标签之间的对应关系的预先建立的对应关系，以及从第一漏检目标区域图像提取的图像特征，从已标注图像中，确定出图像特征与第一漏检目标区域图像的图像特征相似的已标注图像，进而，基于图像特征与第一漏检目标区域图像的图像特征相似的已标注图像对应的标签，确定每一第一漏检目标区域图像对应的目标标签，其中，该目标标签中可以包括表征该第一漏检目标区域图像中包含漏检目标的漏检标签；进而，可以认为对应的目标标签为漏检标签的第一漏检目标区域图像中包含漏检目标，将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。以实现可以有针对性地选出需要的样本，尤其是当需要样本有集中特性而无关样本复杂多变的场景；根据目标检测模型检测出的漏检目标区域，提取漏检目标区域图像即待筛选图像的局部图像块的内容作为检索的主体，避免无关信息的干扰，有效提高检索识别的准确率，而且节约内存提升速度，以实现自动化地筛选出困难样本。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、基于包括已标注图像的图像特征及其对应标签之间的对应关系的预先建立的对应关系，以及从第一漏检目标区域图像提取的图像特征，从已标注图像中，确定出图像特征与第一漏检目标区域图像的图像特征相似的已标注图像，进而，基于图像特征与第一漏检目标区域图像的图像特征相似的已标注图像对应的标签，确定每一第一漏检目标区域图像对应的目标标签，其中，该目标标签中可以包括表征该第一漏检目标区域图像中包含漏检目标的漏检标签；进而，可以认为对应的目标标签为漏检标签的第一漏检目标区域图像中包含漏检目标，将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。以实现可以有针对性地选出需要的样本，尤其是当需要样本有集中特性而无关样本复杂多变的场景；根据目标检测模型检测出的漏检目标区域，提取漏检目标区域图像即待筛选图像的局部图像块的内容作为检索的主体，避免无关信息的干扰，有效提高检索识别的准确率，而且节约内存提升速度，以实现自动化地筛选出困难样本。
2、在确定每一第一漏检目标区域图像对应的目标标签时，可以首先确定第一漏检目标区域图像与每一已标注图像之间的相似度值，进而，针对每一第一漏检目标区域图像，基于其对应的相似度值，确定出与该第一漏检目标区域图像最相似的前预设数量个已标注图像对应的标签，将上述所确定出的标签，作为第一漏检目标区域图像对应的备选标签；基于第一漏检目标区域图像对应的备选标签，确定第一漏检目标区域图像对应的目标标签，以在一定程度上提高所确定的目标标签的准确性。
3、统计每一第一漏检目标区域图像对应的备选标签中为漏检标签的备选标签的第一数量，并将所对应第一数量满足预设统计条件的第一漏检目标区域图像对应的目标标签确定为漏检标签，将所对应第一数量不满足预设统计条件的第一漏检目标区域图像对应的目标标签确定为非漏检标签，以在一定程度上提高所确定的包含漏检目标的第一漏检目标区域图像的准确性性，进而，提高自动确定困难样本的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的困难样本筛选方法的一种流程示意图；
图2为本发明实施例提供的建立对应关系的一种流程示意图；
图3为本发明实施例提供的困难样本筛选装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种困难样本筛选方法及装置，以实现自动化地筛选出困难样本。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的困难样本筛选方法的一种流程示意图。该方法可以包括以下步骤：
S101：利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像。
其中，目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像。该目标检测模型为：基于标注有待检测目标的图像训练所得的网络模型。
本发明实施例中，该方法可以应用于任一类型的具有计算能力的电子设备中，该电子设备可以为服务器或者终端设备。
一种情况中，该预先建立的目标检测模型可以为神经网络模型，例如：可以为卷积神经网络模型，具体的可以为Faster R-CNN(Faster Region-Convolutional NeuralNetworks，快速地区域-卷积神经网络模型)以及YOLO(You Only Look Once)模型，该预先建立的目标检测模型可以为：相关技术中任一类型的可以检测图像中目标所在位置的神经网络模型，本发明实施例并不对该预先建立的目标检测模型的具体类型进行限定。对于对该预先建立的目标检测模型的训练方式可以参见相关技术，本发明实施例并不作具体限定。
其中，该待检测目标可以为任一类型的目标，包括但不限于车道线、车辆、交通灯、指示牌和/或行人等等。
一种实现方式中，电子设备获得一帧或多帧待筛选图像之后，可以利用预先建立的目标检测模型对所获得的每一待筛选图像进行检测，将待筛选图像中可能存在目标的区域分别标识出，并确定出每一可能存在目标的区域各自对应的置信度；并将所标识出的可能存在目标的区域对应的区域图像截取出，后续的，基于每一区域图像对应的置信度，从截取出的区域图像中确定出所对应置信度低于预设阈值的区域图像，作为第一漏检目标区域图像，并可以从所获得的待筛选图像中，确定出包含至少一个第一漏检目标区域图像的待筛选图像。
其中，置信度可以表征所对应的区域图像存在待检测目标的可能性。一种情况中，区域图像对应的置信度越低，表征目标检测模型预测待筛选图像的该区域图像中存在待检测目标的可能性越小。相应的，该区域图像所对应的置信度较低时，该区域图像存在包含被漏检的待检测目标的可能性。相应的，所截取出的可能存在待检测目标的区域对应的区域图像中，可以包括所对应置信度处于预设置信度阈值内的区域图像，该预设置信度阈值的下限值为0，上限值大于或等于上述预设阈值。
一种情况中，电子设备在确定出包含至少一个第一漏检目标区域图像的待筛选图像之后，可以标记并记录待筛选图像与其包含的至少一个第一漏检目标区域图像之间的对应关系，以用于后续的流程。
S102：对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征。
本步骤中，电子设备可以利用任一类型的预设特征提取算法，对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征。其中，该预设特征提取算法可以包括但不限于SIFT(Scale-invariant feature transform，尺度不变特征变换)特征提取算法、HOG(Histogram of Oriented Gradient，方向梯度直方图)特征提取算法、Harr特征提取算法以及GIST(全局特征)提取算法等，该预设特征提取算法也可以是卷积神经网络类的特征提取算法。
S103：基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签。
其中，该对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系。
电子设备本地或所连接的存储设备中，可以预先存储有该预先建立的对应关系，该对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系，该已标注图像可以包括基于该预先建立的目标检测模型，从其所在原图像中截取出的所对应置信度低于预设阈值的区域图像，该原图像可以指后续提到的建立图像；该已标注图像也可以包括：所采集的包含或不包含待检测目标的图像，此类情况下，相应的，为了保证困难样本筛选流程的准确性，该以标注图像中可以仅包括待检测目标，或仅包括非待检测目标。
每一已标注图像对应的标签可以包括：表征该已标注图像包含被该预先建立的目标检测模型漏检的待检测目标的漏检标签，或表征该已标注图像不包含被该预先建立的目标检测模型漏检的待检测目标的非漏检标签，例如：该已标注图像对应的标签可以为表征已标注图像中包括车道线的标签即漏检标签，即该漏检标签可以包括的内容为“车道线”，或者为表征已标注图像中不包括车道线的标签即非漏检标签，该非漏检标签可以包括的内容为“非车道线”。
在一种情况中，该预先建立的对应关系可以存储于预先设置的索引数据库中，以便于第一漏检目标区域图像的图像特征与对应关系中的已标注图像的图像特征的对比匹配。
一种实现方式中，电子设备可以针对每一第一漏检目标区域，将该第一漏检目标区域图像的图像特征与对应关系中每一已标注图像的图像特征进行匹配，对应关系中与该第一漏检目标区域图像的图像特征最匹配的图像特征对应的标签，确定为该第一漏检目标区域图像对应的目标标签。其中，上述匹配过程可以是：基于预先设置的相似度算法，计算该第一漏检目标区域图像的图像特征与对应关系中每一已标注图像的图像特征之间的相似度值，相应的，上述对应关系中与该第一漏检目标区域图像的图像特征最匹配的图像特征可以指：对应关系中与该第一漏检目标区域图像的图像特征之间的相似度值最大的图像特征。其中，预先设置的相似度算法包括但不限于：欧几里德距离、余弦距离、闵式距离以及相关系数等算法。
在另一种实现方式中，所述S103，可以包括如下步骤01-02：
01：基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
02：基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。
本实现方式中，电子设备可以针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，和预先建立的对应关系中的已标注图像的图像特征，从对应关系中，确定出与该第一漏检目标区域图像的图像特征匹配多个已标注图像，将与该第一漏检目标区域图像的图像特征匹配的多个已标注图像对应的标签，确定为该第一漏检目标区域图像对应的备选标签，进而，基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。以在一定程度上提高所确定每一第一漏检目标区域图像对应的目标标签的准确性。
在一种实现方式中，所述01，可以包括如下步骤011-012：
011：针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；
012：基于相似度值，确定每一第一漏检目标区域图像对应的备选标签。
本实现方式中，电子设备针对每一第一漏检目标区域图像，基于预先设置的相似度算法、该第一漏检目标区域图像的图像特征以及每一已标注图像的图像特征，计算得到该第一漏检目标区域图像与每一已标注图像之间的相似度值，进而，基于相似度值，确定每一第一漏检目标区域图像对应的备选标签，例如：将所对应相似度值最大的预设数量个已标注图像对应的标签，确定为该第一漏检目标区域图像对应的备选标签。
一种实现方式中，所述012，可以包括如下步骤：
针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；
针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。
为了能够从对应关系中，确定出所对应相似度值最大的预设数量个已标注图像对应的标签，电子设备可以针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；进而，从该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。或者，可以是：针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从小到大的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的另一标签队列；进而，从该第一漏检目标区域图像对应的另一标签队列中后预设数量个标签，确定为该疑似目标区域图像对应的备选标签，这也是可以的。
其中，该预设数量为预先设定的数量，也可以是电子设备根据预先建立的对应关系中包含的已标注图像的图像特征的数量自主设定的，这都是可以的。
在一种实现方式中，所述02，可以包括如下步骤021-024：
021：针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；
022：判断第一数量是否满足预设统计条件，其中，满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；
023：若判断第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为漏检标签；
024：若判断第一数量不满足预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。
其中，每一第一漏检目标区域图像对应的备选标签中，可以包括漏检标签和/或非漏检标签。本实施例中，电子设备可以针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；并判断第一数量是否满足预设统计条件，即判断第一数量是否大于预设数量阈值，或判断第一数量与所对应第一漏检目标区域图像对应的备选标签的总数的比值是否大于预设比例阈值。
其中，若判断第一数量大于预设数量阈值，或判断第一数量与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值，则确定第一数量满足预设统计条件，即第一漏检目标区域图像对应的备选标签中，表征第一漏检目标区域图像包含漏检的待检测目标的标签的比例较大，相应的，则可以确定第一漏检目标区域图像对应的目标标签为漏检标签；反之，若判断第一数量不大于预设数量阈值，或判断第一数量与所对应第一漏检目标区域图像对应的备选标签的总数的比值不大于预设比例阈值，则确定第一数量不满足预设统计条件，即第一漏检目标区域图像对应的备选标签中，表征第一漏检目标区域图像包含漏检的待检测目标的标签的比例较小，相应的，则可以确定第一漏检目标区域图像对应的目标标签为非漏检标签。
在另一种实现方式中，考虑到已标注图像的图像特征与第一漏检目标区域图像的图像特征之间的相似度值越大，表征第一漏检目标区域图像与已标注图像越相似，并且，对于漏检的待检测目标，其之间的特征也是非常相似的。鉴于此，电子设备在基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签时，可以设置权重值，其中，已标注图像的图像特征与第一漏检目标区域图像的图像特征之间的相似度值越大，该已标注图像对应的标签对应的权重值越大。
后续的，可以针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的每一备选标签对应的数值与其对应的权重值的乘积之和即第一和，与预设标签阈值进行比较，确定第一和大于预设标签阈值的第一漏检目标区域图像对应的目标标签为漏检标签，确定第一和不大于预设标签阈值的第一漏检目标区域图像对应的目标标签为非漏检标签。其中，可以是：为漏检标签的备选标签对应的数值为1，为非漏检标签的备选标签对应的数值为0。
S104：将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。
其中，每一待筛选图像中可以不包含第一漏检目标区域图像，或者可以包含至少一个第一漏检目标区域图像，当待筛选图像中包含至少一个第一漏检目标区域图像时，则，可以认为该待筛选图像中包含被预先建立的目标检测模型漏检的待检测目标，电子设备可以将该待筛选图像确定为困难样本。
在一种实现方式中，在确定出困难样本之后，可以对该困难样本重新进行存储以及标注，并保存每一第一漏检目标区域图像与其对应的待筛选图像之间的对应关系。进而，利用该困难样本及其标注信息继续训练该预先建立的目标检测模型，即利用该困难样本及其标注信息更新该预先建立的目标检测模型的参数，以提高该预先建立的目标检测模型的检测精度。
应用本发明实施例，可以基于包括已标注图像的图像特征及其对应标签之间的对应关系的预先建立的对应关系，以及从第一漏检目标区域图像提取的图像特征，从已标注图像中，确定出图像特征与第一漏检目标区域图像的图像特征相似的已标注图像，进而，基于图像特征与第一漏检目标区域图像的图像特征相似的已标注图像对应的标签，确定每一第一漏检目标区域图像对应的目标标签，其中，该目标标签中可以包括表征该第一漏检目标区域图像中包含漏检目标的漏检标签；进而，可以认为对应的目标标签为漏检标签的第一漏检目标区域图像中包含漏检目标，将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。以实现可以有针对性地选出需要的样本，尤其是当需要样本有集中特性而无关样本复杂多变的场景；根据目标检测模型检测出的漏检目标区域，提取漏检目标区域图像即待筛选图像的局部图像块的内容作为检索的主体，避免无关信息的干扰，有效提高检索识别的准确率，而且节约内存提升速度，以实现自动化地筛选出困难样本。
在本发明的另一实施例中，所述S104，可以包括如下步骤11-14：
11：利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
12：基于每一疑似目标区域对应的置信度，从疑似目标区域中确定出所对应置信度低于预设阈值的疑似目标区域，作为备选目标区域；
13：若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；
14：若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
本实施例中，电子设备可以利用预先建立的目标检测模型，对每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度。其中，该至少一疑似目标区域即上述的可能包括待检测目标的区域，每一疑似目标区域所表征的图像块，可以称为区域图像。电子设备所确定出的疑似目标区域为所对应置信度处于预设置信度阈值内的区域。该预设置信度阈值的上限值可以不小于预设阈值，下限值可以为0。
电子设备从疑似目标区域中确定出所对应置信度低于预设阈值的疑似目标区域，作为备选目标区域。并且判断每一备选目标区域是否为矩形，若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
在本发明的另一实施例中，在所述S103之前，所述方法还可以包括：
建立对应关系的过程，如图2所示，所述过程可以包括：
S201：获得建立图像以及每一建立图像对应的标注信息。
其中，标注信息包括：所对应建立图像包含的目标所在区域的标注位置信息。
S202：利用目标检测模型，对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及至少一个第二漏检目标区域图像对应的检测位置信息。
其中，至少一个第二漏检目标区域图像为所对应置信度低于预设阈值的区域图像
S203：对每一第二漏检目标区域图像进行图像特征提取，确定每一第二漏检目标区域图像的图像特征。
S204：针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系。
本实施例中，电子设备还可以包括建立对应关系的过程。相应的，电子设备可以获得多张用于建立对应关系的图像，本发明实施例称之为建立图像，包含待检测目标的建立图像中可以标注有待检测目标所在区域，包含待检测目标的建立图像对应的标注信息包含待检测目标在所对应建立图像中的位置信息，可以称之为标注位置信息。将建立图像及其对应的标注信息输入预先建立的目标检测模型，利用该预先建立的目标检测模型对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及至少一个第二漏检目标区域图像对应的检测位置信息；其中，每一第二漏检目标区域图像为所对应置信度低于预设阈值的区域图像。
电子设备获得至少一个第二漏检目标区域图像之后，利用预设特征提取算法，对至少一个第二漏检目标区域图像进行图像特征提取，得到至少一个第二漏检目标区域图像的图像特征；并且，针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签。
一种情况中，所述S204，可以为：确定该第二漏检目标区域图像对应的检测位置信息对应的检测框，与该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息对应的标注框之间重叠的面积，是否超过预设面积比例，若超过预设面积比例，则可以认为该第二漏检目标区域图像中存在被预先建立的目标检测模型漏检的待检测目标，确定第二漏检目标区域图像对应的标签为漏检标签；反之，若未超过预设面积比例，则可以认为该第二漏检目标区域图像中不存在被预先建立的目标检测模型漏检的待检测目标，确定第二漏检目标区域图像对应的标签为非漏检标签。
另一种情况中，所述S204，可以包括如下步骤021-024：
021：针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交并比；
022：针对每一第二漏检目标区域图像，将该第二漏检目标区域图像对应的交并比与预设交并比阈值进行比较；
023：若第二漏检目标区域图像对应的交并比不小于预设交并比阈值，确定该第二漏检目标区域图像对应的标签为漏检标签；
024：若第二漏检目标区域图像对应的交并比小于预设交并比阈值，确定该第二漏检目标区域图像对应的标签为非漏检标签，以建立得到对应关系。
本实现方式中，电子设备可以针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交集以及并集之间比值，即交并比，其中，该标注框对应第二漏检目标区域图像的标注位置信息，检测框对应第二漏检目标区域图像对应的检测位置信息。判断该第二漏检目标区域图像对应的交并比是否不小于预设交并比阈值，若判断为不小于，则认为该第二漏检目标区域图像中存在被预先建立的目标检测模型漏检的待检测目标，确定该第二漏检目标区域图像对应的标签为漏检标签；反之，若判断为小于，则认为该第二漏检目标区域图像中不存在被预先建立的目标检测模型漏检的待检测目标，确定该第二漏检目标区域图像对应的标签为非漏检标签，记录每一该第二漏检目标区域图像的图像特征及其对应的标签之间的对应关系，以建立得到已标注图像的图像特征及其对应的标签的对应关系。该已标注图像包括上述第二漏检目标区域图像。
相应于上述方法实施例，本发明实施例提供了一种困难样本筛选装置，如图3所示，可以包括：
第一确定模块310，被配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；
第二确定模块320，被配置为对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；
第三确定模块330，被配置为基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；
第四确定模块340，被配置为将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。
应用本发明实施例，可以基于包括已标注图像的图像特征及其对应标签之间的对应关系的预先建立的对应关系，以及从第一漏检目标区域图像提取的图像特征，从已标注图像中，确定出图像特征与第一漏检目标区域图像的图像特征相似的已标注图像，进而，基于图像特征与第一漏检目标区域图像的图像特征相似的已标注图像对应的标签，确定每一第一漏检目标区域图像对应的目标标签，其中，该目标标签中可以包括表征该第一漏检目标区域图像中包含漏检目标的漏检标签；进而，可以认为对应的目标标签为漏检标签的第一漏检目标区域图像中包含漏检目标，将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像。以实现可以有针对性地选出需要的样本，尤其是当需要样本有集中特性而无关样本复杂多变的场景；根据目标检测模型检测出的漏检目标区域，提取漏检目标区域图像即待筛选图像的局部图像块的内容作为检索的主体，避免无关信息的干扰，有效提高检索识别的准确率，而且节约内存提升速度，以实现自动化地筛选出困难样本。
在本发明的另一实施例中，所述第三确定模块330，包括：
第一确定单元，被配置为基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
第二确定单元，被配置为基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。
在本发明的另一实施例中，所述第一确定单元，包括：
第一确定子模块，被配置为针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；
第二确定子模块，被配置为基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签。
在本发明的另一实施例中，所述第二确定子模块，被具体配置为针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；
针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。
在本发明的另一实施例中，所述第二确定单元，被具体配置为针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；
判断所述第一数量是否满足预设统计条件，其中，所述满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；
若判断所述第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为所述漏检标签；
若判断所述第一数量不满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。
可选的，所述第一确定模块310，被具体配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；
若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；
若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
在本发明的另一实施例中，所述装置还包括：
关系建立模块，被配置为在所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签之前，建立对应关系的过程，其中，所述关系建立模块，包括：
获得单元，被配置为获得建立图像以及每一建立图像对应的标注信息，其中，所述标注信息包括：所对应建立图像包含的目标所在区域的标注位置信息；
第三确定单元，被配置为利用所述目标检测模型，对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及所述至少一个第二漏检目标区域图像对应的检测位置信息，其中，所述至少一个第二漏检目标区域图像为所对应置信度低于所述预设阈值的区域图像；
第四确定单元，被配置为对每一第二漏检目标区域图像进行图像特征提取，确定每一第二漏检目标区域图像的图像特征；
第五确定单元，被配置为针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系。
在本发明的另一实施例中，所述第五确定单元，被具体配置为针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交并比；
针对每一第二漏检目标区域图像，将该第二漏检目标区域图像对应的交并比与预设交并比阈值进行比较；
若第二漏检目标区域图像对应的交并比不小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为漏检标签；
若第二漏检目标区域图像对应的交并比小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为非漏检标签，以建立得到所述对应关系。
上述装置、***实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种用于智能驾驶的困难样本筛选方法，其特征在于，包括：
利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；
对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；
基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；
将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像；
所述利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像的步骤，包括：
利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；
若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；
若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
2.如权利要求1所述的方法，其特征在于，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：
基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。
3.如权利要求2所述的方法，其特征在于，所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：
针对每一第一漏检目标区域图像，基于该第一漏检目标区域图像的图像特征，以及每一已标注图像的图像特征，确定该第一漏检目标区域图像与每一已标注图像之间的相似度值；
基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签。
4.如权利要求3所述的方法，其特征在于，所述基于所述相似度值，确定每一第一漏检目标区域图像对应的备选标签的步骤，包括：
针对每一第一漏检目标区域图像，按照该第一漏检目标区域图像与每一已标注图像之间的相似度值从大到小的顺序，排列每一已标注图像对应的标签，得到该第一漏检目标区域图像对应的标签队列；
针对每一第一漏检目标区域图像，将该第一漏检目标区域图像对应的标签队列中前预设数量个标签，确定为该疑似目标区域图像对应的备选标签。
5.如权利要求2所述的方法，其特征在于，所述基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签的步骤，包括：
针对每一第一漏检目标区域图像，统计该第一漏检目标区域图像对应的备选标签中，为漏检标签的备选标签的数量，作为第一数量；
判断所述第一数量是否满足预设统计条件，其中，所述满足预设统计条件包括：大于预设数量阈值，或与所对应第一漏检目标区域图像对应的备选标签的总数的比值大于预设比例阈值；
若判断所述第一数量满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为所述漏检标签；
若判断所述第一数量不满足所述预设统计条件，确定该第一漏检目标区域图像对应的目标标签为非漏检标签。
6.如权利要求1-5任一项所述的方法，其特征在于，在所述基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签的步骤之前，所述方法还包括：
建立对应关系的过程，其中，所述过程包括：
获得建立图像以及每一建立图像对应的标注信息，其中，所述标注信息包括：所对应建立图像包含的目标所在区域的标注位置信息；
利用所述目标检测模型，对每一建立图像进行检测，确定包含至少一个第二漏检目标区域图像的每一建立图像及所述至少一个第二漏检目标区域图像对应的检测位置信息，其中，所述至少一个第二漏检目标区域图像为所对应置信度低于所述预设阈值的区域图像；
对每一第二漏检目标区域图像进行图像特征提取，确定每一第二漏检目标区域图像的图像特征；
针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系。
7.如权利要求6所述的方法，其特征在于，所述针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标签，以建立得到所述对应关系的步骤，包括：
针对每一第二漏检目标区域图像，基于该第二漏检目标区域图像对应的检测位置信息，以及该第二漏检目标区域图像所在建立图像对应的标注信息中的标注位置信息，确定该第二漏检目标区域图像对应的标注框与检测框之间的交并比；
针对每一第二漏检目标区域图像，将该第二漏检目标区域图像对应的交并比与预设交并比阈值进行比较；
若第二漏检目标区域图像对应的交并比不小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为漏检标签；
若第二漏检目标区域图像对应的交并比小于所述预设交并比阈值，确定该第二漏检目标区域图像对应的标签为非漏检标签，以建立得到所述对应关系。
8.一种用于智能驾驶的困难样本筛选装置，其特征在于，所述装置包括：
第一确定模块，被配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个第一漏检目标区域图像的待筛选图像，其中，所述目标检测模型为：用于检测图像所包含目标所在区域及确定检测出的目标所在区域存在目标的置信度，所述第一漏检目标区域图像为：所对应置信度低于预设阈值的区域图像；
第二确定模块，被配置为对每一第一漏检目标区域图像进行图像特征提取，确定每一第一漏检目标区域图像的图像特征；
第三确定模块，被配置为基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的目标标签，其中，所述对应关系包括：已标注图像的图像特征及其对应标签之间的对应关系；
第四确定模块，被配置为将包含至少一个所对应目标标签为漏检标签的第一漏检目标区域图像的待筛选图像，确定为困难样本图像；
所述第一确定模块，被具体配置为利用预先建立的目标检测模型，对所获得的每一待筛选图像进行检测，确定包含至少一个疑似目标区域的待筛选图像，并确定每一疑似目标区域对应的置信度；
基于每一疑似目标区域对应的置信度，从所述疑似目标区域中确定出所对应置信度低于所述预设阈值的疑似目标区域，作为备选目标区域；
若备选目标区域为矩形区域，将为矩形区域的该备选目标区域对应的区域图像，确定为第一漏检目标区域图像；
若备选目标区域为非矩形区域，将包含该备选目标区域的最小的矩形区域对应的区域图像，确定为第一漏检目标区域图像，以确定出包含至少一个第一漏检目标区域图像的待筛选图像。
9.如权利要求8所述的装置，其特征在于，所述第三确定模块，包括：
第一确定单元，被配置为基于每一第一漏检目标区域图像的图像特征以及预先建立的对应关系，确定每一第一漏检目标区域图像对应的备选标签；
第二确定单元，被配置为基于每一第一漏检目标区域图像对应的备选标签，确定每一第一漏检目标区域图像对应的目标标签。
CN201910890908.7A 2019-09-20 2019-09-20 一种困难样本筛选方法及装置 Active CN112541372B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910890908.7A CN112541372B (zh) 2019-09-20 2019-09-20 一种困难样本筛选方法及装置
PCT/CN2020/094109 WO2021051887A1 (zh) 2019-09-20 2020-06-03 一种困难样本筛选方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910890908.7A CN112541372B (zh) 2019-09-20 2019-09-20 一种困难样本筛选方法及装置

Publications (2)

Publication Number Publication Date
CN112541372A CN112541372A (zh) 2021-03-23
CN112541372B true CN112541372B (zh) 2023-03-28

Family

ID=74883929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910890908.7A Active CN112541372B (zh) 2019-09-20 2019-09-20 一种困难样本筛选方法及装置

Country Status (2)

Country Link
CN (1) CN112541372B (zh)
WO (1) WO2021051887A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627413B (zh) * 2021-08-12 2024-06-04 杭州海康威视数字技术股份有限公司 数据标注方法、图像比对方法及装置
CN114445811A (zh) * 2022-01-30 2022-05-06 北京百度网讯科技有限公司 一种图像处理方法、装置及电子设备
CN115033731B (zh) * 2022-07-04 2023-07-18 小米汽车科技有限公司 图像检索方法、装置、电子设备及存储介质
CN117710756B (zh) * 2024-02-04 2024-04-26 成都数之联科技股份有限公司 一种目标检测及模型训练方法、装置、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446707A (zh) * 2018-03-06 2018-08-24 北方工业大学 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN109697449A (zh) * 2017-10-20 2019-04-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及电子设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122378B (zh) * 2017-01-13 2021-03-16 北京星选科技有限公司 对象处理方法、装置及移动终端
US11636344B2 (en) * 2018-03-12 2023-04-25 Carnegie Mellon University Discriminative cosine embedding in machine learning
CN109034190B (zh) * 2018-06-15 2022-04-12 拓元(广州)智慧科技有限公司 一种动态选择策略的主动样本挖掘的物体检测***及方法
CN110084113B (zh) * 2019-03-20 2024-01-16 创新先进技术有限公司 活体检测方法、装置、***、服务器及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697449A (zh) * 2017-10-20 2019-04-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及电子设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN108446707A (zh) * 2018-03-06 2018-08-24 北方工业大学 基于关键点筛选及dpm确认的遥感图像飞机检测方法

Also Published As

Publication number Publication date
CN112541372A (zh) 2021-03-23
WO2021051887A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112541372B (zh) 一种困难样本筛选方法及装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及***
US20200311460A1 (en) Character identification method and device
CN110569856B (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN105321350A (zh) ***检测方法及装置
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN113963147B (zh) 一种基于语义分割的关键信息提取方法及***
CN111078946A (zh) 一种基于多目标区域特征聚合的卡口车辆检索方法及***
CN111161265A (zh) 一种动物计数、图像处理方法和装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN115830399B (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及***及设备
CN114462469B (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN109684953B (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN113065447A (zh) 一种图像集中自动识别商品的方法和设备
CN116977859A (zh) 基于多尺度图像切割和实例困难度的弱监督目标检测方法
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN112651996B (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN115018783A (zh) 一种视频水印检测方法和装置、电子设备和存储介质
CN114187568A (zh) 道路标牌破损检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211123

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant