CN115033731B - 图像检索方法、装置、电子设备及存储介质 - Google Patents
图像检索方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115033731B CN115033731B CN202210778653.7A CN202210778653A CN115033731B CN 115033731 B CN115033731 B CN 115033731B CN 202210778653 A CN202210778653 A CN 202210778653A CN 115033731 B CN115033731 B CN 115033731B
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- information
- target
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims description 86
- 238000004422 calculation algorithm Methods 0.000 claims description 62
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种图像检索方法、装置、电子设备及存储介质,方法包括:获取待检索图像;获取所述待检索图像的特征信息,所述特征信息包括车道线信息;根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像。采用该方法可以提高检索得到的目标图像与待检索图像之间的相似性。
Description
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种图像检索方法、装置、电子设备及存储介质。
背景技术
在自动驾驶算法模块中,车道线检测算法处于核心重要的地位。车道线检测算法的研发是一个长时间的迭代过程,在此过程中,充分分析车道线检测算法在各个场景的覆盖情况,追究出错坏例的根源,以帮助迭代能够往更好的方向进行。
因此,在遇到坏例的时候,通常需要从数据库中检索到与坏例相似的图像,以用来进一步分析和更新车道线检测算法,从而帮助车道线检测算法进行迭代更新。然而,相关技术中的图像检索方法存在检测不准确的问题,使得检索出来的图像与坏例相似性不高。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像检索方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提供一种图像检索方法,包括:
获取待检索图像;
获取所述待检索图像的特征信息,所述特征信息包括车道线信息;
根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像。
在一些实施方式中,所述获取待检索图像,包括:
通过预设车道线检测算法对待检测图像进行检测,得到所述待检测图像的检测车道线;
在所述待检测图像的所述检测车道线与所述待检测图像的真实车道线满足预设差异条件时,将所述待检测图像确定为所述待检索图像。
在一些实施方式中,所述图像的车道线信息的获取步骤包括:
基于信息提取图像中的目标车道线的坐标分布,确定所述目标车道线的向量表示,所述目标车道线为所述信息提取图像中任一条车道线,所述信息提取图像为所述待检索图像或者所述候选图像;
利用降维矩阵对所述目标车道线的向量表示进行降维处理,得到所述目标车道线的车道线信息,其中,同一张信息提取图像的各个目标车道线的车道线信息,构成该信息提取图像的车道线信息。
在一些实施方式中,所述基于信息提取图像中的目标车道线的坐标分布,确定所述目标车道线的向量表示,包括:
在第一坐标轴上等间隔选取预设数量个与目标车道线的交点作为目标点;
基于所述目标点在第二坐标轴上的坐标分布,确定所述目标车道线的向量表示。
在一些实施方式中,所述方法还包括:
获取多张标注车道线的图像;
基于每张标注车道线的图像中的各条车道线的坐标分布,构建车道线分布矩阵;
对所述车道线分布矩阵进行奇异值分解,得到候选矩阵;
选取所述候选矩阵的前预设数量个列,构建所述降维矩阵。
在一些实施方式中,所述待检索图像的车道线信息与候选图像的车道线信息之间的相似度的获取步骤包括:
利用匈牙利算法,在所述待检索图像的车道线信息以及所述候选图像的车道线信息之间,确定相互对应的每组匹配车道线;
获取各组匹配车道线的内积的和值;
将所述和值与预设惩罚系数的积,确定为所述待检索图像的车道线信息与候选图像的车道线信息之间的相似度。
在一些实施方式中,所述候选图像包括第一候选图像以及第二候选图像,所述第一候选图像为标注数据库中的任一张图像,所述第二候选图像为未标注数据库中的任一张图像,所述目标图像包括第一目标图像以及第二目标图像,所述根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像,包括:
根据所述待检索图像的特征信息与所述第一候选图像的特征信息之间的相似度,从所述第一候选图像中确定与所述待检索图像匹配的第一目标图像;
在所述第一目标图像的数量小于第一预设数量时,根据所述待检索图像的特征信息与所述第二候选图像的特征信息之间的相似度,从所述第二候选图像中确定第二预设数量个与所述待检索图像匹配的第二目标图像;
所述方法还包括:
对第二预设数量个所述第二目标图像进行车道线标注,标注后的第二目标图像用于对预设车道线检测算法进行更新。
在一些实施方式中,所述特征信息还包括通过对象检测模型检测得到的实体对象信息以及通过场景检测模型检测得到的场景标签,所述方法还包括:
获取所述待检索图像中的实体对象信息与候选图像中的实体对象信息之间的第一子相似度,所述待检索图像中的场景标签与候选图像中的场景标签之间的第二子相似度,以及所述待检索图像中的车道线信息与候选图像中的车道线信息之间的第三子相似度;
按照预设权重,对所述第一子相似度、所述第二子相似度以及所述第三子相似度进行加权处理,得到所述待检索图像的特征信息与候选图像的特征信息之间的相似度。
根据本公开实施例的第二方面,提供一种图像检索装置,包括:
第一获取模块,被配置为获取待检索图像;
第二获取模块,被配置为获取所述待检索图像的特征信息,所述特征信息包括车道线信息;
确定模块,被配置为根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像。
根据本公开实施例的第三方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所提供的图像检索方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的图像检索方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:在获取待检索图像之后,可以获取所述待检索图像的特征信息,所述特征信息包括车道线信息,然后便可以根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像。通过引入车道线信息作为相似度计算时的特征信息之一,使得在进行图像检索时能够一并考虑车道线情况,提高了检索得到的目标图像与待检索图像之间的相似性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像检索方法的流程图。
图2是根据一示例性实施例示出的一种确定目标车道线的车道线信息的方法的流程图。
图3是根据一示例性实施例示出的一种信息提取图像上建立坐标系的示意图。
图4是根据一示例性实施例示出的一种检索数据库的构建流程图。
图5是根据一示例性实施例示出的另一种图像检索方法的流程图。
图6是根据一示例性实施例示出的一种图像检索装置的框图。
图7是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
车道线检测算法对行车/泊车中的规划控制、车辆定位以及地图创建起到了至关重要的作用。
车道线检测算法的研发是一个长时间的迭代过程,在一个迭代阶段中,当更新得到车道线检测算法之后,可以对车道线检测算法进行验证,即利用车道线检测算法对一些道路场景中图像进行验证,在验证过程中,可能存在检测错误的情况,例如,在匝道、大拐弯等场景时,车道线检测偏差较大。此时,检测出错的图像则可以理解为坏例。存在坏例,则说明车道线检测算法还不完善,还需要继续进行更新。
这个时候,一方面可以分析坏例的相似样例在数据集中的分布情况,另一方面可以在大量未标注数据中挖掘相似样例进行标注,以用来更新车道线检测算法。可见,在用于迭代训练车道线检测算法的数据库中检索到与坏例相似的图像,对车道线检测算法的迭代至关重要。
相关技术中的用于对迭代训练车道线检测算法的数据库中进行检索的图像检索方法,要么是通过分析图像的整体场景,例如天气、道路场景或者时间段等,进而在图像数据集中进行检索;要么是捕捉常规形状的物体进行检索,如红绿灯,交通标志牌等,例如对这些物体的图像片段(通常是外接矩形框)进行检索。
然而,申请人在长期研究中发现,由于车道线具有细长的特殊形状,所占据的像素较少,但其图像片段较大,因此无论是图像整体场景还是图像片段,都很难提取到车道线的分布信息进行精确检索。从而,导致检索到的图像与坏例图像相似性不高。
有鉴于此,本公开实施例提供一种图像检索方法、装置、电子设备及存储介质,通过引入车道线信息作为相似度计算时的特征信息之一,使得在进行图像检索时能够一并考虑车道线情况,提高了道路场景图像中检索得到的目标图像与待检索图像之间的相似性,使得检索得到的目标图像能够更好帮助车道线检测算法的迭代更新。
图1是根据一示例性实施例示出的一种图像检索方法的流程图,如图1所示,图像检索方法可以用于电子设备中,该电子设备例如可以是终端设备以及服务器,其中,终端设备例如手机、相机、笔记本、平板电脑以及车载终端等,该图像检索方法包括:
S110,获取待检索图像。
其中,获取待检索图像可以有多种方式。
可选地,本公开实施例的图像检索方法可以应用于车道线检测算法的迭代测试过程中,此时,待检索图像可以是前述的坏例图像,即应用车道线检测算法对图像进行车道线检测时,检测出错的图像。因此,在一些实施方式中,获取待检索图像,可以包括以下步骤:
通过预设车道线检测算法对待检测图像进行检测,得到待检测图像的检测车道线;
在待检测图像的检测车道线与待检测图像的真实车道线满足预设差异条件时,将待检测图像确定为待检索图像。
其中,待检测图像可以理解为应用车道线检测算法进行车道线检测的图像。其可以是验证车道线检测算法阶段的图像,也可以是在应用车道线检测算法阶段的图像。
需要说明的是,该应用车道线检测算法阶段不是自动驾驶车辆实际上路行驶阶段,而是自动驾驶车辆实验研发阶段的应用,例如,在实验环境中进行自动驾驶车辆的行车/泊车实验过程中的应用。
可以理解的是,在预设车道线检测算法对待检测图像进行检测之后,可以得到检测结果,例如在待检测图像标记出检测得到的车道线,即检测车道线。该检测车道线可能存在两种情况,一种是检测准确的,例如,检测车道线与图像中的真实车道线的差异在应用可接受范围内,另一种则是检测错误的,例如,检测车道线与图像中的真实车道线的差异超出了应用可接受的范围。
其中,不满足预设差异条件可以理解为检测车道线与图像中的真实车道线的差异在应用可接受范围内,满足预设差异条件可以理解为检测车道线与图像中的真实车道线的差异超出了应用可接受的范围。
本公开实施例中,若待检测图像的检测车道线与待检测图像的真实车道线满足预设差异条件,可以说明车道线检测算法还不完善,可以将待检测图像确定为待检索图像,以便于后续可以通过检索待检测图像匹配的目标图像,来帮助车道线检测算法的迭代更新。
可选地,本公开实施例的图像检索方法可以应用于其他场景的图像检索任务,例如,不再局限于通过车道线检测算法得到包括车道线的图像,而是还可以通过人工在图像中绘制车道线的方式得到包括车道线的图像,以实现对任意提供的一张图像进行检索的功能,提高了图像检索方法应用的多样性。
S120,获取待检索图像的特征信息,特征信息包括车道线信息。
本公开实施例中,特征信息可以有多种,其中可以包括车道线信息。其中,车道线信息可以反映车道线在待检索图像中的形状、分布情况以及拓扑情况等。
此外,除了包括车道线信息之外,在一些实施方式中,特征信息还可以包括通过对象检测模型检测得到的实体对象信息以及通过场景检测模型检测得到的场景标签等信息。
其中,实体对象信息例如可以是红绿灯或者交通标志牌的数量、位置、尺寸以及颜色等信息。
场景标签例如可以是天气标签、道路场景标签或者时间段标签等。
S130,根据待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与待检索图像匹配的目标图像。
其中,目标图像可以理解为与待检索图像相似的图像。
本公开实施例中,针对候选图像,同样可以对应有特征信息,那么便可以计算待检索图像的特征信息与候选图像的特征信息之间的相似度,并根据相似度,从候选图像中确定与待检索图像匹配的目标图像。
其中,根据相似度,从候选图像中确定与待检索图像匹配的目标图像可以有多种方式。
可选地,可以将相似度满足预设的相似度阈值的候选图像确定为目标图像。可选地,还可以将相似度排名靠前的预设数量张候选图像确定为目标图像。
采用上述方法,在获取待检索图像之后,可以获取待检索图像的特征信息,特征信息包括车道线信息,然后便可以根据待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与待检索图像匹配的目标图像。通过引入车道线信息作为相似度计算时的特征信息之一,使得在进行图像检索时能够一并考虑车道线情况,提高了检索得到的目标图像与待检索图像之间的相似性。
结合前述内容可知,待检索图像以及候选图像均可以包括车道线信息。本公开实施例中,待检索图像的车道线信息以及候选图像的车道线信息可以使用相同的方法获得。下面对车道线信息的获取步骤进行说明。
在一些实施方式中,参阅图2,图像的车道线信息的获取步骤包括:
S210,基于信息提取图像中的目标车道线的坐标分布,确定目标车道线的向量表示,目标车道线为信息提取图像中任一条车道线,信息提取图像为待检索图像或者候选图像;
其中,信息提取图像可以理解为待提取车道线信息的图像。本公开实施例中,由于需要获取待检索图像的车道线信息以及候选图像的车道线信息,因此,可以将待检索图像或者候选图像作为信息提取图像。
其中,一张信息提取图像中可以包括一条或者多条车道线,针对其中的任一条目标车道线,可以根据该目标车道线的坐标分布,确定该目标车道线的向量表示。
在一些实施方式中,上述步骤S210中,基于信息提取图像中的目标车道线的坐标分布,确定目标车道线的向量表示,可以包括以下步骤:
在第一坐标轴上等间隔选取预设数量个与目标车道线的交点作为目标点;
基于目标点在第二坐标轴上的坐标分布,确定目标车道线的向量表示。
本公开实施例中,信息提取图像可以是二维图像,此时,可以在信息提取图像上建立与二维图像边界平行的直角坐标系。
需要说明的是,第一坐标轴可以是直角坐标系中的任一坐标轴,在选取第一坐标轴之后,第二坐标轴则是与第一坐标轴相对的另一坐标轴。
示例性地,如图3所示,可以以信息提取图像上边界为x轴,左边界为y轴建立直角坐标系。可以看出,信息提取图像中还包括标注出的车道线。
继续参阅图3,可以将y轴看做是第一坐标轴,将x轴看做是第二坐标轴。那么对于一条目标车道线,可以在y轴上按照等间隔采样预设数量N(例如,N可以取50)个与该目标车道线的交点作为目标点,并由上述N个点的x坐标作为该目标车道线的向量表示K:
其中,N表示目标点的数量。
S220,利用降维矩阵对目标车道线的向量表示进行降维处理,得到目标车道线的车道线信息,其中,同一张信息提取图像的各个目标车道线的车道线信息,构成该信息提取图像的车道线信息。
本公开实施例中,在得到了任一条车道线的向量表示之后,考虑到候选图像数量大,因此为了降低存储和匹配计算的消耗,可以进一步利用降维矩阵对目标车道线的向量表示进行降维处理,得到目标车道线的车道线信息。
可以理解的是,由于利用降维矩阵进行了降维处理,因此,得到的车道线信息可以以矩阵的形式进行表示。
在一些实施方式中,可以通过以下步骤构建降维矩阵:
获取多张标注车道线的图像;
基于每张标注车道线的图像中的各条车道线的坐标分布,构建车道线分布矩阵;
对车道线分布矩阵进行奇异值分解,得到候选矩阵;
选取候选矩阵的前预设数量个列,构建降维矩阵。
本公开实施例中,构建降维矩阵的过程可以看做是构建车道线信息子空间的过程。因此,为了统一车道线信息提取标准,可以先获取多张标注有车道线的图像,接着,可以基于每张标注车道线的图像中的各条车道线的坐标分布,构建车道线分布矩阵A,然后对车道线分布矩阵A进行奇异值分解,得到候选矩阵A`,最后便可以选取候选矩阵A`的前预设数量个列,构建降维矩阵UM。
示例性地,假设多张标注车道线的图像中共有L条标注出来的车道线,此时,可以构建车道线分布矩阵A:
其中,KL表示第L条车道线的向量表示。
在得到车道线分布矩阵A之后,对车道线分布矩阵A使用奇异值分解,可以得到三个矩阵,如下所示:
其中,U和V是正交单位矩阵,Σ是对角矩阵。
接着,可以选取上述U矩阵的前预设数量个列u,例如取前M个列,从而构建得到降维矩阵UM如下:
其中,uM表示U矩阵的第M列,表示N行M列的实数矩阵。
在得到了降维矩阵UM之后,便可以利用降维矩阵UM对目标车道线的向量表示K进行降维处理,得到目标车道线的车道线信息coef:
可以理解的是,在实际中,M远小于N,因此,本公开实施例中使用更低维度的向量coef代替表示车道线的向量表示K,从而降低了存储和匹配计算的消耗。
此外,在得到了每张信息提取图像的每条车道线的车道线信息之后,便可以将同一张图像的所有车道线信息构成该张图像的车道线信息。
结合前述内容可知,除了包括车道线信息之外,在一些实施方式中,特征信息还可以包括通过对象检测模型检测得到的实体对象信息以及通过场景检测模型检测得到的场景标签等信息。这种情况下,本公开实施例的方法还可以包括以下步骤:
获取待检索图像中的实体对象信息与候选图像中的实体对象信息之间的第一子相似度,待检索图像中的场景标签与候选图像中的场景标签之间的第二子相似度,以及待检索图像中的车道线信息与候选图像中的车道线信息之间的第三子相似度;
按照预设权重,对第一子相似度、第二子相似度以及第三子相似度进行加权处理,得到待检索图像的特征信息与候选图像的特征信息之间的相似度。
可以理解的是,在同类型信息之间进行相似度计算能够提高最终相似度计算的准确性。因此,本公开实施例中,可以先获取待检索图像中的实体对象信息与候选图像中的实体对象信息之间的第一子相似度,以及获取待检索图像中的场景标签与候选图像中的场景标签之间的第二子相似度,以及获取待检索图像中的车道线信息与候选图像中的车道线信息之间的第三子相似度。接着,便可以按照预设权重,对第一子相似度、第二子相似度以及第三子相似度进行加权处理,得到待检索图像的特征信息与候选图像的特征信息之间的相似度。
本公开实施例中,在特征信息包括多种信息的情况下,对各种信息进行加权处理,可以在结合多种相似信息的同时,在不同需求下调整两张图像关注的重点相似之处,进一步提高了检索目标图像的准确性以及针对性。
其中,待检索图像中的实体对象信息与候选图像中的实体对象信息之间的第一子相似度,以及待检索图像中的场景标签与候选图像中的场景标签之间的第二子相似度的计算方式可以参考相关技术的图像检索方式中的相似度计算方式,此处不进行详细描述。
在一些实施方式中,第三子相似度,也即待检索图像的车道线信息与候选图像的车道线信息之间的相似度,可以通过以下步骤来获取:
利用匈牙利算法,在待检索图像的车道线信息以及候选图像的车道线信息之间,确定相互对应的每组匹配车道线;
获取各组匹配车道线的内积的和值;
将和值与预设惩罚系数的积,确定为待检索图像的车道线信息与候选图像的车道线信息之间的相似度。
其中,一组匹配车道线可以理解为待检索图像中与候选图像中相互对应的两条车道线。
示例性地,假设待检索图像X有LX条车道线,候选图像Y有LY条车道线,两张图像的车道线信息TX、TY可以分别表示为:
其中,表示待检索图像中第LX条车道线的车道线信息,/>表示待检索图像中第LX条车道线的车道线信息。可以理解的是,图像的车道线信息由图像中所有车道线的车道线信息组成。
假设LX大于LY,使用匈牙利算法计算出待检索图像和候选图像中的最佳匹配。在这种最佳匹配下,候选图像中的每一条车道线均能够在待检索图像中找到唯一的一条车道线与之匹配,而待检索图像中则存在LX-LY条未能参与匹配的车道线。
在确定相互对应的每组匹配车道线之后,便可以获取各组匹配车道线的内积的和值,然后再将和值与预设惩罚系数的积,确定为待检索图像的车道线信息与候选图像的车道线信息之间的相似度。该过程可以通过下式进行表示:
其中,表示待检索图像的车道线信息与候选图像的车道线信息之间的相似度,/>表示候选图像Y中第y条车道线与相匹配的车道线的内积,/>表示预设惩罚系数,代表未匹配车道线部分带来的惩罚。
在一些实施方式中,也可以根据实际需要,单独计算任意两条车道线之间的相似度,此时,可以将这两条车道线的车道线信息的内积作为这两条车道线之间的相似度,即用下式表示:
其中,sim(x,y)表示车道线x的车道线信息与车道线y的车道线信息的内积,该内积作为车道线x与车道线y之间的相似度,M表示选取U矩阵的列的数量。
此外,再次结合前述内容可知,本公开实施例的图像检索方法可以应用于车道线检测算法的迭代测试过程中,可以理解的是,在车道线检测算法的迭代测试过程中,通常可以包括标注数据库以及未标注数据库,标注数据库用于构建样本数据集来对待检测算法进行迭代更新,未标注数据库用来补充新的训练样本,从而不断帮助待检测算法进行迭代,此外,可以理解的是,在标注数据库以及未标注数据可以中均可能存在目标图像,因此,为了进行区分,可以将标注数据库中的图像看作是第一候选图像,将未标注数据库中的图像看作是第二候选图像,进而,可以将从第一候选图像中确定的目标图像看作是第一目标图像,以及将从第二候选图像中确定的目标图像看作是第二目标图像。
也即,本公开实施例中,候选图像包括第一候选图像以及第二候选图像,第一候选图像为标注数据库中的任一张图像,第二候选图像为未标注数据库中的任一张图像,目标图像包括第一目标图像以及第二目标图像,这种情况下,在一些实施方式中,根据待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与待检索图像匹配的目标图像,包括:
根据待检索图像的特征信息与第一候选图像的特征信息之间的相似度,从第一候选图像中确定与待检索图像匹配的第一目标图像;在第一目标图像的数量小于第一预设数量时,根据待检索图像的特征信息与第二候选图像的特征信息之间的相似度,从第二候选图像中确定第二预设数量个与待检索图像匹配的第二目标图像。
相应地,在确定第二预设数量个与待检索图像匹配的第二目标图像之后,为了对车道线检测算法进行迭代更新,本公开实施例的方法还可以包括步骤:
对第二预设数量个第二目标图像进行车道线标注,标注后的第二目标图像用于对预设车道线检测算法进行更新。
本公开实施例中,在利用车道线检测算法对待检测图像进行检测之后,如果得到了坏例(即检测车道线与真实车道线满足预设差异条件的待检测图像,也即待检索图像),可以根据待检索图像的特征信息与第一候选图像的特征信息之间的相似度,先从标注数据库中查找与待检索图像对应的第一目标图像,从而可以分析相似图像在标注数据库中的分布情况,例如,可能是相似图像数量太少,小于第一预设数量,从而导致车道线检测算法对于这类型图像的检测能力较弱,进而,可以在第一目标图像的数量小于第一预设数量时,根据待检索图像的特征信息与第二候选图像的特征信息之间的相似度,从未标注数据库中确定第二预设数量个与待检索图像匹配的第二目标图像,并对第二预设数量个第二目标图像进行车道线标注,以将标注后的第二图像加入标注数据库,用于对预设车道线检测算法进行迭代更新。
又例如,在分析相似图像在标注数据库中的分布情况之后,可能是相似图像数量大于或者等于第一预设数量,此时,可以考虑对车道线检测算法结构或者其他参数进行修正。
可见,本公开实施例中,通过确定第一目标图像,可以帮助分析车道线检测算法检测不准确的原因,通过确定第二目标图像,可以在车道线检测算法由于相似样本数据太少而导致检测错误时,获取到额外的样本数据来对车道线检测算法进行迭代训练,以提高车道线检测算法的检测能力。
在一些实施方式中,可以采用人工的方式对确定的第二预设数量个第二目标图像进行车道线标注,从而使其带有车道线标注信息。
其中,第一预设数量以及第二预设数量可以根据实际需要进行设置。
此外,考虑到未标注数据库中的图像不存在车道线标注信息,那么为了获得第二候选特征图像的车道线信息,进而用于确定第二候选图像的特征信息,在一些实施方式中,可以通过当前迭代中的车道线检测算法对第二候选图像进行检测,得到各个第二候选图像的车道线。
下面以一个完整示例来对本公开实施例的图像检索方法进行示例性说明。
如图4所示,为检索数据库的构建过程。
首先提供有携带车道线标注的标注数据库41以及不携带车道线标注的未标注数据库42。
针对标注数据库41中的多张第一候选图像,以及未标注数据库42的中的第二候选图像,分别通过对象检测模型检测以及场景检测模型进行处理,得到每张图像对应的实体对象信息以及场景标签,进而分别构成第一标注检索数据库43以及第一未标注检索数据库44。
此外,针对未标注数据库42的中的第二候选图像,还可以通过当前训练得到的车道线检测模型进行离线车道线检测处理,得到每张第二候选图像对应的检测车道线,从而使得每张第二候选图像携带检测车道线。
接着,针对标注数据库41中的多张第一候选图像,以及未标注数据库42的中的携带有检测车道线的第二候选图像,可以通过图像的车道线信息图区模块分别提取每张图像的车道线信息,进而分别构成第二标注检索数据库45以及第二未标注检索数据库46。
上述过程便完成了检索数据库的构建工作,以便于后续用于检索与待检索图像匹配的目标图像。其中,检索数据库可以包括标注检索数据库(由第一标注检索数据库43以及第二标注检索数据库45构成)以及未标注检索数据库(由第一未标注检索数据库44以及第二未标注检索数据库46构成)。
如图5所示,在对当前训练得到的车道线检测算法进行测试时,可以通过当前训练得到的车道线检测算法对任一张待检测图像进行检测,得到待检测图像的检测车道线,在检测出的车道线与待检测图像实际车道线存在较大差异时,将待检测图像确定为待检索图像。
接着,可以进一步对待检索图像进行特征信息提取处理,提取得到待检索图像的车道线信息、实体对象信息以及场景标签。
接着,可以将待检索图像的车道线信息、实体对象信息以及场景标签分别与标注检索数据库51中每张第一候选图像的车道线信息、实体对象信息以及场景标签进行相似度计算,根据相似度选取第一目标图像。
若第一目标图像的数量小于第一预设数量,则可以再将待检索图像的车道线信息、实体对象信息以及场景标签分别与未标注检索数据库52中每张第二候选图像的车道线信息、实体对象信息以及场景标签进行相似度计算,根据相似度选取第二预设数量个第二目标图像。
最后便可以对第二预设数量个第二目标图像进行车道线标注,并将标注后的第二目标图像添加到标注数据库中,以用于车道线检测算法的后续迭代更新。
图6是根据一示例性实施例示出的一种图像检索装置框图。参照图,该图像检索装置600包括第一获取模块610,第二获取模块620和确定模块630。
该第一获取模块610被配置为获取待检索图像;
该第二获取模块620被配置为获取所述待检索图像的特征信息,所述特征信息包括车道线信息;
该确定模块630被配置为根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像。
在一些实施方式中,第一获取模块610包括:
检测车道线确定检测子模块,被配置为通过预设车道线检测算法对待检测图像进行检测,得到所述待检测图像的检测车道线;
待检索图像确定子模块,被配置为在所述待检测图像的所述检测车道线与所述待检测图像的真实车道线满足预设差异条件时,将所述待检测图像确定为所述待检索图像。
在一些实施方式中,装置600包括:
向量表示确定模块,被配置为基于信息提取图像中的目标车道线的坐标分布,确定所述目标车道线的向量表示,所述目标车道线为所述信息提取图像中任一条车道线,所述信息提取图像为所述待检索图像或者所述候选图像;
降维模块,被配置为利用降维矩阵对所述目标车道线的向量表示进行降维处理,得到所述目标车道线的车道线信息,其中,同一张信息提取图像的各个目标车道线的车道线信息,构成该信息提取图像的车道线信息。
在一些实施方式中,向量表示确定模块包括:
目标点确定子模块,被配置为在第一坐标轴上等间隔选取预设数量个与目标车道线的交点作为目标点;
向量表示确定子模块,被配置为基于所述目标点在第二坐标轴上的坐标分布,确定所述目标车道线的向量表示。
在一些实施方式中,装置600还包括:
第三获取模块,被配置为获取多张标注车道线的图像;
车道线分布矩阵构建模块,被配置为基于每张标注车道线的图像中的各条车道线的坐标分布,构建车道线分布矩阵;
候选矩阵确定模块,被配置为对所述车道线分布矩阵进行奇异值分解,得到候选矩阵;
降维矩阵构建模块,被配置为选取所述候选矩阵的前预设数量个列,构建所述降维矩阵。
在一些实施方式中,装置600还包括:
匹配车道线确定模块,被配置为利用匈牙利算法,在所述待检索图像的车道线信息以及所述候选图像的车道线信息之间,确定相互对应的每组匹配车道线;
内积确定模块,被配置为获取各组匹配车道线的内积的和值;
车道线信息相似度确定模块,被配置为将所述和值与预设惩罚系数的积,确定为所述待检索图像的车道线信息与候选图像的车道线信息之间的相似度。
在一些实施方式中,所述候选图像包括第一候选图像以及第二候选图像,所述第一候选图像为标注数据库中的任一张图像,所述第二候选图像为未标注数据库中的任一张图像,所述目标图像包括第一目标图像以及第二目标图像,确定模块630包括:
第一目标图像确定子模块,被配置为根据所述待检索图像的特征信息与所述第一候选图像的特征信息之间的相似度,从所述第一候选图像中确定与所述待检索图像匹配的第一目标图像;
第二目标图像确定子模块,被配置为在所述第一目标图像的数量小于第一预设数量时,根据所述待检索图像的特征信息与所述第二候选图像的特征信息之间的相似度,从所述第二候选图像中确定第二预设数量个与所述待检索图像匹配的第二目标图像。
这种情况下,装置600还包括:
车道线标注模块,被配置为对第二预设数量个所述第二目标图像进行车道线标注,标注后的第二目标图像用于对预设车道线检测算法进行更新。
在一些实施方式中,所述特征信息还包括通过对象检测模型检测得到的实体对象信息以及通过场景检测模型检测得到的场景标签,装置600还包括:
子相似度确定模块,被配置为获取所述待检索图像中的实体对象信息与候选图像中的实体对象信息之间的第一子相似度,所述待检索图像中的场景标签与候选图像中的场景标签之间的第二子相似度,以及所述待检索图像中的车道线信息与候选图像中的车道线信息之间的第三子相似度;
特征信息相似度确定模块,被配置为按照预设权重,对所述第一子相似度、所述第二子相似度以及所述第三子相似度进行加权处理,得到所述待检索图像的特征信息与候选图像的特征信息之间的相似度。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的图像检索方法的步骤。
图7是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备700可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,电子设备700可以包括以下一个或多个组件:处理组件702,存储器704,电源组件706,多媒体组件708,音频组件710,输入/输出接口712,传感器组件714,以及通信组件716。
处理组件702通常控制电子设备700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理***,一个或多个电源,及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(MIC),当电子设备700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括一个扬声器,用于输出音频信号。
输入/输出接口712为处理组件702和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器,用于为电子设备700提供各个方面的状态评估。例如,传感器组件714可以检测到电子设备700的打开/关闭状态,组件的相对定位,例如所述组件为电子设备700的显示器和小键盘,传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变,用户与电子设备700接触的存在或不存在,电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由电子设备700的处理器720执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像检索方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种图像检索方法,其特征在于,包括:
获取待检索图像,所述待检索图像为应用预设车道线检测算法检测的车道线检测错误的图像;
获取所述待检索图像的特征信息,所述特征信息包括车道线信息;
根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像,所述目标图像用于对所述预设车道线检测算法进行更新;
其中,图像的车道线信息由图像中所有车道线的车道线信息组成,待检索图像的车道线信息与候选图像的车道线信息之间的相似度的获取步骤包括:
利用匈牙利算法,在所述待检索图像的车道线信息以及所述候选图像的车道线信息之间,确定相互对应的每组匹配车道线;
获取各组匹配车道线的内积的和值;
将所述和值与预设惩罚系数的积,确定为所述待检索图像的车道线信息与候选图像的车道线信息之间的相似度,所述预设惩罚系数表征未匹配的车道线部分带来的惩罚。
2.根据权利要求1所述的方法,其特征在于,所述获取待检索图像,包括:
通过预设车道线检测算法对待检测图像进行检测,得到所述待检测图像的检测车道线;
在所述待检测图像的所述检测车道线与所述待检测图像的真实车道线的差异超出应用可接受的范围时,将所述待检测图像确定为所述待检索图像。
3.根据权利要求1所述的方法,其特征在于,所述图像的车道线信息的获取步骤包括:
基于信息提取图像中的目标车道线的坐标分布,确定所述目标车道线的向量表示,所述目标车道线为所述信息提取图像中任一条车道线,所述信息提取图像为所述待检索图像或者所述候选图像;
利用降维矩阵对所述目标车道线的向量表示进行降维处理,得到所述目标车道线的车道线信息,其中,同一张信息提取图像的各个目标车道线的车道线信息,构成该信息提取图像的车道线信息。
4.根据权利要求3所述的方法,其特征在于,所述基于信息提取图像中的目标车道线的坐标分布,确定所述目标车道线的向量表示,包括:
在第一坐标轴上等间隔选取预设数量个与目标车道线的交点作为目标点;
基于所述目标点在第二坐标轴上的坐标分布,确定所述目标车道线的向量表示。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取多张标注车道线的图像;
基于每张标注车道线的图像中的各条车道线的坐标分布,构建车道线分布矩阵;
对所述车道线分布矩阵进行奇异值分解,得到候选矩阵;
选取所述候选矩阵的前预设数量个列,构建所述降维矩阵。
6.根据权利要求1所述的方法,其特征在于,所述候选图像包括第一候选图像以及第二候选图像,所述第一候选图像为标注数据库中的任一张图像,所述第二候选图像为未标注数据库中的任一张图像,所述目标图像包括第一目标图像以及第二目标图像,所述根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像,包括:
根据所述待检索图像的特征信息与所述第一候选图像的特征信息之间的相似度,从所述第一候选图像中确定与所述待检索图像匹配的第一目标图像;
在所述第一目标图像的数量小于第一预设数量时,根据所述待检索图像的特征信息与所述第二候选图像的特征信息之间的相似度,从所述第二候选图像中确定第二预设数量个与所述待检索图像匹配的第二目标图像;
所述方法还包括:
对第二预设数量个所述第二目标图像进行车道线标注,标注后的第二目标图像用于对预设车道线检测算法进行更新。
7.根据权利要求1所述的方法,其特征在于,所述特征信息还包括通过对象检测模型检测得到的实体对象信息以及通过场景检测模型检测得到的场景标签,所述方法还包括:
获取所述待检索图像中的实体对象信息与候选图像中的实体对象信息之间的第一子相似度,所述待检索图像中的场景标签与候选图像中的场景标签之间的第二子相似度,以及所述待检索图像中的车道线信息与候选图像中的车道线信息之间的第三子相似度;
按照预设权重,对所述第一子相似度、所述第二子相似度以及所述第三子相似度进行加权处理,得到所述待检索图像的特征信息与候选图像的特征信息之间的相似度。
8.一种图像检索装置,其特征在于,包括:
第一获取模块,被配置为获取待检索图像,所述待检索图像为应用预设车道线检测算法检测的车道线检测错误的图像;
第二获取模块,被配置为获取所述待检索图像的特征信息,所述特征信息包括车道线信息;
确定模块,被配置为根据所述待检索图像的特征信息与候选图像的特征信息之间的相似度,从候选图像中确定与所述待检索图像匹配的目标图像,所述目标图像用于对所述预设车道线检测算法进行更新;
匹配车道线确定模块,被配置为利用匈牙利算法,在所述待检索图像的车道线信息以及所述候选图像的车道线信息之间,确定相互对应的每组匹配车道线;
内积确定模块,被配置为获取各组匹配车道线的内积的和值;
车道线信息相似度确定模块,被配置为将所述和值与预设惩罚系数的积,确定为所述待检索图像的车道线信息与候选图像的车道线信息之间的相似度,所述预设惩罚系数表征未匹配的车道线部分带来的惩罚。
9.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1~7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778653.7A CN115033731B (zh) | 2022-07-04 | 2022-07-04 | 图像检索方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778653.7A CN115033731B (zh) | 2022-07-04 | 2022-07-04 | 图像检索方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115033731A CN115033731A (zh) | 2022-09-09 |
CN115033731B true CN115033731B (zh) | 2023-07-18 |
Family
ID=83128995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210778653.7A Active CN115033731B (zh) | 2022-07-04 | 2022-07-04 | 图像检索方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115033731B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056100A (zh) * | 2016-06-28 | 2016-10-26 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109186616B (zh) * | 2018-09-20 | 2020-04-07 | 禾多科技(北京)有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
CN112541372B (zh) * | 2019-09-20 | 2023-03-28 | 魔门塔(苏州)科技有限公司 | 一种困难样本筛选方法及装置 |
CN110598037B (zh) * | 2019-09-23 | 2022-01-04 | 腾讯科技(深圳)有限公司 | 一种图像搜索方法、装置和存储介质 |
CN114092903A (zh) * | 2020-08-06 | 2022-02-25 | 长沙智能驾驶研究院有限公司 | 车道线标注、检测模型确定、车道线检测方法及相关设备 |
CN113297409A (zh) * | 2021-06-30 | 2021-08-24 | 杭州海康威视数字技术股份有限公司 | 一种图像搜索方法、装置、电子设备及存储介质 |
-
2022
- 2022-07-04 CN CN202210778653.7A patent/CN115033731B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056100A (zh) * | 2016-06-28 | 2016-10-26 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
Non-Patent Citations (1)
Title |
---|
一种鲁棒性的多车道线检测算法;宣寒宇;刘宏哲;袁家政;李青;牛小宁;;计算机科学(11);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115033731A (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584276B (zh) | 关键点检测方法、装置、设备及可读介质 | |
US20210117726A1 (en) | Method for training image classifying model, server and storage medium | |
CN112149740B (zh) | 目标重识别方法、装置、存储介质及设备 | |
CN113538517A (zh) | 目标追踪方法及装置、电子设备和存储介质 | |
CN113128520B (zh) | 图像特征提取方法、目标重识别方法、装置及存储介质 | |
CN105094760A (zh) | 一种图片标记方法及装置 | |
CN113792207A (zh) | 一种基于多层次特征表示对齐的跨模态检索方法 | |
CN112115894B (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
CN107133354A (zh) | 图像描述信息的获取方法及装置 | |
CN113326768A (zh) | 训练方法、图像特征提取方法、图像识别方法及装置 | |
CN111814538B (zh) | 目标对象的类别识别方法、装置、电子设备及存储介质 | |
CN113450459B (zh) | 目标物的三维模型构建方法及装置 | |
CN111209354A (zh) | 一种地图兴趣点判重的方法、装置及电子设备 | |
CN113888543B (zh) | 肤色分割方法、装置、电子设备及存储介质 | |
KR20190124436A (ko) | 영상 기반 건물 검색 방법 및 장치 | |
CN113269307B (zh) | 神经网络训练方法以及目标重识别方法 | |
CN116611482B (zh) | 模型训练方法、装置、电子设备及介质 | |
CN111797746B (zh) | 人脸识别方法、装置及计算机可读存储介质 | |
CN113496237B (zh) | 域适应神经网络训练和交通环境图像处理方法及装置 | |
CN115033731B (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN112259122A (zh) | 音频类型识别方法、装置及存储介质 | |
CN111310595A (zh) | 用于生成信息的方法和装置 | |
CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN115331097A (zh) | 图像检测模型训练方法、装置及图像检测方法 | |
CN113792569B (zh) | 对象识别方法、装置、电子设备及可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |