CN114627443A - 目标检测方法、装置、存储介质、电子设备及车辆 - Google Patents
目标检测方法、装置、存储介质、电子设备及车辆 Download PDFInfo
- Publication number
- CN114627443A CN114627443A CN202210249458.5A CN202210249458A CN114627443A CN 114627443 A CN114627443 A CN 114627443A CN 202210249458 A CN202210249458 A CN 202210249458A CN 114627443 A CN114627443 A CN 114627443A
- Authority
- CN
- China
- Prior art keywords
- target
- type
- target object
- preset
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种目标检测方法、装置、存储介质、电子设备及车辆。该方法包括:获取目标车辆周边的环境图像中的多个目标对象,以及多个目标对象在该环境图像中的相邻位置关系;根据相邻位置关系和预设关系图谱,确定目标对象对应的目标类型。其中,该预设关系图谱包括多个目标类型之间的预设关联关系。这样,通过预设关系图谱中多个目标类型之间的预设关联关系,以及环境图像中多个目标对象之间的相邻位置关系,可以结合类型间关联关系和对象间相邻关系更为准确地对目标对象的目标类型进行识别,避免针对单个对象的识别方式导致的识别错误问题,提高目标检测准确性,从而提高自动驾驶的可靠性和安全性。
Description
技术领域
本公开涉及人工智能技术领域,具体地,涉及一种目标检测方法、装置、存储介质、电子设备及车辆。
背景技术
随着自动驾驶技术的发展,自动驾驶车辆准确地识别周边环境中的目标对象,成为影响自动驾驶可靠性和安全性的重要因素。在相关技术中,可以通过预先训练的模型对周边环境的影像进行图像识别,从而确定周边环境中的目标对象,但是,在某些复杂场景下,存在目标对象检测错误的问题,影响自动驾驶的可靠性和安全性。
发明内容
为克服相关技术中存在的上述问题,本公开提供一种目标检测方法、装置、存储介质、电子设备及车辆。
根据本公开实施例的第一方面,提供一种目标检测方法,所述方法包括:
获取目标车辆周边的环境图像;
获取所述环境图像中的多个目标对象,以及所述多个目标对象在所述环境图像中的相邻位置关系;
根据所述相邻位置关系和预设关系图谱,确定所述目标对象对应的目标类型,所述预设关系图谱包括多个目标类型之间的预设关联关系。
可选地,所述根据所述相邻位置关系和预设关系图谱,确定所述目标对象对应的目标类型包括:
获取每个所述目标对象对应的待定类型;
根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型。
可选地,所述根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型包括:
根据所述预设关系图谱,确定待定类型为顶层目标类型的第一目标对象;所述顶层目标类型为所述预设关系图谱中包含其它目标类型且不被其它目标类型所包含的类型;
将所述预设关系图谱中,所述顶层目标类型存在预设关联关系的其它目标类型作为所述第一目标对象对应的候选类型;
确定与所述第一目标对象存在相邻位置关系的第二目标对象;
在所述候选类型包含所述第二目标对象的待定类型的情况下,将所述第二目标对象的待定类型作为所述第二目标对象的目标类型。
可选地,所述方法还包括:
在所述候选类型不包含所述第二目标对象的待定类型的情况下,根据所述候选类型,更新所述第二目标对象的待定类型;
将更新后的待定类型作为所述第二目标对象的目标类型。
可选地,所述根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型包括:
获取存在相邻位置关系的第三目标对象和第四目标对象;
根据所述预设关系图谱,确定所述第三目标对象的第三待定类型与所述第四目标对象的第四待定类型之间是否存在预设关联关系;
在所述第三待定类型和所述第四待定类型之间存在预设关联关系的情况下,根据所述第三待定类型和所述第四待定类型,确定所述第三目标对象和所述第四目标对象的目标类型。
可选地,所述方法还包括:
在所述第三待定类型和所述第四待定类型之间不存在预设关联关系的情况下,根据所述预设关系图谱更新所述第三待定类型和所述第四待定类型;
根据更新后的第三待定类型和第四待定类型,确定所述第三目标对象和所述第四目标对象的目标类型。
根据本公开实施例的第二方面,提供一种目标检测装置,所述装置包括:
图像获取模块,被配置为获取目标车辆周边的环境图像;
对象获取模块,被配置为获取所述环境图像中的多个目标对象,以及所述多个目标对象在所述环境图像中的相邻位置关系;
类型确定模块,被配置为根据所述相邻位置关系和预设关系图谱,确定所述目标对象对应的目标类型,所述预设关系图谱包括多个目标类型之间的预设关联关系。
可选地,所述类型确定模块,被配置为获取每个所述目标对象对应的待定类型;根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型。
可选地,所述类型确定模块,被配置为根据所述预设关系图谱,确定待定类型为顶层目标类型的第一目标对象;所述顶层目标类型为所述预设关系图谱中包含其它目标类型且不被其它目标类型所包含的类型;将所述预设关系图谱中,所述顶层目标类型存在预设关联关系的其它目标类型作为所述第一目标对象对应的候选类型;确定与所述第一目标对象存在相邻位置关系的第二目标对象;在所述候选类型包含所述第二目标对象的待定类型的情况下,将所述第二目标对象的待定类型作为所述第二目标对象的目标类型。
可选地,所述类型确定模块,被配置为在所述候选类型不包含所述第二目标对象的待定类型的情况下,根据所述候选类型,更新所述第二目标对象的待定类型;将更新后的待定类型作为所述第二目标对象的目标类型。
可选地,所述类型确定模块,被配置为获取存在相邻位置关系的第三目标对象和第四目标对象;根据所述预设关系图谱,确定所述第三目标对象的第三待定类型与所述第四目标对象的第四待定类型之间是否存在预设关联关系;在所述第三待定类型和所述第四待定类型之间存在预设关联关系的情况下,根据所述第三待定类型和所述第四待定类型,确定所述第三目标对象和所述第四目标对象的目标类型。
可选地,所述类型确定模块,被配置为在所述第三待定类型和所述第四待定类型之间不存在预设关联关系的情况下,根据所述预设关系图谱更新所述第三待定类型和所述第四待定类型;根据更新后的第三待定类型和第四待定类型,确定所述第三目标对象和所述第四目标对象的目标类型。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行本公开第一方面所提供的目标检测方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现本公开第一方面所提供的目标检测方法的步骤。
根据本公开实施例的第五方面,提供一种车辆,该车辆包括本公开第三方面所提供的电子设备。
本公开的实施例提供的技术方案可以包括以下有益效果:获取目标车辆周边的环境图像中的多个目标对象,以及多个目标对象在该环境图像中的相邻位置关系;根据相邻位置关系和预设关系图谱,确定目标对象对应的目标类型。其中,该预设关系图谱包括多个目标类型之间的预设关联关系。这样,通过预设关系图谱中多个目标类型之间的预设关联关系,以及环境图像中多个目标对象之间的相邻位置关系,可以结合类型间关联关系和对象间相邻关系更为准确地对目标对象的目标类型进行识别,避免针对单个对象的识别方式导致的识别错误问题,提高目标检测准确性,从而提高自动驾驶的可靠性和安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种夜间车辆行驶中的环境图像的示意图。
图2是根据一示例性实施例示出的一种目标检测方法的流程图。
图3是根据一示例性实施例示出的一种预设关系图谱的示意图。
图4是根据一示例性实施例示出的一种目标检测装置的框图。
图5是根据一示例性实施例示出的电子设备的框图。
图6是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
在本公开中,使用的术语如“第一”、“第二”等是用于区别类似的对象,而不必理解为特定的顺序或先后次序。另外,在未作相反说明的情况下,在参考附图的描述中,不同附图中的同一标记表示相同的要素。
首先,对本公开的应用场景进行说明。本公开可以应用于自动驾驶或辅助驾驶场景。在相关技术中,可以通过预先训练的模型对周边环境的影像进行图像识别,从而确定周边环境中的目标对象,然后可以根据目标对象直接控制或辅助控制车辆行驶。因此,目标对象的识别准确性对自动驾驶车辆的可靠性和安全性影响非常大,但是,在某些复杂场景下,存在目标对象检测准确度不高的问题。示例地,相关技术中可以使用神经网络模型解析单个对象的特征,并根据特征进行识别;但是这种针对单个对象的识别方式,若存在外形和颜色相似的对象,可能会导致识别错误。
图1是根据一示例性实施例示出的一种夜间车辆行驶中的环境图像,如图1所示,在夜间道路上由于路灯、车灯和交通信号灯同时存在,若针对单个对象进行识别,在车流量较大的情况下,可能会将距离较远的周边车辆的红色车尾灯识别为红色交通信号灯,或者会将远处的路灯识别为交通信号灯,这样会影响自动驾驶的可靠性。
为了解决上述问题,本公开提供了一种目标检测方法、装置、存储介质、电子设备及车辆,预先设置包括多个目标类型之间的预设关联关系的预设关系图谱,通过预设关系图谱中多个目标类型之间的预设关联关系,以及环境图像中多个目标对象之间的相邻位置关系,可以结合类型间关联关系和对象间相邻关系更为准确地对目标对象的目标类型进行识别,避免针对单个对象的识别方式导致的识别错误问题,提高目标对象检测准确性,从而提高了自动驾驶的可靠性和安全性。
下面结合具体实施例对本公开进行说明。
图2是根据一示例性实施例示出的一种目标检测方法的流程图,可以应用于自动驾驶车辆或辅助驾驶车辆。如图2所示,该方法可以包括:
S201、获取目标车辆周边的环境图像。
在本步骤中,可以通过环境检测装置获取目标车辆周边的环境图像。该环境检测装置可以包括一个或多个摄像头,通过摄像头可以实时拍摄获取目标车辆周边的环境图像,特别是车辆前方的环境图像。
在一些实施例中,该环境检测装置也可以包括红外摄像头,该红外摄像头可以设置有红外线滤光片,可以根据不同的环境亮度自动实现开启或关闭该红外线滤光片,以提高拍摄得到的环境图像的清晰度。在白天或环境亮度足够的情况下,可以开启该红外线滤光片,以阻挡红外线进入镜头,让镜头只能感应到可见光,可以拍摄得到清晰的环境图像;在夜晚或环境亮度不足的情况下,可以关闭该红外线滤光片,使得红外线进入镜头以便形成影像,从而在夜晚也可以拍摄得到清晰的环境图像。上述镜头可以采用CCD(Chargecoupled Device,电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)。
需要说明的是,红外光(Infrared,IR)是频率介于微波与可见光之间的电磁波,是电磁波谱中频率为0.3THz~400THz,对应真空中波长为1mm~750nm辐射的总称。由于红外光具有比可见光更长的波长,可绕射微小颗粒,具有较好的夜视能力,也具有穿透云雾或雾霾的能力,在复杂环境(例如夜晚、雨雪、大雾等)下也可以拍摄出较为清晰的环境图像。而红外摄像头的成像原理与人眼类似,红外摄像头中的感光元件可感知红外线的照射。感光元件可以是一块矩形的板子,板子上放置多个感光点,当红外线照射这些感光点,这些点就会被激活,并随之引发感光点的电子跃迁,产生电势差,多个电势差经过模数转换为数字信号,最后根据数字信号可以生成拍摄得到的环境图像。
S202、获取环境图像中的多个目标对象,以及多个目标对象在该环境图像中的相邻位置关系。
其中,若两个目标对象在环境图像中的位置相邻,则可以确定该两个目标对象之间存在相邻位置关系;反之,若两个目标对象在环境图像中的位置不相邻(例如二者之间的距离大于或等于预设距离阈值,或者二者之间存在气体目标对象阻隔),则可以确定该两个目标对象之间不存在相邻位置关系。进一步地,该相邻位置关系可以包括上下关系、左右关系和包含关系。
在一些实施例中,可以将环境图像输入预先训练的对象分割模型,通过该对象分割模型对环境图像进行实例分割,从而得到多个目标对象,以及多个目标对象在该环境图像中的相邻位置关系。该对象分割模型可以通过对预设神经网络模型进行训练后得到,该预设神经网络模型可以包括CNN(Convolutional Neural Networks,卷积神经网络)模型、RCNN(Region-CNN,区域卷积神经网络)模型、MaskRCNN模型或者BlendMask模型等。
S203、根据相邻位置关系和预设关系图谱,确定目标对象对应的目标类型。
其中,该预设关系图谱包括多个目标类型之间的预设关联关系。该预设关联关系可以包括上述相邻位置关系,示例地,该预设关联关系可以包括上下关系、左右关系、包含关系和种类关系等。
在本步骤中,可以首先获取每个目标对象对应的待定类型;然后根据待定类型、相邻位置关系和预设关系图谱,获取该目标对象对应的目标类型。
示例地,可以将上述目标对象输入预先训练的分类识别模型,从而得到该目标对象对应的待定类型。该分类识别模型可以通过对预设神经网络模型进行训练后得到,其中,该预设神经网络模型可以是现有技术中通用的检测分类模型,对该预设神经网络模型进行训练的方式也可以看现有技术中的训练方式,本公开对此不再赘述。
在获取上述待定类型后,在两个目标对象的相邻位置关系与该两个目标对象对应的待定类型的预设关联关系一致的情况下,可以将该目标对象的待定类型作为目标类型。
反之,若在两个目标对象的相邻位置关系与该两个目标对象对应的待定类型的预设关联关系不一致的情况下,可以重新识别该目标对象的新的待定类型。在重新识别时,可以对分类识别模型的输出结果进行限制,屏蔽上次识别得到的待定类型,从而通过该分类识别模型输出新的待定类型。
采用上述方法,获取目标车辆周边的环境图像中的多个目标对象,以及多个目标对象在该环境图像中的相邻位置关系;根据相邻位置关系和预设关系图谱,确定目标对象对应的目标类型。其中,该预设关系图谱包括多个目标类型之间的预设关联关系。这样,通过预设关系图谱中多个目标类型之间的预设关联关系,以及环境图像中多个目标对象之间的相邻位置关系,可以结合类型间关联关系和对象间相邻关系更为准确地对目标对象的目标类型进行识别,避免针对单个对象的识别方式导致的识别错误问题,提高目标对象检测准确性,从而提高自动驾驶的可靠性和安全性。
在本公开的另一实施例中,上述S203步骤中,根据待定类型、相邻位置关系和预设关系图谱,获取该目标对象对应的目标类型,可以包括以下步骤:
首先,根据该预设关系图谱,确定待定类型为顶层目标类型的第一目标对象。
其中,该顶层目标类型可以为该预设关系图谱中包含其它目标类型且不被其它目标类型所包含的类型。
示例地,图3是根据一示例性实施例示出的一种预设关系图谱的示意图,如图3所示,该预设关系图谱中的顶层目标类型包括“车”、“植被”、“建筑”、“路杆”、“道路”和“高架桥”,其它目标类型可以为子目标类型,图3中示出的子目标类型包括:“尾灯”、“车窗”、“轮胎”、“行人道树木”、“马路边界绿化带”、“临时工棚”、“住宅”、“商务楼”、“路灯”、“交通信号灯”、“非机动车指示牌”、“行人指示牌”、“塑胶路”、“柏油路”、“泥土路面”、“交通信号灯”、“交通符号牌”和“机动车道”等。下面对图3中的顶层目标类型与子目标类型的预设关联关系进行说明如下:
顶层目标类型“车”包含的子目标类型可以有“尾灯”、“车窗”和“轮胎”,可以预先将目标类型“车”与目标类型“尾灯”的预设关联关系设置为包含关系,同样地,也可以预先将目标类型“车”与目标类型“车窗”、“轮胎”的预设关联关系也设置为包含关系。
顶层目标类型“路杆”包含的子目标类型可以有“路灯”、“交通信号灯”、“非机动车指示牌”和“行人指示牌”,可以预先将目标类型“路杆”与目标类型“交通信号灯”的预设关联关系设置为左右关系或上下关系,也就是表征在环境图像中,目标类型为“交通信号灯”的目标对象可以在目标类型为“路杆”的目标对象的左侧或右侧,也可以在目标类型为“路杆”的目标对象的下方或上方。
顶层目标类型“高架桥”包含的子目标类型可以有“交通信号灯”、“交通符号牌”和“机动车道”,可以预先将目标类型“高架桥”与目标类型“交通信号灯”的预设关联关系设置为包含关系和上下关系,也就是表征在环境图像中,目标类型为“交通信号灯”的目标对象可以包含在目标类型为“高架桥”的目标对象内,也可以在目标类型“高架桥”的目标对象的下方或上方。这样,可以兼容交通信号灯设置在高架桥的任意位置的场景,以及由于目标车辆的拍摄角度的导致交通信号灯与高架桥之间的不同相邻关系。
其它顶层目标类型与子目标类型的预设关联关系也是一样的,本公开对此不再赘述。
进一步地,顶层目标类型之间也可以存在预设关联关系,例如,“车”和“道路”的预设关联关系设置为上下关系,也就是说,目标类型为“车”的目标对象可以包含在目标类型为“道路”的目标对象的上方或下方(在上坡场景下,由于视觉效果的因素,会导致从纯视觉效果分析得到“车”在“道路”下方的效果,通过该预设关联关系,可以兼容该场景)。
需要说明的是,上述顶层目标类型与子目标类型的预设关联关系可以称为语义关系,顶层目标类型之间的预设关联关系或者子目标类型之间的预设关联关系可以称为几何关系。通过语义关系和几何关系可以预先构造准确的不同环境下的结构化场景关系,提高目标对象的类型识别准确度。
其次,根据预设关系图谱,获取与该顶层目标类型存在预设关联关系的其它目标类型作为该第一目标对象对应的候选类型。
该候选类型可以为一个或多个。示例地,与该顶层目标类型存在预设关联关系的其它目标类型可以包括两类:一类是该顶层目标类型包含的子目标类型;另一类是与该顶层目标类型存在预设关联关系的其他顶层目标类型。例如,图3中的目标类型“车”存在预设关联关系的其它目标类型既可以包括子目标类型“尾灯”、“车窗”和“轮胎”,也可以包括顶层目标类型“道路”。
再次,确定与第一目标对象存在相邻位置关系的第二目标对象。
最后,根据候选类型是否包含第二目标对象的待定类型,确定第二目标对象的目标类型。
具体地,在该候选类型包含该第二目标对象的待定类型的情况下,可以将该第二目标对象的待定类型作为该第二目标对象的目标类型。
在该候选类型不包含该第二目标对象的待定类型的情况下,可以根据该候选类型,更新该第二目标对象的待定类型;将更新后的待定类型作为该第二目标对象的目标类型。
示例地,若上述第一目标对象为第一车辆,与该第一目标对象存在相邻位置关系的第二目标对象为第一尾灯。在对单个目标对象进行识别时(例如在将目标对象输入预先训练的分类识别模型得到该目标对象对应的待定类型),可以将第一车辆的待定类型识别为“车”;而由于尾灯与交通信号灯、路灯均有较高的相似度,因此,可以将第一尾灯对应的待定类型识别为“交通信号灯”、“路灯”或“尾灯”。
这样,根据第一目标对象的目标类型“车”,可以得到候选类型“尾灯”、“车窗”、“轮胎”和“道路”。
若将该第一尾灯对应的待定类型识别为“尾灯”,由于候选类型中包含该待定类型“尾灯”,因此,可以确定该第一尾灯的目标类型识别正确,将“尾灯”作为其目标类型。
反之,若将该第一尾灯对应的待定类型识别为“交通信号灯”或“路灯”,由于候选类型中不包含待定类型“交通信号灯”和“路灯”,因此,可以确定该第一尾灯的目标类型识别错误;可以根据候选类型(“尾灯”、“车窗”、“轮胎”和“道路”),更新该第二目标对象的待定类型,例如,可以从候选类型中选择一个与第二目标对象(第一尾灯)的相似度最高且相似度大于预设阈值的类型(例如“尾灯”)作为更新后的待定类型;然后,可以将更新后的待定类型(“尾灯”)作为该第二目标对象(第一尾灯)的目标类型。这样,可以避免类型识别错误,提高类型识别准确性。
这样,根据预设关系图谱中多个目标类型之间的预设关联关系,自顶向下对目标对象的目标类型进行识别和校正,可以进一步提高目标对象的类型识别准确性。
在本公开的另一实施例中,上述S203步骤中,根据待定类型、相邻位置关系和预设关系图谱,获取该目标对象对应的目标类型,也可以包括以下步骤:
首先,获取存在相邻位置关系的第三目标对象和第四目标对象。
其次,根据上述预设关系图谱,确定第三目标对象的第三待定类型与第四目标对象的第四待定类型之间是否存在预设关联关系。
最后,根据第三待定类型和第四待定类型之间是否存在预设关联关系,确定目标对象的目标类型。
具体地,在第三待定类型和第四待定类型之间存在预设关联关系的情况下,可以根据第三待定类型和第四待定类型,确定第三目标对象和第四目标对象的目标类型。例如,可以将第三待定类型作为第三目标对象的目标类型,将第四待定类型作为第四目标对象的目标类型。
在第三待定类型和第四待定类型之间不存在预设关联关系的情况下,可以根据预设关系图谱更新第三待定类型和第四待定类型;并可以根据更新后的第三待定类型和第四待定类型,确定第三目标对象和第四目标对象的目标类型。例如,可以将更新后的第三待定类型作为第三目标对象的目标类型,将更新后的第四待定类型作为第四目标对象的目标类型。
下面同样以车辆和尾灯为例,对上述步骤说明如下:
根据环境图像,可以获取存在相邻位置关系的第三目标对象为第二车辆,以及,第四目标对象为第二尾灯。
需要说明的是,在对上述第三目标对象和第四目标对象进行类型识别时,同样可以将第二车辆的待定类型识别为“车”;而由于尾灯与交通信号灯、路灯均有较高的相似度,因此,可以将该第二尾灯对应的待定类型识别为“交通信号灯”、“路灯”或“尾灯”。
若将第三目标对象(第二车辆)的第三待定类型识别为“车”,将第四目标对象(第二尾灯)的第四待定类型识别为“尾灯”,则根据预设关系图谱,确定该两个目标对象的待定类型(“车”和“尾灯”)之间的存在预设关联关系;这样,可以将各自的待定类型作为各自的目标类型,也就是确定第三目标对象(第二车辆)的目标类型为“车”,第四目标对象(第二尾灯)的目标类型为“尾灯”。
反之,若将第三目标对象(第二车辆)的第三待定类型识别为“车”,将第四目标对象(第二尾灯)的第四待定类型识别为“交通信号灯”,则根据预设关系图谱,确定该两个目标对象的待定类型(“车”和“交通信号灯”)之间的不存在预设关联关系;这样,可以确定二者之间有一个识别错误,可以根据预设关系图谱更新第三待定类型和第四待定类型;并根据更新后的第三待定类型和第四待定类型,确定第三目标对象和第四目标对象的目标类型。
进一步地,根据预设关系图谱更新第三待定类型和第四待定类型的方式可以包括:
首先,获取第三目标对象与第三待定类型的第三相似度,以及第四目标对象与第四待定类型的第四相似度;
其次,在第三相似度大于或等于第四相似度的情况下,保持该第三待定类型不变(或者说,将当前的第三待定类型作为更新后的第三待定类型);获取与第三待定类型(例如“车”)存在预设关联关系的一个或多个第三关联类型(例如“尾灯”、“车窗”、“轮胎”和“道路”),从该一个或多个第三关联类型中,获取一个与第四目标对象(第二尾灯)的相似度最高且相似度大于预设阈值的类型(例如“尾灯”)作为更新后的第四待定类型。
反之,在第三相似度小于第四相似度的情况下,保持该第四待定类型不变(或者说,将当前的第四待定类型作为更新后的第四待定类型);获取与第四待定类型(例如“交通信号灯”)存在预设关联关系的一个或多个第四关联类型,从该一个或多个第四关联类型中,获取一个与第三目标对象(例如第二车辆)的相似度最高且相似度大于预设阈值的类型作为更新后的第三待定类型。
这样,针对环境图像中存在相邻位置关系的两个目标对象,可以根据预设关系图谱中的预设关联关系,对两个目标对象的目标类型进行识别和校正,提高目标对象的类型识别准确性。
图4是根据一示例性实施例示出的一种目标检测装置400的框图,如图4所示,该装置400可以包括:
图像获取模块401,被配置为获取目标车辆周边的环境图像;
对象获取模块402,被配置为获取该环境图像中的多个目标对象,以及该多个目标对象在该环境图像中的相邻位置关系;
类型确定模块403,被配置为根据该相邻位置关系和预设关系图谱,确定该目标对象对应的目标类型,该预设关系图谱包括多个目标类型之间的预设关联关系。
可选地,该类型确定模块403,被配置为获取每个该目标对象对应的待定类型;根据该待定类型、该相邻位置关系和该预设关系图谱,获取该目标对象对应的目标类型。
可选地,该类型确定模块403,被配置为根据该预设关系图谱,确定待定类型为顶层目标类型的第一目标对象;该顶层目标类型为该预设关系图谱中包含其它目标类型且不被其它目标类型所包含的类型;将该预设关系图谱中,该顶层目标类型存在预设关联关系的其它目标类型作为该第一目标对象对应的候选类型;确定与该第一目标对象存在相邻位置关系的第二目标对象;在该候选类型包含该第二目标对象的待定类型的情况下,将该第二目标对象的待定类型作为该第二目标对象的目标类型。
可选地,该类型确定模块403,被配置为在该候选类型不包含该第二目标对象的待定类型的情况下,根据该候选类型,更新该第二目标对象的待定类型;将更新后的待定类型作为该第二目标对象的目标类型。
可选地,该类型确定模块403,被配置为获取存在相邻位置关系的第三目标对象和第四目标对象;根据该预设关系图谱,确定该第三目标对象的第三待定类型与该第四目标对象的第四待定类型之间是否存在预设关联关系;在该第三待定类型和该第四待定类型之间存在预设关联关系的情况下,根据该第三待定类型和该第四待定类型,确定该第三目标对象和该第四目标对象的目标类型。
可选地,该类型确定模块403,被配置为在该第三待定类型和该第四待定类型之间不存在预设关联关系的情况下,根据该预设关系图谱更新该第三待定类型和该第四待定类型;根据更新后的第三待定类型和第四待定类型,确定该第三目标对象和该第四目标对象的目标类型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现本公开提供的目标检测方法的步骤。该计算机可读存储介质可以是非临时性计算机可读存储介质。
图5是根据一示例性实施例示出的电子设备900的框图。例如,电子设备900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理、路由器等。
参照图5,电子设备900可以包括以下一个或多个组件:处理组件902,存储器904,电力组件906,多媒体组件908,音频组件910,输入/输出(I/O)接口912,传感器组件914,以及通信组件916。
处理组件902通常控制电子设备900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述目标检测方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件906为电子设备900的各种组件提供电力。电力组件906可以包括电源管理***,一个或多个电源,及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述电子设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当电子设备900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(MIC),当电子设备900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。
I/O接口912为处理组件902和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器,用于为电子设备900提供各个方面的状态评估。例如,传感器组件914可以检测到电子设备900的打开/关闭状态,组件的相对定位,例如所述组件为电子设备900的显示器和小键盘,传感器组件914还可以检测电子设备900或电子设备900一个组件的位置改变,用户与电子设备900接触的存在或不存在,电子设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络,例如Wi-Fi,2G、3G、4G、5G、NB-IOT、eMTC、或其他6G等,或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述目标检测方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由电子设备900的处理器920执行以完成上述目标检测方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述目标检测方法的代码部分。
图6是根据一示例性实施例示出的车辆的框图,如图6所示,该车辆可以包括上述电子设备900。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种目标检测方法,其特征在于,所述方法包括:
获取目标车辆周边的环境图像;
获取所述环境图像中的多个目标对象,以及所述多个目标对象在所述环境图像中的相邻位置关系;
根据所述相邻位置关系和预设关系图谱,确定所述目标对象对应的目标类型,所述预设关系图谱包括多个目标类型之间的预设关联关系。
2.根据权利要求1所述的方法,其特征在于,所述根据所述相邻位置关系和预设关系图谱,确定所述目标对象对应的目标类型包括:
获取每个所述目标对象对应的待定类型;
根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型包括:
根据所述预设关系图谱,确定待定类型为顶层目标类型的第一目标对象;所述顶层目标类型为所述预设关系图谱中包含其它目标类型且不被其它目标类型所包含的类型;
将所述预设关系图谱中,所述顶层目标类型存在预设关联关系的其它目标类型作为所述第一目标对象对应的候选类型;
确定与所述第一目标对象存在相邻位置关系的第二目标对象;
在所述候选类型包含所述第二目标对象的待定类型的情况下,将所述第二目标对象的待定类型作为所述第二目标对象的目标类型。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述候选类型不包含所述第二目标对象的待定类型的情况下,根据所述候选类型,更新所述第二目标对象的待定类型;
将更新后的待定类型作为所述第二目标对象的目标类型。
5.根据权利要求2所述的方法,其特征在于,所述根据所述待定类型、所述相邻位置关系和所述预设关系图谱,获取所述目标对象对应的目标类型包括:
获取存在相邻位置关系的第三目标对象和第四目标对象;
根据所述预设关系图谱,确定所述第三目标对象的第三待定类型与所述第四目标对象的第四待定类型之间是否存在预设关联关系;
在所述第三待定类型和所述第四待定类型之间存在预设关联关系的情况下,根据所述第三待定类型和所述第四待定类型,确定所述第三目标对象和所述第四目标对象的目标类型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述第三待定类型和所述第四待定类型之间不存在预设关联关系的情况下,根据所述预设关系图谱更新所述第三待定类型和所述第四待定类型;
根据更新后的第三待定类型和第四待定类型,确定所述第三目标对象和所述第四目标对象的目标类型。
7.一种目标检测装置,其特征在于,所述装置包括:
图像获取模块,被配置为获取目标车辆周边的环境图像;
对象获取模块,被配置为获取所述环境图像中的多个目标对象,以及所述多个目标对象在所述环境图像中的相邻位置关系;
类型确定模块,被配置为根据所述相邻位置关系和预设关系图谱,确定所述目标对象对应的目标类型,所述预设关系图谱包括多个目标类型之间的预设关联关系。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
10.一种车辆,其特征在于,所述车辆包括权利要求8所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210249458.5A CN114627443B (zh) | 2022-03-14 | 2022-03-14 | 目标检测方法、装置、存储介质、电子设备及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210249458.5A CN114627443B (zh) | 2022-03-14 | 2022-03-14 | 目标检测方法、装置、存储介质、电子设备及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114627443A true CN114627443A (zh) | 2022-06-14 |
CN114627443B CN114627443B (zh) | 2023-06-09 |
Family
ID=81902987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210249458.5A Active CN114627443B (zh) | 2022-03-14 | 2022-03-14 | 目标检测方法、装置、存储介质、电子设备及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627443B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115538888A (zh) * | 2022-10-24 | 2022-12-30 | 重庆长安汽车股份有限公司 | 车窗控制方法、装置、设备及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463899A (zh) * | 2014-12-31 | 2015-03-25 | 北京格灵深瞳信息技术有限公司 | 一种目标对象检测、监控方法及其装置 |
CN109740415A (zh) * | 2018-11-19 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 车辆属性识别方法及相关产品 |
US20190276030A1 (en) * | 2016-10-27 | 2019-09-12 | Denso Corporation | Object detection apparatus |
CN111310604A (zh) * | 2020-01-21 | 2020-06-19 | 华为技术有限公司 | 一种物体检测方法、装置以及存储介质 |
CN111814538A (zh) * | 2020-05-25 | 2020-10-23 | 北京达佳互联信息技术有限公司 | 目标对象的类别识别方法、装置、电子设备及存储介质 |
CN112329772A (zh) * | 2020-11-06 | 2021-02-05 | 浙江大搜车软件技术有限公司 | 车辆部件识别方法、装置、电子装置和存储介质 |
CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN113283396A (zh) * | 2021-06-29 | 2021-08-20 | 艾礼富电子(深圳)有限公司 | 目标对象的类别检测方法、装置、计算机设备和存储介质 |
CN113326715A (zh) * | 2020-02-28 | 2021-08-31 | 初速度(苏州)科技有限公司 | 一种目标关联方法及装置 |
CN113673282A (zh) * | 2020-05-14 | 2021-11-19 | 华为技术有限公司 | 目标检测方法和装置 |
CN114120287A (zh) * | 2021-12-03 | 2022-03-01 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
-
2022
- 2022-03-14 CN CN202210249458.5A patent/CN114627443B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463899A (zh) * | 2014-12-31 | 2015-03-25 | 北京格灵深瞳信息技术有限公司 | 一种目标对象检测、监控方法及其装置 |
US20190276030A1 (en) * | 2016-10-27 | 2019-09-12 | Denso Corporation | Object detection apparatus |
CN109740415A (zh) * | 2018-11-19 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 车辆属性识别方法及相关产品 |
CN111310604A (zh) * | 2020-01-21 | 2020-06-19 | 华为技术有限公司 | 一种物体检测方法、装置以及存储介质 |
CN113326715A (zh) * | 2020-02-28 | 2021-08-31 | 初速度(苏州)科技有限公司 | 一种目标关联方法及装置 |
CN113673282A (zh) * | 2020-05-14 | 2021-11-19 | 华为技术有限公司 | 目标检测方法和装置 |
CN111814538A (zh) * | 2020-05-25 | 2020-10-23 | 北京达佳互联信息技术有限公司 | 目标对象的类别识别方法、装置、电子设备及存储介质 |
CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN112329772A (zh) * | 2020-11-06 | 2021-02-05 | 浙江大搜车软件技术有限公司 | 车辆部件识别方法、装置、电子装置和存储介质 |
CN113283396A (zh) * | 2021-06-29 | 2021-08-20 | 艾礼富电子(深圳)有限公司 | 目标对象的类别检测方法、装置、计算机设备和存储介质 |
CN114120287A (zh) * | 2021-12-03 | 2022-03-01 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115538888A (zh) * | 2022-10-24 | 2022-12-30 | 重庆长安汽车股份有限公司 | 车窗控制方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114627443B (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596116B (zh) | 测距方法、智能控制方法及装置、电子设备和存储介质 | |
US20210118112A1 (en) | Image processing method and device, and storage medium | |
KR20220070581A (ko) | 차량의 도어 잠금 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체 | |
CN110543850B (zh) | 目标检测方法及装置、神经网络训练方法及装置 | |
KR20210013129A (ko) | 차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체 | |
US20210150232A1 (en) | Method and device for detecting a state of signal indicator light, and storage medium | |
WO2021213241A1 (zh) | 目标检测方法及装置、电子设备、存储介质及程序 | |
WO2021057244A1 (zh) | 光强调节方法及装置、电子设备和存储介质 | |
CN112149697A (zh) | 指示灯的指示信息识别方法及装置、电子设备和存储介质 | |
CN114620072B (zh) | 车辆控制方法、装置、存储介质、电子设备及车辆 | |
US11900648B2 (en) | Image generation method, electronic device, and storage medium | |
CN112149740A (zh) | 目标重识别方法、装置、存储介质及设备 | |
WO2022160638A1 (zh) | 目标对象曝光方法、装置、存储介质、设备及程序 | |
CN111523599B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
CN113313115B (zh) | 车牌属性识别方法及装置、电子设备和存储介质 | |
CN113496237B (zh) | 域适应神经网络训练和交通环境图像处理方法及装置 | |
CN114627443B (zh) | 目标检测方法、装置、存储介质、电子设备及车辆 | |
CN115965935B (zh) | 目标检测方法、装置、电子设备、存储介质和程序产品 | |
CN115407355B (zh) | 库位地图的验证方法、装置及终端设备 | |
CN111832338A (zh) | 对象检测方法及装置、电子设备和存储介质 | |
CN114013367B (zh) | 一种远光灯使用提醒方法及装置、电子设备和存储介质 | |
CN115223143A (zh) | 用于自动驾驶车辆的图像处理方法、装置、设备及介质 | |
CN116834767A (zh) | 运动轨迹生成方法、装置、设备及存储介质 | |
CN112330721B (zh) | 三维坐标的恢复方法及装置、电子设备和存储介质 | |
CN113065392A (zh) | 一种机器人的跟踪方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |