CN111967290B - 物体识别方法、装置及车辆 - Google Patents
物体识别方法、装置及车辆 Download PDFInfo
- Publication number
- CN111967290B CN111967290B CN201910421145.1A CN201910421145A CN111967290B CN 111967290 B CN111967290 B CN 111967290B CN 201910421145 A CN201910421145 A CN 201910421145A CN 111967290 B CN111967290 B CN 111967290B
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- image
- traffic
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000000605 extraction Methods 0.000 claims abstract description 139
- 238000012549 training Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 19
- 230000007613 environmental effect Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了物体识别方法、装置及设备,物体本体特征提取模型构建方法、装置及设备,以及车辆。其中,物体识别方法包括:确定多个环境图像中的物体图像;通过物体本体特征提取模型确定所述物体图像的物体本体特征数据;根据所述物体本体特征数据确定不同物体图像间的相似度;根据所述相似度确定与所述多个环境图像中各个物体分别对应的不同物体图像。采用这种处理方式,使得提取不同物体图像的物体本体特征数据,根据该物体本体特征数据间的相似度,在不同环境图像中识别出同一物体;因此,可以有效提升在不同环境图像中出现的同一物体的识别准确率。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及物体识别方法、装置及设备,物体本体特征提取模型构建方法、装置及设备,以及车辆。
背景技术
在自动驾驶领域中,机器感知是重要组成部分。多传感器融合的感知***利用不同类型的传感器探测行驶车辆周围的环境,以使车辆准确判断交通情况。可见,多传感器数据的准确融合是实现道路交通安全和通向自动驾驶的关键。
多摄像头传感器方案是目前常见的车辆多传感器方案,该方案中的自动驾驶车辆通过装载的多个摄像头观察车辆多个视角,尽可能全方面覆盖周围的环境。自动驾驶的车辆在配置多摄像头方案情况下,需要将不同摄像头的同一物体融合起来,找出不同摄像头拍摄的物体之间的空间及时序对应关系是一个重要课题。在多摄像头方案中,具体涉及两类数据融合处理:1)不同摄像头可能会拍摄到同一个物体,找出不同摄像头拍摄到不同图像中的同一物体,能帮助自动驾驶车辆更好的感知周围环境;2)对于单一摄像头,也需要将不同时刻同一物体关联起来,可以做跟踪,或者辅助其它传感器获取信息,从而更好地感知周围环境。
然而,在实现本发明过程中,发明人发现目前采用的相关技术方案均存在无法准确地对出现在不同交通环境图像中的同一交通物体图像进行关联的问题,换句话说,就是对在不同交通环境图像中出现的同一交通物体的识别准确率较低。
发明内容
本申请提供物体识别方法,以解决现有技术存在的无法准确识别出不同环境图像中的同一物体的问题。本申请另外提供物体识别装置及设备,物体本体特征提取模型构建方法、装置及设备,以及车辆。
本申请提供一种物体识别方法,包括:
确定多个环境图像中的物体图像;
通过物体本体特征提取模型,确定所述物体图像的物体本体特征数据;
根据所述物体本体特征数据,确定不同物体图像间的相似度;
根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像。
可选的,所述物体本体特征提取模型从具有物体标识标注数据的物体特征数据训练集中学习得到。
可选的,还包括:
确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
构建所述物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
可选的,所述确定多个环境图像中的物体图像,包括:
通过物体检测模型,确定所述物体图像;
所述通过物体本体特征提取模型,并确定所述物体图像的物体本体特征数据,包括:
获取所述物体检测模型包括的至少一个物体特征提取层在检测物体图像过程中输出的物体特征图;以及,获取所述物体图像在所述环境图像中的位置数据;
根据所述位置数据和所述至少一个物体特征图,确定所述物体图像的至少一个深度等级的特征数据;
通过所述物体本体特征提取模型,根据所述至少一个深度等级的特征数据确定所述物体本体特征数据。
可选的,所述根据所述位置数据和所述至少一个物体特征图,并确定所述物体图像的至少一个深度等级的特征数据,包括:
根据所述位置数据确定所述物体图像在各个物体特征图中的特征数据;
获取与各个物体特征提取层分别对应的特征维数;
针对各个物体特征图,将所述物体图像在所述物体特征图中的特征数据变换为具有所述特征维数的特征数据;
将各个物体特征提取层的具有所述特征维数的特征数据的合集作为所述至少一个深度等级的特征数据。
可选的,所述根据所述位置数据确定所述物体图像在各个物体特征图中的特征数据,包括:
根据所述位置数据和所述至少一个物体特征提取层之间的图像尺寸比例关系,获取所述物体图像在各个物体特征图中的特征数据。
可选的,所述根据所述物体本体特征数据,并确定不同物体图像间的相似度,包括:
将所述物体本体特征提取模型输出的实数型的物体本体特征数据转换为二进制的物体本体特征数据;
对所述不同物体图像的二进制的物体本体特征数据执行同或运算,作为所述相似度。
可选的,所述多个环境图像包括:多个图像采集装置拍摄的同一时刻的交通环境图像,同一图像采集装置拍摄的不同时刻的交通环境图像,多个图像采集装置拍摄的不同时刻的交通环境图像;
所述物体包括:交通物体。
可选的,所述物体包括:车辆,人,障碍物。
本申请还提供一种物体本体特征提取模型构建方法,包括:
确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
本申请还提供一种物体识别装置,包括:
物体图像确定单元,用于确定多个环境图像中的物体图像;
物体本体特征提取单元,用于通过物体本体特征提取模型,确定所述物体图像的物体本体特征数据;
相似度确定单元,用于根据所述物体本体特征数据,确定不同物体图像间的相似度;
图像关联单元,用于根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像。
本申请还提供一种物体本体特征提取模型构建装置,包括:
训练数据确定单元,用于确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
模型网络构建单元,用于构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
模型训练单元,用于基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现物体识别方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定多个环境图像中的物体图像;通过物体本体特征提取模型,确定所述物体图像的物体本体特征数据;根据所述物体本体特征数据,确定不同物体图像间的相似度;根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像。
本申请还提供一种车辆,包括:
至少一个图像采集装置;
处理器;以及
存储器,用于存储实现交通物体识别方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定多个交通环境图像中的交通物体图像;通过物体本体特征提取模型,确定所述交通物体图像的物体本体特征数据;根据所述物体本体特征数据,确定不同交通物体图像间的相似度;根据所述相似度,确定与所述多个交通环境图像中各个交通物体分别对应的不同交通物体图像。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现物体本体特征提取模型构建方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种方法。
与现有技术相比,本申请具有以下优点:
本申请实施例提供的物体识别方法,通过确定多个环境图像中的物体图像;通过物体本体特征提取模型确定所述物体图像的物体本体特征数据;根据所述物体本体特征数据确定不同物体图像间的相似度;根据所述相似度确定与所述多个环境图像中各个物体分别对应的不同物体图像;这种处理方式,使得提取不同物体图像的物体本体特征数据,根据该物体本体特征数据间的相似度,在不同环境图像中识别出同一物体;因此,可以有效提升在不同环境图像中出现的同一物体的识别准确率。
本申请实施例提供的物体本体特征提取模型构建方法,通过确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据;这种处理方式,使得从具有物体标识标注数据的物体特征数据训练集中学习得到物体本体特征提取模型;因此,可以有效提升物体本体特征提取模型的准确度。
附图说明
图1是本申请提供的物体识别方法的实施例的流程图;
图2是本申请提供的物体识别方法的实施例的具体流程图;
图3是本申请提供的物体识别方法的实施例的具体流程图;
图4是本申请提供的物体识别装置的实施例的示意图;
图5是本申请提供的电子设备的实施例的示意图;
图6是本申请提供的车辆的实施例的示意图;
图7是本申请提供的物体本体特征提取模型构建方法的实施例的流程图;
图8是本申请提供的物体本体特征提取模型构建装置的实施例的示意图;
图9是本申请提供的电子设备的实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请中,提供了物体识别方法、装置及设备,物体本体特征提取模型构建方法、装置及设备,以及车辆。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参考图1,其为本申请提供的一种物体识别方法实施例的流程图。该方法的执行主体包括但不限于无人驾驶车辆,如智能物流车等等,可识别的物体包括交通物体,如道路中行人、车辆、障碍物等等,也可识别其他物体。下面以交通物体的识别为例,对该方法进行说明。本申请提供的一种物体识别方法包括:
步骤S101:确定多个环境图像中的物体图像。
本实施例的多个环境图像为交通环境图像,可以包括多个图像采集装置拍摄的同一时刻的交通环境图像,也可以包括同一图像采集装置拍摄的不同时刻的交通环境图像,还可以包括多个图像采集装置拍摄的不同时刻的交通环境图像。所述图像采集装置,可以是摄像头,也可以是普通相机等等。
本实施例的物体可以是交通物体。所述交通物体,可以是车辆,也可以是人,还可以是障碍物,如树木等等。
本申请实施例提供的方法可应用在拥有一路或多路摄像头的自动驾驶方案中。如图2所示,在多路摄像头的自动驾驶方案中,车辆装载k个摄像头,从k个视角观察车辆周围的环境。这k个摄像头在tn-τ,…,tn-1,tn这τ+1个时刻共采集了k*(τ+1)张车辆驾驶途中的环境图像,本实施例将其称为交通环境图像。通过本实施例提供的方法,可找出k个摄像头拍摄到的k*(τ+1)张交通环境图像中的同属于同一物体的各个交通物体图像,由此可帮助自动驾驶车辆更好的感知周围环境。在一路摄像头的自动驾驶方案中,车辆只装载1个摄像头,对于单一摄像头,通过本实施例提供的方法,可将τ+1个时刻的同一交通物体关联起来,可以做跟踪,或者辅助其它传感器获取信息,从而更好地感知周围环境。
车辆装载的摄像头拍摄到图像之后,可将交通环境图像数据传输到交通物体检测模型(又称为交通物体探测器),通过该模型检测得到交通物体(交通参与者)及其在交通环境图像中的位置数据,也就是说确定出交通环境图像中的交通物体图像。
所述位置数据,可以是交通物体图像的矩形包围盒的顶点坐标数据,即位置数据可以是一个四维向量,分别表示左上角和右下角的x坐标和y坐标。
如图2所示,在本实施例的所述交通物体检测模型可采用基于深度学习的RefineDet方法,该方法在借鉴SSD这类单阶段方法运行速率快的基础上,又结合了FasterR-CNN这类两阶段方法,因此具有物体检测准确率高的优点。该方法在检测到交通环境图像中的交通物体(对正在行驶的车辆而言交通物体就是障碍物)图像时,即得到交通物体图像的包围盒(bounding box)坐标,即所述交通物体图像在交通环境图像中的位置数据。
在确定多个交通环境图像中的交通物体图像后,就可以进入下一步通过物体本体特征提取模型确定所述交通物体图像的物体本体特征数据。
步骤S103:通过物体本体特征提取模型,确定所述物体图像的物体本体特征数据。
与同一交通物体对应的多个交通环境图像中的不同交通物体图像,通常具有不同的图像尺寸,同时图像的拍摄角度可能也不相同,但是由于这些图像同属一个交通物体,因此这些图像间通常具有相似的特征数据,本申请实施例将这种特征数据称为所述物体本体特征数据。
本申请实施例提供的方法,通过所述物体本体特征提取模型确定所述物体本体特征数据。所述物体本体特征提取模型,可从大量标注有物体标识的交通物体特征数据训练集中学习得到。所述物体本体特征提取模型,可从具有相同或不同特征维数的大量交通物体特征数据中,提取出具有相同维数的物体本体特征数据。
请参考图3,其为本申请实施例提供的方法的具体流程图。在本实施例中,所述方法还可包括如下步骤:
步骤S301:确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集。
本实施例的物体特征数据包括交通物体特征数据,该特征数据不同于所述物体本体特征数据。所述交通物体特征数据,可以是交通物体图像本身,也就是说,包括交通物体图像中各个像素点的数据。所述交通物体特征数据,也可以是图像尺寸归一化的交通物体图像,也就是说,包括图像尺寸归一化后的交通物体图像中各个像素点的数据。所述交通物体特征数据,还可以是表征交通物体类别的特征数据等等。
在本实施例中,所述交通物体特征数据采用所述表征交通物体类别的特征数据,该类特征数据可采用如下步骤确定:
步骤S3011:获取包括交通物体图像的交通环境图像与交通物体标识之间的对应关系集。
表1示出了本实施例中涉及车辆的对应关系集。
表1、交通环境图像与交通物体标识之间的对应关系集
由表1可见,该对应关系集可包括多个车辆装载的多个摄像头在多个时刻拍摄的交通环境图像。在本实施例中,与每个车辆对应的交通环境图像数量为100,也就是说,对于一个车辆而言,要采集100张包括该车辆的交通环境图像。
步骤S3013:通过交通物体检测模型确定交通物体图像在交通环境图像中的位置数据、及所述交通物体检测模型包括的至少一个交通物体特征提取层在检测过程中输出的交通物体特征图。
步骤S101已对确定交通物体图像在交通环境图像中的位置数据的方式进行了说明,此处不再赘述。
所述交通物体检测模型可包括一个或多个交通物体特征提取层,本实施例还要获取该模型包括的至少一个交通物体特征提取层在物体检测过程中输出的交通物体特征图。所述交通物体检测模型的网络结构可以是卷积神经网络,该网络可包括多个卷积层,即所述交通物体特征提取层,通过所述交通物体特征提取层可以从该层的输入特征图中提取出较输入特征图更为深度的图像特征,这些图像特征形成输出特征图。由于基于卷积神经网络的交通物体检测模型属于较为成熟的现有技术,因此此处不再赘述。
具体实施时,可以选取交通物体检测模型中的所有交通物体特征提取层的交通物体特征提取层,也可以选取模型中部分交通物体特征提取层的交通物体特征提取层。如果选取交通物体检测模型中的所有交通物体特征提取层的交通物体特征提取层,则特征保留的比较全面,因此可以有效提升物体本体特征提取模型的准确度,从而提升物体本体特征数据的准确度,但是会占用较多的计算单元及存储单元;如果选取交通物体检测模型中的部分交通物体特征提取层的交通物体特征提取层,则会导致部分特征流失,因此会降低物体本体特征提取模型的准确度,从而降低物体本体特征数据的准确度,但是可以有效节约计算单元及存储单元。
步骤S3015:根据所述位置数据和所述至少一个交通物体特征图,确定所述交通物体图像的至少一个深度等级的特征数据,作为所述交通物体特征数据。
在确定出交通物体图像在交通环境图像中的位置数据、及交通物体特征图后,就可以根据该位置数据从至少一个交通物体特征图中确定出与交通物体图像对应的各个深度等级的特征数据,将这些特征数据作为所述交通物体特征数据。
在一个示例中,可采用如下步骤确定所述交通物体图像的至少一个深度等级的特征数据:
1)根据所述位置数据确定所述交通物体图像在各个交通物体特征图中的特征数据。
所述至少一个交通物体特征图的图像尺寸可以相同,也可以不同。
在图像尺寸不同的情况下,本步骤可采用如下方式实现:根据所述位置数据和所述至少一个交通物体特征提取层之间的图像尺寸比例关系,获取所述交通物体图像在各个交通物体特征图中的特征数据。
根据交通物体检测模型的网络结构可确定出至少一个交通物体特征提取层之间的图像尺寸比例关系,例如,交通物体检测模型包括6个交通物体特征提取层,交通环境图像的尺寸为1000*500,该图像中一个车辆的位置数据是(xleft,yleft,xright,yright),第5层交通物体特征提取层的输出特征图的图像尺寸为100*100,第6层交通物体特征提取层的输出特征图的图像尺寸为50*50,则两个层的比例关系为2:1,可先根据车辆的位置数据及第6层的图像尺寸确定该车辆在第6层的输出特征图中的对应位置数据,将该范围内的像素值作为第6深度等级的特征数据,然后再根据第5层与第6层间的图像比例关系和第6层的位置数据,确定出第5层的输出特征图中的对应位置数据,将该范围内的像素值作为第5深度等级的特征数据,等等。
在图像尺寸相同的情况下,可以是直接将交通物体特征图中所述位置数据范围内的图像数据作为该层的深度等级的特征数据。
2)获取与各个交通物体特征提取层分别对应的特征维数。
不同交通物体特征提取层可具有相同的特征维数,也可具有不同的特征维数。通过该步骤使得同一交通物体在不同交通环境图像中的不同大小的交通物体图像的同一深度等级的特征数据具有同样的特征维度,也即归一化不同大小的交通物体图像的同一深度等级的特征数据的维度,以便于计算两个特征数据的相似度,从而确定在不同交通环境图像中的不同大小的交通物体图像是否为同一交通物体。
例如,交通物体检测模型包括6个交通物体特征提取层,与第1层交通物体特征提取层对应的特征维数为1000维,与第2层交通物体特征提取层对应的特征维数为800维,…,与第6层交通物体特征提取层对应的特征维数为900维。
3)针对各个交通物体特征图,将所述交通物体图像在所述交通物体特征图中的特征数据变换为具有所述特征维数的特征数据。
具体实施时,可通过ROIAlign操作或ROIPooling操作,将所述交通物体图像在所述交通物体特征图中的特征数据变换为具有所述特征维数的特征数据。
在本实施例中,ROIAlign层(目标检测特殊层)是一种区域特征聚集方式,可以解决ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示,在检测任务中将ROI Pooling替换为ROI Align可以提升检测模型的准确性。
最后,将各个交通物体特征提取层的具有所述特征维数的特征数据的合集作为所述交通物体特征数据。
例如,通过所述交通物体检测模型对于摄像头c的时刻t拍摄的交通环境图像进行交通物体图像检测,检测得到的第i个前景(交通物体图像)记为它所得到的在交通环境图像中的矩形框坐标为/>它是一个四维的向量,分别表示左上角和右下角的x坐标和y坐标。在基于深度学习的检测模型里面,选定k个中间层产生的特征图{F0,F1,…,Fk},输入矩形框坐标/>之后,经过RoiAlign操作可以得到该物体/>的k个深度等级的特征{f0,f1,…,fk},将这些特征全部连接(concatenate)起来得到该物体的特征/>
需要说明的是,由于确定了与各个交通物体特征提取层分别对应的特征维数,因此对于任一摄像头产生的任一个尺寸的物体图像,它们产生的特征维度是完全相同的。
表2示出了本实施例中交通物体特征数据与交通物体标识之间的对应关系集。
表2、交通物体特征数据与交通物体标识之间的对应关系集
由表2可见,对于一个车辆而言,由于其在不同交通环境图像中的位置、大小、拍摄角度的不同,因此该车辆在100张交通环境图像中的交通物体特征数据通常并不相同。
综上所述,本实施例通过上述步骤S3011-S3015实现利用交通物体检测模型(RefineDet模块)的中间层的输出特征图(feature map)和交通物体检测后的交通物体图像包围盒(bounding box),并使用RoiAlign层输出固定大小的特征图,将固定大小特征图的合集作为交通物体特征数据。
步骤S303:构建所述物体本体特征提取模型的网络结构。
所述物体本体特征提取模型,属于“相似性保持哈希”(Similarity PreservingHashing)范畴,它旨在找到一个哈希映射函数,将原始特征映射到海明空间(HammingSpace),同时要保持原特征之间的相似性,因此该模型的网络结构可以是哈希网络结构。所述网络结构的输入数据为所述交通物体特征数据,输出数据为所述交通物体图像的物体本体特征数据。
在本实施例中,所述网络结构包括1个1*1的卷积层和一个全连接层,输出q维的向量,即物体本体特征维度为q维,该向量是经压缩后富含“物体是谁”信息量非常紧致的特征。具体实施时,所述网络结构也可以包括多个卷积层,卷积核的大小也可以根据业务需求(如物体识别精度等等)确定。
步骤S305:基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型。
本实施例使用三元组损失函数来训练得到哈希网络的模型。所述三元组包括具有相同物体标识的物体对应的两组交通物体特征数据、和其他交通物体对应的一组交通物体特征数据。
在本实施例中,根据训练数据集构造大量三元组,具体而言就是利用训练数据中的交通物体特征数据和交通物体标识构造三元组,这些三元组的定义如下:
(fi,fj,fk):~(fi,fj)>(fi,fk)
该三元组的含义是交通物体特征数据fi,fj之间的相似度大于fi,fk之间的相似度,在多摄像头的任务中,fi,fj相当于同一个实际交通物体在不同摄像头中的图像块转化成的特征,fk是任意不相关的物体图像的特征。
如果记特征fi经过哈希网络得到的哈希码为hi,则三元组损失函数(TripletLoss)定义为:
l(hi,hj,hk)=max(0,ε-‖hi-hj‖+‖hi-hk‖)
其中ε,用来控制同一交通物体的不同图像的相似特征的哈希码之间的第一距离、与不同交通物体的不同图像的不相似特征的哈希码之间第二距离的偏置量,即两个距离之间的差至少要达到ε。在获得训练数据、构建出哈希网络结构和三元组损失函数的情况下,就可以训练该网络结构得到网络里的权重。
具体而言,在模型训练过程中,根据构造的三元组和三元组损失函数确定所述物体本体特征提取模型在训练过程中的损失值,所述三元组损失函数使得第一距离与第二距离间差值达到距离阈值ε,所述第一距离是与所述两组交通物体特征数据对应的物体本体特征数据间的距离,所述第二距离是所述两组交通物体特征数据中的一组交通物体特征数据、与其他交通物体的一组交通物体特征数据间的距离;如果所述损失值达到损失阈值,则停止训练所述物体本体特征提取模型。
在本实施例中,对所述物体本体特征提取模型输出的物体本体特征数据执行量化处理,经过量化之后可以得到q维的0-1向量,本实施例将0-1向量称为哈希码(Hash Code),该哈希码已经具有对应物体的显著特征。也就是说,本实施例中的所述物体本体特征提取模型输出q维0-1向量表达的物体本体特征数据。采用这种处理方式,一方面,0-1向量可以使用计算机内置的位操作大大加快运算速度,另一方面,它的存储效率高,占用内存少。
至此,对所述物体本体特征提取模型及其构建方式进行了说明。构建完成物体本体特征提取模型后,就可以利用该模型提取所述交通物体图像的物体本体特征数据。
在本实施例中,步骤是S103可包括如下子步骤:
步骤S1031:获取所述交通物体检测模型包括的至少一个交通物体特征提取层在检测交通物体图像过程中输出的交通物体特征图;以及,获取所述交通物体图像在所述交通环境图像中在位置数据。
步骤S1031与上述步骤S3013相对应,相关说明强参见步骤S3013部分,此处不再赘述。
步骤S1033:根据所述位置数据和所述至少一个交通物体特征图,确定所述交通物体图像的至少一个深度等级的特征数据。
具体实施时,步骤S1033可包括如下子步骤:1)根据所述位置数据确定所述交通物体图像在各个交通物体特征图中的特征数据;2)获取与各个交通物体特征提取层分别对应的特征维数;3)针对各个交通物体特征图,将所述交通物体图像在所述交通物体特征图中的特征数据变换为具有所述特征维数的特征数据;4)将各个交通物体特征提取层的具有所述特征维数的特征数据的合集作为所述至少一个深度等级的特征数据。
其中,步骤1可采用如下方式实现:根据所述位置数据和所述至少一个交通物体特征提取层之间的图像尺寸比例关系,获取所述交通物体图像在各个交通物体特征图中的特征数据。
步骤S1033与上述步骤S3015相对应,相关说明强参见步骤S3015部分,此处不再赘述。
步骤S1035:通过所述物体本体特征提取模型,根据所述至少一个深度等级的特征数据确定所述物体本体特征数据。
本步骤将所述至少一个深度等级的特征数据作为待识别的交通物体图像的交通物体特征数据,将这些特征数据输入至所述物体本体特征提取模型,通过该模型确定待识别的交通物体图像的所述物体本体特征数据。
步骤S105:根据所述物体本体特征数据,确定不同物体图像间的相似度。
通过上述步骤获得多个待识别的交通环境图像中各个交通物体图像的所述物体本体特征数据,对于其中任意交通物体图像的两两组合,根据各个交通物体图像的物体本体特征数据确定不同交通物体图像间的相似度。
在本实施例中,在步骤S103后,还可包括如下步骤:将所述物体本体特征提取模型输出的实数型的物体本体特征数据转换为二进制的物体本体特征数据;相应的,步骤S105可采用如下方式实现:对所述不同交通物体图像的二进制的物体本体特征数据执行同或运算,作为所述相似度。
步骤S103在使用训练得到的哈希网络做预测时,分别将经检测和RoiAlign得到的交通物体输入特征数据到哈希网络中,得到q维的实数特征hi。本实施例再将hi量化后得到q维的二进制哈希码,即对于任一维度,如果该值小于阈值τ,则取值为0,反之置为1。
本实施例对于每个摄像头在任一时刻检测到的每一个物体,输入到哈希网络中可以得到相应的0-1二进制哈希码,任意两个哈希码之间的相似度可以用这两个哈希码同或(XNOR)后‘1‘的比特位数来衡量,该相似度用两个二进制码之间具有相同二进制位的位数N来衡量,即:二进制位相同的数量(hi,hj)=N;这种处理方式,使得采用计算机内置的同或操作计算相似度;因此,可以有效提升计算速度。
步骤S107:根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像。
本申请实施例提供的方法,不仅可以对不同摄像头的物体之间分别计算相似度,也可以对同一摄像头不同时序上的物体之间分别计算相似度,相似度高的就可以认为两者之间是同一物体,从而可以快速找到不同摄像头之间在空间和时间上的相关联物体。
从上述实施例可见,本申请实施例提供的物体识别方法,通过确定多个环境图像中的物体图像;通过物体本体特征提取模型确定所述物体图像的物体本体特征数据;根据所述物体本体特征数据确定不同物体图像间的相似度;根据所述相似度确定与所述多个环境图像中各个物体分别对应的不同物体图像;这种处理方式,使得提取不同物体图像的物体本体特征数据,根据该物体本体特征数据间的相似度,在不同环境图像中识别出同一物体;因此,可以有效提升在不同环境图像中出现的同一物体的识别准确率。
第二实施例
在上述的实施例中,提供了一种物体识别方法,与之相对应的,本申请还提供一种物体识别装置。该装置是与上述方法的实施例相对应。
请参看图4,其为本申请的物体识别装置的实施例的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种物体识别装置,包括:
物体图像确定单元401,用于确定多个环境图像中的物体图像;
物体本体特征提取单元403,用于通过物体本体特征提取模型,确定所述物体图像的物体本体特征数据;
相似度确定单元405,用于根据所述物体本体特征数据,确定不同物体图像间的相似度;
图像关联单元407,用于根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像。
可选的,所述物体本体特征提取模型从具有物体标识标注数据的物体特征数据训练集中学习得到。
可选的,还包括:
训练数据确定单元,用于确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
模型网络构建单元,用于构建所述物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
模型训练单元,用于基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
可选的,所述物体图像确定单元401,具体用于通过物体检测模型,确定所述物体图像;
所述物体本体特征提取单元403,包括:
物体特征图获取子单元,用于获取所述物体检测模型包括的至少一个物体特征提取层在检测物体图像过程中输出的物体特征图;
位置数据获取子单元,用于获取所述物体图像在所述环境图像中的位置数据;
第一特征数据确定子单元,用于根据所述位置数据和所述至少一个物体特征图,确定所述物体图像的至少一个深度等级的特征数据;
第二特征数据子单元,用于通过所述物体本体特征提取模型,根据所述至少一个深度等级的特征数据确定所述物体本体特征数据。
可选的,所述第一特征数据确定子单元包括:
特征数据裁剪子单元,用于根据所述位置数据确定所述物体图像在各个物体特征图中的特征数据;
特征维数获取子单元,用于获取与各个物体特征提取层分别对应的特征维数;
特征数据维数归一化子单元,用于针对各个物体特征图,将所述物体图像在所述物体特征图中的特征数据变换为具有所述特征维数的特征数据;
特征数据合并子单元,用于将各个物体特征提取层的具有所述特征维数的特征数据的合集作为所述至少一个深度等级的特征数据。
可选的,所述特征数据裁剪子单元,具体用于根据所述位置数据和所述至少一个物体特征提取层之间的图像尺寸比例关系,获取所述物体图像在各个物体特征图中的特征数据。
可选的,相似度确定单元405包括:
特征数据转换子单元,用于将所述物体本体特征提取模型输出的实数型的物体本体特征数据转换为二进制的物体本体特征数据;
相似度计算子单元,用于对所述不同物体图像的二进制的物体本体特征数据执行同或运算,作为所述相似度。
可选的,所述多个环境图像包括:多个图像采集装置拍摄的同一时刻的交通环境图像,同一图像采集装置拍摄的不同时刻的交通环境图像,多个图像采集装置拍摄的不同时刻的交通环境图像;相应的,所述物体包括:交通物体。
可选的,所述物体包括:车辆,人,障碍物。
第三实施例
在上述的实施例中,提供了一种物体识别方法,与之相对应的,本申请还提供一种电子设备。该设备的实施例是与上述方法的实施例相对应。
请参看图5,其为本申请的电子设备的实施例的示意图。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本申请另外提供一种电子设备,包括:处理器501;以及存储器502,用于存储实现物体识别方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定多个环境图像中的物体图像;通过物体本体特征提取模型,确定所述物体图像的物体本体特征数据;根据所述物体本体特征数据,确定不同物体图像间的相似度;根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像。
第四实施例
在上述的实施例中,提供了一种物体识别方法,与之相对应的,本申请还提供一种车辆。该设备的实施例是与上述方法的实施例相对应。
请参看图6,其为本申请的车辆的实施例的示意图。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本申请另外提供一种车辆,包括:至少一个图像采集装置601;处理器602;以及存储器603,用于存储实现交通物体识别方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定多个交通环境图像中的交通物体图像;通过物体本体特征提取模型,确定所述交通物体图像的物体本体特征数据;根据所述物体本体特征数据,确定不同交通物体图像间的相似度;根据所述相似度,确定与所述多个交通环境图像中各个交通物体分别对应的不同交通物体图像。
第五实施例
在上述的实施例中,提供了一种物体识别方法,与之相对应的,本申请还提供一种物体本体特征提取模型构建方法。该方法是与上述方法的实施例相对应。
请参看图7,其为本申请的物体本体特征提取模型构建方法的实施例的流程图。由于该方法实施例基本相似于上述方法实施例,所以描述得比较简单,相关之处参见上述方法实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请另外提供一种物体本体特征提取模型构建方法,包括:
步骤S701:确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
步骤S703:构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
步骤S705:基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
本申请实施例提供的物体本体特征提取模型构建方法,通过确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据;这种处理方式,使得从具有物体标识标注数据的物体特征数据训练集中学习得到物体本体特征提取模型;因此,可以有效提升物体本体特征提取模型的准确度。
第六实施例
在上述的实施例中,提供了一种物体本体特征提取模型构建方法,与之相对应的,本申请还提供一种物体本体特征提取模型构建装置。该装置是与上述方法的实施例相对应。
请参看图8,其为本申请的物体本体特征提取模型构建装置的实施例的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种物体本体特征提取模型构建装置,包括:
训练数据确定单元801,用于确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
模型网络构建单元803,用于构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
模型训练单元805,用于基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
第七实施例
在上述的实施例中,提供了一种物体本体特征提取模型构建方法,与之相对应的,本申请还提供一种电子设备。该设备的实施例是与上述方法的实施例相对应。
请参看图9,其为本申请的电子设备的实施例的示意图。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本申请另外提供一种电子设备,包括:处理器901;以及存储器902,用于存储实现物体本体特征提取模型构建方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;构建物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (10)
1.一种物体识别方法,其特征在于,包括:
车辆通过多个图像采集装置采集同一时刻的多个环境图像,所述环境图像包括多种不同类型的物体;
通过物体检测模型,获取物体图像在所述环境图像中的位置数据,并获取所述物体检测模型包括的至少一个物体特征提取层在检测物体图像过程中输出的物体特征图;
根据所述位置数据和至少一个物体特征图,确定所述物体图像的至少一个深度等级的特征数据;
通过基于哈希网络的物体本体特征提取模型,根据所述至少一个深度等级的特征数据,确定所述物体图像的物体本体特征数据;
根据所述物体本体特征数据,确定不同物体图像间的相似度;
根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像,以对出现在不同环境图像中的同一物体图像进行关联,以使所述车辆准确判断交通情况。
2.根据权利要求1所述的方法,其特征在于,所述物体本体特征提取模型从具有物体标识标注数据的物体特征数据训练集中学习得到。
3.根据权利要求2所述的方法,其特征在于,还包括:
确定多个物体特征数据与物体标识之间的对应关系集,作为训练数据集;
构建所述物体本体特征提取模型的网络结构,所述网络结构的输入数据为物体特征数据,输出数据为物体本体特征数据;
基于三元组损失函数,从所述训练数据集中学习得到所述物体本体特征提取模型;所述三元组包括具有相同物体标识的物体对应的两组物体特征数据、和其他物体对应的一组物体特征数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述位置数据和所述至少一个物体特征图,并确定所述物体图像的至少一个深度等级的特征数据,包括:
根据所述位置数据确定所述物体图像在各个物体特征图中的特征数据;
获取与各个物体特征提取层分别对应的特征维数;
针对各个物体特征图,将所述物体图像在所述物体特征图中的特征数据变换为具有所述特征维数的特征数据;
将各个物体特征提取层的具有所述特征维数的特征数据的合集作为所述至少一个深度等级的特征数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述位置数据确定所述物体图像在各个物体特征图中的特征数据,包括:
根据所述位置数据和所述至少一个物体特征提取层之间的图像尺寸比例关系,获取所述物体图像在各个物体特征图中的特征数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述物体本体特征数据,并确定不同物体图像间的相似度,包括:
将所述物体本体特征提取模型输出的实数型的物体本体特征数据转换为二进制的物体本体特征数据;
对所述不同物体图像的二进制的物体本体特征数据执行同或运算,作为所述相似度。
7.根据权利要求1所述的方法,其特征在于,所述物体包括:车辆,人,障碍物。
8.一种物体识别装置,其特征在于,包括:
物体图像确定单元,用于车辆通过多个图像采集装置采集同一时刻的多个环境图像;通过物体检测模型,获取物体图像在所述环境图像中的位置数据,并获取所述物体检测模型包括的至少一个物体特征提取层在检测物体图像过程中输出的物体特征图;根据所述位置数据和至少一个物体特征图,确定所述物体图像的至少一个深度等级的特征数据;
物体本体特征提取单元,用于通过基于哈希网络的物体本体特征提取模型,根据所述至少一个深度等级的特征数据,确定所述物体图像的物体本体特征数据;
相似度确定单元,用于根据所述物体本体特征数据,确定不同物体图像间的相似度;
图像关联单元,用于根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像,以对出现在不同环境图像中的同一物体图像进行关联,以使所述车辆准确判断交通情况。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储实现物体识别方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:通过多个图像采集装置采集同一时刻的多个环境图像;通过物体检测模型,获取物体图像在所述环境图像中的位置数据,并获取所述物体检测模型包括的至少一个物体特征提取层在检测物体图像过程中输出的物体特征图;根据所述位置数据和至少一个物体特征图,确定所述物体图像的至少一个深度等级的特征数据;通过基于哈希网络的物体本体特征提取模型,根据所述至少一个深度等级的特征数据,确定所述物体图像的物体本体特征数据;根据所述物体本体特征数据,确定不同物体图像间的相似度;根据所述相似度,确定与所述多个环境图像中各个物体分别对应的不同物体图像,以对出现在不同环境图像中的同一物体图像进行关联,以使所述设备准确判断交通情况。
10.一种车辆,其特征在于,包括:
多个图像采集装置;
处理器;以及
存储器,用于存储实现交通物体识别方法的程序,该车辆通电并通过所述处理器运行该方法的程序后,执行下述步骤:通过所述多个图像采集装置采集同一时刻的多个交通环境图像;通过物体检测模型,获取交通物体图像在所述交通环境图像中的位置数据,并获取所述物体检测模型包括的至少一个物体特征提取层在检测物体图像过程中输出的物体特征图;根据所述位置数据和至少一个物体特征图,确定所述交通物体图像的至少一个深度等级的特征数据;通过基于哈希网络的物体本体特征提取模型,根据所述至少一个深度等级的特征数据,确定所述交通物体图像的物体本体特征数据;根据所述物体本体特征数据,确定不同交通物体图像间的相似度;根据所述相似度,确定与所述多个交通环境图像中各个交通物体分别对应的不同交通物体图像,以对出现在不同环境图像中的同一物体图像进行关联,以使所述车辆准确判断交通情况。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910421145.1A CN111967290B (zh) | 2019-05-20 | 2019-05-20 | 物体识别方法、装置及车辆 |
PCT/CN2020/089116 WO2020233414A1 (zh) | 2019-05-20 | 2020-05-08 | 物体识别方法、装置及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910421145.1A CN111967290B (zh) | 2019-05-20 | 2019-05-20 | 物体识别方法、装置及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111967290A CN111967290A (zh) | 2020-11-20 |
CN111967290B true CN111967290B (zh) | 2024-06-14 |
Family
ID=73358241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910421145.1A Active CN111967290B (zh) | 2019-05-20 | 2019-05-20 | 物体识别方法、装置及车辆 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111967290B (zh) |
WO (1) | WO2020233414A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766174B (zh) * | 2021-01-21 | 2021-10-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路列车车厢组底板丢失故障检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
CN109740413A (zh) * | 2018-11-14 | 2019-05-10 | 平安科技(深圳)有限公司 | 行人重识别方法、装置、计算机设备及计算机存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
CN106097391B (zh) * | 2016-06-13 | 2018-11-16 | 浙江工商大学 | 一种基于深度神经网络的识别辅助的多目标跟踪方法 |
CN106709528A (zh) * | 2017-01-10 | 2017-05-24 | 深圳大学 | 基于多目标函数深度学习的车辆重识别方法及装置 |
KR102400017B1 (ko) * | 2017-05-17 | 2022-05-19 | 삼성전자주식회사 | 객체를 식별하는 방법 및 디바이스 |
KR20180133657A (ko) * | 2017-06-07 | 2018-12-17 | 한화에어로스페이스 주식회사 | 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치 |
US20190095764A1 (en) * | 2017-09-26 | 2019-03-28 | Panton, Inc. | Method and system for determining objects depicted in images |
CN108345837A (zh) * | 2018-01-17 | 2018-07-31 | 浙江大学 | 一种基于人体区域对齐化特征表达学习的行人再识别方法 |
US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
CN109657533B (zh) * | 2018-10-27 | 2020-09-25 | 深圳市华尊科技股份有限公司 | 行人重识别方法及相关产品 |
-
2019
- 2019-05-20 CN CN201910421145.1A patent/CN111967290B/zh active Active
-
2020
- 2020-05-08 WO PCT/CN2020/089116 patent/WO2020233414A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
CN109740413A (zh) * | 2018-11-14 | 2019-05-10 | 平安科技(深圳)有限公司 | 行人重识别方法、装置、计算机设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020233414A1 (zh) | 2020-11-26 |
CN111967290A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Garg et al. | Don't look back: Robustifying place categorization for viewpoint-and condition-invariant place recognition | |
CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
Germain et al. | Sparse-to-dense hypercolumn matching for long-term visual localization | |
Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
US11205276B2 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
Hu et al. | A multi-modal system for road detection and segmentation | |
CN108734058B (zh) | 障碍物类型识别方法、装置、设备及存储介质 | |
Cho et al. | 2D barcode detection using images for drone-assisted inventory management | |
Valiente García et al. | Visual Odometry through Appearance‐and Feature‐Based Method with Omnidirectional Images | |
US9323989B2 (en) | Tracking device | |
Benseddik et al. | SIFT and SURF Performance evaluation for mobile robot-monocular visual odometry | |
CN110826415A (zh) | 一种场景图像中车辆的重识别方法及设备 | |
CN112668374A (zh) | 图像处理方法、装置、重识别网络的训练方法及电子设备 | |
Lin et al. | Topological map construction and scene recognition for vehicle localization | |
Tsintotas et al. | Sequence-based mapping for probabilistic visual loop-closure detection | |
Elmoogy et al. | Surfcnn: A descriptor accelerated convolutional neural network for image-based indoor localization | |
CN111967290B (zh) | 物体识别方法、装置及车辆 | |
US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
US20240185612A1 (en) | Systems and methods for controlling a vehicle by detecting and tracking objects through associated detections | |
CN114119999B (zh) | 基于深度学习的迭代6d位姿估计方法及装置 | |
Lu et al. | Monocular multi-kernel based lane marking detection | |
CN113763468B (zh) | 一种定位方法、装置、***及存储介质 | |
Pandey et al. | Toward mutual information based place recognition | |
Xie et al. | A cascaded framework for robust traversable region estimation using stereo vision | |
CN113449629A (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230705 Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Applicant before: ALIBABA GROUP HOLDING Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |