CN117710875A - 一种车辆状态识别方法及装置 - Google Patents
一种车辆状态识别方法及装置 Download PDFInfo
- Publication number
- CN117710875A CN117710875A CN202311458529.3A CN202311458529A CN117710875A CN 117710875 A CN117710875 A CN 117710875A CN 202311458529 A CN202311458529 A CN 202311458529A CN 117710875 A CN117710875 A CN 117710875A
- Authority
- CN
- China
- Prior art keywords
- vehicle body
- target
- body key
- vehicle
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 162
- 239000013598 vector Substances 0.000 claims description 96
- 230000008569 process Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 41
- 238000003860 storage Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000005096 rolling process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种车辆状态识别方法及装置,包括:对视频监测画面进行识别,获取其中的目标车辆图像的位置信息、种类信息;对其车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息及遮挡情况;根据上述情况,以及预先设置的该种类车辆的车体关键点的目标配置方案,获得所述车体关键点的状态分类;据此获得所述目标车辆图像中车体的各个子区域的状态识别结果;根据各个子区域的状态识别结果,获得车辆整体状态识别结果。由于采用预先设置的关键点配置方案,结合图像关键点状态识别技术,能够快速准确的获得车辆的整体状态。本申请还提供了一种车辆局部区域的状态识别方法,以及对应上述各个方法的装置以及电子设备。
Description
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种车辆状态识别方法、装置、电子设备和存储介质,本申请还涉及一种车辆局部区域的状态识别方法、装置、电子设备和存储介质。
背景技术
随着汽车技术的发展,汽车的更新换代速率逐渐加快,用户对汽车的需求量也逐渐增多。商家在宣传汽车产品时,通过展示汽车以供用户对汽车不同区域进行了解,使用户通过人车交互的方式了解汽车性能。在展示汽车时,汽车的不同区域被用户了解的次数、人数等人车交互行为数据,可以进一步帮助商家后续改进产品运营策略,因此,人车交互行为数据的自动收集对车辆产品运营至关重要。
现有技术中,通过计算机视觉技术识别人车交互行为,并收集人车交互行为数据。对汽车进行车辆状态识别,是获取人车交互行为数据的基础。
然而,现有技术中,不同视频监测视角下同一辆汽车的图像显示视角差异较大,不同视频监测画面中汽车的图像存在遮挡或者视角问题,无法对汽车的各区域状态进行准确识别,进而无法准确识别用户与汽车的人车交互行为。
因此,如何提升车辆状态的识别准确率成为了有待解决的技术问题。
发明内容
本申请实施例提供一种车辆状态识别方法,以提升车辆状态的识别准确率。本申请实施例还提供一种车辆状态识别装置、电子设备和存储介质。本申请实施例还提供一种车辆局部区域的状态识别方法、装置、电子设备和存储介质。
本申请实施例提供一种车辆状态识别方法,包括:对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;根据预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及所述目标配置方案,获得所述车体关键点的状态分类;根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
可选的,所述根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类,包括:根据所述目标配置方案,获得各个所述车体关键点之间的连接关系;结合所述目标车辆图像中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标车辆图像的车体关键点的邻接矩阵;将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述车体的车体关键点的目标特征向量矩阵;根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类。
可选的,所述特征向量更新公式中的初始特征向量为N*1的二维矩阵;其中N为根据目标配置方案确定的车辆关键点数量,根据每个车辆关键点是否可见对每个元素取值,1代表遮挡情况为可见,0代表遮挡情况为不可见。
可选的,所述结合所述目标车辆图像中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标车辆图像的车体关键点的邻接矩阵,采用下述方式获得:设置N*N的二维矩阵;其中,N为目标配置方案中所述车体关键点的个数,该二维矩阵中,以自然数顺序设置的行编号和列编号分别代表对应该编号的车体关键点;对于遮挡情况为处于未遮挡状态的车体关键点,行编号和列编号共同标识的元素的值,代表该行编号和该列编号的车体关键点之间的连接关系;其中,对于存在连接关系的两个车体关键点,取值为1,否则为0;对于遮挡情况为处于遮挡状态的车体关键点,在所述邻接矩阵中,对应的行和列的元素均设置为0。
可选的,所述将所述邻接矩阵带入特征向量更新公式的步骤中,针对邻接矩阵进行如下处理:将邻接矩阵加上单位矩阵,获得自环操作后邻接矩阵;使用边权重矩阵乘以所述自环操作后邻接矩阵,获得边权重处理后邻接矩阵;将所述边权重处理后邻接矩阵带入特征向量更新公式,进行所述更新迭代处理;其中,所述边权重矩阵中,每条边权重为该边顶点的直线像素距离。
可选的,所述根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类,包括:根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,获取所述每个车体关键点处于打开状态的第一概率,和所述每个车体关键点处于关闭状态的第二概率,所述第一概率与所述第二概率之和为1;根据所述每个车体关键点的第一概率和第二概率,获得所述目标车辆图像中车体关键点的状态分类。
可选的,所述根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果,包括:如果所述车体的目标子区域的所有车体关键点中存在至少一个车体关键点的状态分类结果为打开状态,则所述目标子区域的状态识别结果为打开状态;如果所述车体的目标子区域的所有车体关键点的状态分类结果均为关闭状态,则所述目标子区域的状态识别结果为关闭状态。
本申请实施例还提供一种车辆局部区域的状态识别方法,包括:对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息;对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况;根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类;根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
可选的,所述根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类,包括:根据所述目标区域配置方案,获得所述目标局部区域的各个车体关键点之间的连接关系;结合所述目标局部区域中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标局部区域的车体关键点的邻接矩阵;将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述目标局部区域的车体关键点的目标特征向量矩阵;根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标局部区域中车体关键点的状态分类。
本申请实施例还提供一种车辆状态识别装置,包括:图像识别单元,用于对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;第一车体关键点识别单元,用于对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;第一车体关键点状态分类单元,用于根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类;子区域状态识别单元,用于根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;车辆状态识别单元,用于根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
本申请实施例还提供一种车辆局部区域的状态识别装置,包括:车辆局部区域识别单元,用于对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息;第二车体关键点识别单元,用于对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况;第二车体关键点状态分类单元,用于根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类;车辆局部区域状态识别单元,用于根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
本申请实施例还提供一种电子设备,包括:存储器和处理器,所述存储器和所述处理器耦合;所述存储器用于存储一条或多条计算机指令;所述处理器用于执行所述一条或多条计算机指令,以实现如上述方法。
本申请实施例还提供一种计算机可读存储介质,其上存储有一条或多条计算机指令,其特征在于,该指令被处理器执行以实现如上述方法。
与现有技术相比,本申请实施例具有如下优点:
本申请实施例提供一种车辆状态识别方法,包括:对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类;根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
上述方法中,包括如下顺序执行的五个步骤:第一,对视频监测画面进行识别,获取视频监测画面中目标车辆图像所处的位置信息以及目标车辆图像对应的目标车辆所属的种类信息。预先设置多个种类的车辆的车体关键点配置方案,根据目标车辆所属的种类信息,确定目标车辆对应的车体关键点的目标配置方案。第二,对目标车辆图像进行车体关键点检测,确定各个车体关键点在目标车辆图像中的位置信息以及遮挡情况。第三,将目标车辆图像中该车体关键点的位置信息以及遮挡情况,结合目标配置方案中该车体关键点的编号及对应的名称,确定对应编号的该车体关键点在目标车辆图像中的遮挡结果,进而对该车体关键点的状态进行分类,获得该车体关键点的状态分类。第四,根据各个车体关键点的状态分类结果,以及目标配置方案中各个车体关键点分别所属的子区域,确定所述目标车辆图像中车体的各个子区域的状态识别结果。第五,结合车体的各个子区域的状态识别结果,获得目标车辆的车辆状态识别结果。
由于采用了预先设置的关键点配置方案,结合图像识别的关键点状态识别技术,能够更为快速准确的识别出车体关键点的状态,并进一步准确判断车辆的各个子区域的状态,以及更进一步的判断出目标车辆的整体状态识别结果。
附图说明
图1为本申请实施例提供的车辆状态识别方法的应用场景图。
图2为本申请第一实施例提供的一种车辆状态识别方法的流程图。
图3为本申请第一实施例提供的车辆状态识别过程图。
图4为本申请第一实施例提供的车体关键点配置方案的示意图。
图5为本申请第一实施例提供的车体关键点状态分布图。
图6为本申请第一实施例提供的车体关键点的邻接矩阵示意图。
图7为本申请第一实施例提供的车体的子区域状态示意图。
图8为本申请第一实施例提供的关键点检测模型的训练过程以及应用过程的示意图。
图9为本申请第一实施例提供的对目标车辆图像中的车体关键点进行状态分类的过程图。
图10为本申请第二实施例中提供的一种车辆局部区域的状态识别方法的流程图。
图11为本申请第三实施例中提供的一种车辆状态识别装置的示意图。
图12为本申请第四实施例中提供的一种车辆局部区域的状态识别装置的示意图。
图13为本申请第五实施例提供的一种电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
本申请中使用的术语是仅仅出于对特定实施例描述的目的,而非旨在限制本申请。在本申请中和所附权利要求书中所使用的描述方式例如:“一种”、“第一”、和“第二”等,并非对数量上的限定或先后顺序上的限定,而是用来将同一类型的信息彼此区分。
首先,对本申请涉及的概念进行说明:
车辆状态:车辆车体的各个子区域的开关状态,车辆车体的各个子区域包括左前门、左后门、右前门、右后门、前机盖、后备箱。
目标检测:计算机视觉识别任务之一,从给定图像中确定感兴趣目标的位置和类别。本申请实施例中,通过视频监测画面获取目标车辆图像所处的位置信息和类别信息,通过视频监测画面中目标车辆图像的检测框的位置确定目标车辆图像的位置信息,目标车辆图像的类别信息为目标车辆所属的车类型。
关键点检测:计算机视觉识别任务之一,从给定的图像中自动检测和识别特定对象或者物体的关键点。本申请实施例中,对目标车辆图像进行关键点检测,获得目标车辆图像对应的车体中各个子区域对应的关键点编号、置信度和位置信息。
卷积神经网络(Convolutional Neural Network,CNN):一种用于处理具有网格结构数据(如图像、视频、语音)的深度学习模型。主要用于图像分类、目标检测、关键点检测和图像生成等计算机视觉任务。
图卷积网络(Graph Convolutional Network,GCN):一种专门用来处理图结构数据(非欧几里得数据)的神经网络模型。与传统的卷积神经网络适用于处理网格结构数据(如图像)不同,GCN被设计用于处理非规则结构的图数据,其中节点之间的连接关系可以是任意的。
本申请实施例中,以卷积神经网络为基础构建目标检测模型,用于分析视频监测画面中的目标车辆图像。以卷积神经网络为基础构建关键点检测模型,用于分析目标车辆图像中对应编号的关键点的遮挡情况以及位置信息。以图卷积网络为基础构建关键点状态分类模型,用于对目标车辆图像中车体关键点的状态进行分类,状态分类包括两种类型,一是车体关键点处于打开状态,二是车体关键点处于关闭状态。
邻接矩阵:在无向图中,表示顶点之间相邻关系的n阶对称方阵。本申请实施例中,邻接矩阵用于表征目标车辆图像中车体关键点之间的连接关系。
度矩阵:用于表示边的顶点所包含的连接边的数量,本申请实施例中,度矩阵用于表示在目标车辆图像中车体关键点所包含的连接边的数量。
针对现有技术存在的问题,本申请提供的车辆状态识别方法,第一,对视频监测画面进行识别,获取视频监测画面中目标车辆图像所处的位置信息以及目标车辆图像对应的目标车辆所属的种类信息。预先设置多个种类的车辆的车体关键点配置方案,根据目标车辆所属的种类信息,确定目标车辆对应的车体关键点的目标配置方案。第二,对目标车辆图像进行车体关键点检测,确定各个车体关键点在目标车辆图像中的位置信息以及遮挡情况。第三,将目标车辆图像中该车体关键点的位置信息以及遮挡情况,结合目标配置方案中该车体关键点的编号及对应的名称,确定对应编号的该车体关键点在目标车辆图像中的遮挡结果,进而对该车体关键点的状态进行分类,获得该车体关键点的状态分类。第四,根据各个车体关键点的状态分类结果,以及目标配置方案中各个车体关键点分别所属的子区域,确定所述目标车辆图像中车体的各个子区域的状态识别结果。第五,结合车体的各个子区域的状态识别结果,获得目标车辆的车辆状态识别结果。
由于采用了预先设置的关键点配置方案,结合图像识别的关键点状态识别技术,能够更为快速准确的识别出车体关键点的状态,并进一步准确判断车辆的各个子区域的状态,以及更进一步的判断出目标车辆的整体状态识别结果。
以下对本申请实施例提供的车辆状态识别方法的应用场景进行详细说明。
本申请实施例提供的车辆状态识别方法可以应用于汽车展示场景中。请参考图1,其为本申请实施例提供的车辆状态识别方法的应用场景图。在图1中,在汽车展示区域预先设置视频采集设备,采集汽车展示区域的视频流。具体的,摄像头102对汽车展示区域中的汽车103进行视频采集,并将采集获得的针对汽车103的视频流发送至服务器101。服务器101根据获取的视频流,根据本申请第一实施例提供的车辆状态识别方法进行分析。
服务器101根据汽车展示场景中的视频流获取视频监测画面中的目标车辆图像的位置信息和种类信息,对目标车辆图像的车体关键点进行检测。根据目标车辆图像中车体关键点的位置信息以及遮挡情况,结合预先定义的目标车辆所属种类对应的车体关键点的目标配置方案,对车体关键点的状态进行分类,根据车体关键点的状态分类结果,对车体的各个子区域进行状态识别结果,进而确定目标车辆的车辆状态识别结果。通过车体关键点的状态分类获取车体的子区域状态识别结果,进而确定目标车辆的车辆状态识别结果,提升了车辆状态的识别准确率。
第一实施例
本申请第一实施例提供一种车辆状态识别方法。图2为本申请第一实施例提供的一种车辆状态识别方法的流程图。以下结合图2对本申请第一实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理,不是实际使用的限定。图2所示的车辆状态识别方法,包括步骤S201~S205。
步骤S201,对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息。
本步骤用于获取视频监测画面中目标车辆图像的位置信息以及种类信息。其也对应于图3的S302,车辆识别检测过程。图3为本申请第一实施例提供的车辆状态识别过程图。
视频监测画面可以是目标车辆所在区域的视频监测设备采集的视频流中获取的至少一种视频帧。
在步骤S201中获取视频监测画面中目标车辆图像的位置信息以及种类信息,可以通过预先训练好的目标检测模型进行分析获取。
目标检测模型通过分析视频监测画面,获得目标车辆图像在视频监测画面中的目标检测框,从而确定目标车辆图像在视频监测画面中的位置信息,以及获取目标车辆图像对应的目标车辆所属的种类信息。目标车辆所属的种类信息,例如,大巴车,7人座车,小轿车,越野车,等等。
获取目标车辆所属的种类信息,是用于在后续步骤中根据目标车辆的种类,选择与该目标车辆种类对应的车体关键点的目标配置方案,进而对目标车辆图像进行车体关键点检测识别。
在执行车辆识别检测过程之前,还包括获取视频流的过程,其对应图3的S301。在视频流中获取至少一个视频监测画面。此处视频流是指针对多个车辆图像所处场景的视频流。例如,在汽车展示区域展示了多个种类的多辆汽车,通过汽车展示区域的视频监测设备采集针对汽车展示区域的视频流。在汽车展示区域,用户对汽车各个区域通过人车交互的方式了解汽车的性能。因此,通过视频流获取汽车的车辆状态,用于分析获取用户与汽车的人车交互行为数据。
本申请实施例的主要目的是通过视频监测画面获取目标车辆图像对应的目标车辆的车辆状态信息。步骤S101主要是获取视频监测画面中目标车辆图像的位置信息以及种类信息,从而在后续步骤中进一步获取目标车辆图像中的车体关键点的信息。
步骤S202,对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况。
本步骤用于获得目标车辆图像中车体关键点的位置信息以及遮挡情况,其对应于图3的S303,车体关键点检测过程。
在步骤S101中获取视频监测画面中目标车辆图像的位置信息以及种类信息后,在本步骤S102中对目标车辆图像进行关键点检测识别。
其中,对目标车辆图像进行车体关键点检测识别,获得目标车辆图像中各个车体关键点的位置信息和遮挡情况。然后,根据目标车辆图像对应的目标车辆所属的种类的车体关键点的目标配置方案,确定目标车辆图像中的各个车体关键点的名称以及所属的子区域信息。
目标配置方案预先定义了该种类的车辆所包含的车体关键点的编号、车体关键点对应的名称以及车体关键点所属的车体的子区域名称。
由于不同种类的车辆的车体关键点名称,车体关键点在车体中的分布区域,以及车体不同子区域的车体关键点数量中的至少一项存在部分差异。因此,预先对每个种类的车辆设置了车体关键点配置方案,从而根据视频监测画面中获取的目标车辆图像的种类信息,确定目标车辆图像对应的车体关键点的目标配置方案。
以图4为例介绍一种车体关键点配置方案,图4为本申请第一实施例提供的车体关键点配置方案的示意图。图4对车辆定义了22个车体关键点的编号以及每个车体关键点的名称,每个车体关键点所属的车体的子区域。车体关键点均选在带有明显纹理特征的边缘或顶角部位,具体如下:
车轮包括4个车体关键点,分别为1号车体关键点-左前轮,2号车体关键点-左后轮,3号车体关键点-右前轮,4号车体关键点-右后轮。
左前门区域包括3个车体关键点,分别为5号车体关键点-左前门底角,6号车体关键点-左前门把手,7号车体关键点-左前门顶角。
左后门区域包括3个车体关键点,分别为8号车体关键点-左前门底角,9号车体关键点-左前门把手,10号车体关键点-左前门顶角。
右前门区域包括3个车体关键点,分别为11号车体关键点-右前门底角,12号车体关键点-右前门把手,13号车体关键点-右前门顶角。
右后门区域包括3个车体关键点,分别为14号车体关键点-右后门底角,15号车体关键点-右后门把手,16号车体关键点-右后门顶角。
前机盖区域包括3个车体关键点,分别为17号车体关键点-前机盖中心,18号车体关键点-前机盖左边缘角,19号车体关键点-前机盖右边缘角。
后备箱区域包括3个车体关键点,分别为20号车体关键点-后备箱中心,21号车体关键点-后备箱左边缘角,22号车体关键点-后备箱右边缘角。
以上即为图4示出的预先定义的一种车辆类型的车体关键点配置方案的具体内容。各个种类的车辆分别预先设置了对应的车体关键点配置方案。
图4所示的车体关键点配置方案,将车体关键点在车体中进行标注后在车体中的车体关键点状态分布如图5所示,图5为本申请第一实施例提供的车体关键点状态分布图。图5示出对应编号的车体关键点在目标车辆图像中所处的位置信息,具体是车体的各个子区域中所处的位置。在图5中,501表示车体左侧区域的视图,可以看到车体关键点的编号包括1,2,5,6,7,8,9,10,17,18,20,21;502表示车体顶盖区域的视图,可以看到车体关键点的编号包括7,10,13,16,17,18,19,20,21,22;503表示车体右侧区域的视图,可以看到车体关键点的编号包括11,12,13,14,15,16,17,19,20,22;504表示车体后盖区域的视图,可以看到的车体关键点的编号包括20,21,22;505表示车体前盖区域的视图,可以看到的车体关键点的编号包括17,18,19。
此外,图5还示出了各个车体关键点之间的连接关系,其用于后续构建针对车体关键点的邻接矩阵,其在后续过程中进行详细描述。
所述对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况,可以通过如下方式实现:
将所述目标车辆图像提供给经过预训练的关键点检测模型;所述关键点检测模型识别并输出所述目标车辆图像中的各个车体关键点的位置信息以及遮挡情况。
关键点检测模型识别并输出所述目标车辆图像中的各个车体关键点的位置信息以及遮挡情况时,根据目标车辆图像中目标车辆的种类和所述目标车辆的种类对应的车体关键点的目标配置方案,获得所述目标车辆图像中的各个车体关键点的名称以及所属的子区域信息。
预先训练的关键点检测模型可以是以卷积神经网络为基础构建的卷积神经网络关键点检测模型。
关键点检测模型的输入信息包括目标车辆图像,关键点检测模型的输出信息包括目标车辆图像中的各个车体关键点的位置信息以及遮挡情况。
其中,关键点检测模型的训练过程以及应用过程可以结合图8进行描述,图8为本申请第一实施例提供的关键点检测模型的训练过程以及应用过程的示意图,具体包括S801~S804。
S801,训练数据收集:首先,需要收集大量涵盖不同角度、不同尺度和不同光照条件下的车辆图像,之后根据车辆种类匹配的车体关键点配置方案对车辆图像进行关键点标签标注,关键点标签包括车体关键点位置信息和遮挡情况。
S802,模型选择:选择合适的关键点检测模型,常用的是基于卷积神经网络的模型,如ResNet,HRNet等。
S803,模型训练:使用车辆图像和关键点标签训练关键点检测模型,训练过程中,通过最小化预测关键点与真实关键点之间的误差来优化模型参数,使得关键点检测模型的预测结果逐渐接近真实值。这个过程需要反复进行,直到达到预定的训练停止条件,常用的优化算法包括梯度下降法和反向传播算法。
S804,模型应用:将新的车辆图像输入训练好的关键点检测模型进行应用识别,通过前向传播过程,关键点检测模型可以输出该新的车辆图像中车体关键点的位置和遮挡情况。然后根据车辆类别和所匹配的车体关键点配置方案获取各个车体关键点的名称以及所属的子区域。
目标车辆图像是通过视频监测画面中获取的,而每个视频监测画面中均包括部分车体关键点的遮挡情况,以图5为例进行说明,如果视频监测视角是在车体的左侧区域,如图5中的501所示,其获取的视频监测画面中可以看见的车体关键点包括1,2,5,6,7,8,9,10,17,18,20,21。其他车体关键点均处于遮挡状态,无法通过图5的501的视频监测画面获取其他车体关键点。
本步骤S202中获取目标车辆图像中车体关键点的位置信息以及遮挡情况后,在后续步骤中用于结合目标配置方案获得车体关键点的状态分类。
步骤S203,根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类。其对应于图3的S304,车体关键点的状态分类过程。
本步骤用于根据车体关键点的位置信息以及遮挡情况,以及目标配置方案,对车体关键点的状态进行分类。
其中,所述根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类,可以通过如下图9中的S901~S904实现,其中,图9为本申请第一实施例提供的对目标车辆图像中的车体关键点进行状态分类的过程图。
S901,根据所述目标配置方案,获得各个所述车体关键点之间的连接关系;
S902,结合所述目标车辆图像中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标车辆图像的车体关键点的邻接矩阵;
S903,将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述车体的车体关键点的目标特征向量矩阵;
S904,根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类。
以下对S901~S904进行具体论述。
S901,根据所述目标配置方案,获得各个所述车体关键点之间的连接关系。
以图4为例可知,目标配置方案中包含车体关键点的编号,对应编号的车体关键点的名称,以及车体关键点所属的车体的子区域信息。根据车体的每个子区域内部所包含的车体关键点,确定子区域内部各个车体关键点之间的连接关系。例如,左前门区域包括5号车体关键点,6号车体关键点,7号车体关键,5号,6号和7号之间两两相互连接。根据车体的各个子区域之间的连接关系,确定两个相邻子区域中的车体关键点之间的连接关系。左前门区域和左后门区域相连接,左前门区域的5号车体关键点和左后门区域的8号车体关键点之间具有连接关系,左前门区域的7号车体关键点和左后门区域的10号车体关键点之间具有连接关系。
目标车辆图像中,具有连接关系的车体关键点之间建立了连接边,可以参考图5,在图5的501中,左前门区域包含3个车体关键点,5号,6号和7号,其中,5号,6号和7号之间两两建立连接边,其代表5号,6号和7号之间两两相连。再例如,1号和5号建立连接边,1号和18号建立连接边。
S902,结合所述目标车辆图像中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标车辆图像的车体关键点的邻接矩阵,采用如下方式获得:
设置N*N的二维矩阵;其中,N为目标配置方案中所述车体关键点的个数,该二维矩阵中,以自然数顺序设置的行编号和列编号分别代表对应该编号的车体关键点;对于遮挡情况为处于未遮挡状态的车体关键点,行编号和列编号共同标识的元素的值,代表该行编号和该列编号的车体关键点之间的连接关系;其中,对于存在连接关系的两个车体关键点,取值为1,否则为0;对于遮挡情况为处于遮挡状态的车体关键点,在所述邻接矩阵中,对应的行和列的元素均设置为0。
请参考图6,其为本申请第一实施例提供的车体关键点的邻接矩阵示意图。在图6中,邻接矩阵是一个N*N的二维矩阵,其中,N为目标配置方案中所述车体关键点的个数,目标配置方案中以22个车体关键点为例,因此,图6中的N为22,该邻接矩阵为22*22的二维矩阵。在该二维矩阵中,以自然数顺序设置的行编号和列编号分别代表该编号的车体关键点。
遮挡情况为处于未遮挡状态的车体关键点,也就是目标车辆图像中的可见车体关键点。遮挡情况为处于遮挡状态的车体关键点,也就是目标车辆图像中的不可见车体关键点。
行编号和列编号共同标识的元素的值,为行编号和列编号相交叉区域的元素的值。例如,在图6所示的邻接矩阵中,行编号1和列编号3共同标识的元素为行编号1和列编号3相交叉区域的元素。
邻接矩阵用于表征目标车辆图像中可见车体关键点之间的连接关系,因此,在图6所示的邻接矩阵中,对于目标车辆图像中的可见车体关键点,行编号和列编号共同标识的元素的值,代表该行编号和该列编号的车体关键点之间的连接关系,其中,对于存在连接关系的两个车体关键点,取值为1,否则为0。例如,如果在目标车辆图像中1号车体关键点和18号车体关键点均为可见车体关键点,且1号和18号具有连接关系,因此,在该邻接矩阵中,1号和18号相交叉的区域标识的元素取值为1。再例如,如果在目标车辆图像中1号车体关键点和16号车体关键点均为可见车体关键点,但是1号和16号没有连接关系,因此,在该邻接矩阵中,1号和16号相交叉的区域标识的元素取值为0。图6中的邻接矩阵中取值为0的元素以空格形式展示。
此外,对于目标车辆图像中的不可见车体关键点,在邻接矩阵中,对应的行和列的元素均设置为0。
以上即为建立针对目标车辆图像的车体关键点的邻接矩阵的介绍。
S903,将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述车体的车体关键点的目标特征向量矩阵。
本步骤中对目标车辆图像中的车体关键点进行状态分类,具体是基于图卷积网络,对车体关键点进行状态分类,获得每个车体关键点的状态分类结果为打开状态或者关闭状态。
其中,基于图卷积网络对车体关键点进行状态分类的具体实现过程,可以参考如下的特征向量更新公式:
其中,(1)、H(l)为输入特征;(2)、H(l+1)为输出特征;(3)、A为节点邻接矩阵,IN为单位矩阵;(4)、w为边权重矩阵;(5)、D为度矩阵,Dii=∑jAij;(6)、W(l)为l层权重;(7)、σ为激活函数。
以下分别对该特征向量更新公式中的各部分字符进行解释。
在公式(1)中,所述特征向量更新公式中的初始特征向量为N*1的二维矩阵;其中N为根据目标配置方案确定的车辆关键点数量,根据每个车辆关键点是否可见对每个元素取值,1代表遮挡情况为可见,0代表遮挡情况为不可见。
(1)初始特征向量为H(l),其输入维度为1,以图4为例作为目标配置方案,目标配置方案中包含22个车体关键点,此处N可以为22。初始特征向量的数值可以根据目标车辆图像中每个车体关键点是否可见进行取值,对于可见的车体关键点,在初始特征向量中该车体关键点对应的元素初始值设为1,对于不可见的车体关键点,在初始特征向量中该车体关键点对应的元素初始值设为0。
例如,H(0)=[[1],[0],[1],[0],[0],……],其表示第一个车体关键点和第三个车体关键点为可见关键点,第二个车体关键点,第四个车体关键点以及第五个车体关键点为不可见关键点。
(2)输出特征H(l+1)的输出维度为2,其代表图卷积网络用于进行节点分类的任务,用于将节点分为两类,分别为类别A和类别B,例如,H(l+1)为[0.8,0.2]。图卷积网络包含n个神经网络层,也就是说图卷积网络对输入特征进行特征迭代过程中,迭代n层后输出的特征值为图卷积网络的输出特征H(l+1)。其中,本申请实施例中n为3~5层。
通过学习从图像数据中提取节点特征向量,在网络的最后一层,也就是输出层,网络的输出维度被设置为2。例如,图卷积网络对一个节点的最后一层输出特征H(l+1)为[0.8,0.2],其表示该节点在类别A和类别B上的得分分别为0.8和0.2。类别A的得分大于类别B的得分,因此,该节点的分类结果为类别A。
图卷积网络的输出维度设置为类别数,通过最后一层的特征向量表示不同类别之间的决策边界或者得分。在训练图卷积网络中,网络通过调整参数使得特征表示可以更好地区分不同类别的数据点,最终实现准确的分类。其中,对于不同的分类任务,图卷积网络的输出特征向量的维度可能会有所不同,其根据具体任务需求和问题场景进行调整和定义。
本申请实施例中采用图卷积网络对车体关键点进行状态分类,输出特征H(l+1)的输出维度为2。上述的节点为本申请实施例中的车体关键点,输出特征H(l+1)中的类别A可表示车体关键点处于打开状态,类别B可表示车体关键点处于关闭状态。类别A和类别B在输出特征中的展示显示可以是得分形式,也可以是概率形式。根据类别A和类别B的比较,确定最终车体关键点的状态分类结果。
(3)A为节点邻接矩阵,IN为单位矩阵。
将邻接矩阵带入特征向量更新公式的步骤中,针对邻接矩阵进行如下处理:
将邻接矩阵加上单位矩阵,获得自环操作后邻接矩阵;使用边权重矩阵乘以所述自环操作后邻接矩阵,获得边权重处理后邻接矩阵;将所述边权重处理后邻接矩阵带入特征向量更新公式,进行所述更新迭代处理;其中,所述边权重矩阵中,每条边权重为该边顶点的直线像素距离。
在本申请实施例中,将邻接矩阵和单位矩阵进行相加处理,称为自环操作。邻接矩阵表示的是车体关键点之间的连接关系,单位矩阵表示的是车体关键点自身的特征。将邻接矩阵和单位矩阵相加,可以将车体关键点自身的特征和具有连接关系的其他车体关键点的特征进行统一处理。
自环操作的目的是将车体关键点的自身特征带入上述公式1的计算过程中。如果车体关键点与其他车体关键点之间没有连接关系,则该车体关键点没有相邻接的车体关键点,也就是该车体关键点没有连接关系的特征,引入自环操作可以将车体关键点自身的特征带入计算过程中,增加对该车体关键点的输出特征向量中两种分类的数据准确度,便于后续根据输出特征向量的两种分类确定车体关键点的状态分类结果。
本申请实施例中,将邻接矩阵与单位矩阵相加获得自环操作后邻接矩阵,具体计算过程中,可以在邻接矩阵的对角线上添加值为1的元素来实现。
(4)w边权重矩阵:
在获得自环操作后邻接矩阵后,使用边权重矩阵乘以所述自环操作后邻接矩阵,获得边权重处理后邻接矩阵。其中,本申请实施例中在图卷积网络的特征更新公式中引入边权重矩阵,目的是充分利用车体关键点之间的连接强度或者关联强度。边权重矩阵用于对每条边赋予一个权重值,该权重值用于表示边的重要性、强度或者其他与任务相关的属性。通过将自环操作后邻接矩阵乘以边权重矩阵,使得车体关键点之间的信息传递过程收到边权重的影响。
所述边权重矩阵中,每条边权重为该边顶点的直线像素距离。其中,直线像素距离是指从一个节点到另一个节点之间的优选路径,通常通过计算两个节点之间的欧氏距离来实现,具体如公式(2):
公式(2)的执行条件是i≠j,如果i=j时,则wij=1。
通过公式(2)获得两个具有连接关系的车体关键点之间的连接边的边权重系数,边权重系数越大,表示两个车体关键点之间的相关性越大。
此处可以结合图5进行举例说明,在图5的502中,7号和17之间存在第一连接边,7号和8号之间存在第二连接边,第一连接边大于第二连接边。因此,w7,8小于w7,17。
其中,本申请实施例中的边权重矩阵计算方式选择公式2的方式进行计算。边权重矩阵的具体定义和计算方式可以根据具体的应用场景及需求进行设计和选择。根据应用场景的特点,选择不同的边权重计算方法,例如,基于边属性、边度量或者其他先验知识进行计算。以此根据任务需求进行个性化权重分配。
将所述边权重处理后邻接矩阵带入特征向量更新公式,进行所述更新迭代处理。
(5)D为度矩阵,Dii=∑jAij。
本申请实施例中,度矩阵表征每个车体关键点包含的连接边的数量。度矩阵为对角矩阵,其中的对角元素表示每个车体关键点的度,也就是,与车体关键点相连接的边的数量。例如,由图5中501的7号车体关键点,7号包含的连接边的数量为4个,分别为7号和5号之间的第一连接边,7号和6号之间的第二连接边,7号和17号之间的第三连接边,以及7号和18号之间的第四连接边。
度矩阵通常包含如下两方面作用:
一方面是归一化:度矩阵用于对邻接矩阵进行归一化操作,从而消除节点度数对图信号传播的影响。本申请实施例中节点度数为车体关键点度数。常用的归一化方式是对邻接矩阵进行对称归一化,也就是将度矩阵的负平方根与邻接矩阵进行乘法运算。如公式1中,将自环操作后邻接矩阵左乘以度矩阵的负平方根,然后再右乘以度矩阵的负平方根。通过此种方式处理,使得邻接矩阵中的车体关键点特征在图卷积网络的特征迭代计算过程中受到节点度数的影响的归一化处理,减少了节点度数对特征迭代计算过程中的偏差,利于提升图卷积网络的收敛性。
另一方面是加权:度矩阵与邻接矩阵进行点乘运算,将车体关键点的度融入每个车体关键点的特征表示中。以此对具有更高度数的车体关键点赋予更大的权重,从而在特征传播过程中更加重视这些车体关键点的影响。此过程对于车体关键点排序或者车体关键点键点的计算具有相关意义,其中车体关键点的重要性与其度数相关。特征传播过程在本申请实施例中为对输入特征进行特征更新迭代的过程。
本申请实施例中的特征向量更新公式中使用度矩阵的作用为第一方面,归一化的作用。图卷积网络使用度矩阵后,可以更好地利用目标车辆图像中车体关键点的度信息。通过对目标车辆图像中的数据进行归一化处理,消除车体关键点度数对信号传播的影响。信号传播在本申请实施例中是图卷积网络对输入特征进行特征迭代的过程。同时,度矩阵也可以作为车体关键点特征的权重因子,用于调节特征在特征传播中的影响力,充分利用车体关键点的度信息。
此外,度矩阵的具体计算方式和使用方法可以根据不同的图神经网络模型和任务进行调整和定义。
(6)W(l)为l层权重;
W(l)表示l层权重,本申请实施例中,图卷积网络对特征向量进行更新迭代的次数n为3~5次,相应的,包含3~5层权重系数。
图卷积网络中,每一层都会对节点的特征向量进行卷积操作,以提取除更加丰富的特征信息。这些卷积操作通常由一个权重矩阵W进行实现。在此过程中,W决定了每个节点的新特征向量如何通过卷积操作得到。通过调整W的参数,可以改变网络对于输入特征的理解和表征方式,从而实现不同的任务和效果。同时,通过反向传播算法,网络可以通过梯度下降等方式自动地学习到目标W值,从而提升网络的性能和泛化能力。
在本申请实施例中,图卷积网络进行每一次特征向量的更新迭代过程中,通过调整W的参数,以改变网络对输入特征H(l)的理解和表征方式。
(7)σ为激活函数。
图卷积网络中,激活函数起到了非线性化的作用。激活函数帮助网络捕捉节点之间的复杂关系和图结构中的非线性模式。图数据的特征在于节点之间的连接方式复杂多样,而且图结构中的节点具有自身的属性。这使得简单的线性模型无法捕捉到图数据中的高阶关系。激活函数通过引入非线性变换,扩展了图卷积网络的表示能力,使得网络可以更好地适应不同的图结构和节点特征。
其中,图卷积网络中常用的激活函数包括ReLU(Rectified Linear Unit,修正线单元)、Sigmoid(S型函数)和Tanh(双曲正切函数)。它们通过非线性化的映射,使得网络可以学习到更为复杂的图形模式和节点表示。
本申请实施例中的公式(1)中引入激活函数,使得图卷积网络可以更好地适应不同的目标车辆图像和车体关键点特征。
以上即为S903将所述邻接矩阵带入特征向量更新公式进行更新迭代处理,获得目标特征向量矩阵的过程描述。
S904,根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类。
在S903中获取目标特征向量矩阵后,对每个车体关键点进行状态分类处理。其中,目标特征向量矩阵即为公式(1)中的输出特征H(l+1)。
根据上述对输出特征H(l+1)的介绍及举例说明可知,本申请实施例中的目标特征向量矩阵中每个车体关键点的目标特征向量为2维形式的向量数据,例如,[x1,x2],其中的两个数字分别表示车体关键点为类别A的得分,车体关键点为类别B的得分。
图卷积网络经过3~5次特征向量更新迭代过程后,获得的输出特征值为车体关键点的目标特征向量。将该目标特征向量进行softmax(归一化指数)函数输出二分类的概率值。
其中,所述根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类,可以通过如下方式实现:
根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,获取所述每个车体关键点处于打开状态的第一概率,和所述每个车体关键点处于关闭状态的第二概率,所述第一概率与所述第二概率之和为1;根据所述每个车体关键点的第一概率和第二概率,获得所述目标车辆图像中车体关键点的状态分类。
本申请实施例中,每个车体关键点的状态分类包括两种类型,一是车体关键点处于打开状态,二是车体关键点处于关闭状态。
车体关键点的目标特征向量为2维形式的向量数据,然后,将目标特征向量的2个特征向量值通过softmax函数转换为2个概率值,其分别对应2个特征向量值的概率。根据该概率值获得最终的分类预测结果。
例如,目标特征向量中的2个向量数据分别为该车体关键点为打开状态的第一元素,以及该车体关键点为关闭状态的第二元素。将目标特征向量值通过softmax函数转换为对应的概率值,例如,第一元素对应的第一概率为0.6,第二元素对应的第二概率为0.4。
如果第一概率大于第二概率,则车体关键点的状态分类结果为打开状态,如果第一概率小于第二概率,则车体关键点的状态分类结果为关闭状态。
上述即为步骤S103中根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及所述目标配置方案,获得所述车体关键点的状态分类的过程描述。具体是,图卷积网络根据公式(1),将边权重系数乘以自环操作后邻接矩阵,带入公式(1),以初始特征向量基础,进行3~5次的特征向量更新迭代处理,获得目标特征向量,目标特征向量的维度为2。然后,将目标特征向量的元素经过softmax函数输出二分类的概率值,根据每个车体关键点的目标特征向量的2个元素分别对应的概率值,生成最终的状态分类结果。
步骤S204,根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果。
本步骤用于步骤S103获得的每个车体关键点的状态分类结果,以及目标配送方案中每个车体关键点的编号,名称以及对应的子区域名称,对目标车体图像中车体的各个子区域的状态进行识别。其对应图3中S305,车体子区域状态识别过程。
其中,所述根据所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的子区域的状态识别结果,可以通过如下方式实现:
如果所述车体的目标子区域的所有车体关键点中存在至少一个车体关键点的状态分类结果为打开状态,则所述目标子区域的状态识别结果为打开状态;如果所述车体的目标子区域的所有车体关键点的状态分类结果均为关闭状态,则所述目标子区域的状态识别结果为关闭状态。
根据车体的目标子区域中的至少一个车体关键点为打开状态,确定该子区域为打开状态。例如,左前门区域包括5号,6号和7号三个车体关键点,其中,这三个车体关键点中存在至少一个车体关键点为打开状态,则左前门区域为打开状态。如果目标子区域的所有车体关键点为关闭状态,则该子区域为关闭状态。
请参考图7,其为本申请第一实施例提供的车体的子区域状态示意图。在图7中,以左前门的车体关键点状态分类结果确定左前门的状态识别结果。图7的701中,左前门区域的全部车体关键点均为打开状态,其左前门区域为打开状态。图7中的702中,左前门区域的全部车体关键点均为关闭状态,其左前门区域为关闭状态。
步骤S205,根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。其对应于图3的S306,车辆状态识别过程。
本步骤用于根据车体各个子区域的状态识别结果,确定目标车辆的车辆状态识别结果。具体包括:如果目标车辆的所有子区域中至少一个子区域的状态识别结果为打开状态,根据该子区域的具体区域,可以进一步判断目标车辆的状态;例如,该子区域为左前门,可以判定车辆处于“车门被打开”状态,在该状态下,可以进一步结合其他信息判断是否有人出入车门;如果该子区域为后备箱,则该车辆处于“后备箱打开”的可能被观察后备箱的状态;如果该子区域为前机盖,则该车辆处于被观察前机箱的状态。
如果目标车辆的所有子区域的状态识别结果为关闭状态,则目标车辆的车辆状态的为整体关闭状态。
本申请实施例提供一种车辆状态识别方法,包括:对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类;根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
由于采用了预先设置的关键点配置方案,结合图像识别的关键点状态识别技术,能够更为快速准确的识别出车体关键点的状态,并进一步准确判断车辆的各个子区域的状态,以及更进一步的判断出目标车辆的整体状态识别结果。
第二实施例
请参考图10,其为本申请第二实施例中提供的一种车辆局部区域的状态识别方法的流程图,以下结合图10对本实施例提供的***进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理,不是实际使用的限定。其中,第二实施例提供的车辆局部区域的状态识别方法与第一实施例相对应,因此,相关部分可以参考第一实施例。图10所示的车辆局部区域的状态识别方法,包括步骤S1001~S1004。本实施例用于说明本发明提供的方法仅仅用于识别车体的局部区域(例如车门,车厢盖)时的实施方法,本实施例侧重于描述与第一实施例中整车状态识别的不同之处。
步骤S1001,对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息。
本步骤用于获取目标车辆图像中的目标局部区域在目标车辆图像中所处的位置信息以及类型信息。
其中,目标局部区域的类型信息是指目标车辆图像中车体的子区域,例如,车体包括左前门区域,左后门区域,右前门区域,右后门区域,前机盖区域,后备箱区域。在目标车辆图像中识别具体的局部区域的状态时,首先在目标车辆图像中获取目标局部区域的位置信息以及类型信息。
步骤S1002,对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况。
本步骤用于获取目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况。
所述对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况,可以通过如下方式实现:
将目标车辆图像中目标局部区域的图像提供给经过训练的局部关键点检测模型;所述局部关键点检测模型识别并输出所述目标车辆图像中目标局部区域的各个车体关键点的位置信息以及遮挡情况。
局部关键点检测模型识别并输出所述目标车辆图像中目标局部区域的各个车体关键点的位置信息以及遮挡情况时,根据目标局部区域的类型对应的车体关键点的目标区域配置方案,获得目标车辆图像中目标局部区域的各个车体关键点的名称。
其中,还包括获取目标局部区域的车体车体关键点的目标区域配置方案。目标区域配置方案预先定义了该类型的局部区域所包含的车体关键点的编号、车体关键点对应的名称。
由于车体的不同局部区域的结构不同,其对应的车体关键点的名称根据其区域具体的功能命名,各个局部区域的车体关键点的位置及名称均不相同。因此,预先根据车体的各个局部区域的功能类型,设置了各个类型的局部区域对应的车体关键点的区域配置方案,从而根据目标局部区域的类型信息,确定目标局部区域的车体关键点的目标区域配置方案。
步骤S1003,根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类。
本步骤用于对目标局部区域的车体关键点的状态进行分类。车体关键点的状态分类包含两种情况,一是车体关键点处于打开状态,二是车体关键点处于关闭状态。在对目标局部区域的车体关键点状态分类后,在后续步骤中进一步根据车体关键点的状态分类结果,确定目标局部区域的状态识别结果。
所述根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类,可以通过如下方式实现:
根据所述目标区域配置方案,获得所述目标局部区域的各个车体关键点之间的连接关系;结合所述目标局部区域中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标局部区域的车体关键点的邻接矩阵;将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述目标局部区域的车体关键点的目标特征向量矩阵;根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标局部区域中车体关键点的状态分类。
其中,目标区域配置方案包含目标局部区域的各个车体关键点的编号及名称,根据其中的车体关键点在目标局部区域中的布置位置确定连接关系。
以左前门区域为目标局部区域进行介绍,左前门区域包括5号车体关键点,6号车体关键点,7号车体关键,5号,6号和7号之间两两相互连接。
建立针对所述目标局部区域的车体关键点的邻接矩阵的过程与第一实施例中建立针对所述目标车辆图像的车体关键点的邻接矩阵的过程类似,具体可以参考第一实施例中图9的S902的描述,此处为第一实施例的目标车辆图像中的一个子区域的车体关键点的邻接矩阵的构建过程。
根据特征向量更新公式,获取所述目标局部区域的车体关键点的目标特征向量矩阵的过程可以参考第一实施例中图9的S903的描述,此处为第一实施例的目标车辆图像中的一个子区域的车体关键点的目标特征向量矩阵获得过程。
获得所述目标局部区域中车体关键点的状态分类的过程可以参考第一实施例中图9的S904的描述,此处为第一实施例的目标车辆图像中的一个子区域的车体关键点状态分类过程。
步骤S1004,根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
本步骤用于根据目标局部区域的车体关键点的状态分类结果,确定该目标局部区域的状态识别结果。
所述根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果,可以通过如下方式实现:
如果所述目标局部区域中至少一个车体关键点的状态分类结果为打开状态,则所述目标局部区域的状态识别结果为打开状态;如果所述目标局部区域中所有车体关键点的状态分类结果为关闭状态,则所述目标局部区域的状态识别结果为关闭状态。
本申请第二实施例提供一种车辆局部区域的状态识别方法,包括:对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息;对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况;根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类;根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
上述方法中,由于采用了预先设置的针对车体的各个局部区域的车体关键点配置方案,结合图像识别的关键点状态识别技术,可以更为快速准确的识别出目标车辆图像中车体的目标局部区域的车体关键点的状态,进一步确定目标局部区域的状态识别结果。
第三实施例
请参考图11,其为本申请第三实施例中提供的一种车辆状态识别装置的示意图,以下结合图11对本实施例提供的装置进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理,不是实际使用的限定。其中,第三实施例提供的车辆状态识别装置与第一实施例相对应,因此,相关部分可以参考第一实施例,此处不再赘述。
图11所示的车辆状态识别装置,包括:
图像识别单元1101,用于对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;
第一车体关键点识别单元1102,用于对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;
第一车体关键点状态分类单元1103,用于根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类;
子区域状态识别单元1104,用于根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;
车辆状态识别单元1105,用于根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
第四实施例
请参考图12,其为本申请第四实施例中提供的一种车辆局部区域的状态识别装置的示意图,以下结合图12对本实施例提供的装置进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理,不是实际使用的限定。其中,第四实施例提供的车辆局部区域的状态识别装置与第二实施例相对应,因此,相关部分可以参考第二实施例,此处不再赘述。
图12所示的车辆局部区域的状态识别装置,包括:
车辆局部区域识别单元1201,用于对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息;
第二车体关键点识别单元1202,用于对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况;
第二车体关键点状态分类单元1203,用于根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类;
车辆局部区域状态识别单元1204,用于根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
第五实施例
与本申请第一实施例和第二实施例的方法相对应的,本申请第五实施例提供了一种电子设备。如图13所示,图13为本申请第五实施例提供的一种电子设备的示意图。该电子设备,包括:至少一个处理器1301,至少一个通信接口1302,至少一个存储器1303和至少一个通信总线1304;可选的,通信接口1302可以为通信模块的接口,如GSM模块的接口;处理器1301可能是处理器CPU,或者是特定集成电路ASIC(Application Specific IntegratedCircuit),或者是被配置成实施本发明实施例的一个或多个集成电路。存储器1303可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。其中,存储器1303存储有程序,处理器1301调用存储器1303所存储的程序,以执行本申请第一实施例和第二实施例的方法。
在上述各实施例中,提供了车辆状态识别方法以及车辆局部区域的状态识别方法对应的装置和电子设备,此外,本申请实施例还提供了用于实现上述车辆状态识别方法以及车辆局部区域的状态识别方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单,相关部分请参见上述方法实施例的对应说明即可,下述描述的实施例仅仅是示意性的。
本实施例提供的计算机可读存储介质上存储有计算机指令,该指令被处理器执行时实现上述各方法实施例的各步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是,本申请实施例中可能会涉及到对用户数据的使用,在实际应用中,可以在符合所在国的适用法律法规要求的情况下(例如,用户明确同意,对用户切实通知,等),在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
Claims (13)
1.一种车辆状态识别方法,其特征在于,包括:
对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;
对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;
根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类;
根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;
根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类,包括:
根据所述目标配置方案,获得各个所述车体关键点之间的连接关系;
结合所述目标车辆图像中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标车辆图像的车体关键点的邻接矩阵;
将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述车体的车体关键点的目标特征向量矩阵;
根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类。
3.根据权利要求2所述的方法,其特征在于,所述特征向量更新公式中的初始特征向量为N*1的二维矩阵;其中N为根据目标配置方案确定的车辆关键点数量,根据每个车辆关键点是否可见对每个元素取值,1代表遮挡情况为可见,0代表遮挡情况为不可见。
4.根据权利要求2所述的方法,其特征在于,所述结合所述目标车辆图像中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标车辆图像的车体关键点的邻接矩阵,采用下述方式获得:
设置N*N的二维矩阵;其中,N为目标配置方案中所述车体关键点的个数,该二维矩阵中,以自然数顺序设置的行编号和列编号分别代表对应该编号的车体关键点;
对于遮挡情况为处于未遮挡状态的车体关键点,行编号和列编号共同标识的元素的值,代表该行编号和该列编号的车体关键点之间的连接关系;其中,对于存在连接关系的两个车体关键点,取值为1,否则为0;
对于遮挡情况为处于遮挡状态的车体关键点,在所述邻接矩阵中,对应的行和列的元素均设置为0。
5.根据权利要求2所述的方法,其特征在于,所述将所述邻接矩阵带入特征向量更新公式的步骤中,针对邻接矩阵进行如下处理:
将邻接矩阵加上单位矩阵,获得自环操作后邻接矩阵;
使用边权重矩阵乘以所述自环操作后邻接矩阵,获得边权重处理后邻接矩阵;将所述边权重处理后邻接矩阵带入特征向量更新公式,进行所述更新迭代处理;
其中,所述边权重矩阵中,每条边权重为该边顶点的直线像素距离。
6.根据权利要求2所述的方法,其特征在于,所述根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标车辆图像中车体关键点的状态分类,包括:
根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,获取所述每个车体关键点处于打开状态的第一概率,和所述每个车体关键点处于关闭状态的第二概率,所述第一概率与所述第二概率之和为1;
根据所述每个车体关键点的第一概率和第二概率,获得所述目标车辆图像中车体关键点的状态分类。
7.根据权利要求1所述的方法,其特征在于,所述根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果,包括:
如果所述车体的目标子区域的所有车体关键点中存在至少一个车体关键点的状态分类结果为打开状态,则所述目标子区域的状态识别结果为打开状态;
如果所述车体的目标子区域的所有车体关键点的状态分类结果均为关闭状态,则所述目标子区域的状态识别结果为关闭状态。
8.一种车辆局部区域的状态识别方法,其特征在于,包括:
对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息;
对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况;
根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类;
根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类,包括:
根据所述目标区域配置方案,获得所述目标局部区域的各个车体关键点之间的连接关系;
结合所述目标局部区域中车体关键点的遮挡情况以及所述车体关键点之间的连接关系,建立针对所述目标局部区域的车体关键点的邻接矩阵;
将所述邻接矩阵带入特征向量更新公式,以初始特征向量为基础,进行更新迭代处理,达到预定的处理目标后,获得针对所述目标局部区域的车体关键点的目标特征向量矩阵;
根据所述目标特征向量矩阵中每个车体关键点的目标特征向量,对每个车体关键点进行状态分类处理,获得所述目标局部区域中车体关键点的状态分类。
10.一种车辆状态识别装置,其特征在于,包括:
图像识别单元,用于对视频监测画面进行识别,获取其中的目标车辆图像的位置信息以及种类信息;
第一车体关键点识别单元,用于对所述目标车辆图像的车体关键点进行识别,获得所述目标车辆图像中车体关键点的位置信息以及遮挡情况;
第一车体关键点状态分类单元,用于根据目标车辆图像中所述车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标车辆所属种类的车体关键点的目标配置方案,获得所述车体关键点的状态分类;
子区域状态识别单元,用于根据各个所述车体关键点的状态分类结果,以及所述目标配置方案,确定所述目标车辆图像中车体的各个子区域的状态识别结果;
车辆状态识别单元,用于根据所述车体的各个子区域的状态识别结果,获得所述目标车辆的车辆状态识别结果。
11.一种车辆局部区域的状态识别装置,其特征在于,包括:
车辆局部区域识别单元,用于对目标车辆图像进行识别,获取其中的目标局部区域的位置信息以及类型信息;
第二车体关键点识别单元,用于对所述目标局部区域的车体关键点进行识别,获得所述目标车辆图像中车体的目标局部区域的车体关键点的位置信息以及遮挡情况;
第二车体关键点状态分类单元,用于根据所述目标局部区域的车体关键点的位置信息以及遮挡情况,以及预先设置的对应所述目标局部区域所属类型的车体关键点的目标区域配置方案,获得所述车体关键点的状态分类;
车辆局部区域状态识别单元,用于根据所述目标局部区域中各个所述车体关键点的状态分类结果,以及所述目标区域配置方案,确定所述目标车辆图像中目标局部区域的状态识别结果。
12.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器耦合;
所述存储器用于存储一条或多条计算机指令;
所述处理器用于执行所述一条或多条计算机指令,以实现如权利要求1-9任一项所述方法。
13.一种计算机可读存储介质,其上存储有一条或多条计算机指令,其特征在于,该指令被处理器执行以实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311458529.3A CN117710875A (zh) | 2023-11-02 | 2023-11-02 | 一种车辆状态识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311458529.3A CN117710875A (zh) | 2023-11-02 | 2023-11-02 | 一种车辆状态识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117710875A true CN117710875A (zh) | 2024-03-15 |
Family
ID=90155943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311458529.3A Pending CN117710875A (zh) | 2023-11-02 | 2023-11-02 | 一种车辆状态识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117710875A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118155143A (zh) * | 2024-05-11 | 2024-06-07 | 浙江深象智能科技有限公司 | 车辆监控方法、装置、***及设备 |
-
2023
- 2023-11-02 CN CN202311458529.3A patent/CN117710875A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118155143A (zh) * | 2024-05-11 | 2024-06-07 | 浙江深象智能科技有限公司 | 车辆监控方法、装置、***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
CN111738110A (zh) | 基于多尺度注意力机制的遥感图像车辆目标检测方法 | |
Sivaram et al. | DETECTION OF ACCURATE FACIAL DETECTION USING HYBRID DEEP CONVOLUTIONAL RECURRENT NEURAL NETWORK. | |
CN112116599B (zh) | 基于弱监督学习的痰涂片结核杆菌语义分割方法及*** | |
CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
CN113570029A (zh) | 获取神经网络模型的方法、图像处理方法及装置 | |
CN111310604A (zh) | 一种物体检测方法、装置以及存储介质 | |
CN110610143B (zh) | 多任务联合训练的人群计数网络方法、***、介质及终端 | |
CN111598182A (zh) | 训练神经网络及图像识别的方法、装置、设备及介质 | |
CN111767906B (zh) | 人脸检测模型训练方法、人脸检测方法、装置及电子设备 | |
CN110222572A (zh) | 跟踪方法、装置、电子设备及存储介质 | |
CN111292377B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN117710875A (zh) | 一种车辆状态识别方法及装置 | |
JP2010157118A (ja) | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム | |
CN113344000A (zh) | 证件翻拍识别方法、装置、计算机设备和存储介质 | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
CN111461181A (zh) | 一种车辆细粒度分类方法及装置 | |
CN116863194A (zh) | 一种足溃疡图像分类方法、***、设备及介质 | |
CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
CN111814562A (zh) | 车辆的识别方法、车辆识别模型的训练方法及相关装置 | |
CN111242176A (zh) | 计算机视觉任务的处理方法、装置及电子*** | |
CN111401143A (zh) | 一种行人跟踪***及方法 | |
CN110751670B (zh) | 一种基于融合的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |