CN109747638A - 一种车辆行驶意图识别方法及装置 - Google Patents
一种车辆行驶意图识别方法及装置 Download PDFInfo
- Publication number
- CN109747638A CN109747638A CN201811592933.9A CN201811592933A CN109747638A CN 109747638 A CN109747638 A CN 109747638A CN 201811592933 A CN201811592933 A CN 201811592933A CN 109747638 A CN109747638 A CN 109747638A
- Authority
- CN
- China
- Prior art keywords
- target vehicle
- vehicle
- target
- video image
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种车辆行驶意图识别方法及装置,该方法包括:在获取到待识别的目标视频图像后,可以从其中提取出目标车辆的位置、尺寸、以及关键点坐标,再根据提取出的目标车辆的位置和尺寸,预测出目标车辆的行驶轨迹,并根据目标车辆的关键点的坐标,预测出目标车辆的姿态和方向,进而,可以根据该行驶轨迹、姿态以及方向,识别出目标车辆的行驶意图。可见,本申请是根据提取出的目标车辆的位置、尺寸、以及关键点的坐标,先预测出其行驶轨迹、姿态和方向,再根据该行驶轨迹、姿态和方向,准确识别出目标车辆的行驶意图,增加了更多的识别依据,不再仅根据前方车辆的指示灯开关状态来识别前车行驶意图,使得识别的准确性更好,也扩大了识别范围。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种车辆行驶意图识别方法及装置。
背景技术
伴随着社会经济的不断高速发展,汽车产业也得到了飞速发展,交通安全问题已成为世界性的大问题。得益于主动安全技术飞速发展,汽车行业正在向辅助驾驶、自动驾驶方向发展,但要实现高级辅助驾驶,甚至自动驾驶,环境感知技术至关重要,这是因为车辆作为交通参与者的重要组成部分,不论是高级辅助驾驶的车辆还是自动驾驶车辆,不仅要评估周边车辆的位置和运动状态,更要及时识别出周围车辆的行驶意图,以便为评估当前车辆所在位置的安全性以及自动驾驶的决策提供依据。因此,有关车辆行驶意图的识别问题,已成为汽车安全研究的重要一环。
但是,目前现有的车辆行驶意图识别方法通常是根据前方车辆的指示灯(如尾灯)开关状态识别前车行驶意图,但这种识别方法识别的依据比较单一,往往会导致识别的准确率较低,因此,在现有技术中缺乏对车辆行驶意图识别进行准确识别的方式。
发明内容
本申请实施例的主要目的在于提供一种车辆行驶意图识别方法及装置,能够提高车辆行驶意图识别结果的准确性。
本申请实施例提供了一种车辆行驶意图识别方法,包括:
获取待识别的目标视频图像,所述目标视频图像包含目标车辆的行驶视频图像;
根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标;
根据所述目标车辆的位置和尺寸,预测所述目标车辆的行驶轨迹;
根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态和方向;
根据所述目标车辆的行驶轨迹、姿态以及方向,识别所述目标车辆的行驶意图。
可选的,所述根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标,包括:
从所述目标视频图像中,提取表征所述目标视频图像的视频图像信息的目标特征;
根据所述目标特征,预测所述目标车辆的位置、尺寸、以及关键点的坐标。
可选的,所述根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态,包括:
根据所述目标车辆的关键点的坐标,确定所述目标车辆的偏航角;
根据所述偏航角,预测所述目标车辆的姿态。
可选的,所述关键点包含所述目标车辆的车前灯中心点、所述目标车辆的车后灯中心点、所述车前灯中心点对应的所述目标车辆的下边界顶点、所述车后灯中心点对应的所述目标车辆的下边界顶点、所述目标车辆的车轮中心点、所述目标车辆的前车窗下边界顶点、所述目标车辆的后车窗下边界顶点、所述目标车辆的车顶边界的顶点。
可选的,所述根据所述目标车辆的行驶轨迹、姿态以及方向,识别目标车辆的行驶意图之后,所述方法还包括:
将所述目标车辆的行驶意图显示在人机交互设备上,以便用户及时获知所述目标车辆的行驶意图。
本申请实施例还提供了一种车辆行驶意图识别装置,包括:
视频图像获取单元,用于获取待识别的目标视频图像,所述目标视频图像包含目标车辆的行驶视频图像;
车辆信息提取单元,用于根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标;
行驶轨迹预测单元,用于根据所述目标车辆的位置和尺寸,预测所述目标车辆的行驶轨迹;
车辆姿态预测单元,用于根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态;
车辆方向预测单元,用于根据所述目标车辆的关键点的坐标,预测所述目标车辆的方向;
行驶意图识别单元,用于根据所述目标车辆的行驶轨迹、姿态以及方向,识别所述目标车辆的行驶意图。
可选的,所述车辆信息提取单元包括:
目标特征提取子单元,用于从所述目标视频图像中,提取表征所述目标视频图像的视频图像信息的目标特征;
车辆信息提取子单元,用于根据所述目标特征,预测所述目标车辆的位置、尺寸、以及关键点的坐标。
可选的,所述车辆姿态预测单元包括:
偏航角确定子单元,用于根据所述目标车辆的关键点的坐标,确定所述目标车辆的偏航角;
姿态预测子单元,用于根据所述偏航角,预测所述目标车辆的姿态。
可选的,所述关键点包含所述目标车辆的车前灯中心点、所述目标车辆的车后灯中心点、所述车前灯中心点对应的所述目标车辆的下边界顶点、所述车后灯中心点对应的所述目标车辆的下边界顶点、所述目标车辆的车轮中心点、所述目标车辆的前车窗下边界顶点、所述目标车辆的后车窗下边界顶点、所述目标车辆的车顶边界的顶点。
可选的,所述装置还包括:
行驶意图显示单元,用于将所述目标车辆的行驶意图显示在人机交互设备上,以便用户及时获知所述目标车辆的行驶意图。
本申请实施例提供的一种车辆行驶意图识别方法及装置,在获取到待识别的目标视频图像后,可以从待识别的目标视频图像中提取出目标车辆的位置、尺寸、以及关键点坐标,其中,目标视频图像指的是包含目标车辆的行驶视频图像,然后,根据提取出的目标车辆的位置和尺寸,预测出目标车辆的行驶轨迹,同时,根据目标车辆的关键点的坐标,预测出目标车辆的姿态和方向,进而,可以根据预测出的目标车辆的行驶轨迹、姿态以及方向,识别出目标车辆的行驶意图。可见,本申请实施例是根据从目标视频图像中提取出的目标车辆的位置、尺寸、以及关键点的坐标,先预测出目标车辆的行驶轨迹、姿态和方向,再根据该行驶轨迹、姿态和方向,准确识别出目标车辆的行驶意图,而不再仅根据前方车辆的指示灯开关状态来识别前车行驶意图,增加了更多的识别依据,识别效果更好,并且通过这种识别方式,不仅能够识别前方的车辆、还能够识别后方以及周围其他车辆的行驶意图,从而提升了车辆行驶意图识别的准确性,扩大了识别范围。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车辆行驶意图识别方法的流程示意图;
图2为本申请实施例提供的根据目标视频图像,提取目标车辆的位置、尺寸、以及关键点的坐标的流程示意图;
图3为本申请实施例提供的目标车辆的关键点的示意图;
图4为本申请实施例提供的目标车辆的行驶轨迹的示意图;
图5为本申请实施例提供的根据关键点建立目标车辆的3D框图的示意图;
图6为本申请实施例提供的根据目标车辆的关键点的坐标,预测目标车辆的姿态的流程示意图;
图7为本申请实施例提供的一种车辆行驶意图识别装置的组成示意图。
具体实施方式
在一些车辆行驶意图识别方法中,通常是基于前方车辆的指示灯(如尾灯)的闪动来进行车辆行驶意图的判断,但是在不同的路况或驾驶情况下,车辆的行驶意图往往是多样的,仅通过指示灯闪动这一单一依据来判断车辆行驶意图,很容易导致对车辆行驶意图识别的偏差,例如,以“右转弯”和“右转掉头”为例,若均通过右侧转向尾灯的闪动来识别,无法识别出车辆的形式意图是“右转弯”还是“右转掉头”。因此,这种识别方法识别的依据比较单一,往往会导致识别的准确率较低。
为解决上述缺陷,本申请实施例提供了一种车辆行驶意图识别方法,在获取到待识别的目标视频图像后,可以从待识别的目标视频图像中提取出目标车辆的位置、尺寸、以及关键点坐标,然后,再根据提取出的目标车辆的位置和尺寸,预测出目标车辆的行驶轨迹,同时,根据目标车辆的关键点的坐标,预测出目标车辆的姿态和方向,进而,可以根据预测出的目标车辆的行驶轨迹、姿态以及方向,识别出目标车辆的行驶意图。可见,本申请实施例是根据提取出的目标车辆的位置、尺寸、以及关键点的坐标,先预测出目标车辆的行驶轨迹、姿态和方向,再根据该行驶轨迹、姿态和方向,准确识别出目标车辆的行驶意图,识别的依据更加全面,且不再仅根据前方车辆的指示灯开关状态来识别前车行驶意图,识别效果更好,并且通过这种识别方式,不仅能够识别前方的车辆、还能够识别后方以及周围其他车辆的行驶意图,从而提升了车辆行驶意图识别的准确性,扩大了识别范围。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
第一实施例
参见图1,为本实施例提供的一种车辆行驶意图识别方法的流程示意图,该方法包括以下步骤:
S101:获取待识别的目标视频图像,其中,目标视频图像包含目标车辆的行驶视频图像。
在本实施例中,将采用本实施例实现行驶意图识别的任一车辆定义为目标车辆,进而可以将包含目标车辆的行驶视频图像定义为待识别的目标视频图像,并且,需要说明的是,本实施例不限制目标视频图像的获取方式,比如,目标视频图像可以通过安装在车顶的摄像头拍摄得到、或通过坐在车中的人员利用其它摄像设备(比如智能手机)拍摄得到等。
S102:根据目标视频图像,提取目标车辆的位置、尺寸、以及关键点的坐标。
在本实施例中,通过步骤S101获取到待识别的目标视频图像后,可以利用现有或未来出现的图像处理方法对其进行图像处理,以提取出目标视频图像中目标车辆的位置、尺寸(目标车辆的大小)、以及目标车辆的关键点的坐标。
其中,在本实施例的一种实现方式中,参见图2,本步骤S102“根据目标视频图像,提取目标车辆的位置、尺寸、以及关键点的坐标”的具体实现过程可以包括下述步骤S1021-S1022:
步骤S1021:从目标视频图像中,提取表征目标视频图像的视频图像信息的目标特征。
在本实现方式中,通过步骤S101获取到待识别的目标视频图像后,并不能直接用于识别目标车辆的行驶意图,而是需要从目标视频图像中,提取出表征目标视频图像的视频图像信息的目标特征,其中,目标特征的提取指的是将目标视频图像转换成一组具有明显物理的特征向量。
具体来讲,在目标特征的提取过程中,首先,可以将获取到的待识别的目标视频图像,作为输入数据,输入至全卷积神经网络(Full Convolution Neural Network,简称FCNN)中,以通过该网络的卷积层,提取出目标视频图像中每一帧视频图像对应的二维向量特征,作为目标特征,用以执行步骤S1022。
步骤S1022:根据目标特征,预测目标车辆的位置、尺寸、以及关键点的坐标。
在本实现方式中,通过步骤S1021提取到表征目标视频图像的视频图像信息的目标特征后,可以将该目标特征作为输入数据,输入至长短期记忆网络(long Short TermMemory,简称LSTM)中,通过该LSTM网络可以生成目标特征对应的前向隐层表征以及后向隐层表征进而可以将二者拼接成一个特征向量,该特征向量能够表征目标视频图像上下文信息,进而可以根据该特征向量,预测出目标车辆的位置、尺寸(目标车辆大小)以及关键点的坐标。
其中,在本实施例的一种实现方式中,本实施例中目标车辆的关键点指的是目标车辆的车前灯中心点、车后灯中心点、车前灯中心点对应的目标车辆的下边界顶点、车后灯中心点对应的目标车辆的下边界顶点、车轮中心点、前车窗下边界顶点、后车窗下边界顶点、以及车顶边界的顶点。
在本实现方式中,在获取到待识别的目标视频图像后,进一步可以基于深度学习从所述图像序列中识别出目标车辆的关键点坐标,具体来讲,参见图3,其示出了本申请实施例提供的目标车辆的关键点的示意图,如图3所示,目标车辆的关键点包括了目标车辆上20个位置的点,分别为目标车辆的车前灯中心点(A1、A2)、车后灯中心点(C1、C2)、车前灯中心点对应的目标车辆的下边界顶点(A3、A4)、车后灯中心点对应的目标车辆的下边界顶点(C3、C4)、车轮中心点(B1、B2、B3、B4)、前车窗下边界顶点(D3、D4)、后车窗下边界顶点(E3、E4)、以及车顶边界的顶点(D1、D2、E1、E2)。
需要说明的是,本实施例获取的关键点坐标指的是可见关键点的坐标,即可见关键点在目标视频图像中的位置以及所属目标车辆的位置。
S103:根据目标车辆的位置和尺寸,预测目标车辆的行驶轨迹。
在本实施例中,通过步骤S102提取目标车辆的位置、尺寸信息后,可以利用现有或未来出现的深度学习方法对其进行数据处理,以根据每一帧视频图像中车辆的位置信息以及目标车辆自身所占像素的大小,拟合出目标视频图像中目标车辆的行驶轨迹,如图4所示,具体来讲,假设目标车辆短时间内为匀速运动,则可以通过连接每一帧图像中矩形框(即目标车辆所在位置)的中心点,拟合出如图4所示的目标车辆形式轨迹示意图。从而实现根据目标车辆的位置和尺寸,预测出目标车辆的行驶轨迹。
S104:根据目标车辆的关键点的坐标,预测目标车辆的姿态和方向。
在本实施例中,通过步骤S102提取目标车辆的关键点的坐标后,可以利用现有或未来出现的预测算法对这些可见关键点在目标视频图像中的位置以及所属目标车辆的位置信息进行数据处理,以根据处理结果,预测出目标车辆的姿态和方向。
具体来讲,由于目标车辆为是刚性物体,具有严格的几何特征,例如车轮、车灯等部件对于目标车辆的相对位置是固定的。所以目标车辆的三维立体(3D)框可以通过目标车辆的部分可见关键点在目标视频图像中的位置以及所属目标车辆的位置,来实现对目标车辆的3D检测,其中,目标车辆的3D框形成过程,如图5所示。
参见图6,首先,可以根据关键点(B4、B3)和(A1、A3)以及经验值,进行平移操作,可以确定出3D框顶点P1;其次,可以根据关键点(A3、A4)和(A1、A3)以及顶点P1确定出3D框的顶点P2;接着,可以根据关键点(E2、D1)和(A1、A3)确定出3D框的顶点P3;进而,可以根据关键点(C2、C4)和(B4、B3)以及顶点P1确定出3D框的顶点P4。最后,可以根据确定出来的P1、P2、P3、P4这4个顶点信息,建立目标车辆的3D框,其中,该3D框的顶点是由相应关键点建立,且所有顶点具有对应关键点的相似属性(即对应关键点所属目标车辆的位置),即,顶点P1、P2、P3所在平面为目标车辆的前方,同理,顶点P4所在的平面为目标车辆的后方。从而根据以上信息可预测出目标车辆的方向,比如可以是向左前方45°行驶等。
此外,对于预测目标车辆的姿态的过程,一种可选的实现方式是,参见图6,本步骤S104中“根据目标车辆的关键点的坐标,预测目标车辆的姿态”的具体实现过程可以包括下述步骤S1041-S1042:
步骤S1041:根据目标车辆的关键点的坐标,确定目标车辆的偏航角。
在本实现方式中,根据经验值,假设目标车辆的下底面与地面是重合的,即图6中顶点P1、P2、P4所在平面方程与地面的方程重合,则可以根据P1、P2、P4坐在平面可得到目标车辆的偏航角。
步骤S1042:根据该偏航角,预测目标车辆的姿态。
通过步骤S1041确定出目标车辆的偏航角后,进一步可以根据该偏航角,预测出目标车辆的姿态,比如,目标车辆可以将向正前方行驶,或者是将向右前方行驶等。
S105:根据目标车辆的行驶轨迹、姿态以及方向,识别目标车辆的意图。
在本实施例中,通过步骤S103预测出目标车辆的行驶轨迹,以及通过步骤S104预测出目标车辆的姿态和方向后,进一步可以根据目标车辆的行驶轨迹、姿态以及方向,识别目标车辆的意图,比如,可以识别出目标车辆将从当前位置向前直行、或横穿马路、或超越其他车辆等。
进一步的,在本实施的一种可能的实现方式中,还可以将目标车辆的行驶意图显示在人机交互设备上,比如显示在显示器上,以便用户及时获知目标车辆的行驶意图,并根据目标车辆的行驶意图,对当前车辆做出相应的控制指令等。
需要说明的是,在上述预测过程中,在获取到目标车辆的行驶轨迹、姿态以及方向后,也可以将这些信息及时显示在显示器上,供用户随时了解目标车辆的行驶状态。
综上,本实施例提供的一种车辆行驶意图识别方法,在获取到待识别的目标视频图像后,可以从待识别的目标视频图像中提取出目标车辆的位置、尺寸、以及关键点坐标,其中,目标视频图像指的是包含目标车辆的行驶视频图像,然后,根据提取出的目标车辆的位置和尺寸,预测出目标车辆的行驶轨迹,同时,根据目标车辆的关键点的坐标,预测出目标车辆的姿态和方向,进而,可以根据预测出的目标车辆的行驶轨迹、姿态以及方向,识别出目标车辆的行驶意图。可见,本申请实施例是根据从目标视频图像中提取出的目标车辆的位置、尺寸、以及关键点的坐标,先预测出目标车辆的行驶轨迹、姿态和方向,再根据该行驶轨迹、姿态和方向,准确识别出目标车辆的行驶意图,而不再仅根据前方车辆的指示灯开关状态来识别前车行驶意图,增加了更多的识别依据,识别效果更好,并且通过这种识别方式,不仅能够识别前方的车辆、还能够识别后方以及周围其他车辆的行驶意图,从而提升了车辆行驶意图识别的准确性,扩大了识别范围。
第二实施例
本实施例将对一种车辆行驶意图识别装置进行介绍,相关内容请参见上述方法实施例。
参见图7,为本实施例提供的一种车辆行驶意图识别装置的组成示意图,该装置包括:
视频图像获取单元701,用于获取待识别的目标视频图像,所述目标视频图像包含目标车辆的行驶视频图像;
车辆信息提取单元702,用于根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标;
行驶轨迹预测单元703,用于根据所述目标车辆的位置和尺寸,预测所述目标车辆的行驶轨迹;
车辆姿态预测单元704,用于根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态;
车辆方向预测单元705,用于根据所述目标车辆的关键点的坐标,预测所述目标车辆的方向;
行驶意图识别单元706,用于根据所述目标车辆的行驶轨迹、姿态以及方向,识别所述目标车辆的行驶意图。
在本实施例的一种实现方式中,所述车辆信息提取单元702包括:
目标特征提取子单元,用于从所述目标视频图像中,提取表征所述目标视频图像的视频图像信息的目标特征;
车辆信息提取子单元,用于根据所述目标特征,预测所述目标车辆的位置、尺寸、以及关键点的坐标。
在本实施例的一种实现方式中,所述车辆姿态预测单元704包括:
偏航角确定子单元,用于根据所述目标车辆的关键点的坐标,确定所述目标车辆的偏航角;
姿态预测子单元,用于根据所述偏航角,预测所述目标车辆的姿态。
在本实施例的一种实现方式中,所述关键点包含所述目标车辆的车前灯中心点、所述目标车辆的车后灯中心点、所述车前灯中心点对应的所述目标车辆的下边界顶点、所述车后灯中心点对应的所述目标车辆的下边界顶点、所述目标车辆的车轮中心点、所述目标车辆的前车窗下边界顶点、所述目标车辆的后车窗下边界顶点、所述目标车辆的车顶边界的顶点。
在本实施例的一种实现方式中,所述装置还包括:
行驶意图显示单元,用于将所述目标车辆的行驶意图显示在人机交互设备上,以便用户及时获知所述目标车辆的行驶意图。
综上,本实施例提供的一种车辆行驶意图识别装置,在获取到待识别的目标视频图像后,可以从待识别的目标视频图像中提取出目标车辆的位置、尺寸、以及关键点坐标,其中,目标视频图像指的是包含目标车辆的行驶视频图像,然后,根据提取出的目标车辆的位置和尺寸,预测出目标车辆的行驶轨迹,同时,根据目标车辆的关键点的坐标,预测出目标车辆的姿态和方向,进而,可以根据预测出的目标车辆的行驶轨迹、姿态以及方向,识别出目标车辆的行驶意图。可见,本申请实施例是根据从目标视频图像中提取出的目标车辆的位置、尺寸、以及关键点的坐标,先预测出目标车辆的行驶轨迹、姿态和方向,再根据该行驶轨迹、姿态和方向,准确识别出目标车辆的行驶意图,而不再仅根据前方车辆的指示灯开关状态来识别前车行驶意图,增加了更多的识别依据,识别效果更好,并且通过这种识别方式,不仅能够识别前方的车辆、还能够识别后方以及周围其他车辆的行驶意图,从而提升了车辆行驶意图识别的准确性,扩大了识别范围。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如媒体网关等网络通信设备,等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种车辆行驶意图识别方法,其特征在于,包括:
获取待识别的目标视频图像,所述目标视频图像包含目标车辆的行驶视频图像;
根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标;
根据所述目标车辆的位置和尺寸,预测所述目标车辆的行驶轨迹;
根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态和方向;
根据所述目标车辆的行驶轨迹、姿态以及方向,识别所述目标车辆的行驶意图。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标,包括:
从所述目标视频图像中,提取表征所述目标视频图像的视频图像信息的目标特征;
根据所述目标特征,预测所述目标车辆的位置、尺寸、以及关键点的坐标。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态,包括:
根据所述目标车辆的关键点的坐标,确定所述目标车辆的偏航角;
根据所述偏航角,预测所述目标车辆的姿态。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述关键点包含所述目标车辆的车前灯中心点、所述目标车辆的车后灯中心点、所述车前灯中心点对应的所述目标车辆的下边界顶点、所述车后灯中心点对应的所述目标车辆的下边界顶点、所述目标车辆的车轮中心点、所述目标车辆的前车窗下边界顶点、所述目标车辆的后车窗下边界顶点、所述目标车辆的车顶边界的顶点。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标车辆的行驶轨迹、姿态以及方向,识别目标车辆的行驶意图之后,所述方法还包括:
将所述目标车辆的行驶意图显示在人机交互设备上,以便用户及时获知所述目标车辆的行驶意图。
6.一种车辆行驶意图识别装置,其特征在于,包括:
视频图像获取单元,用于获取待识别的目标视频图像,所述目标视频图像包含目标车辆的行驶视频图像;
车辆信息提取单元,用于根据所述目标视频图像,提取所述目标车辆的位置、尺寸、以及关键点的坐标;
行驶轨迹预测单元,用于根据所述目标车辆的位置和尺寸,预测所述目标车辆的行驶轨迹;
车辆姿态预测单元,用于根据所述目标车辆的关键点的坐标,预测所述目标车辆的姿态;
车辆方向预测单元,用于根据所述目标车辆的关键点的坐标,预测所述目标车辆的方向;
行驶意图识别单元,用于根据所述目标车辆的行驶轨迹、姿态以及方向,识别所述目标车辆的行驶意图。
7.根据权利要求6所述的装置,其特征在于,所述车辆信息提取单元包括:
目标特征提取子单元,用于从所述目标视频图像中,提取表征所述目标视频图像的视频图像信息的目标特征;
车辆信息提取子单元,用于根据所述目标特征,预测所述目标车辆的位置、尺寸、以及关键点的坐标。
8.根据权利要求6所述的装置,其特征在于,所述车辆姿态预测单元包括:
偏航角确定子单元,用于根据所述目标车辆的关键点的坐标,确定所述目标车辆的偏航角;
姿态预测子单元,用于根据所述偏航角,预测所述目标车辆的姿态。
9.根据权利要求6至8任一项所述的装置,其特征在于,所述关键点包含所述目标车辆的车前灯中心点、所述目标车辆的车后灯中心点、所述车前灯中心点对应的所述目标车辆的下边界顶点、所述车后灯中心点对应的所述目标车辆的下边界顶点、所述目标车辆的车轮中心点、所述目标车辆的前车窗下边界顶点、所述目标车辆的后车窗下边界顶点、所述目标车辆的车顶边界的顶点。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
行驶意图显示单元,用于将所述目标车辆的行驶意图显示在人机交互设备上,以便用户及时获知所述目标车辆的行驶意图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811592933.9A CN109747638B (zh) | 2018-12-25 | 2018-12-25 | 一种车辆行驶意图识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811592933.9A CN109747638B (zh) | 2018-12-25 | 2018-12-25 | 一种车辆行驶意图识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109747638A true CN109747638A (zh) | 2019-05-14 |
CN109747638B CN109747638B (zh) | 2020-06-16 |
Family
ID=66403280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811592933.9A Active CN109747638B (zh) | 2018-12-25 | 2018-12-25 | 一种车辆行驶意图识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109747638B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428603A (zh) * | 2019-07-26 | 2019-11-08 | 北京主线科技有限公司 | 集装箱卡车编队中跟随车行驶控制方法及装置 |
CN110796102A (zh) * | 2019-10-31 | 2020-02-14 | 重庆长安汽车股份有限公司 | 一种车辆目标感知***及方法 |
CN110834644A (zh) * | 2019-10-30 | 2020-02-25 | 中国第一汽车股份有限公司 | 一种车辆控制方法、装置、待控制车辆及存储介质 |
CN111661061A (zh) * | 2020-06-18 | 2020-09-15 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆行驶意图识别方法及装置 |
CN111862586A (zh) * | 2019-12-11 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 道路区域的异常路段确定方法、装置及存储介质 |
CN112115930A (zh) * | 2020-11-23 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 位姿信息的确定方法和装置 |
WO2020252615A1 (zh) * | 2019-06-17 | 2020-12-24 | 华为技术有限公司 | 一种车辆姿态识别方法及相关设备 |
CN112184605A (zh) * | 2020-09-24 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 一种车辆驾驶视野增强方法、设备及*** |
CN112200834A (zh) * | 2020-09-18 | 2021-01-08 | 广东芯盾微电子科技有限公司 | 一种基于车辆关键点轨迹的倒车判断方法、***及介质 |
CN112446902A (zh) * | 2020-11-24 | 2021-03-05 | 浙江大华技术股份有限公司 | 目标车辆异常的确定方法及装置、存储介质、电子装置 |
CN112785871A (zh) * | 2020-12-31 | 2021-05-11 | 珠海大横琴科技发展有限公司 | 一种停车引导方法和装置 |
CN112926476A (zh) * | 2021-03-08 | 2021-06-08 | 京东鲲鹏(江苏)科技有限公司 | 车辆识别方法、装置及存储介质 |
CN113335276A (zh) * | 2021-07-20 | 2021-09-03 | 中国第一汽车股份有限公司 | 障碍物的轨迹预测方法、装置、电子设备及存储介质 |
CN113643542A (zh) * | 2021-10-13 | 2021-11-12 | 北京理工大学 | 基于集成学习的多车交互环境下车辆轨迹预测方法及*** |
CN114078326A (zh) * | 2020-08-19 | 2022-02-22 | 北京万集科技股份有限公司 | 碰撞检测方法、装置、视觉传感器和存储介质 |
WO2022246767A1 (zh) * | 2021-05-27 | 2022-12-01 | 华为技术有限公司 | 一种目标车辆转向意图的确定方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339234A (ja) * | 2004-05-27 | 2005-12-08 | Calsonic Kansei Corp | 前方車両監視装置 |
CN106985819A (zh) * | 2017-03-31 | 2017-07-28 | 北京汽车集团有限公司 | 车辆行驶意图的判断方法和装置 |
CN108357418A (zh) * | 2018-01-26 | 2018-08-03 | 河北科技大学 | 一种基于尾灯识别的前车驾驶意图分析方法 |
CN108437986A (zh) * | 2017-02-16 | 2018-08-24 | 上海汽车集团股份有限公司 | 车辆驾驶辅助***及辅助方法 |
CN108932462A (zh) * | 2017-05-27 | 2018-12-04 | 华为技术有限公司 | 驾驶意图确定方法及装置 |
-
2018
- 2018-12-25 CN CN201811592933.9A patent/CN109747638B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339234A (ja) * | 2004-05-27 | 2005-12-08 | Calsonic Kansei Corp | 前方車両監視装置 |
CN108437986A (zh) * | 2017-02-16 | 2018-08-24 | 上海汽车集团股份有限公司 | 车辆驾驶辅助***及辅助方法 |
CN106985819A (zh) * | 2017-03-31 | 2017-07-28 | 北京汽车集团有限公司 | 车辆行驶意图的判断方法和装置 |
CN108932462A (zh) * | 2017-05-27 | 2018-12-04 | 华为技术有限公司 | 驾驶意图确定方法及装置 |
CN108357418A (zh) * | 2018-01-26 | 2018-08-03 | 河北科技大学 | 一种基于尾灯识别的前车驾驶意图分析方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020252615A1 (zh) * | 2019-06-17 | 2020-12-24 | 华为技术有限公司 | 一种车辆姿态识别方法及相关设备 |
CN110428603B (zh) * | 2019-07-26 | 2021-04-23 | 北京主线科技有限公司 | 集装箱卡车编队中跟随车行驶控制方法及装置 |
CN110428603A (zh) * | 2019-07-26 | 2019-11-08 | 北京主线科技有限公司 | 集装箱卡车编队中跟随车行驶控制方法及装置 |
CN110834644A (zh) * | 2019-10-30 | 2020-02-25 | 中国第一汽车股份有限公司 | 一种车辆控制方法、装置、待控制车辆及存储介质 |
CN110796102A (zh) * | 2019-10-31 | 2020-02-14 | 重庆长安汽车股份有限公司 | 一种车辆目标感知***及方法 |
CN111862586A (zh) * | 2019-12-11 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 道路区域的异常路段确定方法、装置及存储介质 |
CN111661061A (zh) * | 2020-06-18 | 2020-09-15 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆行驶意图识别方法及装置 |
CN111661061B (zh) * | 2020-06-18 | 2022-02-11 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆行驶意图识别方法及装置 |
CN114078326A (zh) * | 2020-08-19 | 2022-02-22 | 北京万集科技股份有限公司 | 碰撞检测方法、装置、视觉传感器和存储介质 |
CN112200834A (zh) * | 2020-09-18 | 2021-01-08 | 广东芯盾微电子科技有限公司 | 一种基于车辆关键点轨迹的倒车判断方法、***及介质 |
CN112184605A (zh) * | 2020-09-24 | 2021-01-05 | 华人运通(上海)自动驾驶科技有限公司 | 一种车辆驾驶视野增强方法、设备及*** |
CN112115930A (zh) * | 2020-11-23 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 位姿信息的确定方法和装置 |
CN112446902A (zh) * | 2020-11-24 | 2021-03-05 | 浙江大华技术股份有限公司 | 目标车辆异常的确定方法及装置、存储介质、电子装置 |
CN112785871A (zh) * | 2020-12-31 | 2021-05-11 | 珠海大横琴科技发展有限公司 | 一种停车引导方法和装置 |
CN112926476A (zh) * | 2021-03-08 | 2021-06-08 | 京东鲲鹏(江苏)科技有限公司 | 车辆识别方法、装置及存储介质 |
WO2022246767A1 (zh) * | 2021-05-27 | 2022-12-01 | 华为技术有限公司 | 一种目标车辆转向意图的确定方法及装置 |
CN113335276A (zh) * | 2021-07-20 | 2021-09-03 | 中国第一汽车股份有限公司 | 障碍物的轨迹预测方法、装置、电子设备及存储介质 |
CN113643542A (zh) * | 2021-10-13 | 2021-11-12 | 北京理工大学 | 基于集成学习的多车交互环境下车辆轨迹预测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109747638B (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109747638A (zh) | 一种车辆行驶意图识别方法及装置 | |
US11967109B2 (en) | Vehicle localization using cameras | |
KR102629651B1 (ko) | 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출 | |
CN106980813B (zh) | 机器学习的注视生成 | |
Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
Ghanem et al. | Lane detection under artificial colored light in tunnels and on highways: an IoT-based framework for smart city infrastructure | |
WO2019214313A1 (zh) | 一种车辆定损的交互处理方法、装置、处理设备及客户端 | |
Kaur et al. | Lane detection techniques: A review | |
Kuo et al. | Vision-based vehicle detection for a driver assistance system | |
Pang et al. | A method for vehicle count in the presence of multiple-vehicle occlusions in traffic images | |
CN104318206B (zh) | 一种障碍物检测方法和装置 | |
CN104517111A (zh) | 车道线检测方法、***、车道偏离预警方法及*** | |
Mu et al. | Multiscale edge fusion for vehicle detection based on difference of Gaussian | |
Manz et al. | A hybrid estimation approach for autonomous dirt road following using multiple clothoid segments | |
US20200285913A1 (en) | Method for training and using a neural network to detect ego part position | |
CN111753739B (zh) | 物体检测方法、装置、设备以及存储介质 | |
CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
Xia et al. | Vehicles overtaking detection using RGB-D data | |
CN115187941A (zh) | 目标检测定位方法、***、设备及存储介质 | |
Bottazzi et al. | A vision-based lane detection system combining appearance segmentation and tracking of salient points | |
Heidarizadeh | Preprocessing Methods of Lane Detection and Tracking for Autonomous Driving | |
US20130202152A1 (en) | Selecting Visible Regions in Nighttime Images for Performing Clear Path Detection | |
Anil et al. | Vehicle Counting Based on Convolution Neural Network | |
Lam et al. | Vehicle-component identification based on multiscale textural couriers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |