CN104952254A - 车辆识别方法、装置和车辆 - Google Patents
车辆识别方法、装置和车辆 Download PDFInfo
- Publication number
- CN104952254A CN104952254A CN201410125721.5A CN201410125721A CN104952254A CN 104952254 A CN104952254 A CN 104952254A CN 201410125721 A CN201410125721 A CN 201410125721A CN 104952254 A CN104952254 A CN 104952254A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- opponent
- distance
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种车辆识别方法、装置和车辆。其中，所述方法包括：获取第一图像和第二图像，其中，第一图像为彩色图像或亮度图像，第二图像为深度图像；根据第一图像获取公路车道线；根据第一图像和第二图像之间的交织映射关系将公路车道线映射至第二图像中以在第二图像中生成车辆识别范围；以及根据车辆识别范围对车辆进行识别。本发明实施例的方法，可以快速地、高精度地识别对方车俩，并基于识别的对方车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
Description
技术领域
本发明涉及车辆技术领域，特别涉及一种车辆识别方法、装置和车辆。
背景技术
在现代交通中，高速公路交通由于速度快、线路多、客流量大而成为不可或缺的一种交通方式。然而，正是由于高速公路交通以上的特点，高速公路交通事故发生频率居高不下，并且人员伤亡、财产损失往往也很严重。因此，用于车辆行驶安全的车辆识别技术不断涌现，包括毫米波雷达、激光雷达技术。
但是，毫米波雷达和激光雷达的生产成本一直未能有效降低，在乘用车领域中成为豪华车的专属产品。因此，相关技术中公开了利用单个普通的低成本摄像机或红外摄像机对本车前方或后方的车辆进行图像的成像，并利用模式识别技术对图像中的车辆和车辆宽度进行识别。但是，利用普通可见光的摄像机或近红外光的摄像机在白天的成像图像进行车辆的模式识别需经过大量复杂和长时间的计算，往往不能满足车辆识别的快速反应需求。而远红外光摄像机不但昂贵，在高气温的时段和地区也往往无法使用。
此外，为了提高车辆识别精度，相关技术中还公开了利用两种摄像机或两个同样摄像机的技术方案。但是，这种技术方案仍然不能绕开模式识别计算复杂的问题，而且两个摄像机光轴不重合将导致出现比较大的识别盲区，增加了两个摄像机之间机械校正工序。
另外，为了减少用于识别物体的计算量和减少识别的盲区，相关技术中公开了一种物体检测***，该物体检测***包含能够直接测距的TOF(Time-Of-Flight，飞行时间)传感器和用于拍摄被检测物体的亮度图像的图像传感器，其中TOF传感器和图像传感器在同一个芯片封装内形成交错排列，使得两种传感器可以使用同一组光学镜片(Lens)。相关技术中还公开了一种物体检测方法，当该物体检测***中的TOF传感器检测到本车与物体的距离小于警告距离时，即刻在图像传感器拍摄的用于显示器显示的图像中改变该被检测物体的成像的颜色，并发出警告声音或发出振动警告。但是，当本车在行驶过程中，本车周围的物体仅依靠检测距离发出警告将会造成驾驶员的困扰和烦恼，例如遇到本车的同向相邻车道的超车车辆、本车的对面车道的相会车辆、车道边上的护栏等常见情况时将发出不必要的警告。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种车辆识别方法，该方法可以快速地、高精度地识别对方车俩，并基于识别的对方车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
本发明的第二个目的在于提出一种车辆识别装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出另一种车辆。
为达到上述目的，本发明第一方面实施例的车辆识别方法，包括：获取第一图像和第二图像，其中，所述第一图像为彩色图像或亮度图像，所述第二图像为深度图像；根据所述第一图像获取公路车道线；根据所述第一图像和第二图像之间的交织映射关系将所述公路车道线映射至所述第二图像中以在所述第二图像中生成所述车辆识别范围；以及根据所述车辆识别范围对车辆进行识别。
根据本发明实施例的车辆识别方法，具有以下有益效果：（1）因为利用的深度图像和彩色图像的成像元器件为同一封装芯片、可以使用同一组光学镜片，相比深度图像和彩色图像的成像元器件分开封装、使用不同一组光学镜片的情况减小了识别盲区，省略了两种分开封装之间的机械校正工序。并且根据半导体工业的摩尔定律，本发明利用的CMOS的TOF传感器和图像传感器交织阵列芯片在有限时期内将具备足够低的生产成本；（2）即使由于白天、夜晚自然光照变化对彩色图像或亮度图像发生剧烈变化而不利于车辆识别，因为利用了深度图像的成像使得自然光照对车辆识别影响小，不需使用复杂的计算量大的模式识别方法，车辆的识别计算相比利用彩色图像或亮度图像可以简单快速并且精度更高、可以更快地生成警告信息、可使用成本更低的运算芯片完成计算；（3）因为深度图像和彩色图像几乎同时拍摄，使得利用彩色图像识别的车辆识别范围和利用深度图像识别的车辆之间完成计算的时间误差很小，保证了识别准确度；（4）由于利用了彩色图像或亮度图像识别车道线，限定了车辆的识别范围，排除了识别范围以外的车辆或物体的识别干扰，可以使得生成的警告信息准确而必要，不会生成多余的警告信息干扰驾驶员的正常行驶；（5）可以快速可靠、以更高精度识别车辆，并基于识别的车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
为达到上述目的，本发明第二方面实施例的车辆识别装置，包括：图像获取模块，用于获取第一图像和第二图像，其中，所述第一图像为彩色图像或亮度图像，所述第二图像为深度图像；车道线获取模块，用于根据所述第一图像获取公路车道线；识别范围生成模块，用于根据所述第一图像和第二图像之间的交织映射关系将所述公路车道线映射至所述第二图像中以在所述第二图像中生成所述车辆识别范围；以及识别模块，用于根据所述车辆识别范围对车辆进行识别。
根据本发明实施例的车辆识别装置，具有以下有益效果：（1）因为利用的深度图像和彩色图像的成像元器件为同一封装芯片、可以使用同一组光学镜片，相比深度图像和彩色图像的成像元器件分开封装、使用不同一组光学镜片的情况减小了识别盲区，省略了两种分开封装之间的机械校正工序。并且根据半导体工业的摩尔定律，本发明利用的CMOS的TOF传感器和图像传感器交织阵列芯片在有限时期内将具备足够低的生产成本；（2）即使由于白天、夜晚自然光照变化对彩色图像或亮度图像发生剧烈变化而不利于车辆识别，因为利用了深度图像的成像使得自然光照对车辆识别影响小，不需使用复杂的计算量大的模式识别方法，车辆的识别计算相比利用彩色图像或亮度图像可以简单快速并且精度更高、可以更快地生成警告信息、可使用成本更低的运算芯片完成计算；（3）因为深度图像和彩色图像几乎同时拍摄，使得利用彩色图像识别的车辆识别范围和利用深度图像识别的车辆之间完成计算的时间误差很小，保证了识别准确度；（4）由于利用了彩色图像或亮度图像识别车道线，限定了车辆的识别范围，排除了识别范围以外的车辆或物体的识别干扰，可以使得生成的警告信息准确而必要，不会生成多余的警告信息干扰驾驶员的正常行驶；（5）可以快速可靠、以更高精度识别车辆，并基于识别的车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
为达到上述目的，本发明第三方面实施例的车辆，包括本发明第二方面实施例的车辆识别装置。
根据本发明实施例的车辆，由于具有了车辆识别装置，在行驶时可以快速地、高精度地识别对方车俩，并基于识别的对方车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
为达到上述目的，本发明第四方面实施例的车辆，包括：具有TOF传感器和图像传感器交织阵列芯片的摄像头。
根据本发明实施例的车辆，由于具有TOF传感器和图像传感器交织阵列芯片的摄像头，在行驶时，可以几乎同时拍摄对方车辆的彩色图像/亮度图像以及深度图像。
附图说明
图1是根据本发明一个实施例的车辆识别方法的流程图；
图2是国际会议文献中公开的CMOS的TOF传感器和图像传感器交织阵列芯片的像素构成示意图；
图3是国际会议文献中公开的CMOS的TOF传感器和图像传感器交织阵列芯片的电子布线示意图；
图4是根据本发明一个实施例的摄像头安装在车辆上的位置俯视示意图；
图5是根据本发明一个实施例的根据第一图像获取公路车道线的流程图；
图6是根据本发明一个实施例的用于查找亮度阈值的关于量化亮度概率统计分布的直方图的示意图；
图7是根据本发明一个实施例的创建的突出车道线的二值图像MB0的示意图；
图8是根据本发明一个实施例的二值图像MB1的示意图；
图9是根据本发明一个实施例的二值图像MB2的示意图；
图10是根据本发明一个实施例的二值图像MB3（公路车道线）的示意图；
图11是根据本发明一个实施例的车辆识别范围的误差示意图；
图12是根据本发明一个实施例的线段的合并过程示意图；
图13是根据本发明一个实施例的线段的合并过程示意图；
图14是根据本发明一个实施例的线段的合并过程示意图；
图15是根据本发明一个实施例的根据车辆识别范围对车辆进行识别的流程图；
图16是根据本发明一个实施例的根据第二图像和车辆识别范围识别对方车辆的流程图；
图17是根据本发明一个实施例的拍摄时刻T1对应的深度图像A1；
图18是根据本发明一个实施例的拍摄时刻T2对应的深度图像A2；
图19是根据本发明一个实施例的突出移动对象的时间微分深度图像；
图20是根据本发明一个实施例的对方车辆的时间微分深度图像；
图21是根据本发明一个实施例的在拍摄时刻T1的深度图像视图A1内查找对方车辆的边缘的示意图；
图22是根据本发明一个实施例的在拍摄时刻T2的深度图像视图A2内查找对方车辆的边缘的示意图；
图23是根据本发明一个实施例的车辆识别装置的结构示意图；
图24是根据本发明一个实施例的车道线获取模块200的结构示意图；
图25是根据本发明一个实施例的识别模块400的结构示意图；
图26是根据本发明一个实施例的识别模块400的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述根据本发明实施例的车辆识别方法、装置和车辆。
图1是根据本发明一个实施例的车辆识别方法的流程图。如图1所示，车辆识别方法包括以下步骤：
S101，获取第一图像和第二图像，其中，第一图像为彩色图像或亮度图像，第二图像为深度图像。
在本发明的实施例中，第一图像和第二图像通过具有TOF传感器和图像传感器交织阵列芯片的摄像头获取。
具体地，下面对TOF传感器和图像传感器交织阵列芯片进行简单的介绍。
韩国三星电子公司开发出了可同时获得深度图像和普通RGB彩色图像的CMOS传感器，用一个CMOS传感器同时获得这两种图像属当时全球首次，该公司于2012年2月22日在美国“ISSCC2012”会议上对该CMOS传感器进行了论文发表。该种类型的CMOS传感器即属于CMOS的TOF传感器和图像传感器交织阵列芯片的范畴。如图2显示了韩国三星电子公司开发的该CMOS传感器的构成，其中每个像素单元包含1个Z像素(TOF传感器，用于产生深度图像)和8个RGB像素(图像传感器，用于产生RGB彩色图像)，即1个Z像素对应2个R像素、4个G像素和2个B像素。如图3显示了该CMOS传感器的电子布线，在使用同一组光学镜片时，该CMOS传感器能够几乎同时拍摄一幅深度图像(其水平解析度为480，垂直解析度为360)和一幅RGB彩色图像(其水平解析度为1920，垂直解析度为720)。
应该理解的是，所拍摄的一幅图像实际为给定行/列长度(或水平、垂直的解析度)、给定数值变化范围和给定数值排列方式的一个数值矩阵。
因此，CMOS的TOF传感器和图像传感器交织阵列芯片一旦确定，Z像素和RGB(或YUV亮度、色差等)像素的比例和排列关系即可确定，其拍摄的该彩色图像(或亮度图像)与深度图像之间的交织映射关系也就确定。
在本发明的实施例中，如图4所示，具有CMOS的TOF传感器和图像传感器交织阵列芯片的摄像头C1(由图中带横纹的小方框示意)通常安装在本车辆Car1(由图中白色大方框示意)的车身中线上。摄像头C1可以安装在Car1车头并向车头前方成像，也可以安装在Car1车尾并向车尾后方成像，还可以在Car1的车头和车尾各安装一个摄像头C1同时向车头前方和车尾后方成像。在此，不对摄像头C1的安装位置和成像方向进行限制。即本发明的车辆识别的方法对不同的安装位置和成像方向都是适用的，因此下文并不做区分并且只说明安装一个摄像头C1的情况。
S102，根据第一图像获取公路车道线。
具体地，根据摄像头拍摄到的彩色图像或亮度图像来获取公路车道线。
在本发明的一个实施例中，如图5所示，根据第一图像获取公路车道线具体包括：
S1021，根据第一图像生成灰度图像，并根据灰度图像生成亮度阈值。
具体地，人们常见的彩色图像可以使用多种颜色制式在显示设备实现彩色显示，例如RGB(红、绿、蓝三原色)制式、YUV(Y表示亮度、U\V表示色差)制式等。因此，如果所拍摄的彩色图像采用YUV制式，则可以直接抽取Y信号来创建关于亮度的灰度图像；如果所拍摄的彩色图像采用RGB制式(或经过gamma校准的R’G’B’)，则由公式Y=0.299R’+0.587G’+0.114B’来创建关于亮度的灰度图像。
进一步地，由于车道线的亮度与公路路面的亮度存在明显差异（车道线的亮度较高），因此可以通过查找得到某些亮度阈值，亮度阈值可以利用“直方图统计--双峰”算法来查找得到；还可以将灰度图像分成多个子图像并对每个子图像执行“直方图统计--双峰”算法来查找得到多个亮度阈值，以应对公路路面或车道线亮度变化的情况。
更具体地，如图6所示，假设灰度图像中像素的量化亮度变化范围为0到255，直方图就统计了灰度图像或其子图像的所有像素关于量化亮度变化的分布概率(或统计数)，其中，亮度较低的包含公路路面的若干像素集中分布在一个概率分布峰，而亮度较高的包含车道线的若干像素集中分布在另一个概率分布峰，概率分布“双峰”之间的谷底处的量化亮度即亮度阈值，例如，如图6所示，亮度阈值为170。因此，只要在直方图中沿着量化亮度轴分别从两头各查找一个峰值及其位置，再从两个峰值位置之间查找一个谷底值及其位置，该谷底位置就是亮度阈值。
S1022，根据灰度图像和亮度阈值创建二值图像。
具体地，在灰度图像中，将亮度高于亮度阈值的包含车道线的灰度图像像素值设置为1，将亮度低于亮度阈值的包含公路路面的其他的灰度图像像素值设置为0，从而创建了突出车道线的二值图像MB0，如图7所示。
S1023，根据二值图像识别初始公路车道线，并根据初始公路车道线获取公路车道线。
在本发明的一个实施例中，根据初始公路车道线获取公路车道线包括：对初始公路车道线进行筛选以获取两条直线段，并对两条直线段进行延长或合并，以获取公路车道线。
具体地，由于接近本车辆Car1的车道线总是接近于直的，因此可以利用Hough直线检测算法(Hough变换)在二值图像MB0中识别接近本车辆Car1的车道线。通常运用Hough直线检测算法将检测到较多像素值为1的直线段，如图7所示的直线段中，除了车道线还可能包含护栏、减速带等。因此需要从检测到的多个直线段中挑选出具有较长长度并且与水平线成较大锐角的N条直线段，如图8所示为经挑选后的6条直线段(直线段如粗实线所示，考虑图中右半边图像的直线段与水平线所成角的余角为锐角，水平线和锐角如虚线所示)，抛弃其他直线段，从而创建了二值图像MB1。又由于最接近本车辆Car1的车道线通常有左右2条，并且该左右2条车道线段与水平线所形成的锐角在较长长度的N条直线段中具有比较稳定的锐角度变化范围，因此该左右2条车道线段能够被从上述N条直线段中挑选出来，从而创建了二值图像MB2，如图9所示。
更具体地，将挑选得到的左右2条车道直线段（即图8中所示的2条车道直线段）在灰度图像坐标系中延长即可创建车道线原始坐标集合，该车道线原始坐标集合包含该延长的左右2条车道直线段经过灰度图像的各个像素的坐标集合，从而创建了二值图像MB3，如图10所示。图10中所示即为公路车道线的示意图。
此外，当距离本车辆Car1较远处的车道线是弯道时，如果按照上述方法将挑选得到的左右2条车道直线段延长以形成公路车道线，将与实际情况存在较大的误差。例如，如图11所示，粗的实线段(标号为1、2)为Hough直线检测算法识别的车道线，细的虚线段(标号为3、4)为经挑选的左右2条车道直线段的延长线，实线段5以及虚线段6为实际中的公路车道线，那么如果后续按照线段1、2、3和4组成的车道线生成车辆识别范围，则将产生较大的误差，即线段3和线段5之间区域的为错误的车辆识别范围，而线段4和线段6之间的区域为遗漏的车辆识别范围。为此，在存在弯道的情况下，不对该左右2条车道直线段（即线段1和线段2）进行延长，而是在该左右2条车道直线段的上端附近查找直线段，并进行线段的合并；在合并后的线段的上端继续查找、合并直线段，直到合并的线段的长度达到设定的限值。其中，线段的合并过程如图12、13、14所示。完成合并的左右2条车道线段经过灰度图像的各个像素的坐标的集合即车道线原始坐标集合。图14所示，即为在存在弯道的情况下获取到的公路车道线的示意图。
S103，根据第一图像和第二图像之间的交织映射关系将公路车道线映射至第二图像中以在第二图像中生成车辆识别范围。
具体地，由于车道线紧贴公路路面，厚度小，在深度图像中车道线与公路路面有非常接近的深度变化(不是亮度变化)，难以在深度图像中将车道线和公路路面区分开来，因此，可以根据彩色图像(或亮度图像、灰度图像)与深度图像之间的交织映射关系将步骤S102中获得的公路车道线映射到深度图像中以得到车辆识别范围。
更具体地，例如，以最简单的等比例交织映射关系为例，可设定深度图像中每一行Z像素对应步骤S1021中灰度图像的N行Y像素(灰度图像的垂直解析度为深度图像的N倍)，并且每一列Z像素对应步骤S1021中灰度图像的M列Y像素(灰度图像的水平解析度为深度图像的M倍)。进一步地，根据上述交织映射关系的比例设定，对于车道线原始坐标集合中包含的每个坐标(包含原始行坐标和原始列坐标)，将其原始行坐标除以N后取整得到映射的行坐标，其原始列坐标除以M后取整得到映射的列坐标。根据映射的行坐标和映射的列坐标可以创建关于深度图像的车道线映射坐标集合（即车辆识别范围）。由此，最接近本车辆Car1的左右2条车道线就从彩色图像(或亮度图像、灰度图像)映射到了深度图像，映射的左右2条车道线之间的深度图像部分像素区域即为车辆识别范围。
S104，根据车辆识别范围对车辆进行识别。
具体地，当本车辆Car1以外的对方车辆出现在彩色图像(或亮度图像)与深度图像中的时候，通常对方车辆的背面或正面距离本车辆Car1最近并且与公路路面(或其他更远的事物)形成强烈的亮度和深度差异(对方车辆的背面或正面的内部各部分具有几乎同样深度，却明显高出路面)，而深度图像还直接包含了对方车辆距离信息。因此，可以根据车辆识别范围对车辆进行识别。
在本发明的一个实施例中，如图15所示，根据车辆识别范围对车辆进行识别进一步包括：
S1041，根据第二图像和车辆识别范围识别对方车辆。
在本发明的一个实施例中，如图16所示，根据第二图像和车辆识别范围识别对方车辆具体包括：
S201，获取两个不同时刻拍摄的两幅第二图像，并根据两幅第二图像创建突出移动对象的时间微分深度图像。
具体地，通常本车辆Car1与对方车辆的距离总是变化的，在深度图像中即表现为对方车辆的深度像素值或对方车辆在深度图像坐标系的位置随时间发生变化。因此，可以利用关于深度图像的时间微分算法来识别对方车辆。例如，拍摄时刻分别为T1、T2(T1早于T2)的两幅深度图像A1、A2(分别如图17、18所示，图中两条细的虚线之间为车辆识别范围，为说明简便，示意图不绘出车辆以外的事物)，将A1中每个像素a1的深度值与A2中每个像素a2的深度值相减并取绝对值(其中a1和a2具有同样的深度图像坐标)，从而创建了突出移动对象的时间微分深度图像MC(如图19所示)。
S202，根据突出移动对象的时间微分深度图像获取车辆识别范围内的对方车辆的时间微分深度图像。
具体地，将A1或A2的车辆识别范围应用到突出移动对象的时间微分深度图像MC中，将MC中车辆识别范围以外的像素值设置为0，从而创建了车辆识别范围内的对方车辆的时间微分深度图像MD(如图20所示)。在图20中，以MD中填充网格的多边形图框突出表示上述A1、A2中对方车辆包含的深度像素的深度值的相减值。
S203，对对方车辆的时间微分深度图像沿行方向、列方向进行投影，以在对方车辆的时间微分深度图像中获取对方车辆的四个边缘的行序号、列序号。
具体地，将S202中的填充网格的多边形图框在MD的水平和垂直方向进行投影操作，容易查找得到该填充网格的多边形图框的上、下、左、右四边缘的行序号和列序号，即RowHigh、RowLow、ColLeft、ColRight，如图20所示。
S204，根据四个边缘的行序号、列序号，分别在两幅第二图像中获取对应的对方车辆的四个边缘的行序号、列序号。
具体地，假定深度图像的成像配置使得越远的事物的深度像素的值越大，将RowHigh、RowLow、ColLeft、ColRight应用到上述A1、A2中，如图21、22所示(为了方便，图中只绘出对方车辆)。从ColLeft到ColRight之间的范围内，由RowHigh向下查找对方车辆的上边缘，上边缘的特征是该上边缘之上的属于路面(或其他更远的事物)的深度像素的值明显大于该上边缘之下的属于对方车辆的深度像素的值。于是，在A1中RowHigh处查找到了对方车辆的上边缘，而在A2中RowHigh处未查找到对方车辆的上边缘，得RowTop1=RowHigh；由于深度图像的成像也符合透视原理，同一事物离摄像机越远则具有图像越靠上的行序号，因此对方车辆在T1时刻的距离比在T2时刻的距离更远(若在A1中RowHigh处未查找到对方车辆的上边缘，而在A2中RowHigh处查找到了对方车辆的上边缘，则对方车辆在T1时刻的距离比在T2时刻的距离更近)。然后，在A2中RowHigh下方查找到了对方车辆的上边缘RowTop2，如图22所示。
更具体地，由于RowTop1与RowTop2不在同一行，根据透视原理可知对方车辆分别在上述A1、A2中的下边缘也不在同一行，即RowBottom1不等于RowBottom2。而上述填充网格的多边形图框的下边缘行序号RowLow必然等于RowBottom1或RowBottom2，并且上述已推理知道对方车辆在T1时间的距离比在T2时间的距离更远，因此推理得知RowLow=RowBottom2，如图22所示。
进一步地，由ColLeft向右查找对方车辆的左边缘，左边缘的特征是该左边缘之左的属于路面(或其他更远的事物)的深度像素的值明显大于该左边缘之右的属于对方车辆的深度像素的值。于是，在A1中ColLeft处未查找到对方车辆的左边缘，而在A2中ColLeft处查找到了对方车辆的左边缘，得ColLeft=ColLeft2。接着，在A1中ColLeft右方查找到了对方车辆的左边缘ColLeft1。
之后，由ColRight向左查找对方车辆的右边缘，右边缘的特征是该右边缘之右的属于路面(或其他更远的事物)的深度像素的值明显大于该右边缘之左的属于对方车辆的深度像素的值。于是，在A1中ColRight处未查找到对方车辆的右边缘，而在A2中ColRight处查找到了对方车辆的右边缘，得ColRight=ColRight2。接着，在A1中ColRight左方查找到了对方车辆的右边缘ColRight1。
在A1中，利用RowTop1和RowLow将ColLeft1、ColRight1包含的两列完整的深度像素截成两线段，分别称为ColLeft1线段、ColRight1线段。ColLeft1线段、ColRight1线段一部分包含在对方车辆中，一部分包含在路面上，所以，分别存在像素BL、BR将线段的车辆部分与路面部分分开，因此BL、BR的连线就是对方车辆的下边缘。计算ColLeft1线段上每个像素的PD(即该像素的左右相邻的两个像素的值相减的绝对值)，ColLeft1线段上属于车辆的像素的PD远大于零，ColLeft1线段上属于路面的像素的PD接近于零，由此可查找到BL。同理也可查找到BR。可取BL或BR所在那一行序号为RowBottom1。
由此，RowTop1、RowBottom1、ColLeft1、ColRight1在A1中查找到了，RowTop2、RowBottom2、ColLeft2、ColRight2在A2中查找到了，即在T1、T2时刻都识别到了对方车辆在深度图像的位置，即实现了对对方车辆的识别。
S1042，获取对方车辆与本车辆的距离。
在本发明的一个实施例中，获取对方车辆与本车辆的距离具体包括：分别在两幅第二图像中获取对方车辆包含的两组像素值；分别获取两组像素值中的最小值，最小值分别为两个不同时刻对应的对方车辆与本车辆的第一距离和第二距离。在此需要说明的是，此处通过选取最小值来获取对方车辆与本车辆的距离是基于一个假设条件的，即假设对方车辆包含的两组像素值中的像素值越小，对方车辆距离本车辆越近。当然，该假设条件也可以取反向关系，对应的最小值就要换成最大值。
具体地，由于深度图像中的对方车辆包含的像素的值就代表对方车辆与本车辆Car1之间的距离，因此，可以查找上述图像A1、A2中对方车辆包含的像素的值中的最小值(对方车辆距离Car1的最近部位处的深度值)分别作为该对方车辆在T1、T2时刻与Car1的距离值D1、D2。
然而，仍然存在本车辆Car1与对方车辆的距离保持不变的时刻。例如，在T1和T2时刻已经依据上述说明的方法识别得到对方车辆与本车辆的距离信息D1和D2，但在更晚的T3时刻本车辆Car1与对方车辆的距离保持不变，即在T2和T3时刻识别的对方车辆的上、下边缘行序号RowTop2=RowTop3或RowBottom2=RowBottom3，则令D3=D2即可。
由此，基于不同时刻拍摄的两幅深度图像和车辆识别范围来创建关于对方车辆的时间微分深度图像，基于该创建的时间微分深度图像来查找该对方车辆在该不同时刻拍摄的两幅深度图像中的边缘从而识别该对方车辆的位置，基于识别的该拍摄时刻对方车辆的包含的深度像素的值来查找到该对方车辆与本车辆之间的距离。
S1043，根据对方车辆与本车辆的距离获取对方车辆与本车辆之间的相对速度。
在本发明的一个实施例中，根据对方车辆与本车辆的距离获取对方车辆与本车辆之间的相对速度具体包括：根据第一距离、第二距离和两个不同时刻获取对方车辆与本车辆之间的相对速度，其中两个不同时刻为第一时刻和第二时刻，且第一时刻早于第二时刻，第一时刻对应第一距离，第二时刻对应第二距离。
具体地，在S1042中已经获得了在T1、T2时刻对方车辆与本车辆Car1的距离值D1、D2，那么，在T2时刻本车辆Car1与对方车辆的相对速度关系为：V=(D2-D1)/(T2-T1)。
S1044，根据对方车辆与本车辆的距离和相对速度获取对方车辆与本车辆的碰撞时间。
在本发明的一个实施例中，根据第二距离和相对速度获取对方车辆与本车辆的碰撞时间。
具体地，在T2时刻，本车辆Car1与对方车辆的碰撞时间TC为：
TC=D2/|V|=D2*|(T2-T1)/(D2-D1)|，其中，计算碰撞时间过程中相对速度V取绝对值。
S1045，根据对方车辆与本车辆的距离、相对速度和碰撞时间生成指示信息和/或报警信息。
具体地，在之前的步骤中已计算得到本车辆Car1与对方车辆的距离、相对速度以及碰撞时间，那么可以将这些信息生成指示信息和/或报警信息。然后，根据所述指示信息和/或报警信息对驾驶员进行警示。
具体地，指示信息和/或报警信息可以通过本车辆Car1的显示设备(例如仪表设备、显示器等)直接用来指示本车辆驾驶员注意保持与对方车辆的安全距离、保持安全车速甚至降低车速等。
此外，在本发明的一个实施例中，可以为本车辆Car1与对方车辆的距离D、相对速度V以及碰撞时间TC设定多个阈值，然后根据D或V或TC超过阈值的情况生成不同等级的指示信息和/或报警信息。例如，当TC小于第一时间阈值时，生成第一等级的指示信息和/或报警信息，当TC小于第二时间阈值时（第二时间阈值小于第一时间阈值），生成第二等级的指示信息和/或报警信息，其中，第二等级的指示信息和/或报警信息比第一等级的指示信息和/或报警信息更加紧急。
在本发明的一个实施例中，根据指示信息和/或报警信息对驾驶员进行警示，可以通过本车辆Car1上的多种设备或部件实现。例如，可通过本车辆Car1的仪表设备、显示器、声音设备、振动设备、空调吹风设备等执行有区别的操作警示本车辆驾驶员注意保持与对方车辆的安全距离、保持安全车速甚至降低车速等。又例如，指示信息和/或报警信息还可以被本车辆Car1的前大灯、尾灯或喇叭控制设备用来执行灯光闪烁、鸣笛等操作警示对方车辆的驾驶员注意保持与本车辆的安全距离、保持安全车速甚至降低车速等。由于本车辆Car1的电子设备的反应速度总是快于驾驶员的反应速度，因此这样的警示操作将无疑为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间，进一步提升驾驶安全性。
本发明实施例的车辆识别方法，具有以下有益效果：（1）因为利用的深度图像和彩色图像的成像元器件为同一封装芯片、可以使用同一组光学镜片，相比深度图像和彩色图像的成像元器件分开封装、使用不同一组光学镜片的情况减小了识别盲区，省略了两种分开封装之间的机械校正工序。并且根据半导体工业的摩尔定律，本发明利用的CMOS的TOF传感器和图像传感器交织阵列芯片在有限时期内将具备足够低的生产成本；（2）即使由于白天、夜晚自然光照变化对彩色图像或亮度图像发生剧烈变化而不利于车辆识别，因为利用了深度图像的成像使得自然光照对车辆识别影响小，不需使用复杂的计算量大的模式识别方法，车辆的识别计算相比利用彩色图像或亮度图像可以简单快速并且精度更高、可以更快地生成警告信息、可使用成本更低的运算芯片完成计算；（3）因为深度图像和彩色图像几乎同时拍摄，使得利用彩色图像识别的车辆识别范围和利用深度图像识别的车辆之间完成计算的时间误差很小，保证了识别准确度；（4）由于利用了彩色图像或亮度图像识别车道线，限定了车辆的识别范围，排除了识别范围以外的车辆或物体的识别干扰，可以使得生成的警告信息准确而必要，不会生成多余的警告信息干扰驾驶员的正常行驶；（5）可以快速可靠、以更高精度识别车辆，并基于识别的车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
为了实现上述实施例，本发明还提出一种车辆识别装置。
图23是根据本发明一个实施例的车辆识别装置的结构示意图。
如图23所示，车辆识别装置包括：图像获取模块100、车道线获取模块200、识别范围生成模块300和识别模块400。
图像获取模块100用于获取第一图像和第二图像，其中，第一图像为彩色图像或亮度图像，第二图像为深度图像。
在本发明的实施例中，图像获取模块100通过具有TOF传感器和图像传感器交织阵列芯片的摄像头获取第一图像和第二图像。
具体地，下面对TOF传感器和图像传感器交织阵列芯片进行简单的介绍。
韩国三星电子公司开发出了可同时获得深度图像和普通RGB彩色图像的CMOS传感器，用一个CMOS传感器同时获得这两种图像属当时全球首次，该公司于2012年2月22日在美国“ISSCC2012”会议上对该CMOS传感器进行了论文发表。该种类型的CMOS传感器即属于CMOS的TOF传感器和图像传感器交织阵列芯片的范畴。如图2显示了韩国三星电子公司开发的该CMOS传感器的构成，其中每个像素单元包含1个Z像素(TOF传感器，用于产生深度图像)和8个RGB像素(图像传感器，用于产生RGB彩色图像)，即1个Z像素对应2个R像素、4个G像素和2个B像素。如图3显示了该CMOS传感器的电子布线，在使用同一组光学镜片时，该CMOS传感器能够几乎同时拍摄一幅深度图像(其水平解析度为480，垂直解析度为360)和一幅RGB彩色图像(其水平解析度为1920，垂直解析度为720)。
应该理解的是，所拍摄的一幅图像实际为给定行/列长度(或水平、垂直的解析度)、给定数值变化范围和给定数值排列方式的一个数值矩阵。
因此，CMOS的TOF传感器和图像传感器交织阵列芯片一旦确定，Z像素和RGB(或YUV亮度、色差等)像素的比例和排列关系即可确定，其拍摄的该彩色图像(或亮度图像)与深度图像之间的交织映射关系也就确定。
在本发明的实施例中，如图4所示，具有CMOS的TOF传感器和图像传感器交织阵列芯片的摄像头C1(由图中带横纹的小方框示意)通常安装在本车辆Car1(由图中白色大方框示意)的车身中线上。摄像头C1可以安装在Car1车头并向车头前方成像，也可以安装在Car1车尾并向车尾后方成像，还可以在Car1的车头和车尾各安装一个摄像头C1同时向车头前方和车尾后方成像。在此，不对摄像头C1的安装位置和成像方向进行限制。即本发明的车辆识别的方法对不同的安装位置和成像方向都是适用的，因此下文并不做区分并且只说明安装一个摄像头C1的情况。
车道线获取模块200用于根据第一图像获取公路车道线。
具体地，车道线获取模块200根据摄像头拍摄到的彩色图像或亮度图像来获取公路车道线。
在本发明的一个实施例中，如图24所示，车道线获取模块200包括：亮度阈值生成单元210、二值图像创建单元220和获取单元230。
其中，亮度阈值生成单元210用于根据第一图像生成灰度图像，并根据灰度图像生成亮度阈值。
具体地，人们常见的彩色图像可以使用多种颜色制式在显示设备实现彩色显示，例如RGB(红、绿、蓝三原色)制式、YUV(Y表示亮度、U\V表示色差)制式等。因此，如果所拍摄的彩色图像采用YUV制式，则亮度阈值生成单元210可以直接抽取Y信号来创建关于亮度的灰度图像；如果所拍摄的彩色图像采用RGB制式(或经过gamma校准的R’G’B’)，则亮度阈值生成单元210根据公式Y=0.299R’+0.587G’+0.114B’来创建关于亮度的灰度图像。
进一步地，由于车道线的亮度与公路路面的亮度存在明显差异（车道线的亮度较高），因此可以通过查找得到某些亮度阈值，亮度阈值可以利用“直方图统计--双峰”算法来查找得到；还可以将灰度图像分成多个子图像并对每个子图像执行“直方图统计--双峰”算法来查找得到多个亮度阈值，以应对公路路面或车道线亮度变化的情况。
更具体地，如图6所示，假设灰度图像中像素的量化亮度变化范围为0到255，直方图就统计了灰度图像或其子图像的所有像素关于量化亮度变化的分布概率(或统计数)，其中，亮度较低的包含公路路面的若干像素集中分布在一个概率分布峰，而亮度较高的包含车道线的若干像素集中分布在另一个概率分布峰，概率分布“双峰”之间的谷底处的量化亮度即亮度阈值，例如，如图6所示，亮度阈值为170。因此，只要在直方图中沿着量化亮度轴分别从两头各查找一个峰值及其位置，再从两个峰值位置之间查找一个谷底值及其位置，该谷底位置就是亮度阈值。
二值图像创建单元220用于根据灰度图像和亮度阈值创建二值图像。
具体地，在灰度图像中，二值图像创建单元220将亮度高于亮度阈值的包含车道线的灰度图像像素值设置为1，将亮度低于亮度阈值的包含公路路面的其他的灰度图像像素值设置为0，从而创建了突出车道线的二值图像MB0，如图7所示。
获取单元230用于根据二值图像识别初始公路车道线，并根据初始公路车道线获取公路车道线。
在本发明的一个实施例中，获取单元230还用于：在获根据二值图像识别初始公路车道线之后，对初始公路车道线进行筛选以获取两条直线段，并对所述两条直线段进行延长或合并，以获取所述公路车道线。
具体地，由于接近本车辆Car1的车道线总是接近于直的，因此获取单元230可以利用Hough直线检测算法(Hough变换)在二值图像MB0中识别接近本车辆Car1的车道线。通常运用Hough直线检测算法将检测到较多像素值为1的直线段，如图7所示的直线段中，除了车道线还可能包含护栏、减速带等。因此需要从检测到的多个直线段中挑选出具有较长长度并且与水平线成较大锐角的N条直线段，如图8所示为经挑选后的6条直线段(直线段如粗实线所示，考虑图中右半边图像的直线段与水平线所成角的余角为锐角，水平线和锐角如虚线所示)，抛弃其他直线段，从而创建了二值图像MB1。又由于最接近本车辆Car1的车道线通常有左右2条，并且该左右2条车道线段与水平线所形成的锐角在较长长度的N条直线段中具有比较稳定的锐角度变化范围，因此该左右2条车道线段能够被从上述N条直线段中挑选出来，从而创建了二值图像MB2，如图9所示。
更具体地，将挑选得到的左右2条车道直线段（即图8中所示的2条车道直线段）在灰度图像坐标系中延长即可创建车道线原始坐标集合，该车道线原始坐标集合包含该延长的左右2条车道直线段经过灰度图像的各个像素的坐标集合，从而创建了二值图像MB3，如图10所示。图10中所示即为公路车道线的示意图。
此外，当距离本车辆Car1较远处的车道线是弯道时，如果按照上述方法将挑选得到的左右2条车道直线段延长以形成公路车道线，将与实际情况存在较大的误差。例如，如图11所示，粗的实线段(标号为1、2)为Hough直线检测算法识别的车道线，细的虚线段(标号为3、4)为经挑选的左右2条车道直线段的延长线，实线段5以及虚线段6为实际中的公路车道线，那么如果后续按照线段1、2、3和4组成的车道线生成车辆识别范围，则将产生较大的误差，即线段3和线段5之间区域的为错误的车辆识别范围，而线段4和线段6之间的区域为遗漏的车辆识别范围。为此，在存在弯道的情况下，不对该左右2条车道直线段（即线段1和线段2）进行延长，而是在该左右2条车道直线段的上端附近查找直线段，并进行线段的合并；在合并后的线段的上端继续查找、合并直线段，直到合并的线段的长度达到设定的限值。其中，线段的合并过程如图12、13、14所示。完成合并的左右2条车道线段经过灰度图像的各个像素的坐标的集合即车道线原始坐标集合。图14所示，即为在存在弯道的情况下获取到的公路车道线的示意图。
识别范围生成模块300用于根据第一图像和第二图像之间的交织映射关系架构公路车道线映射至第二图像中以在第二图像中生成车辆识别范围。
具体地，由于车道线紧贴公路路面，厚度小，在深度图像中车道线与公路路面有非常接近的深度变化(不是亮度变化)，难以在深度图像中将车道线和公路路面区分开来，因此，可以根据彩色图像(或亮度图像、灰度图像)与深度图像之间的交织映射关系将所获得的公路车道线映射到深度图像中以得到车辆识别范围。
更具体地，例如，以最简单的等比例交织映射关系为例，可设定深度图像中每一行Z像素对应灰度图像的N行Y像素(灰度图像的垂直解析度为深度图像的N倍)，并且每一列Z像素对应灰度图像的M列Y像素(灰度图像的水平解析度为深度图像的M倍)。进一步地，根据上述交织映射关系的比例设定，对于车道线原始坐标集合中包含的每个坐标(包含原始行坐标和原始列坐标)，将其原始行坐标除以N后取整得到映射的行坐标，其原始列坐标除以M后取整得到映射的列坐标。根据映射的行坐标和映射的列坐标可以创建关于深度图像的车道线映射坐标集合（即车辆识别范围）。由此，最接近本车辆Car1的左右2条车道线就从彩色图像(或亮度图像、灰度图像)映射到了深度图像，映射的左右2条车道线之间的深度图像部分像素区域即为车辆识别范围。
识别模块400用于根据车辆识别范围对车辆进行识别。
具体地，当本车辆Car1以外的对方车辆出现在彩色图像(或亮度图像)与深度图像中的时候，通常对方车辆的背面或正面距离本车辆Car1最近并且与公路路面(或其他更远的事物)形成强烈的亮度和深度差异(对方车辆的背面或正面的内部各部分具有几乎同样深度，却明显高出路面)，而深度图像还直接包含了对方车辆距离信息。因此，可以根据车辆识别范围对车辆进行识别。
在本发明的一个实施例中，如图25所示，识别模块400包括：识别单元410、距离获取单元420、相对速度获取单元430、碰撞时间获取单元440和信息生成单元450。
识别单元410用于根据第二图像和车辆识别范围识别对方车辆。
在本发明的一个实施例中，识别单元410具体用于：获取不同时刻拍摄的两幅第二图像，并根据两幅第二图像创建突出移动对象的时间微分深度图像；以及根据突出移动对象的时间微分深度图像获取车辆识别范围内的对方车辆的时间微分深度图像。
具体地，通常本车辆Car1与对方车辆的距离总是变化的，在深度图像中即表现为对方车辆的深度像素值或对方车辆在深度图像坐标系的位置随时间发生变化。因此，可以利用关于深度图像的时间微分算法来识别对方车辆。例如，拍摄时刻分别为T1、T2(T1早于T2)的两幅深度图像A1、A2(分别如图17、18所示，图中两条细的虚线之间为车辆识别范围，为说明简便，示意图不绘出车辆以外的事物)，将A1中每个像素a1的深度值与A2中每个像素a2的深度值相减并取绝对值(其中a1和a2具有同样的深度图像坐标)，从而创建了突出移动对象的时间微分深度图像MC(如图19所示)。
更具体地，将A1或A2的车辆识别范围应用到突出移动对象的时间微分深度图像MC中，将MC中车辆识别范围以外的像素值设置为0，从而创建了车辆识别范围内的对方车辆的时间微分深度图像MD(如图20所示)。在图20中，以MD中填充网格的多边形图框突出表示上述A1、A2中对方车辆包含的深度像素的深度值的相减值。
进一步地，识别单元410还用于：对对方车辆的时间微分深度图像沿行方向、列方向进行投影，以在对方车辆的时间微分深度图像中获取对方车辆的四个边缘的行序号、列序号；根据四个边缘的行序号、列序号，分别在两幅第二图像中获取对应的对方车辆的四个边缘的行序号、列序号。
具体地，将填充网格的多边形图框在MD的水平和垂直方向进行投影操作，容易查找得到该填充网格的多边形图框的上、下、左、右四边缘的行序号和列序号，即RowHigh、RowLow、ColLeft、ColRight，如图20所示。
假定深度图像的成像配置使得越远的事物的深度像素的值越大，将RowHigh、RowLow、ColLeft、ColRight应用到上述A1、A2中，如图21、22所示(为了方便，图中只绘出对方车辆)。从ColLeft到ColRight之间的范围内，由RowHigh向下查找对方车辆的上边缘，上边缘的特征是该上边缘之上的属于路面(或其他更远的事物)的深度像素的值明显大于该上边缘之下的属于对方车辆的深度像素的值。于是，在A1中RowHigh处查找到了对方车辆的上边缘，而在A2中RowHigh处未查找到对方车辆的上边缘，得RowTop1=RowHigh；由于深度图像的成像也符合透视原理，同一事物离摄像机越远则具有图像越靠上的行序号，因此对方车辆在T1时刻的距离比在T2时刻的距离更远(若在A1中RowHigh处未查找到对方车辆的上边缘，而在A2中RowHigh处查找到了对方车辆的上边缘，则对方车辆在T1时刻的距离比在T2时刻的距离更近)。然后，在A2中RowHigh下方查找到了对方车辆的上边缘RowTop2，如图22所示。
更具体地，由于RowTop1与RowTop2不在同一行，根据透视原理可知对方车辆分别在上述A1、A2中的下边缘也不在同一行，即RowBottom1不等于RowBottom2。而上述填充网格的多边形图框的下边缘行序号RowLow必然等于RowBottom1或RowBottom2，并且上述已推理知道对方车辆在T1时间的距离比在T2时间的距离更远，因此推理得知RowLow=RowBottom2，如图22所示。
进一步地，由ColLeft向右查找对方车辆的左边缘，左边缘的特征是该左边缘之左的属于路面(或其他更远的事物)的深度像素的值明显大于该左边缘之右的属于对方车辆的深度像素的值。于是，在A1中ColLeft处未查找到对方车辆的左边缘，而在A2中ColLeft处查找到了对方车辆的左边缘，得ColLeft=ColLeft2。接着，在A1中ColLeft右方查找到了对方车辆的左边缘ColLeft1。
之后，由ColRight向左查找对方车辆的右边缘，右边缘的特征是该右边缘之右的属于路面(或其他更远的事物)的深度像素的值明显大于该右边缘之左的属于对方车辆的深度像素的值。于是，在A1中ColRight处未查找到对方车辆的右边缘，而在A2中ColRight处查找到了对方车辆的右边缘，得ColRight=ColRight2。接着，在A1中ColRight左方查找到了对方车辆的右边缘ColRight1。
在A1中，利用RowTop1和RowLow将ColLeft1、ColRight1包含的两列完整的深度像素截成两线段，分别称为ColLeft1线段、ColRight1线段。ColLeft1线段、ColRight1线段一部分包含在对方车辆中，一部分包含在路面上，所以，分别存在像素BL、BR将线段的车辆部分与路面部分分开，因此BL、BR的连线就是对方车辆的下边缘。计算ColLeft1线段上每个像素的PD(即该像素的左右相邻的两个像素的值相减的绝对值)，ColLeft1线段上属于车辆的像素的PD远大于零，ColLeft1线段上属于路面的像素的PD接近于零，由此可查找到BL。同理也可查找到BR。可取BL或BR所在那一行序号为RowBottom1。
由此，RowTop1、RowBottom1、ColLeft1、ColRight1在A1中查找到了，RowTop2、RowBottom2、ColLeft2、ColRight2在A2中查找到了，即在T1、T2时刻都识别到了对方车辆在深度图像的位置，即实现了对对方车辆的识别。
距离获取单元420用于获取对方车辆与本车辆的距离。
在本发明的一个实施例中，距离获取单元420具体用于：分别在两幅第二图像中获取对方车辆包含的两组像素值；分别获取两组像素值中的最小值，最小值分别为两个不同时刻对应的对方车辆与本车辆的第一距离和第二距离。在此需要说明的是，此处通过选取最小值来获取对方车辆与本车辆的距离是基于一个假设条件的，即假设对方车辆包含的两组像素值中的像素值越小，对方车辆距离本车辆越近。当然，该假设条件也可以取反向关系，对应的最小值就要换成最大值。
具体地，由于深度图像中的对方车辆包含的像素的值就代表对方车辆与本车辆Car1之间的距离，因此，可以查找上述图像A1、A2中对方车辆包含的像素的值中的最小值(对方车辆距离Car1的最近部位处的深度值)分别作为该对方车辆在T1、T2时刻与Car1的距离值D1、D2。
然而，仍然存在本车辆Car1与对方车辆的距离保持不变的时刻。例如，在T1和T2时刻已经依据上述说明的方法识别得到对方车辆与本车辆的距离信息D1和D2，但在更晚的T3时刻本车辆Car1与对方车辆的距离保持不变，即在T2和T3时刻识别的对方车辆的上、下边缘行序号RowTop2=RowTop3或RowBottom2=RowBottom3，则令D3=D2即可。
相对速度获取单元430用于根据对方车辆与本车辆的距离获取对方车辆与本车辆之间的相对速度。
在本发明的一个实施例中，相对速度获取单元430具体用于：根据第一距离、第二距离和两个不同时刻获取对方车辆与本车辆之间的相对速度，其中两个不同时刻为第一时刻和第二时刻，且第一时刻早于第二时刻，第一时刻对应第一距离，第二时刻对应第二距离。
具体地，距离获取单元420已经获得了在T1、T2时刻对方车辆与本车辆Car1的距离值D1、D2，那么，在T2时刻本车辆Car1与对方车辆的相对速度关系为：V=(D2-D1)/(T2-T1)。
碰撞时间获取单元440用于根据对方车辆与本车辆的距离和相对速度获取对方车辆与本车辆的碰撞时间。
在本发明的一个实施例中，碰撞时间获取单元440具体用于：根据第二距离和相对速度获取对方车辆与本车辆的碰撞时间。
具体地，在T2时刻，本车辆Car1与对方车辆的碰撞时间TC为：
TC=D2/|V|=D2*|(T2-T1)/(D2-D1)|，其中，计算碰撞时间过程中相对速度V取绝对值。
信息生成单元450用于根据对方车辆与本车辆的距离、相对速度和碰撞时间生成指示信息和/或报警信息。
具体地，已通过计算得到本车辆Car1与对方车辆的距离、相对速度以及碰撞时间，那么信息生成单元450用于将这些信息生成指示信息和/或报警信息。
此外，在本发明的一个实施例中，如图26所示，识别模块400还包括：警示单元460。
警示单元460用于根据指示信息和/或报警信息对驾驶员进行警示。
具体地，警示单元460可以通过本车辆Car1的显示设备(例如仪表设备、显示器等)直接用来指示本车辆驾驶员注意保持与对方车辆的安全距离、保持安全车速甚至降低车速等。
此外，在本发明的一个实施例中，警示单元460可以为本车辆Car1与对方车辆的距离D、相对速度V以及碰撞时间TC设定多个阈值，然后根据D或V或TC超过阈值的情况生成不同等级的指示信息和/或报警信息。例如，当TC小于第一时间阈值时，生成第一等级的指示信息和/或报警信息，当TC小于第二时间阈值时（第二时间阈值小于第一时间阈值），生成第二等级的指示信息和/或报警信息，其中，第二等级的指示信息和/或报警信息比第一等级的指示信息和/或报警信息更加紧急。
在本发明的一个实施例中，警示单元460根据指示信息和/或报警信息对驾驶员进行警示，可以通过本车辆Car1上的多种设备或部件实现。例如，可通过本车辆Car1的仪表设备、显示器、声音设备、振动设备、空调吹风设备等执行有区别的操作警示本车辆驾驶员注意保持与对方车辆的安全距离、保持安全车速甚至降低车速等。又例如，指示信息和/或报警信息还可以被本车辆Car1的前大灯、尾灯或喇叭控制设备用来执行灯光闪烁、鸣笛等操作警示对方车辆的驾驶员注意保持与本车辆的安全距离、保持安全车速甚至降低车速等。由于本车辆Car1的电子设备的反应速度总是快于驾驶员的反应速度，因此这样的警示操作将无疑为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间，进一步提升驾驶安全性。
本发明实施例的车辆识别装置，具有以下有益效果：（1）因为利用的深度图像和彩色图像的成像元器件为同一封装芯片、可以使用同一组光学镜片，相比深度图像和彩色图像的成像元器件分开封装、使用不同一组光学镜片的情况减小了识别盲区，省略了两种分开封装之间的机械校正工序。并且根据半导体工业的摩尔定律，本发明利用的CMOS的TOF传感器和图像传感器交织阵列芯片在有限时期内将具备足够低的生产成本；（2）即使由于白天、夜晚自然光照变化对彩色图像或亮度图像发生剧烈变化而不利于车辆识别，因为利用了深度图像的成像使得自然光照对车辆识别影响小，不需使用复杂的计算量大的模式识别方法，车辆的识别计算相比利用彩色图像或亮度图像可以简单快速并且精度更高、可以更快地生成警告信息、可使用成本更低的运算芯片完成计算；（3）因为深度图像和彩色图像几乎同时拍摄，使得利用彩色图像识别的车辆识别范围和利用深度图像识别的车辆之间完成计算的时间误差很小，保证了识别准确度；（4）由于利用了彩色图像或亮度图像识别车道线，限定了车辆的识别范围，排除了识别范围以外的车辆或物体的识别干扰，可以使得生成的警告信息准确而必要，不会生成多余的警告信息干扰驾驶员的正常行驶；（5）可以快速可靠、以更高精度识别车辆，并基于识别的车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
为了实现上述实施例，本发明还提出一种车辆，该车辆包括本发明实施例的车辆识别装置。
本发明实施例的车辆，由于具有了车辆识别装置，在行驶时可以快速地、高精度地识别对方车俩，并基于识别的对方车辆快速可靠地生成警告信息，可以为本车辆或对方车辆的驾驶员赢得宝贵的制动反应时间、进一步提升驾驶安全性。
为了实现上述实施例，本发明还提出一种车辆，该车辆具有TOF传感器和图像传感器交织阵列芯片的摄像头。
本发明实施例的车辆，由于具有TOF传感器和图像传感器交织阵列芯片的摄像头，在行驶时，可以几乎同时拍摄对方车辆的彩色图像/亮度图像以及深度图像。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (24)
1.一种车辆识别方法，其特征在于，包括：
获取第一图像和第二图像，其中，所述第一图像为彩色图像或亮度图像，所述第二图像为深度图像；
根据所述第一图像获取公路车道线；
根据所述第一图像和第二图像之间的交织映射关系将所述公路车道线映射至所述第二图像中以在所述第二图像中生成所述车辆识别范围；以及
根据所述车辆识别范围对车辆进行识别。
2.如权利要求1所述的方法，其特征在于，所述第一图像和第二图像通过具有TOF传感器和图像传感器交织阵列芯片的摄像头获取。
3.如权利要求1所述的方法，其特征在于，所述根据车辆识别范围对车辆进行识别进一步包括：
根据所述第二图像和所述车辆识别范围识别对方车辆；
获取所述对方车辆与本车辆的距离；
根据所述对方车辆与本车辆的距离获取所述对方车辆与所述本车辆之间的相对速度；
根据所述对方车辆与本车辆的距离和相对速度获取所述对方车辆与所述本车辆的碰撞时间；以及
根据所述对方车辆与所述本车辆的距离、相对速度和碰撞时间生成指示信息和/或报警信息。
4.如权利要求1所述的方法，其特征在于，所述根据第一图像获取公路车道线具体包括：
根据所述第一图像生成灰度图像，并根据所述灰度图像生成亮度阈值；
根据所述灰度图像和所述亮度阈值创建二值图像；以及
根据所述二值图像识别初始公路车道线，并根据所述初始公路车道线获取所述公路车道线。
5.如权利要求4所述的方法，其特征在于，所述根据所述初始公路车道线获取所述公路车道线包括：
对所述初始公路车道线进行筛选以获取两条直线段，并对所述两条直线段进行延长或合并，以获取所述公路车道线。
6.如权利要求3所述的方法，其特征在于，所述根据第二图像和所述车辆识别范围识别对方车辆具体包括：
获取两个不同时刻拍摄的两幅第二图像，并根据所述两幅第二图像创建突出移动对象的时间微分深度图像；
根据所述突出移动对象的时间微分深度图像获取所述车辆识别范围内的对方车辆的时间微分深度图像。
7.如权利要求6所述的方法，其特征在于，所述根据第二图像和所述车辆识别范围识别对方车辆还包括：
对所述对方车辆的时间微分深度图像沿行方向、列方向进行投影，以在所述对方车辆的时间微分深度图像中获取所述对方车辆的四个边缘的行序号、列序号；
根据所述四个边缘的行序号、列序号，分别在所述两幅第二图像中获取对应的所述对方车辆的四个边缘的行序号、列序号。
8.如权利要求7所述的方法，其特征在于，所述获取所述对方车辆与本车辆的距离具体包括：
分别在所述两幅第二图像中获取所述对方车辆包含的两组像素值；
分别获取所述两组像素值中的最小值，所述最小值分别为所述两个不同时刻对应的所述对方车辆与所述本车辆的第一距离和第二距离。
9.如权利要求8所述的方法，其特征在于，所述根据所述对方车辆与本车辆的距离获取所述对方车辆与所述本车辆之间的相对速度具体包括：
根据所述第一距离、所述第二距离和所述两个不同时刻获取所述对方车辆与所述本车辆之间的相对速度，其中所述两个不同时刻为第一时刻和第二时刻，且所述第一时刻早于所述第二时刻，所述第一时刻对应所述第一距离，所述第二时刻对应所述第二距离。
10.如权利要求9所述的方法，其特征在于，所述根据所述对方车辆与本车辆的距离和相对速度获取所述对方车辆与所述本车辆的碰撞时间具体包括：
根据所述第二距离和所述相对速度获取所述对方车辆与所述本车辆的碰撞时间。
11.如权利要求10所述的方法，其特征在于，还包括：
根据所述指示信息和/或报警信息对驾驶员进行警示。
12.一种车辆识别装置,其特征在于，包括：
图像获取模块，用于获取第一图像和第二图像，其中，所述第一图像为彩色图像或亮度图像，所述第二图像为深度图像；
车道线获取模块，用于根据所述第一图像获取公路车道线；
识别范围生成模块，用于根据所述第一图像和第二图像之间的交织映射关系将所述公路车道线映射至所述第二图像中以在所述第二图像中生成所述车辆识别范围；以及
识别模块，用于根据所述车辆识别范围对车辆进行识别。
13.如权利要求12所述的装置，其特征在于，所述第一图像和第二图像通过具有TOF传感器和图像传感器交织阵列芯片的摄像头获取。
14.如权利要求12所述的装置，其特征在于，所述识别模块包括：
识别单元，用于根据所述第二图像和所述车辆识别范围识别对方车辆；
距离获取单元，用于获取所述对方车辆与本车辆的距离；
相对速度获取单元，用于根据所述对方车辆与本车辆的距离获取所述对方车辆与所述本车辆之间的相对速度；
碰撞时间获取单元，用于根据所述对方车辆与本车辆的距离和相对速度获取所述对方车辆与所述本车辆的碰撞时间；以及
信息生成单元，用于根据所述对方车辆与所述本车辆的距离、相对速度和碰撞时间生成指示信息和/或报警信息。
15.如权利要求12所述的装置，其特征在于，所述车道线获取模块包括：
亮度阈值生成单元，用于根据所述第一图像生成灰度图像，并根据所述灰度图像生成亮度阈值；
二值图像创建单元，用于根据所述灰度图像和所述亮度阈值创建二值图像；以及
获取单元，用于根据所述二值图像识别初始公路车道线，并根据所述初始公路车道线获取所述公路车道线。
16.如权利要求15所述的装置，其特征在于，所述获取单元具体用于：
在根据所述二值图像识别初始公路车道线之后，对所述初始公路车道线进行筛选以获取两条直线段，并对所述两条直线段进行延长或合并，以获取所述公路车道线。
17.如权利要求16所述的装置，其特征在于，所述识别单元具体用于：
获取两个不同时刻拍摄的两幅第二图像，并根据所述两幅第二图像创建突出移动对象的时间微分深度图像；以及
根据所述突出移动对象的时间微分深度图像获取所述车辆识别范围内的对方车辆的时间微分深度图像。
18.如权利要求17所述的装置，其特征在于，所述识别单元还用于：
对所述对方车辆的时间微分深度图像沿行方向、列方向进行投影，以在所述对方车辆的时间微分深度图像中获取所述对方车辆的四个边缘的行序号、列序号；
根据所述四个边缘的行序号、列序号，分别在所述两幅第二图像中获取对应的所述对方车辆的四个边缘的行序号、列序号。
19.如权利要求18所述的装置，其特征在于，所述距离获取单元具体用于：
分别在所述两幅第二图像中获取所述对方车辆包含的两组像素值；
分别获取所述两组像素值中的最小值，所述最小值分别为所述两个不同时刻对应的所述对方车辆与所述本车辆的第一距离和第二距离。
20.如权利要求19所述的装置，其特征在于，所述相对速度获取单元具体用于：
根据所述第一距离、所述第二距离和所述两个不同时刻获取所述对方车辆与所述本车辆之间的相对速度，其中所述两个不同时刻为第一时刻和第二时刻，且所述第一时刻早于所述第二时刻，所述第一时刻对应所述第一距离，所述第二时刻对应所述第二距离。
21.如权利要求20所述的装置，其特征在于，所述碰撞时间获取单元具体用于：
根据所述第二距离和所述相对速度获取所述对方车辆与所述本车辆的碰撞时间。
22.如权利要求12至21中任一项所述的装置，其特征在于，所述识别模块还包括：
警示单元，用于根据所述指示信息和/或报警信息对驾驶员进行警示。
23.一种车辆,其特征在于，包括如权利要求12至22中任一项所述的车辆识别装置。
24.一种车辆，其特征在于，包括：
具有TOF传感器和图像传感器交织阵列芯片的摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410125721.5A CN104952254B (zh) | 2014-03-31 | 2014-03-31 | 车辆识别方法、装置和车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410125721.5A CN104952254B (zh) | 2014-03-31 | 2014-03-31 | 车辆识别方法、装置和车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104952254A true CN104952254A (zh) | 2015-09-30 |
| CN104952254B CN104952254B (zh) | 2018-01-23 |
Family
ID=54166874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410125721.5A Active CN104952254B (zh) | 2014-03-31 | 2014-03-31 | 车辆识别方法、装置和车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104952254B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803359A (zh) * | 2016-09-27 | 2017-06-06 | 蔚来汽车有限公司 | 基于同向前车驾驶信息的紧急状况预警方法及*** |
| CN107392080A (zh) * | 2016-05-17 | 2017-11-24 | 纬创资通股份有限公司 | 影像评估方法以及其电子装置 |
| CN107563256A (zh) * | 2016-06-30 | 2018-01-09 | 北京旷视科技有限公司 | 辅助驾驶信息产生方法及装置、辅助驾驶*** |
| WO2018059586A1 (zh) * | 2016-09-30 | 2018-04-05 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886030A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886729A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886036A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆控制方法、装置及车辆 |
| CN108528450A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528431A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528433A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528448A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528449A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108536134A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528432A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108725318A (zh) * | 2018-07-28 | 2018-11-02 | 惠州华阳通用电子有限公司 | 汽车安全预警方法、装置及计算机可读存储介质 |
| CN109035841A (zh) * | 2018-09-30 | 2018-12-18 | 上海交通大学 | 停车场车辆定位***及方法 |
| CN109146906A (zh) * | 2018-08-22 | 2019-01-04 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109426760A (zh) * | 2017-08-22 | 2019-03-05 | 聚晶半导体股份有限公司 | 一种道路图像处理方法与道路图像处理装置 |
| CN109426771A (zh) * | 2017-08-24 | 2019-03-05 | 日立汽车***株式会社 | 对车辆周围的小物体区域进行识别的装置和方法 |
| CN109472180A (zh) * | 2017-09-07 | 2019-03-15 | 聚晶半导体股份有限公司 | 道路图像处理方法与道路图像处理装置 |
| TWI662484B (zh) * | 2018-03-01 | 2019-06-11 | 國立交通大學 | 物件偵測方法 |
| CN110379191A (zh) * | 2018-11-08 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种为无人设备推送道路信息的方法和装置 |
| CN110386065A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 车辆盲区的监控方法、装置、计算机设备及存储介质 |
| CN110942631A (zh) * | 2019-12-02 | 2020-03-31 | 北京深测科技有限公司 | 一种基于飞行时间相机的交通信号控制方法 |
| CN112419750A (zh) * | 2020-09-11 | 2021-02-26 | 博云视觉（北京）科技有限公司 | 一种静默式低点出口道溢出事件检测方法 |
| CN112581484A (zh) * | 2019-09-29 | 2021-03-30 | 比亚迪股份有限公司 | 崎岖路面检测方法、装置、存储介质、电子设备和车辆 |
| CN112758088A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 危险源的提醒方法及高级驾驶辅助*** |
| WO2021237738A1 (zh) * | 2020-05-29 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 自动驾驶方法和装置、距离确定方法和装置 |
| CN114119464A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101333A (zh) * | 2006-07-06 | 2008-01-09 | 三星电子株式会社 | 用于产生行进车辆的驾驶员辅助信息的设备和方法 |
| CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
| CN101643053A (zh) * | 2009-09-01 | 2010-02-10 | 长安大学 | 一种驾驶员汽车驾驶行为的综合监测*** |
| JP2010262387A (ja) * | 2009-04-30 | 2010-11-18 | Fujitsu Ten Ltd | 車両検知装置および車両検知方法 |
| US20110215915A1 (en) * | 2010-03-02 | 2011-09-08 | Hon Hai Precision Industry Co., Ltd. | Detection system and detecting method for car |
| US20110286661A1 (en) * | 2010-05-20 | 2011-11-24 | Samsung Electronics Co., Ltd. | Method and apparatus for temporally interpolating three-dimensional depth image |
| CN102509074A (zh) * | 2011-10-18 | 2012-06-20 | Tcl集团股份有限公司 | 一种目标识别方法和设备 |
| CN103167276A (zh) * | 2011-12-19 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 车辆监控***和车辆监控方法 |
| CN103208006A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
| CN103366565A (zh) * | 2013-06-21 | 2013-10-23 | 浙江理工大学 | 一种基于Kinect的行人闯红灯检测方法及其*** |
| US8686873B2 (en) * | 2011-02-28 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Two-way video and 3D transmission between vehicles and system placed on roadside |
-
2014
- 2014-03-31 CN CN201410125721.5A patent/CN104952254B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101333A (zh) * | 2006-07-06 | 2008-01-09 | 三星电子株式会社 | 用于产生行进车辆的驾驶员辅助信息的设备和方法 |
| CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
| JP2010262387A (ja) * | 2009-04-30 | 2010-11-18 | Fujitsu Ten Ltd | 車両検知装置および車両検知方法 |
| CN101643053A (zh) * | 2009-09-01 | 2010-02-10 | 长安大学 | 一种驾驶员汽车驾驶行为的综合监测*** |
| US20110215915A1 (en) * | 2010-03-02 | 2011-09-08 | Hon Hai Precision Industry Co., Ltd. | Detection system and detecting method for car |
| CN102194328A (zh) * | 2010-03-02 | 2011-09-21 | 鸿富锦精密工业（深圳）有限公司 | 车辆管理***、方法及具有该***的车辆控制装置 |
| US20110286661A1 (en) * | 2010-05-20 | 2011-11-24 | Samsung Electronics Co., Ltd. | Method and apparatus for temporally interpolating three-dimensional depth image |
| KR20110127899A (ko) * | 2010-05-20 | 2011-11-28 | 삼성전자주식회사 | 3차원 뎁스 영상 시간 보간 방법 및 장치 |
| US8686873B2 (en) * | 2011-02-28 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Two-way video and 3D transmission between vehicles and system placed on roadside |
| CN102509074A (zh) * | 2011-10-18 | 2012-06-20 | Tcl集团股份有限公司 | 一种目标识别方法和设备 |
| CN103167276A (zh) * | 2011-12-19 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 车辆监控***和车辆监控方法 |
| CN103208006A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
| CN103366565A (zh) * | 2013-06-21 | 2013-10-23 | 浙江理工大学 | 一种基于Kinect的行人闯红灯检测方法及其*** |
Non-Patent Citations (4)
| Title |
|---|
| CHANGCHEN ZHAO: "An RGBD Data Based Vehicle Detection Algorithm for Vehicle Following Systems", 《2013 8TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS(ICIEA)》 * |
| FRANK STEINBRUCKER: "Large-Scale Multi-resolution Surface Reconstruction from RGB-D Sequences", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION（ICCV）》 * |
| MATTEO MUNARO: "Tracking people within groups with RGB-D data", 《2012 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
| WONJOO KIM: "A 1.5Mpixel RGBZ CMOS Image Sensor for Simultaneous Color and Range Image Capture", 《IEEE INTERNATIONAL SOLID-STATE CIRCUITS CONFERENCE》 * |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392080A (zh) * | 2016-05-17 | 2017-11-24 | 纬创资通股份有限公司 | 影像评估方法以及其电子装置 |
| CN107563256A (zh) * | 2016-06-30 | 2018-01-09 | 北京旷视科技有限公司 | 辅助驾驶信息产生方法及装置、辅助驾驶*** |
| CN106803359A (zh) * | 2016-09-27 | 2017-06-06 | 蔚来汽车有限公司 | 基于同向前车驾驶信息的紧急状况预警方法及*** |
| CN107886729B (zh) * | 2016-09-30 | 2021-02-23 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| WO2018059586A1 (zh) * | 2016-09-30 | 2018-04-05 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| WO2018059585A1 (zh) * | 2016-09-30 | 2018-04-05 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886030A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886770A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886729A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN107886036A (zh) * | 2016-09-30 | 2018-04-06 | 比亚迪股份有限公司 | 车辆控制方法、装置及车辆 |
| CN107886770B (zh) * | 2016-09-30 | 2020-05-22 | 比亚迪股份有限公司 | 车辆识别方法、装置及车辆 |
| CN108528431A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528448A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528449A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108536134A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528432A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528433A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528432B (zh) * | 2017-03-02 | 2020-11-06 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528433B (zh) * | 2017-03-02 | 2020-08-25 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108536134B (zh) * | 2017-03-02 | 2019-12-20 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528450A (zh) * | 2017-03-02 | 2018-09-14 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN108528449B (zh) * | 2017-03-02 | 2020-02-21 | 比亚迪股份有限公司 | 车辆行驶自动控制方法和装置 |
| CN109426760A (zh) * | 2017-08-22 | 2019-03-05 | 聚晶半导体股份有限公司 | 一种道路图像处理方法与道路图像处理装置 |
| CN109426771A (zh) * | 2017-08-24 | 2019-03-05 | 日立汽车***株式会社 | 对车辆周围的小物体区域进行识别的装置和方法 |
| CN109472180A (zh) * | 2017-09-07 | 2019-03-15 | 聚晶半导体股份有限公司 | 道路图像处理方法与道路图像处理装置 |
| TWI662484B (zh) * | 2018-03-01 | 2019-06-11 | 國立交通大學 | 物件偵測方法 |
| CN110386065A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 车辆盲区的监控方法、装置、计算机设备及存储介质 |
| CN108725318B (zh) * | 2018-07-28 | 2020-11-24 | 惠州华阳通用电子有限公司 | 汽车安全预警方法、装置及计算机可读存储介质 |
| CN108725318A (zh) * | 2018-07-28 | 2018-11-02 | 惠州华阳通用电子有限公司 | 汽车安全预警方法、装置及计算机可读存储介质 |
| CN109146906A (zh) * | 2018-08-22 | 2019-01-04 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109035841A (zh) * | 2018-09-30 | 2018-12-18 | 上海交通大学 | 停车场车辆定位***及方法 |
| CN110379191A (zh) * | 2018-11-08 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种为无人设备推送道路信息的方法和装置 |
| CN112581484A (zh) * | 2019-09-29 | 2021-03-30 | 比亚迪股份有限公司 | 崎岖路面检测方法、装置、存储介质、电子设备和车辆 |
| CN112758088A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 危险源的提醒方法及高级驾驶辅助*** |
| CN110942631B (zh) * | 2019-12-02 | 2020-10-27 | 北京深测科技有限公司 | 一种基于飞行时间相机的交通信号控制方法 |
| CN110942631A (zh) * | 2019-12-02 | 2020-03-31 | 北京深测科技有限公司 | 一种基于飞行时间相机的交通信号控制方法 |
| WO2021237738A1 (zh) * | 2020-05-29 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 自动驾驶方法和装置、距离确定方法和装置 |
| CN112419750A (zh) * | 2020-09-11 | 2021-02-26 | 博云视觉（北京）科技有限公司 | 一种静默式低点出口道溢出事件检测方法 |
| CN112419750B (zh) * | 2020-09-11 | 2022-02-22 | 博云视觉（北京）科技有限公司 | 一种静默式低点出口道溢出事件检测方法 |
| CN114119464A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯顶盖焊缝外观检测算法 |
| CN114119464B (zh) * | 2021-10-08 | 2023-06-16 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯顶盖焊缝外观检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104952254B (zh) | 2018-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104952254A (zh) | 车辆识别方法、装置和车辆 | |
| US20210264176A1 (en) | Hazard detection from a camera in a scene with moving shadows | |
| JP6274557B2 (ja) | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム | |
| JP5961207B2 (ja) | 車外環境認識装置 | |
| JP6150164B2 (ja) | 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム | |
| US9965690B2 (en) | On-vehicle control device | |
| JP2013225289A (ja) | 複眼カメラ装置、及びそれを備えた車両 | |
| JP5164351B2 (ja) | 物体検出装置および物体検出方法 | |
| US11029150B2 (en) | Object distance detection device | |
| CN102555905B (zh) | 产生车辆周围环境中至少一个物体的影像的方法和设备 | |
| JP2016136321A (ja) | 物体検出装置及び物体検出方法 | |
| JP2011076214A (ja) | 障害物検出装置 | |
| JP2013186663A (ja) | 横断歩道認識装置および横断歩道認識方法 | |
| WO2011039977A1 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
| JP2010224918A (ja) | 環境認識装置 | |
| JP5073700B2 (ja) | 物体検出装置 | |
| JP4813304B2 (ja) | 車両周辺監視装置 | |
| JP6375911B2 (ja) | カーブミラー検出装置 | |
| JP6240475B2 (ja) | 車外環境認識装置 | |
| Sasaki et al. | Development of ranging method for inter-vehicle distance using visible light communication and image processing | |
| JP6683245B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム | |
| JP2016191988A (ja) | 車外環境認識装置 | |
| JP7229032B2 (ja) | 車外物体検出装置 | |
| JP6174960B2 (ja) | 車外環境認識装置 | |
| JP4823753B2 (ja) | 車両の周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |