CN108805910A - 多目车载记录仪、目标检测方法、智能驾驶***及汽车 - Google Patents

Abstract

本申请公开了一种多目车载记录仪、目标检测方法、智能驾驶***及汽车，该多目车载记录仪包括广角相机、双目立体相机、图像分析处理器及存储器，其中，广角相机与双目立体相机分别用于采集汽车前方目标的广角图像与立体图像；图像分析处理器对立体图像进行目标检测，获得检测目标的目标距离信息，并根据广角图像与立体图像的图像配准结果将立体图像中的检测目标重投影至广角图像中，获得检测目标的目标识别信息。该多目车载记录仪利用双目立体相机的优势获得较准确的检测目标及目标距离信息，并将立体图像中的检测目标重投影至广角图像中，显示检测目标的目标识别信息，使得该多目车载记录仪兼具广角相机视野宽和双目立体相机测距准确的优点。

Description

多目车载记录仪、目标检测方法、智能驾驶***及汽车

技术领域

本申请涉及汽车辅助驾驶技术领域，尤其涉及一种多目车载记录仪、目标检测方法、智能驾驶***及汽车。

背景技术

目前车载记录仪包括相机与车载终端，相机一般安装在车身前方，通过相机采集汽车前方道路图像，车载终端通过相机采集的道路图像检测汽车前方道路的障碍物，对驾驶人员发出预警。

目前车载记录仪包括基于广角相机的车载记录仪和基于双目立体相机的车载记录仪，其中，基于广角相机的车载记录仪多是采用一个具有广角镜头光学***的相机，具有大视角、小盲区的特点，成为当前车载记录仪的主流方案，且越来越多的辅助驾驶功能加入车载记录仪中，包括行人检测、车辆识别、车道线识别、交通信号灯识别等；而基于双目立体相机的车载记录仪是采用双目立体相机，通过不同位置处的两个相机拍摄汽车行驶前方的道路图像，车载终端通过两幅图像的视差可计算获得图像上障碍物的距离信息，根据距离信息准确发出预警。

但是，基于广角相机的车载记录仪通常图像畸变较大，无法为汽车辅助驾驶提供准确的距离信息，仅利用目标的颜色、纹理、形状等二维信息进行目标检测，易受光照、阴影等成像条件的影响，漏检误检情况较多；且广角相机只适合于中近距离的目标检测，无法检测远距离目标，并不适用中高速行驶的辅助驾驶预警需求。而基于双目立体相机的车载记录仪因采用畸变较小的长焦距镜头光学***，导致双目立体相机覆盖的视角较小，盲区较大，无法满足大视野图像采集和记录的基本需求。因此，如何提供一种具有大视角、小盲区且能精准检测目标的车载记录仪成为本领域技术人员亟待解决的问题。

发明内容

本申请提供了一种多目车载记录仪、目标检测方法、智能驾驶***及汽车，以解决目前无法提供一种具有大视角、小盲区且能准确检测目标的车载记录仪的技术问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

第一方面，本申请实施例公开了一种多目车载记录仪，包括广角相机、双目立体相机、图像分析处理器及存储器，其中，

所述广角相机，用于采集汽车前方目标的广角图像；

所述双目立体相机，用于采集汽车前方目标的立体图像；

所述图像分析处理器，用于对所述立体图像进行目标检测，获得检测目标的目标距离信息；用于对所述广角图像与立体图像进行图像配准，根据图像配准结果将所述立体图像中的检测目标重投影至所述广角图像中，获得所述检测目标的目标识别信息；

所述存储器，用于存储所述广角图像、立体图像、目标识别信息与目标距离信息。

可选的，所述图像分析处理器包括图像配准器，所述图像配准器用于对所述广角图像提取的特征信息与立体图像提取的特征信息进行特征匹配，根据特征匹配结果确定所述广角图像与立体图像中对应像素点的坐标转换关系，其中，所述坐标转换关系用以对所述立体图像与广角图像进行图像配准。

可选的，所述图像分析处理器还包括重投影器，所述重投影器用于根据所述坐标转换关系将所述立体图像中的检测目标投影变换至所述广角图像中，显示所述检测目标的目标识别信息。

可选的，所述图像分析处理器还包括相机标定器，所述相机标定器用于对所述广角相机与立体相机进行标定、装配，以使所述广角相机与双目立体相机的视野重叠区域位于所述广角图像的中心区域。

第二方面，本申请实施例公开了一种基于广角相机与双目立体相机图像配准的目标检测方法，包括：

获取广角相机采集汽车前方目标的广角图像及双目立体相机采集汽车前方目标的立体图像；

对所述立体图像进行目标检测，获得检测目标到所述双目立体相机的目标距离信息；

对所述立体图像与广角图像进行图像配准，根据所述图像配准结果将所述立体图像中的所述检测目标重投影至所述广角图像中，获得所述检测目标的目标识别信息。

可选的，对所述立体图像与广角图像进行图像配准，包括：

根据所述广角相机与双目立体相机的视野重叠区域确定所述广角图像的感兴趣区域；

提取所述广角图像中所述感兴趣区域的特征信息及所述立体图像中的特征信息；

对广角图像提取的特征信息与立体图像提取的特征信息进行特征匹配；

根据所述特征匹配结果确定所述广角图像与立体图像中对应像素点的坐标转换关系，其中，所述坐标转换关系用以对所述立体图像与广角图像进行图像配准。

可选的，根据所述图像配准结果将所述立体图像中的所述检测目标重投影至所述广角图像中，获得所述检测目标的目标识别信息，包括：

根据所述坐标转换关系将所述立体图像中的检测目标投影变换到所述广角图像中；

通过所述广角图像显示所述检测目标的目标识别信息。

可选的，获取广角相机采集汽车前方目标的广角图像及双目立体相机采集汽车前方目标的立体图像，之前包括：

分别对所述广角相机与双目立体相机进行标定；

对标定后的广角相机与双目立体相机进行装配，以使所述广角相机与双目立体相机的视野重叠区域位于所述广角图像的中心区域；

通过装配后的广角相机与双目立体相机分别采集汽车前方目标的图像。

第三方面，本申请实施例公开了一种智能驾驶***，包括第一方面所述的多目车载记录仪，所述多目车载记录仪通过第二方面所述的目标检测方法进行目标检测。

第四方面，本申请实施例公开了一种智能驾驶汽车，包括第三方面所述的智能驾驶***。

与现有技术相比，本申请的有益效果为：

本申请实施例提供一种多目车载记录仪、目标检测方法、智能驾驶***及汽车，该多目车载记录仪包括广角相机、双目立体相机、图像分析处理器及存储器，其中，广角相机用于采集汽车前方目标的广角图像；双目立体相机用于采集汽车前方目标的立体图像；图像分析处理器用于对立体图像进行目标检测，获得检测目标的目标距离信息；用于对广角图像与立体图像进行图像配准，根据图像配准结果将立体图像中检测的目标信息重投影至广角图像中，获得检测目标的目标距离信息；存储器用于存储广角图像、立体图像、目标识别信息与目标距离信息。本申请实施例提供的多目车载记录仪，以双目立体相机采集的立体图像作为目标检测的主要依据，对立体图像进行目标检测，利用双目立体相机的优势可获得较准确的检测目标及目标距离信息，并对立体图像与广角图像进行图像配准，根据图像配准结果将立体图像中的检测目标重投影至广角图像中，获得检测目标的识别信息，利用广角相机具有宽视野的优点，因此本申请提供的多目车载记录仪能够兼具广角相机视野宽的优点和双目立体相机测距准确的优点，可为辅助驾驶***提供较为完善准确和全面的图像信息，可用于前车碰撞预警、车道线偏离等辅助驾驶领域。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种多目车载记录仪的结构组成示意图；

图2为本申请实施例提供的多目车载记录仪中图像分析处理器的结构示意图；

图3为针孔相机模型示意图；

图4为本申请实施例提供的多目车载记录仪中立体图像立体标定前的示意图；

图5为本申请实施例提供的多目车载记录仪中立体图像立体标定后的示意图；

图6为本申请实施例提供的多目车载记录仪中立体图像的立体标定效果图；

图7为本申请实施例提供的多目车载记录仪中广角相机与双目立体相机的一种装配示意图；

图8为本申请实施例提供的多目车载记录仪中装配后广角相机与双目立体相机重叠区域示意图；

图9为本申请实施例提供的多目车载记录仪中广角图像与立体图像的特征配准示意图；

图10为本申请实施例提供的多目车载记录仪中立体图像与广角图像重投影的示意图；

图11为本申请实施例提供的一种基于广角相机与双目立体相机图像配准的目标检测方法的流程图；

图12为本申请实施例提供的基于广角相机与双目立体相机图像配准的目标检测方法中S300的详细流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

随着汽车智能化的发展趋势，辅助驾驶、自动驾驶等正成为学术界和工业界的研究热点，国内外众多传统汽车厂商、高科技企业等都致力于推出各自的解决方案。近年来，基于毫米波雷达和激光雷达的方案已经广泛用于高端汽车，毫米波雷达的主要优势体现在具有很强的抵抗环境干扰的能力，可穿透雾、烟、灰尘等，具有全天候全天时工作的能力，可直接检测前方车辆的距离和速度；激光雷达的主要优势体现在极精准的测距能力和超高分辨率。然而，不论是毫米波雷达还是激光雷达，均存在一些致命缺点，比如垂直视场角较窄、纵向分辨率较低、无法提供颜色和纹理信息等，而这些信息对于许多其他任务是非常重要的，例如行人检测、车辆识别、交通标志识别等。相比较而言，基于视觉的方法可以很好的弥补雷达传感器的不足，在现实中被大量应用，尤其是车载记录仪等正成为私家车辆的必备产品。

当前车载记录仪多是采用一个具有广角镜头光学***的相机，具有大视角、小盲区等特点，成为当前车载记录仪的主流方案，且越来越多的辅助驾驶功能加入车载记录仪中，包括行人检测、车辆识别、车道线识别、交通信号灯识别等。但是广角镜头通常畸变较大，难以准确测量距离，仅能利用目标的颜色、纹理、轮廓和形状等二维信息进行目标检测，其检测结果易受光照、阴影等成像条件影响，漏检误检较多，且较大的视角导致远处目标在图像中几乎无法观测，因此广角相机只适合于中近距离的目标检测，并不适用于高速行驶的辅助驾驶预警需求。而基于双目立体相机的车载记录仪则可利用三维信息对目标进行更准确的检测，但是双目立体相机为了准确测量距离，避免由于镜头光学畸变等带来的误差，通常采用畸变较小的长焦距镜头光学***，长焦镜头不仅畸变较小，而且比较适合于中远距离的目标检测等，但是这也导致立体相机覆盖的视场角较小，盲区较大，无法满足大视野图像采集和记录的基本需求。

为了解决上述问题，本申请实施例提供了一种多目车载记录仪，该多目车载记录仪基于广角相机与双目立体相机的图像配准，采用立体视觉进行目标检测，对双目立体相机采集的立体图像进行目标检测，相对二维图像检测准确性更好，且利用广角相机与双目立体相机的图像配准技术，使得车载记录仪兼具广角相机视野宽的优点和双目立体相机测距准确的优点。

参见图1，为本申请实施例提供的一种多目车载记录仪的结构组成示意图。

如图1所示，本申请实施例提供的多目车载记录仪包括广角相机1、双目立体相机2、图像分析处理器3及存储器4，其中，

广角相机1用于采集汽车前方目标的广角图像，并将广角图像传输至图像分析处理器3；双目立体相机2用于采集汽车前方目标的立体图像，并将立体图像传输至图像分析处理器3；图像分析处理器3用于对立体图像进行目标检测，并将立体图像中的检测目标与广角图像进行匹配校准，获得目标距离信息与目标识别信息；存储器4用于存储广角图像、立体图像、目标识别信息与目标距离信息，方便使用者后续查看。

本申请实施例中，多目车载记录仪安装在智能驾驶汽车上，具体地，广角相机1与双目立体相机2安装在汽车车身的前上方，以便拍摄汽车的前方情况。由于广角相机1具有较宽的视角，在有限距离内能够容纳较多的景物范围，也能进行粗略的物体定位；双目立体相机2视野范围较窄，但是对于其视野范围内的物体，能够进行相对精准的定位，本申请提供的多目车载记录仪包括广角相机1与双目立体相机2，通过图像分析处理器3的分析处理，可使得该多目车载记录仪兼具广角相机视野宽与双目立体相机精准定位的优点。

本申请实施例中，广角相机1与双目立体相机2各自独立地与图像分析处理器3之间通过无线连接或者通过有线连接传输，从而将广角图像与立体图像传输至图像分析处理器。广角相机1或双目立体相机2与图像分析处理器3之间的连接方式是本领域技术人员根据需要可以进行选择的，各自的优缺点是本领域技术人员根据需要能够权衡的。

本申请实施例中，如图2所示，图像分析处理器3包括相机标定器31、立体图像处理器32、图像配准器33及重投影器34，其中，相机标定器31用于对广角相机1与双目立体相机2进行标定，获得广角相机1的内参、双目立体相机2的内参与畸变参数。

本申请示例中，在广角相机1与双目立体相机2进行立体匹配和目标检测之前，需要对广角相机1与双目立体相机2进行标定，包括广角相机1的平面标定和双目立体相机2的平面标定和立体标定。相机标定主要解决的是从世界坐标X_wY_wZ_w到相机坐标X_cY_cZ_c，再到图像物理坐标xyz，再到图像坐标uv之间的投影变换关系，如图3所示，得到投影矩阵，即相机的内参(内部参数)和外参(外部参数)。内部参数的意思包括图像从相机坐标系到像平面坐标系的变换参数以及拍摄图像时的畸变系数，外部参数体现在多镜头的情况下，各镜头之间的位置关系等。

利用小孔成像的几何关系，可以得到图像坐标与世界坐标的转换关系如下：

式中，s——扭转因子；

K——内参数矩阵，由参数k_u，k_v，s，u₀，v确定，这些参数只与摄像机的内部结构有关；而k_u＝f/dx，k_v＝f/dy；

[R T]——摄像机的外部参数矩，由摄像机的位置决定；

P——投影矩阵，为3x4矩阵。

针孔模型只是一种理想的模型，与实际的摄像机模型还有一些区别。实际的摄像机模型存在镜头畸变。镜头畸变一般包括径向畸变、离心畸变和薄棱镜畸变三种。径向畸变只在径向位置产生畸变，而离心畸变和薄棱镜畸变不只存在径向位置的畸变，还有切向位置。

径向畸变的数学模型可以表示为：

上式中，——成像点到图像中心的距离；

k₁，k₂，k₃，....——径向畸变系数。

离心畸变的数学模型可以表示为：

其中，p₁，p₂——切向畸变系数。

薄棱镜畸变的数学模型可以表示为：

上式中，s₁，s₂——薄棱镜畸变系数。

假设实际的图像物理坐标为(x_d,y_d)，理想的图像物理坐标为(x_u,y_u)，那么畸变校正前后图像物理坐标之间的转换关系为：

其中，畸变参数包括k₁，k₂，k₃，p₁，p₂，以及s₁，s₂。

实际中，由于现在的摄像头设计都可以达到很高的精度，可根据实际情况对畸变参数进行一定忽略简化，例如对于高价位的镜头，薄棱镜畸变很小，基本可以忽略，径向畸变只考虑前两阶的畸变系数等，以简化计算的复杂度。

本申请实施例使用平面棋盘格标定法，采集至少两张不同角度的平面标定板图像，对标定板图像提取角点，分别标定广角相机和双目立体相机的左右相机的内部参数和畸变参数；然后利用极限约束进行双目立体相机的立体标定，得到双目立体相机的本征矩阵、基础矩阵、旋转矩阵和平移矩阵，使得双目立体相机的左右图片消除畸变后在水平方向严格对齐，两幅图片的对极线恰好在同一水平线上，这样一幅图片上的任意一点与其在另一幅图像上的匹配点一定在同一行上，如图4、图5所示。

双目立体相机2的左、右相机经过立体标定后采集的立体图像如图6所示，左相机采集的立体图像上的任意一点与其在右相机采集的立体图像上的匹配点在同一行上(如图中白线所示)。

本申请实施例中，除了初始化之时进行相机标定外，在预定情形发生时，要对广角相机1与双目立体相机2进行重新标定。例如预定情形包括以下项中的至少一种或者其组合：距上一次标定过去看预定时间；双目立体相机、广角相机中任一个的方位发生改变；周围事物的情景发生超出预定阈值的改变等。

相机标定器31对广角相机1与双目立体相机2进行标定后，需要对广角相机1与双目立体相机2进行合理的装配，以使广角相机1与双目立体相机2的视野重叠区域位于广角相机的中心区域附近。广角相机1的视野范围大于双目立体相机2的视野范围，且广角相机1与双目立体相机2的视野存在重叠，由于广角相机1的光心及其附近畸变较小，可通过对广角相机1与双目立体相机2的合理装配，来保证广角相机1与双目立体相机2的视野重叠区域位于广角相机的中心区域附近。

本申请实施例中，广角相机1可位于双目立体相机2的下方，如图7所示，广角相机1与双目立体相机2是一体式结构，其中，双目立体相机2包括左目相机模组和右目相机模组，广角相机1设置于左目相机模组与右目相机模组之间，且广角相机1位于双目立体相机2的下方。不过，替代地，广角相机1与双目立体相机2也可是分体式结构。

广角相机1也可位于双目立体相机2的中间位置或者左右侧的任意一侧，广角相机1也可位于双目立体相机2的下方，广角相机1与双目立体相机2之间可以是固定连接，也可以是可动连接(如广角相机可转动、可上下移动)，即本申请实施例对广角相机与双目立体相机具体的装配方式与相对位置设计并不做要求，只要能保证广角相机与双目立体相机的视野重叠区域位于广角相机的中心区域附近即可，如图8所示。

相机标定器31对广角相机1与双目立体相机2进行标定后，立体图像处理器32根据双目立体相机2的内参与畸变参数对立体图像进行去畸变处理，去畸变后的广角图像与立体图像通过图像配准器33进行配准，并根据图像配准结果将立体图像中的检测目标重投影至广角图像中，实现检测目标的目标识别。

本申请实施例的图像配准采用基于特征的配准方法，如图9所示，分别提取广角图像与立体图像的特征信息，对提取的特征信息进行特征匹配，结合广角相机1和双目立体相机2的内部参数和畸变参数实现立体图像与广角图像中对应像素点的坐标转换，实现广角图像与立体图像的图像配准。优选的，为了减少无效的特征提取和搜索匹配空间，本实施例对广角图像设定了感兴趣区域(region of interesting，ROI)，仅对ROI区域进行特征提取。ROI区域是根据广角相机与双目立体相机的视野重叠范围确定的，大致与立体图像的视野范围相同，并位于广角图像的光心附近区域。

图像配准器33对广角图像与立体图像进行图像配准后，图像分析处理器3对立体图像进行立体匹配，立体匹配的目标是在两个行校正的左右图像中找到匹配的对应像素点，通过计算这些对应像素点在左右两幅图像中的x坐标计算这些对应像素点的视差，最终输出一个视差图。对去畸变和立体标定过的双目立体相机的左右图像进行匹配，可以采用基于局部的立体匹配方法、基于全局的立体匹配方法或者基于半全局的立体匹配方法，采用何种立体匹配方法并不影响本实施例的实质。

立体匹配算法是计算机视觉中的一种常用技术，其目标是从二维图像或图像序列中获取对外部世界的认识和理解，即利用二维图像恢复三维环境中物体的集合信息，比如形状、位置、姿态、运动等，并能描述、识别与连接。

立体图像处理器32还用于对立体图像进行目标检测，获得检测目标的目标距离信息。传统基于二维图像的目标检测方法仅能利用目标的颜色、纹理、形状等二维信息，易受光照、阴影等环境影响，导致检测结果不准确，漏检和误检情况严重。而对立体图像进行立体匹配后，将二维图像恢复为三维图像，采用基于三维图像的目标检测方法对立体图像进行目标检测，获得检测目标的距离信息，对检测目标进行精准定位。

图像分析处理器3还包括重投影器34，重投影器34根据图像配准结果将立体图像中的检测目标投影至广角图像中，获得检测目标的目标识别信息。对立体图像进行目标检测后，根据图像配准结果(广角图像与立体图像对应像素点的坐标转换关系)将立体图像中的检测目标投影变换到广角图像中，如图10所示，从而在广角图像中显示检测目标的目标识别信息，如检测目标的形状、颜色等信息。

本申请实施例提供的多目车载记录仪除了具备一般车载记录仪的图像采集和保存功能外，还具备目标检测等功能，将双目立体相机的视野范围作为检测预警范围，将广角相机的视野范围作为监控记录范围，特别适合用于汽车辅助驾驶中，为辅助驾驶***提供较为完善准确和全面的图像信息，可用于前车碰撞预警、车道线偏离等辅助驾驶领域。

本申请实施例提供的多目车载记录仪包括广角相机、双目立体相机、图像分析处理器及存储器，其中，广角相机用于采集汽车前方目标的广角图像；双目立体相机用于采集汽车前方目标的立体图像；图像分析处理器用于对立体图像进行目标检测，获得检测目标的目标距离信息，对广角图像与立体图像进行图像配准，根据图像配准结果将立体图像中的检测目标重投影至广角图像中，获得检测目标的目标识别信息，具体地，图像分析处理器包括图像配准器，图像配准器用于用于对广角图像提取的特征信息与立体图像提取的特征信息进行特征匹配，根据特征匹配结果确定所述广角图像与立体图像中对应像素点的坐标转换关系，其中，坐标转换关系用以对立体图像与广角图像进行图像配准；存储器用于存储广角图像、立体图像、目标识别信息与目标距离信息。本申请提供的多目车载记录仪基于广角相机和双目立体相机，以立体图像作为目标检测的主要依据，在去畸变的立体图像上进行目标检测，利用双目立体相机的优势获得较准确的检测目标及目标距离信息，并对立体图像与广角图像进行图像配准，根据图像配准结果将立体图像中的检测目标投影至广角图像中，获得检测目标的识别信息，利用广角相机具有宽视野的优点。该多目车载记录仪采用立体视觉进行目标检测，相对二维图像检测准确性更好，且利用广角相机与双目立体相机的图像配准技术，使得车载记录仪间距广角相机视野宽的优点和双目立体相机测距准确的优点。

基于本申请实施例提供的多目车载记录仪，本申请实施例还提供了一种基于广角相机与双目立体相机图像配准的目标检测方法。

如图11所示，本申请实施例提供的基于广角相机与双目立体相机图像配准的目标检测方法包括：

S100：获取广角相机采集汽车前方目标的广角图像及双目立体相机采集汽车前方目标的立体图像。

本申请实施例中，广角相机与双目立体相机安装在汽车车身上，用于拍摄汽车前方道路情况，在广角相机与双目立体相机工作之前，需要进行一些初始化操作，包括对广角相机和双目立体相机进行标定，获得广角相机的内参、双目立体相机的内参及畸变参数，双目立体相机的内参包括左目相机的内参和右目相机的内参，内参为图像的去畸变处理所需；畸变参数包括与左目相机和右目相机之间的位置关系相关的外参。

对广角相机与双目立体相机标定后，还需要对标定后的广角相机与双目立体相机进行装配，由于广角相机的视野范围大于双目立体相机的视野范围，两者的视野范围存在重叠区域，且广角相机的光心及其附近畸变较小，因此需要对广角相机与双目立体相机进行合理装配，以保证广角相机与双目立体相机的视野重叠区域位于广角相机的中心区域附近。

S200：对立体图像进行目标检测，获得检测目标到双目立体相机的目标距离信息。

本申请实施例采用基于三维图像的目标检测方法对立体图像进行目标检测，获得检测目标到双目立体相机的目标距离信息，对立体图像中的检测目标进行精准定位。可采用立体匹配法获得立体图像中检测目标的目标距离信息，具体地，对双目立体相机采集的立体图像进行距离检测，获得各个像素的距离可以包括：用立体匹配算法对采集的图像进行匹配，获得对应像素在图像中的距离差，通过双目立体相机的内参和畸变参数计算出至少一个采集的图像中各个像素的距离。

基于三维图像的目标检测方法充分利用了目标的二维颜色、纹理等信息以及三维距离信息等，可有效克服光照、阴影等对检测结果的影响。本申请实施例中，基于三维图像的目标检测方法可以是基于视差图的目标检测方法，也可以是基于三维点云的目标检测方法，常见方法包括基于UV图的目标检测、基于网格法的目标检测、基于RGBD图的目标检测方法、基于卷积神经网络的目标检测等。

有关立体匹配算法和目标检测方法均可以使用本领域惯用技术，此非本申请要点，此处不再赘述。

S300：对立体图像与广角图像进行图像配准，根据图像配准结果将立体图像中的检测目标重投影至广角图像中，获得述检测目标的目标识别信息。

采用基于三维图像的目标检测方法对立体图像进行目标检测后，利用广角相机与双目立体相机的图像配准结果，将立体图像中的检测目标投影变换到广角图像中，从而在广角图像中显示目标识别信息。图像重投影是指通过对任意视点的参考图像进行投影来产生新的图像.由于图像重投影能够改变已生成的图像的视线方向,因此它已在多视点图像的实时渲染、视图变形、图像拼接等领域得到了应用。

获取广角相机与双目立体相机的图像配准结果的方法如图12所示。

S301：根据广角相机与双目立体相机的视野重叠区域确定广角图像的感兴趣区域。

对广角相机与双目立体相机进行合理装配后，广角相机与双目立体相机的视野重叠区域位于广角相机的中心区域附近，且该中心区域的畸变较小，因此根据广角相机与双目立体相机的视野重叠区域确定广角图像的感兴趣区域(ROI区域)，仅分析ROI区域内的特征信息。

S302：提取广角图像中感兴趣区域的特征信息及立体图像中的特征信息。

由于广角图像的中心区域畸变较小，而其他区域的畸变较大，因此仅对广角图像的ROI区域进行特征信息提取，提取广角图像和立体图像的左(或右)图像中的点、线、边缘等特征信息。提取特征的算法包括但不限于harris算法、susan算法、canny算法、SIFT、SURF等，可以在去畸变的图像上进行特征提取，也可以在原图像上进行特征提取。

S303：对广角图像提取的特征信息与立体图像提取的特征信息进行特征匹配。

对广角图像中提取的特征信息与立体图像中提取的特征信息进行特征匹配，估计广角相机与双目立体相机间的旋转矩阵、平移矩阵、本征矩阵和基础矩阵等。为了减少误差，提升配准精度，一般还需要进行配准优化，优化方法可为最小二乘法、线性或非线性的LM(Levenberg-Marquardt)方法等。

S304：根据特征匹配结果确定广角图像与立体图像中对应像素点的坐标转换关系。

对提取的特征信息进行特征匹配后，结合广角相机和双目立体相机的内部参数和畸变参数，实现立体图像与广角图像中对应像素点的坐标转换，获得广角图像与立体图像的坐标转换关系，该坐标转换关系用以对所述立体图像与广角图像进行图像配准。

S305：根据坐标转换关系将立体图像中的检测目标投影转换到广角图像中。

S306：通过广角图像显示检测目标的目标识别信息。

采用基于三维图像的目标检测方法对立体图像进行目标检测后，根据广角图像与立体图像的坐标转换关系将立体图像中的检测目标投影转换到广角图像中，将检测目标在广角图像中显示出来，从而获得检测目标的目标识别信息，如目标的形状、颜色等信息。

利用广角相机与双目立体相机的图像配准参数，将立体图像坐标系的检测目标重投影到广角图像坐标系中。本申请可以只计算目标框顶点在广角图像上的重投影坐标，也可以计算目标框在广角图像上的投影框。

根据本申请实施例提供的多目车载记录仪，本申请实施例还提供了一种智能驾驶***，其包括上述多目车载记录仪，该多目车载记录仪采用上述基于广角相机与双目立体相机图像配准的目标检测方法进行目标检测。

智能驾驶***作为智能驾驶汽车的大脑，利用多目车载记录仪提供的目标识别信息和目标距离信息，来做出智能驾驶决策，并向驾驶执行部件发出控制指令，如转向、减速、换道、刹车等指令。

根据本申请实施例提供的智能驾驶***，本申请实施例还提供了一种智能驾驶汽车，包括上述的智能驾驶***。本申请提供的多目车载记录仪特别适合于智能驾驶***中用于目标的识别，其既能够识别大范围内的目标，又能够识别重点范围内的目标距离，能够为智能驾驶***提供较好的输入数据，保证智能驾驶汽车的安全驾驶。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种多目车载记录仪，其特征在于，包括广角相机、双目立体相机、图像分析处理器及存储器，其中，

所述广角相机，用于采集汽车前方目标的广角图像；

所述双目立体相机，用于采集汽车前方目标的立体图像；

所述图像分析处理器，用于对所述立体图像进行目标检测，获得检测目标的目标距离信息；用于对所述广角图像与立体图像进行图像配准，根据图像配准结果将所述立体图像中的检测目标重投影至所述广角图像中，获得所述检测目标的目标识别信息；

所述存储器，用于存储所述广角图像、立体图像、目标识别信息与目标距离信息。

2.根据权利要求1所述的多目车载记录仪，其特征在于，所述图像分析处理器包括图像配准器，所述图像配准器用于对所述广角图像提取的特征信息与立体图像提取的特征信息进行特征匹配，根据特征匹配结果确定所述广角图像与立体图像中对应像素点的坐标转换关系，其中，所述坐标转换关系用以对所述立体图像与广角图像进行图像配准。

3.根据权利要求2所述的多目车载记录仪，其特征在于，所述图像分析处理器还包括重投影器，所述重投影器用于根据所述坐标转换关系将所述立体图像中的检测目标投影变换至所述广角图像中，显示所述检测目标的目标识别信息。

4.根据权利要求3所述的多目车载记录仪，其特征在于，所述图像分析处理器还包括相机标定器，所述相机标定器用于对所述广角相机与立体相机进行标定、装配，以使所述广角相机与双目立体相机的视野重叠区域位于所述广角图像的中心区域。

5.一种基于广角相机与双目立体相机图像配准的目标检测方法，其特征在于，所述方法包括：

获取广角相机采集汽车前方目标的广角图像及双目立体相机采集汽车前方目标的立体图像；

对所述立体图像进行目标检测，获得检测目标到所述双目立体相机的目标距离信息；

对所述立体图像与广角图像进行图像配准，根据所述图像配准结果将所述立体图像中的所述检测目标重投影至所述广角图像中，获得所述检测目标的目标识别信息。

6.根据权利要求5所述的目标检测方法，其特征在于，对所述立体图像与广角图像进行图像配准，包括：

根据所述广角相机与双目立体相机的视野重叠区域确定所述广角图像的感兴趣区域；

提取所述广角图像中所述感兴趣区域的特征信息及所述立体图像中的特征信息；

对广角图像提取的特征信息与立体图像提取的特征信息进行特征匹配；

根据所述特征匹配结果确定所述广角图像与立体图像中对应像素点的坐标转换关系，其中，所述坐标转换关系用以对所述立体图像与广角图像进行图像配准。

7.根据权利要求6所述的目标检测方法，其特征在于，根据所述图像配准结果将所述立体图像中的所述检测目标重投影至所述广角图像中，获得所述检测目标的目标识别信息，包括：

根据所述坐标转换关系将所述立体图像中的检测目标投影变换到所述广角图像中；

通过所述广角图像显示所述检测目标的目标识别信息。

8.根据权利要求5所述的目标检测方法，其特征在于，获取广角相机采集汽车前方目标的广角图像及双目立体相机采集汽车前方目标的立体图像，之前包括：

分别对所述广角相机与双目立体相机进行标定；

对标定后的广角相机与双目立体相机进行装配，以使所述广角相机与双目立体相机的视野重叠区域位于所述广角图像的中心区域；

通过装配后的广角相机与双目立体相机分别采集汽车前方目标的图像。

9.一种智能驾驶***，其特征在于，包括权利要求1-4任一项所述的多目车载记录仪，所述多目车载记录仪通过权利要求5-8任一项所述的目标检测方法进行目标检测。

10.一种智能驾驶汽车，其特征在于，包括权利要求9所述的智能驾驶***。