CN103950410A - 全景式辅助驾驶方法及*** - Google Patents

Abstract

本发明公开一种全景式辅助驾驶方法及***，该***包括：检测模块、识别模块、计算模块、显示模块。本发明通过装在车前后左右四个方向的鱼眼摄像头，能够得到无死角的车周围的环视实时图像，结合预先标定的鱼眼摄像头参数，可以校正四张图像成正常视角图像，通过车辆识别算法，可以实时识别出周围的车辆，再通过车道检测算法，可计算出当前车辆在当前车道的位置，最后，按照一定的缩放比例，以俯视视角，将当前车辆与周围车辆及车道的相对位置信息，模拟显示在中控显示器上，由此通过360度全景式显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，提高了驾驶员的驾驶安全性。

Description

全景式辅助驾驶方法及***

技术领域

本发明涉及汽车技术领域，尤其涉及一种全景式辅助驾驶方法及***。

背景技术

目前，常见的辅助驾驶***（ADAS，Advanced Driver Assistance System）主要是针对车辆前方的车距和车道的识别，其识别视角范围有限，无法全面辅助驾驶员进行驾驶操作。

发明内容

为了克服现有技术的不足，本发明提出一种可以360度（或称俯视式，或称鹰眼视角）全景检测的辅助驾驶方法及***，以提高驾驶员的驾驶安全性。

为了达到上述目的，本发明提出一种全景式辅助驾驶方法，包括：

通过安装在当前车辆前、后、左、右四个方向的摄像头，检测得到当前车辆周围的实时图像信息；

根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置；

通过车道检测算法，计算出当前车辆在当前车道中的相对位置；

将周围其它车辆相对于当前车辆的距离和位置，以及当前车辆在当前车道中的相对位置信息显示在中控显示器上。

优选地，所述检测得到当前车辆周围的实时图像信息的步骤之后还包括：

结合预先标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理。

优选地，所述检测得到当前车辆周围的实时图像信息的步骤之前还包括：

通过预设的标定法对所述摄像头进行标定，分别得到各个摄像头参数。

优选地，根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置的步骤包括：

根据得到的其它车辆在实时图像中的位置信息，结合摄像头的安装高度，采用预定的车辆识别算法，计算其它车辆离对应摄像头的位置，并识别前方车辆的车尾、侧面车辆的车侧、侧面车辆的长度以及后面车辆的车头位置，得到周围其它车辆相对于当前车辆的距离和位置。

优选地，通过车道检测算法，计算出当前车辆在当前车道的相对位置的步骤包括：

通过前、后摄像头，分别进行车道检测；

通过检测出的车道与水平线的夹角，计算出当前车辆在当前车道中的相对位置。

优选地，该方法还包括：

在当前车辆需要变换车道时，根据当前车辆的行驶速度，以及当前车辆与侧面车辆的相对位置，计算出当前车辆变换车道是否安全，若不安全，则闪烁对应的车道线，以及发出报警声音。

优选地，该方法还包括：

当前车突然急刹车时，在当前车辆和前车间的显示位置中发出报警信号。

 本发明还提出一种全景式辅助驾驶***，包括：

检测模块，用于通过安装在当前车辆前、后、左、右四个方向的摄像头，检测得到当前车辆周围的实时图像信息；

识别模块，用于根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置；

计算模块，用于通过车道检测算法，计算出当前车辆在当前车道中的相对位置；

显示模块，用于将周围其它车辆相对于当前车辆的距离和位置，以及当前车辆在当前车道中的相对位置信息显示在中控显示器上。

优选地，该***还包括：

处理模块，用于通过预设的标定法对所述摄像头进行标定，分别得到各个摄像头参数，以及结合预先标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理优选地，所述识别模块，还用于根据得到的其它车辆在实时图像中的位置信息，结合摄像头的安装高度，采用预定的车辆识别算法，计算其它车辆离对应摄像头的位置，并识别前方车辆的车尾、侧面车辆的车侧、侧面车辆的长度以及后面车辆的车头位置，得到周围其它车辆相对于当前车辆的距离和位置；

所述计算模块，还用于通过前、后摄像头，分别进行车道检测；通过检测出的车道与水平线的夹角，计算出当前车辆在当前车道中的相对位置。

优选地，该***还包括：

预警模块，用于在当前车辆需要变换车道时，根据当前车辆的行驶速度，以及当前车辆与侧面车辆的相对位置，计算出当前车辆变换车道是否安全，若不安全，则闪烁对应的车道线，以及发出报警声音；以及当前车突然急刹车时，在当前车辆和前车间的显示位置中发出报警信号。

 本发明提出的一种全景式辅助驾驶方法及***，通过装在车前后左右四个方向的鱼眼摄像头，能够得到无死角的车周围的环视实时图像，结合预先标定的鱼眼摄像头参数，可以校正四张图像成正常视角图像，通过车辆识别算法，可以实时识别出周围的车辆(包括前方车辆的车尾，侧面车辆的车侧，后面车辆的车头)，再通过车道检测算法，可以计算出当前车辆在当前车道的位置，最后，按照一定的缩放比例，将当前车辆的相对位置信息，以俯视图的形式显示在中控显示器上，由此通过360度全景式（或称俯视式，或称鹰眼视角）的显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，从而可以全面辅助驾驶员进行驾驶操作，提高了驾驶员的驾驶安全性。 

附图说明

图1是本发明全景式辅助驾驶方法第一实施例的流程示意图；

图2是本发明中车辆辅助驾驶***全景式（俯视式）显示示意图；

图3是本发明全景式辅助驾驶方法第二实施例的流程示意图；

图4是本发明全景式辅助驾驶方法第三实施例的流程示意图；

图5是本发明全景式辅助驾驶***第一实施例的功能模块示意图；

图6是本发明全景式辅助驾驶***第二实施例的功能模块示意图；

图7是本发明全景式辅助驾驶***第三实施例的功能模块示意图。

 为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明第一实施例提出的一种全景式辅助驾驶方法，包括：

步骤S101，通过安装在当前车辆前、后、左、右四个方向的摄像头，检测得到当前车辆周围的实时图像信息；

本实施例分别在车辆的前脸、两侧后视镜以及后车牌部四个位置各安装有一个鱼眼摄像头，通过四个鱼眼摄像头，检测车辆前、后、左、右四个方向的图像，能够得到无死角的车辆周围的环视实时鱼眼视角图像信息，并可以通过去失真和校正得到正常视角的图像。

步骤S102，根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时正常视角图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置；

在检测并校正得到当前车辆周围的实时正常视角图像信息后，对得到的四幅实时图像进行车辆识别，以得到其它车辆相对于当前车辆的距离和位置。

在对实时图像信息进行车辆识别时，可以采用预定的车辆识别算法，比如采用基于Haar特征的AdaBoost分类算法（或是基于LBP特征的SVM分类算法等等），可以识别出周围的其它车辆(包括前方车辆的车尾，侧面车辆的车侧，侧面车辆的长度以及后面车辆的车头) 相对于当前车辆的距离和位置。当然，针对不同的四个方向，识别的模式分别是车后脸、车前脸和车侧脸，这就需要预先对这些模式进行学习，其学习过程可以在后台服务器上完成。上述基于Haar特征的AdaBoost分类算法、基于LBP特征的SVM分类算法等均为计算机视觉和图像处理领域的现有技术，在此不再赘述。

步骤S103，通过车道检测算法，计算出当前车辆在当前车道的相对位置；

在得到其它车辆在实时图像中的位置后，通过小孔成像原理，结合摄像头的安装高度，计算出其它车辆离各个摄像头的距离以及侧面车辆的长度。

然后，针对前视和后视摄像头，分别进行车道检测。通过车道与水平线的夹角，可以计算出当前车辆在当前车道中的相对位置，包括当前车辆相对于周围其它车辆的相对位置。

步骤S104，将周围其它车辆相对于当前车辆的距离和位置，以及当前车辆在当前车道中的相对位置信息显示在中控显示器上。

最后，按照一定的缩放比例，以俯视式视角，将当前车辆的相对位置信息显示在中控显示器上。由此，通过全景式（俯视式）的显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，如图2所示。

本实施例通过上述方案，通过装在车前后左右四个方向的鱼眼摄像头，能够得到无死角的车周围的环视实时图像，结合预先标定的鱼眼摄像头参数，可以校正四张图像成正常视角图像，通过车辆识别算法，可以实时识别出周围的车辆(包括前方车辆的车尾，侧面车辆的车侧，后面车辆的车头)，再通过车道检测算法，可以计算出当前车辆在当前车道的位置，最后，按照一定的缩放比例，将当前车辆的相对位置信息，以俯视图的形式显示在中控显示器上，由此通过360度全景式（或称俯视式，或称鹰眼视角）的显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，从而可以全面辅助驾驶员进行驾驶操作，提高了驾驶员的驾驶安全性。

 如图3所示，本发明第二实施例提出的一种全景式辅助驾驶方法，在上述图1所示的第一实施例的基础上，在上述步骤S101：检测得到当前车辆周围的实时图像信息之前还包括：

步骤S100，通过预设的标定法对所述摄像头进行标定，分别得到各个摄像头参数。

在上述步骤S101：检测得到当前车辆周围的实时图像信息之后还包括：

步骤S105，结合预先标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理。

本实施例与上述图1所示的第一实施例的区别在于，本实施例还包括对各摄像头进行参数标定，以及结合标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理的方案，以提高图像信息处理的准确性。

具体地，在安装摄像头时，***首先对四个摄像头进行标定，可以通过张正友等标定法，分别得到各个摄像头参数。

在检测得到当前车辆周围的实时图像信息后，结合预先标定的摄像头参数，通过单应性变换，可以对得到四幅图像进行去失真处理，校正球面式图像成正常视觉图像。

然后，对校正后的四幅图像分别进行车辆识别，检测出周围的车辆(包括前方车辆的车尾，侧面车辆的车侧，后面车辆的车头)位置。

由此，通过对各摄像头进行参数标定，以及结合标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理的方案，提高了图像信息处理的准确性，进而提高了车辆位置识别信息的准确性。

 如图4所示，本发明第三实施例提出的一种全景式辅助驾驶方法，在上述图3所示的第二实施例的基础上，在上述步骤S104：将当前车辆在当前车道中的相对位置信息显示在中控显示器上之后还包括：

步骤S106，在当前车辆需要变换车道时，根据当前车辆的行驶速度，以及当前车辆与侧面车辆的相对位置，计算出当前车辆变换车道是否安全，若不安全，则闪烁对应的车道线，以及发出报警声音；以及，当前车突然急刹车时，在当前车辆和前车间的显示位置中发出报警信号。

本实施例与上述图3所示的第二实施例的区别在于，本实施例还包括获得全景显示后的车辆预警方案。

具体地，在本实施例中，首先，在得到当前车辆在当前车道中的相对位置信息后，即可通过全景式（俯视式）的显示，使驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，方便驾驶员根据显示的位置信息进行安全驾驶操作。

此外，当驾驶员想变换车道时，***会根据当前的速度，以及当前车辆与侧面车辆的相对位置，计算出当前变换车道是否安全，若不安全，则会闪烁对应的车道线，以及发出报警声音，提醒驾驶员注意安全。

另外，作为另一种应用场景，当前车突然急刹时，全景显示会在当前车和前车间的显示中发出报警信号，同样包括声音和图像两方面的报警，由此，提高了驾驶员的行车安全。

 如图5所示，本发明第一实施例提出一种全景式辅助驾驶***，包括：检测模块201、识别模块202、计算模块203以及显示模块204，其中：

检测模块201，用于通过安装在当前车辆前、后、左、右四个方向的摄像头，检测得到当前车辆周围的实时图像信息；

识别模块202，用于根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置；

计算模块203，用于通过车道检测算法，计算出当前车辆在当前车道中的相对位置；

显示模块204，用于将周围其它车辆相对于当前车辆的距离和位置，以及当前车辆在当前车道中的相对位置信息显示在中控显示器上。

本实施例分别在车辆的前脸、两侧后视镜以及后车牌部四个位置各安装有一个鱼眼摄像头，通过四个鱼眼摄像头，检测车辆前、后、左、右四个方向的图像，能够得到无死角的车辆周围的环视实时鱼眼视角图像信息，并可以通过去失真和校正得到正常视角的图像。

在检测并校正得到当前车辆周围的实时正常视角图像信息后，对得到的四幅实时图像进行车辆识别，以得到其它车辆相对于当前车辆的距离和位置。

在对实时图像信息进行车辆识别时，可以采用预定的车辆识别算法，比如采用基于Haar特征的AdaBoost分类算法（或是基于LBP特征的SVM分类算法等等），可以实时识别出周围的其它车辆(包括前方车辆的车尾，侧面车辆的车侧，侧面车辆的长度以及后面车辆的车头) 相对于当前车辆的距离和位置。当然，针对不同的四个方向，识别的模式分别是车后脸、车前脸和车侧脸，这就需要预先对这些模式进行学习，其学习过程可以在后台服务器上完成。上述基于Haar特征的AdaBoost分类算法、基于LBP特征的SVM分类算法等均为计算机视觉和图像处理领域的现有技术，在此不再赘述。

在得到其它车辆在实时图像中的位置后，通过小孔成像原理，结合摄像头的安装高度，计算出其它车辆离各个摄像头的距离以及侧面车辆的长度。

然后，针对前视和后视摄像头，分别进行车道检测。通过车道与水平线的夹角，可以计算出当前车辆在当前车道中的相对位置，包括当前车辆相对于周围其它车辆的相对位置。

最后，按照一定的缩放比例，以俯视式视角，将当前车辆的相对位置信息显示在中控显示器上。由此，通过全景式（俯视式）的显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，如图2所示。

本实施例通过上述方案，通过装在车前后左右四个方向的鱼眼摄像头，能够得到无死角的车周围的环视实时图像，结合预先标定的鱼眼摄像头参数，可以校正四张图像成正常视角图像，通过车辆识别算法，可以实时识别出周围的车辆(包括前方车辆的车尾，侧面车辆的车侧，后面车辆的车头)，再通过车道检测算法，可以计算出当前车辆在当前车道的位置，最后，按照一定的缩放比例，将当前车辆的相对位置信息，以俯视图的形式显示在中控显示器上，由此通过360度全景式（或称俯视式，或称鹰眼视角）的显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，从而可以全面辅助驾驶员进行驾驶操作，提高了驾驶员的驾驶安全性。

 如图6所示，本发明第二实施例提出一种全景式辅助驾驶***，在上述图5所示的第一实施例的基础上，还包括：

处理模块205，用于通过预设的标定法对所述摄像头进行标定，分别得到各个摄像头参数，以及结合预先标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理。

本实施例与上述图5所示的第一实施例的区别在于，本实施例还包括对各摄像头进行参数标定，以及结合标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理的方案，以提高图像信息处理的准确性。

具体地，在安装摄像头时，***首先对四个摄像头进行标定，可以通过张正友等标定法，分别得到各个摄像头参数。

在检测得到当前车辆周围的实时图像信息后，结合预先标定的摄像头参数，通过单应性变换，可以对得到四幅图像进行去失真处理，校正球面式图像成正常视觉图像。

然后，对校正后的四幅图像分别进行车辆识别，检测出周围的车辆(包括前方车辆的车尾，侧面车辆的车侧，后面车辆的车头)位置。

由此，通过对各摄像头进行参数标定，以及结合标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理的方案，提高了图像信息处理的准确性，进而提高了车辆位置识别信息的准确性。

 如图7所示，本发明第三实施例提出一种全景式辅助驾驶***，在上述图6所示的第二实施例的基础上，还包括：

预警模块206，用于在当前车辆需要变换车道时，根据当前车辆的行驶速度，以及当前车辆与侧面车辆的相对位置，计算出当前车辆变换车道是否安全，若不安全，则闪烁对应的车道线，以及发出报警声音；以及当前车突然急刹车时，在当前车辆和前车间的显示位置中发出报警信号。

本实施例与上述图6所示的第二实施例的区别在于，本实施例还包括获得全景显示后的车辆预警方案。

具体地，在本实施例中，首先，在得到当前车辆在当前车道中的相对位置信息后，即可通过全景式（俯视式）的显示，使驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，方便驾驶员根据显示的位置信息进行安全驾驶操作。

此外，当驾驶员想变换车道时，***会根据当前的速度，以及当前车辆与侧面车辆的相对位置，计算出当前变换车道是否安全，若不安全，则会闪烁对应的车道线，以及发出报警声音，提醒驾驶员注意安全。

另外，作为另一种应用场景，当前车突然急刹时，全景显示会在当前车和前车间的显示中发出报警信号，同样包括声音和图像两方面的报警，由此，提高了驾驶员的行车安全。

 本发明实施例全景式辅助驾驶方法及***，通过装在车前后左右四个方向的鱼眼摄像头，能够得到无死角的车周围的环视实时图像，结合预先标定的鱼眼摄像头参数，可以校正四张图像成正常视角图像，通过车辆识别算法，可以实时识别出周围的车辆(包括前方车辆的车尾，侧面车辆的车侧，后面车辆的车头)，再通过车道检测算法，可以计算出当前车辆在当前车道的位置，最后，按照一定的缩放比例，将当前车辆的相对位置信息，以俯视图的形式显示在中控显示器上，由此通过360度全景式（或称俯视式，或称鹰眼视角）的显示，驾驶员可以清晰的看到当前车辆在周围车辆中的相对位置，从而可以全面辅助驾驶员进行驾驶操作，提高了驾驶员的驾驶安全性。

 上述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全景式辅助驾驶方法，其特征在于，包括：

通过安装在当前车辆前、后、左、右四个方向的摄像头，检测得到当前车辆周围的实时图像信息；

根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置；

通过车道检测算法，计算出当前车辆在当前车道中的相对位置；

将周围其它车辆相对于当前车辆的距离和位置，以及当前车辆在当前车道中的相对位置信息显示在中控显示器上。

2.根据权利要求1所述的方法，其特征在于，所述检测得到当前车辆周围的实时图像信息的步骤之后还包括：

结合预先标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理。

3.根据权利要求2所述的方法，其特征在于，所述检测得到当前车辆周围的实时图像信息的步骤之前还包括：

通过预设的标定法对所述摄像头进行标定，分别得到各个摄像头参数。

4.根据权利要求2所述的方法，其特征在于，根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置的步骤包括：

根据得到的其它车辆在实时图像中的位置信息，结合摄像头的安装高度，采用预定的车辆识别算法，计算其它车辆离对应摄像头的位置，并识别前方车辆的车尾、侧面车辆的车侧、侧面车辆的长度以及后面车辆的车头位置，得到周围其它车辆相对于当前车辆的距离和位置。

5.根据权利要求1、2、3或4所述的方法，其特征在于，通过车道检测算法，计算出当前车辆在当前车道的相对位置的步骤包括：

通过前、后摄像头，分别进行车道检测；

通过检测出的车道与水平线的夹角，计算出当前车辆在当前车道中的相对位置。

6.根据权利要求5所述的方法，其特征在于，还包括：

在当前车辆需要变换车道时，根据当前车辆的行驶速度，以及当前车辆与侧面车辆的相对位置，计算出当前车辆变换车道是否安全，若不安全，则闪烁对应的车道线，以及发出报警声音。

7.根据权利要求5所述的方法，其特征在于，还包括：

当前车突然急刹车时，在当前车辆和前车间的显示位置中发出报警信号。

8.一种全景式辅助驾驶***，其特征在于，包括：

检测模块，用于通过安装在当前车辆前、后、左、右四个方向的摄像头，检测得到当前车辆周围的实时图像信息；

识别模块，用于根据预定的车辆识别算法对所述检测得到的当前车辆周围的实时图像信息进行车辆识别，得到周围其它车辆相对于当前车辆的距离和位置；

计算模块，用于通过车道检测算法，计算出当前车辆在当前车道中的相对位置；

显示模块，用于将周围其它车辆相对于当前车辆的距离和位置，以及当前车辆在当前车道中的相对位置信息显示在中控显示器上。

9.根据权利要求8所述的***，其特征在于，还包括：

处理模块，用于通过预设的标定法对所述摄像头进行标定，分别得到各个摄像头参数，以及结合预先标定的摄像头参数，对检测得到的车辆周围的实时图像信息进行去失真及校正处理；

所述识别模块，还用于根据得到的其它车辆在实时图像中的位置信息，结合摄像头的安装高度，采用预定的车辆识别算法，计算其它车辆离对应摄像头的位置，并识别前方车辆的车尾、侧面车辆的车侧、侧面车辆的长度以及后面车辆的车头位置，得到周围其它车辆相对于当前车辆的距离和位置；

所述计算模块，还用于通过前、后摄像头，分别进行车道检测；通过检测出的车道与水平线的夹角，计算出当前车辆在当前车道中的相对位置。

10.根据权利要求8或9所述的***，其特征在于，还包括：

预警模块，用于在当前车辆需要变换车道时，根据当前车辆的行驶速度，以及当前车辆与侧面车辆的相对位置，计算出当前车辆变换车道是否安全，若不安全，则闪烁对应的车道线，以及发出报警声音；以及当前车突然急刹车时，在当前车辆和前车间的显示位置中发出报警信号。