CN111507162B - 基于车辆间通信的协作的盲点警告方法及装置 - Google Patents

Abstract

本发明涉及基于车辆间通信(Vehicle To Vehicle Communication)来警告车辆的盲点(Blind Spot)的方法，该方法包括：步骤(a)，若从后方摄像头获取第一车辆的后方影像，则第一盲点警告装置将后方影像传送到盲点监测器，利用卷积神经网络来确定多个周边车辆是否位于后方影像，并输出第一盲点监测信息，上述第一盲点监测信息用于确认多个周边车辆是否位于后方影像；和步骤(b)，若通过车辆间通信来从第二车辆的第二盲点警告装置获取用于确认第二车辆是否位于盲点的第二盲点监测信息，则第一盲点警告装置参照第一盲点监测信息及第二盲点监测信息来警告多个周边车辆及第二车辆中的至少一个位于盲点。

Description

基于车辆间通信的协作的盲点警告方法及装置

技术领域

本发明涉及车辆的盲点警告***，更详细地，涉及基于车辆间通信并通过与周边车辆的协作来对盲点发出警告的***。

背景技术

通常，为了当驾驶人员在车辆的行驶中变更车道时通过观察侧面及后方来确保视野，在车辆的两侧设置有外后视镜并在车内中心部设置有车内后视镜。

外后视镜通过设置于车辆的两个侧面来用于确保侧面视野及后方视野，存在无法确认贴近侧面行驶的车辆或物体的盲点。

因此，在驾驶人员无法确认贴近正在行驶的车辆的侧面紧跟的其他车辆而变更车道的情况下，存在有可能与在盲点行驶的其他车辆发生碰撞事故的问题。

为了防止这种问题的产生，还存在以可使驾驶人员观察到盲点的方式使表面呈曲面的凸面镜附着于外后视镜的一侧部分的情况。

但是，在将凸面镜等设置于外后视镜的情况下，驾驶人员也需要为了变更车辆的车道而用肉眼确认盲点，这将导致驾驶人员的驾驶疲劳度，将产生根据驾驶人员的位置而存在通过附着有凸面镜的外后视镜也无法确认的盲点的问题。

为了防止这种问题的产生，近来提出了如下的盲点警告***，即，通过安装在车辆的后部面的传感器来检测靠近盲点或位于盲点的车辆等并提供给驾驶人员，防止因驾驶人员在未能识别到存在于盲点的车辆等的情况下变更车道而发生事故。

尤其，在利用视觉传感器(Vision Sensor)的现有的盲点警告***中，可对影像信息中所包含的监测对象车辆进行检测并可利用对于所检测的监测对象车辆的信息来确定监测对象车辆是否位于盲点。

并且，近来提出了通过车辆间通信来共享车辆的位置信息的盲点警告***。

但是，在现有的盲点警告***中，通过车辆间通信来共享利用全球定位***(GPS)的车辆的位置信息，但是具有在位置准确度低的高层建筑物之间、阴天、隧道等驾驶环境中无法准确警告盲点的问题。

并且，在现有的盲点警告***中，在设置于车辆后方的后方摄像头的镜头因水滴等而被污染的情况下，还存在无法准确警告盲点的问题。

并且，在现有的盲点警告***中，当在照度低的夜间行驶时，由于基于后方摄像头的图像的目标检测性能低，存在无法进行盲点警告的问题。

发明内容

本发明的目的在于解决如上所述的所有问题。

本发明的再一目的在于，达到以与驾驶环境无关的方式利用车辆间通信(VehicleTo Vehicle Communication)来对至少一个盲点发出警告。

本发明的另一目的在于，达到即使车辆的至少一个后方摄像头的至少一个镜头被污染的情况下也可对盲点发出警告。

本发明的还有一目的在于，达到夜间也可对盲点发出警告。

用于实现如上所述的本发明的目的并实现后述的本发明的特征性效果的本发明的特征性结构如下。

根据本发明的一实施方式，基于车辆间通信来对车辆的盲点发出警告(Warning)的本发明的特征为包括：步骤(a)，若从用于对第一车辆的后方区域(Rear Area)进行拍摄的后方摄像头获取上述第一车辆的后方影像(Rear Video)，则上述第一车辆的第一盲点警告装置执行将上述第一车辆的上述后方影像传送到盲点监测器(Blind-Spot Monitor)的程序，使上述盲点监测器基于卷积神经网络(Convolutional Neural Network)来对上述第一车辆的上述后方影像进行分析，以确认至少一个周边车辆是否位于上述第一车辆的上述后方影像，并输出第一盲点监测信息，上述第一盲点监测信息为对上述第一车辆的上述后方影像中的至少一个上述周边车辆是否位于上述第一车辆的第一盲点进行确认的结果；以及步骤(b)，若通过上述车辆间通信获取第二盲点监测信息，则上述第一盲点警告装置执行参照上述第一盲点监测信息和上述第二盲点监测信息来就多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点的情况发出警告的程序，上述第二盲点监测信息为通过第二车辆的第二盲点警告装置来对上述第二车辆是否位于上述第一车辆的上述第一盲点进行确认的结果，上述第二车辆位于上述第一车辆的上述后方区域。

在一实施例中，本发明的特征为，还包括步骤(c)，即，若从用于对上述第一车辆的前方区域(Front Area)进行拍摄的第一前方摄像头获取上述第一车辆的第一前方影像，则上述第一盲点警告装置执行将上述第一前方影像传送到上述第一车辆的第一检测器(Detector)的程序，使上述第一检测器基于上述卷积神经网络来对上述第一前方影像进行分析，以检测位于上述第一车辆的上述前方区域的第三车辆，并通过上述车辆间通信向上述第三车辆传送第三盲点监测信息，上述第三盲点监测信息为对上述第一车辆是否位于所检测到的上述第三车辆的第三盲点进行确认的结果。

在一实施例中，本发明的特征为，上述第一盲点警告装置通过将上述第一前方影像传送到上述第一检测器，来使得上述第一检测器执行如下程序：

程序(i)，通过向第一卷积层(Convolutional Layer)输入上述第一前方影像，使得上述第一卷积层对上述第一前方影像采用卷积运算，由此生成第一前方影像特征映射；程序(ii)，通过向第一区域生成网络(RPN，Region Proposal Network)输入上述第一前方影像特征映射，使得上述第一区域生成网络生成与上述第一前方影像特征映射上的第一目标相对应的第一候选框(Proposal Box)；程序(iii)，通过向第一池化层(Pooling Layer)输入上述第一前方影像特征映射，使得上述第一池化层对于与上述第一前方影像特征映射上的上述第一候选框相对应的至少一个区域采用池化运算，由此生成第一前方影像特征向量(Front Video Feature Vector)；程序(iv)，通过向第一全连接层(Fully ConnectedLayer)输入上述第一前方影像特征向量，使得上述第一全连接层对于上述第一前方影像特征向量采用全连接运算；以及程序(v)，通过向第一分类层(Classification Layer)和第一回归层(Regression Layer)分别输入上述第一全连接层的输出，使得上述第一分类层和上述第一回归层分别输出各自对于与上述第一候选框相对应的上述第一目标的第一类信息(Class Information)和第一回归信息(Regression Information)，由此使第一检测器通过参照分别对于上述第一目标的上述第一类信息和上述第一回归信息来检测位于上述第一前方影像内的上述第三车辆。

在一实施例中，本发明的特征为，上述第一检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：程序(i)，通过向上述第一卷积层输入训练图像，使得上述第一卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；程序(ii)，通过向上述第一区域生成网络输入上述学习用特征映射，使得上述第一区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；程序(iii)，通过向上述第一池化层输入上述学习用特征映射，使得上述第一池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；程序(iv)，通过向上述第一全连接层输入上述学习用特征向量，使得上述第一全连接层对于上述学习用特征向量采用全连接运算；以及程序(v)，通过向上述第一分类层和上述第一回归层分别输入上述第一全连接层的学习用输出，使得上述第一分类层和上述第一回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值(GT)来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第一全连接层及上述第一卷积层的至少一个参数。

在一实施例中，本发明的特征为，上述第一盲点警告装置执行通过参照上述第一车辆与上述第三车辆之间的纵向(Longitudinal)距离及横向(Lateral)距离，来对上述第一车辆是否位于上述第三盲点进行确认的程序。

在一实施例中，本发明的特征为，上述第一盲点警告装置还执行通过上述车辆间通信来将对于上述第一车辆的全球定位***(GPS)位置信息传送到上述第三车辆的程序。

在一实施例中，本发明的特征为，在上述(a)步骤中，上述第一盲点警告装置通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下程序：程序(i)，通过向第二卷积层输入上述后方影像，使得上述第二卷积层对上述后方影像采用卷积运算，由此生成后方影像特征映射；程序(ii)，通过向第二区域生成网络输入上述后方影像特征映射，使得上述第二区域生成网络生成与上述后方影像特征映射上的第二目标相对应的第二候选框；程序(iii)，通过向第二池化层输入上述后方影像特征映射，使得上述第二池化层对于与上述后方影像特征映射上的上述第二候选框相对应的至少一个区域采用池化运算，由此生成后方影像特征向量；程序(iv)，通过向第二全连接层输入上述后方影像特征向量，使得上述第二全连接层对于上述后方影像特征向量采用全连接运算；以及程序(v)，通过向第二分类层和第二回归层分别输入上述第二全连接层的输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述第二目标的第二类信息和第二回归信息，上述第二目标分别与上述第二候选框相对应，由此使上述盲点监测器通过参照分别对于上述第二目标的上述第二类信息和上述第二回归信息来检测位于上述后方影像内的上述周边车辆。

在一实施例中，本发明的特征为，上述盲点监测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：程序(i)，通过向上述第二卷积层输入训练图像，使得上述第二卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；程序(ii)，通过向上述第二区域生成网络输入上述学习用特征映射，使得上述第二区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；程序(iii)，通过向上述第二池化层输入上述学习用特征映射，使得上述第二池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；程序(iv)，通过向上述第二全连接层输入上述学习用特征向量，使得上述第二全连接层对于上述学习用特征向量采用全连接运算；程序(v)，通过向上述第二分类层和上述第二回归层分别输入上述第二全连接层的学习用输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第二全连接层及上述第二卷积层中的至少一个参数。

在一实施例中，本发明的特征为，在上述步骤(a)中，上述第一盲点警告装置通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下的程序，即，参照各个上述周边车辆与上述第一车辆之间的纵向距离及横向距离，来确认上述周边车辆是否位于上述第一盲点。

在一实施例中，本发明的特征为，在上述步骤(b)中，上述第一盲点警告装置对上述第一车辆的驾驶环境信息(Driving Environment Information)进行响应来执行如下的程序，即，参照上述第一盲点监测信息及上述第二盲点监测信息中的至少一部分，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

在一实施例中，本发明的特征为，在上述步骤(b)中，上述第一盲点警告装置执行通过上述车辆间通信来从上述第二盲点警告装置获取对于上述第二车辆的全球定位***位置信息的程序，在对于上述第二车辆的上述全球定位***位置信息的全球定位***置信度(Confidence)值有效的情况下，上述第一盲点警告装置执行如下的程序，即，参照对于上述第二车辆的上述全球定位***位置信息，来确认上述第二车辆是否位于上述第一盲点，从而警告上述第二车辆位于上述第一盲点，在对于上述第二车辆的上述全球定位***位置信息的上述全球定位***置信度值无效的情况下，上述第一盲点警告装置执行如下的程序，即，参照上述第一盲点监测信息和上述第二盲点监测信息，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

在一实施例中，本发明的特征为，在上述步骤(b)中，上述第二盲点警告装置通过将从用于对上述第二车辆的前方区域进行拍摄的第二前方摄像头获取的第二前方影像传送到上述第二车辆的第二检测器，来使得上述第二检测器执行如下程序：程序(i)，通过向第三卷积层输入上述第二前方影像，使得上述第三卷积层对于上述第二前方影像采用卷积运算，由此生成第二前方影像特征映射；程序(ii)，通过向第三区域生成网络输入上述第二前方影像特征映射，使得上述第三区域生成网络生成与上述第二前方影像特征映射上的第三目标相对应的第三候选框；程序(iii)，通过向第三池化层输入上述第二前方影像特征映射，使得上述第三池化层对于与上述第二前方影像特征映射上的上述第三候选框相对应的至少一个区域采用池化运算，由此生成第二前方影像特征向量；程序(iv)，通过向第三全连接层输入上述第二前方影像特征向量，使得上述第三全连接层对于上述第二前方影像特征向量采用全连接运算；以及程序(v)，通过向第三分类层和第三回归层分别输入上述第三全连接层的输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述第三目标的第三类信息和第三回归信息，上述第三目标分别与上述第三候选框相对应，由此使上述第二检测器通过参照分别对于上述第三目标的上述第三类信息和上述第三回归信息来检测位于上述第二前方影像内的上述第一车辆，从而执行如下程序，即，生成用于对上述第二车辆是否位于所检测到的上述第一车辆的上述第一盲点进行表示的上述第二盲点监测信息。

在一实施例中，本发明的特征为，上述第二检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：程序(i)，通过向上述第三卷积层输入训练图像，使得上述第三卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；程序(ii)，通过向上述第三区域生成网络输入上述学习用特征映射，使得上述第三区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；程序(iii)，通过向上述第三池化层输入上述学习用特征映射，使得上述第三池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；程序(iv)，通过向上述第三全连接层输入上述学习用特征向量，使得上述第三全连接层对于上述学习用特征向量采用全连接运算；程序(v)，通过向上述第三分类层和上述第三回归层分别输入上述第三全连接层的学习用输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第三全连接层及上述第三卷积层中的至少一个参数。

根据本发明的另一实施方式，本发明的装置是基于车辆间通信来对车辆的盲点发出警告的第一车辆的第一盲点警告装置，其特征为，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行上述指令，上述指令用于执行程序(I)及程序(II)，在上述程序(I)中，若从用于对上述第一车辆的后方区域进行拍摄的后方摄像头获取上述第一车辆的后方影像，则向盲点监测器传送上述第一车辆的上述后方影像，使上述盲点监测器基于卷积神经网络来对上述第一车辆的上述后方影像进行分析，以确认至少一个周边车辆是否位于上述第一车辆的上述后方影像，并输出第一盲点监测信息，上述第一盲点监测信息为对上述第一车辆的上述后方影像中的至少一个上述周边车辆是否位于上述第一车辆的第一盲点进行确认的结果，在上述程序(II)中，若通过上述车辆间通信获取第二盲点监测信息，则参照上述第一盲点监测信息和上述第二盲点监测信息来就多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点的情况发出警告，上述第二盲点监测信息为通过第二车辆的第二盲点警告装置来对上述第二车辆是否位于上述第一车辆的上述第一盲点进行确认的结果，上述第二车辆位于上述第一车辆的上述后方区域。

在一实施例中，本发明的特征为，还执行程序(III)，即，若从用于对上述第一车辆的前方区域进行拍摄的第一前方摄像头获取上述第一车辆的第一前方影像，则上述处理器向上述第一车辆的第一检测器传送上述第一前方影像，使上述第一检测器基于上述卷积神经网络来对上述第一前方影像进行分析，以检测位于上述第一车辆的上述前方区域的第三车辆，并通过上述车辆间通信向上述第三车辆传送第三盲点监测信息，上述第三盲点监测信息为对上述第一车辆是否位于所检测到的上述第三车辆的第三盲点进行确认的结果。

在一实施例中，本发明的特征为，上述处理器通过将上述第一前方影像传送到上述第一检测器，来使得上述第一检测器执行如下的程序：程序(i)，通过向第一卷积层输入上述第一前方影像，使得上述第一卷积层对上述第一前方影像采用卷积运算，由此生成第一前方影像特征映射；程序(ii)，通过向第一区域生成网络输入上述第一前方影像特征映射，使得上述第一区域生成网络生成与上述第一前方影像特征映射上的第一目标相对应的第一候选框；程序(iii)，通过向第一池化层输入上述第一前方影像特征映射，使得上述第一池化层对于与上述第一前方影像特征映射上的上述第一候选框相对应的至少一个区域采用池化运算，由此生成第一前方影像特征向量；程序(iv)，通过向第一全连接层输入上述第一前方影像特征向量，使得上述第一全连接层对于上述第一前方影像特征向量采用全连接运算；以及程序(v)，通过向第一分类层和第一回归层分别输入上述第一全连接层的输出，使得上述第一分类层和上述第一回归层分别输出各自对于与上述第一候选框相对应的上述第一目标的第一类信息和第一回归信息，由此使上述第一检测器通过参照分别对于上述第一目标的上述第一类信息和上述第一回归信息来检测位于上述第一前方影像内的上述第三车辆。

在一实施例中，本发明的特征为，上述第一检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：程序(i)，通过向上述第一卷积层输入训练图像，使得上述第一卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；程序(ii)，通过向上述第一区域生成网络输入上述学习用特征映射，使得上述第一区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；程序(iii)，通过向上述第一池化层输入上述学习用特征映射，使得上述第一池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；程序(iv)，通过向上述第一全连接层输入上述学习用特征向量，使得上述第一全连接层对于上述学习用特征向量采用全连接运算；程序(v)，通过向上述第一分类层和上述第一回归层分别输入上述第一全连接层的学习用输出，使得上述第一分类层和上述第一回归层分别输出各自对于与上述学习用候选框相对应的上述学习用目标的学习用类信息和学习用回归信息；以及程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第一全连接层及上述第一卷积层的至少一个参数。

在一实施例中，本发明的特征为，上述处理器执行通过参照上述第一车辆与上述第三车辆之间的纵向距离及横向距离来对上述第一车辆是否位于上述第三盲点进行确认的程序。

在一实施例中，本发明的特征为，上述处理器还执行通过上述车辆间通信来将对于上述第一车辆的全球定位***位置信息传送到上述第三车辆的程序。

在一实施例中，本发明的特征为，在上述程序(I)中，上述处理器通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下程序：程序(i)，通过向第二卷积层输入上述后方影像，使得上述第二卷积层对上述后方影像采用卷积运算，由此生成后方影像特征映射；程序(ii)，通过向第二区域生成网络输入上述后方影像特征映射，使得上述第二区域生成网络生成与上述后方影像特征映射上的第二目标相对应的第二候选框；程序(iii)，通过向第二池化层输入上述后方影像特征映射，使得上述第二池化层对于与上述后方影像特征映射上的上述第二候选框相对应的至少一个区域采用池化运算，由此生成后方影像特征向量；程序(iv)，通过向第二全连接层输入上述后方影像特征向量，使得上述第二全连接层对于上述后方影像特征向量采用全连接运算；以及程序(v)，通过向第二分类层和第二回归层分别输入上述第二全连接层的输出，使得上述第二分类层和上述第二回归层分别输出各自对于分别与上述第二候选框相对应的上述第二目标的第二类信息和第二回归信息，由此使上述盲点监测器通过参照分别对于上述第二目标的上述第二类信息和上述第二回归信息来检测位于上述后方影像内的上述周边车辆。

在一实施例中，本发明的特征为，上述盲点监测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：程序(i)，通过向上述第二卷积层输入训练图像，使得上述第二卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；程序(ii)，通过向上述第二区域生成网络输入上述学习用特征映射，使得上述第二区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；程序(iii)，通过向上述第二池化层输入上述学习用特征映射，使得上述第二池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；程序(iv)，通过向上述第二全连接层输入上述学习用特征向量，使得上述第二全连接层对于上述学习用特征向量采用全连接运算；程序(v)，通过向上述第二分类层和上述第二回归层分别输入上述第二全连接层的学习用输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第二全连接层及上述第二卷积层中的至少一个参数。

在一实施例中，本发明的特征为，在上述程序(I)中，上述处理器通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下的程序，即，参照各个上述周边车辆与上述第一车辆之间的纵向距离及横向距离，来确认上述周边车辆是否位于上述第一盲点。

在一实施例中，本发明的特征为，在上述程序(II)中，上述处理器对上述第一车辆的驾驶环境信息进行响应来执行如下的程序，即，参照上述第一盲点监测信息及上述第二盲点监测信息中的至少一部分，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

在一实施例中，本发明的特征为，在上述程序(II)中，上述处理器执行通过上述车辆间通信来从上述第二盲点警告装置获取对于上述第二车辆的全球定位***位置信息的程序，在对于上述第二车辆的上述全球定位***位置信息的全球定位***置信度值有效的情况下，上述处理器执行如下的程序，即，参照对于上述第二车辆的上述全球定位***位置信息，来确认上述第二车辆是否位于上述第一盲点，从而警告上述第二车辆位于上述第一盲点，在对于上述第二车辆的上述全球定位***位置信息的上述全球定位***置信度值无效的情况下，上述处理器执行如下的程序，即，参照上述第一盲点监测信息和上述第二盲点监测信息，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

在一实施例中，本发明的特征为，在上述程序(II)中，上述第二盲点警告装置通过将从用于对上述第二车辆的前方区域进行拍摄的第二前方摄像头获取的第二前方影像传送到上述第二车辆的第二检测器，来使得上述第二检测器执行如下程序：程序(i)，通过向第三卷积层输入上述第二前方影像，使得上述第三卷积层对于上述第二前方影像采用卷积运算，由此生成第二前方影像特征映射；程序(ii)，通过向第三区域生成网络输入上述第二前方影像特征映射，使得上述第三区域生成网络生成与上述第二前方影像特征映射上的第三目标相对应的第三候选框；程序(iii)，通过向第三池化层输入上述第二前方影像特征映射，使得上述第三池化层对于与上述第二前方影像特征映射上的上述第三候选框相对应的至少一个区域采用池化运算，由此生成第二前方影像特征向量；程序(iv)，通过向第三全连接层输入上述第二前方影像特征向量，使得上述第三全连接层对于上述第二前方影像特征向量采用全连接运算；以及程序(v)，通过向第三分类层和第三回归层分别输入上述第三全连接层的输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述第三目标的第三类信息和第三回归信息，上述第三目标分别与上述第三候选框相对应，由此通过参照分别对于上述第三目标的上述第三类信息和上述第三回归信息来检测位于上述第二前方影像内的上述第一车辆，从而执行如下程序，即，生成用于对上述第二车辆是否位于所检测到的上述第一车辆的上述第一盲点进行表示的上述第二盲点监测信息。

在一实施例中，本发明的特征为，上述第二检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：程序(i)，通过向上述第三卷积层输入训练图像，使得上述第三卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；程序(ii)，通过向上述第三区域生成网络输入上述学习用特征映射，使得上述第三区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；程序(iii)，通过向上述第三池化层输入上述学习用特征映射，使得上述第三池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；程序(iv)，通过向上述第三全连接层输入上述学习用特征向量，使得上述第三全连接层对于上述学习用特征向量采用全连接运算；程序(v)，通过向上述第三分类层和上述第三回归层分别输入上述第三全连接层的学习用输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第三全连接层及上述第三卷积层中的至少一个参数。

除此之外，还提供对用于执行本发明的方法的计算机程序进行记录的计算机可读记录介质。

发明效果

本发明具有如下的效果，即，利用车辆的盲点检测功能并通过车辆间通信来接收周边车辆是否进入自己的盲点，从而能够以与驾驶环境无关的方式准确地对盲点发出警告。

本发明具有如下的效果，即，利用车辆的盲点检测功能并通过车辆间通信来接收周边车辆是否进入自己的盲点，从而即使后方摄像头的镜头被污染也可准确地对盲点发出警告。

本发明具有如下的效果，即，利用车辆的盲点检测功能并通过车辆间通信来接收周边车辆是否进入自己的盲点，从而夜间也可准确地对盲点发出警告。

附图说明

为了用于对本发明实施例所进行的说明而所附的图仅属于本发明的多个实施例中的一部分，本发明所属技术领域的普通技术人员(以下称为普通技术人员)可在不需要进行发明性作业的情况下基于多个附图来得到其他附图。

图1简要示出本发明实施例的基于车辆间通信并通过与周边车辆之间的协作来警告至少一个盲点且在极端情况下经容错(Fault-Tolerant)及波动鲁棒优化(Fluctuation-Robust)的盲点警告装置。

图2简要示出将本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的盲点警告装置设置其中的各个车辆。

图3简要示出将本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的盲点警告装置设置其中的各个车辆的行驶状态。

图4简要示出本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的方法。

图5简要示出本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的方法中的盲点警告装置及检测器检测车辆的方法。

图6简要示出用于对本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的盲点警告装置及检测器进行学习的学习装置。

图7简要示出用于对本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的盲点警告装置及检测器进行学习的学习方法。

附图标记的说明

100、100′：盲点警告装置,

110：存储器

120：处理器

具体实施方式

为了明确说明本发明的多种目的、多种技术方案及多种优点，在后述的对于本发明的详细说明中，将参照将可实施本发明的特定实施例作为例示来进行图示的附图。将以普通技术人员能够充分实施本发明的方式对这些实施例进行详细说明。

并且，在本发明的详细说明及权利要求书中，单词“包括”及其变形方式并不意味着排除其他多种技术特征、多个附加物、多个结构要素或多个步骤。普通技术人员可通过本说明书了解本发明的其他多个目的、多个优点及多个特征的一部分，还可通过实施本发明来了解另一部分。以下的例示及附图将作为实例来提供，但并不意味着限定本发明。

尤其，本发明包括本说明书中说明的多个实施例的所有可能的组合。虽然本发明的多种实施例互不相同，但无需互相排斥。例如，在本说明书中记载的一实施例的特定形状、结构及特征可在不脱离本发明的思想及范围的情况下由其他实施例体现。并且，应理解的是，各个所公开的实施例中的单个结构要素的位置或配置可在不脱离本发明的思想及范围的情况下得到改变。因此，后述的详细说明并不具有限定性含义，在说明得当的情况下，本发明的范围仅由发明要求保护范围和等同的所有范围中所附的权利要求项来限定。附图中的相似的附图标记在多个层面表示相同或类似的功能。

在本发明中涉及的各种图像可包括柏油路相关图像或非柏油路相关图像，在此情况下，可显示有可能出现在道路环境中的物体(例如，车辆、人、动物、植物、物件、建筑物、飞机或无人机等的飞行器、其他障碍物)，但并不限定于此，本发明中的各种图像可以是与道路无关的图像(例如，与土路、小巷、空地、大海、湖、江、山、树丛、沙漠、天空、室内相关的图像)，在此情况下，可显示可在土路、小巷、空地、大海、湖、江、山、树丛、沙漠、天空、室内环境中出现的物体(例如，车辆、人、动物、植物、物件、建筑物、飞机或无人机等的飞行器、其他障碍物)，但并不限定于此。

以下，为使本发明所属技术领域的普通技术人员能够轻松实施本发明，将参照附图来对本发明的优选实施例进行详细说明。

图1简要示出本发明实施例的基于车辆间通信并通过与周边车辆之间的协作来警告至少一个盲点且在极端情况下经容错及波动鲁棒优化的盲点警告装置。参照图1，盲点警告装置100可包括：存储器110，用于存储指令(Instruction)，上述指令用于在极端情况下进行容错及波动鲁棒优化，基于车辆间通信并通过与周边车辆之间的协作来警告盲点；以及处理器120，与存储于存储器110的指令相对应地来在极端情况下进行容错及波动鲁棒优化，基于车辆间通信并通过与周边车辆之间的协作来警告盲点。

具体地，盲点警告装置100的典型例为通过利用至少一个计算装置(例如，计算机处理器、存储器、贮存器、输入装置及输出装置、包括其他现有的计算装置的结构要素的装置；路由器、开关等的电子通信装置；网络附属存储(NAS)及存储区域网络(SAN)等的电子信息存储***)和至少一个计算机软件(即，使计算装置以特定的方式起到功能的指令)的组合来实现所需***性能的装置。

并且，计算装置的处理器可包括微处理单元(MPU，Micro Processing Unit)或中央处理器(CPU，Central Processing Unit)、缓存(Cache Memory)、数据母线(Data Bus)等的硬件结构。并且，计算装置还可包括操作***、执行特定目的的应用程序的软件结构。

但是，计算装置并不排除用于实施本发明的处理器、存储器、介质或将其他计算结构要素的组合包括在内的综合处理器。

参照图2至图5来如下说明利用以这种结构构成的本发明一实施例的盲点警告装置100来在极端情况下进行容错及波动鲁棒优化以及基于车辆间通信并通过与周边车辆之间的协作来警告盲点的方法。

首先，参照图2，在各个车辆设置盲点警告装置100、100′，各个盲点警告装置100、100′可分别包括检测器150、150′，上述检测器150、150′可通过分别从前方摄像头101、101′获取的至少一个前方图像分别检测周边车辆，可分别包括至少一个盲点监测器160、160′，至少一个盲点监测器160、160′可通过分别从至少一个后方摄像头102、102′分别获取的至少一个后方图像上的盲点区域进行检测。

并且，各个盲点警告装置100、100′可包括：(i)各个车辆间通信部170、170′，用于收发与在检测器150、150′分别检测的车辆相关的信息及各个车辆的行驶信息；以及(ii)各个警告确定模块(Warning Decision Module)180、180′，分别参照盲点监测器160、160′的盲点监测信息和通过车辆间通信部170、170′分别接收的周边车辆的行驶信息来判断是否输出对于盲点的警告。

之后，参照图3，在第一车辆10和作为第一车辆10周边的周边车辆的第二车辆20正在行驶的状态下，第一车辆10和多个第二车辆20通过各自的盲点警告装置来监测后方区域的自己的盲点，确定周边车辆中的至少一个是否位于第一车辆和多个第二车辆的各个盲点，从而通过向自己的驾驶人员发出警告来进行安全驾驶。

并且，第一车辆10和多个第二车辆20各自的盲点警告装置可向周边车辆传送自己的位置信息，接收周边车辆的位置信息的各个车辆的各个盲点警告装置利用周边车辆的位置信息来确认周边车辆是否位于自己的盲点，由此以使自己的驾驶人员能够知晓的方式发出警告，从而可实现安全驾驶。

除此之外，各个车辆10、20各自的多个盲点警告装置通过检测前方的多个周边车辆的位置，来确认与各自的盲点警告装置相对应的各个车辆是否位于多个周边车辆的盲点，可通过车辆间通信部来向多个周边车辆传送确认结果。接着，通过车辆间通信部接收与周边车辆是否位于自己的车辆的盲点相关的信息的前方的多个周边车辆各自的盲点警告装置，可通过就周边车辆位于自己的盲点的情况向自己的驾驶人员发出警告来实现安全驾驶。

可通过参照图4如下进一步详细说明如上所述的盲点警告装置的工作状态。

首先，如图3所示，在第一车辆和作为第一车辆周边的多个周边车辆之一的第二车辆正在行驶的状态下，第一车辆的盲点警告装置100从用于拍摄第一车辆的后方区域的后方摄像头获取后方影像或以使其他装置获取后方影像的方式进行支持。

接着，第一车辆的盲点警告装置100可使盲点监测器160利用后方影像来监测盲点。

在此情况下，若获取后方影像，则盲点监测器160可检测后方影像内的周边车辆，即，可检测图3中的第二车辆。其中，为了检测后方影像内的周边车辆，可利用R-CNN(RegionProposal Convolutional Neural Network)、Fast R-CNN等的目标检测算法，但本发明并不限定于此。

即，若从用于拍摄第一车辆的后方区域的后方摄像头获取第一车辆的后方影像，则第一车辆的第一盲点警告装置100通过将第一车辆的后方影像传送到盲点监测器160，使得盲点监测器160基于卷积神经网络分析第一车辆的后方影像，来确认至少一个多个周边车辆是否位于第一车辆的后方影像内，并输出第一盲点监测信息，上述第一盲点监测信息为对第一车辆的上述后方影像内的多个周边车辆中的至少一个是否位于第一车辆的第一盲点进行确认的结果。

作为一例，参照图5，第一盲点警告装置可将第一车辆的后方影像传送到盲点监测器。

接着，盲点监测器通过向卷积层210(即，第二卷积层)输入后方影像，使得卷积层210(第二卷积层)对后方影像采用卷积运算，由此生成后方影像特征映射，通过向区域生成网络220(即，第二区域生成网络)输入后方影像特征映射，使得区域生成网络220(第二区域生成网络)生成与后方影像特征映射上的第二目标相对应的第二候选框。而且，盲点监测器通过向池化层230(第二池化层)输入后方影像特征映射，使得池化层230(第二池化层)对于与后方影像特征映射上的第二候选框相对应的至少一个区域采用池化运算，由此生成后方影像特征向量，通过向全连接层240(即，第二全连接层)输入后方影像特征向量，使得全连接层240(第二全连接层)对于后方影像特征向量采用全连接运算。之后，盲点监测器可通过向分类层250(第二分类层)和回归层260(第二回归层)分别输入全连接层240(第二全连接层)的输出，使得第二分类层和第二回归层分别输出各自对于第二目标的第二类信息和第二回归信息，上述第二目标分别与第二候选框相对应，由此可通过参照分别对于第二目标的第二类信息和第二回归信息来检测位于后方影像内的多个周边车辆及第二车辆中的至少一个。

另一方面，盲点监测器160可处于通过学习装置来使可对位于输入影像内的周边车辆进行检测的方法已进行学习的状态，将在之后内容中对学习装置及学习方法进行说明。

重新参照图4，盲点监测器160可在分别计算所检测的多个周边车辆与第一车辆之间的各个距离之后确认所检测的多个周边车辆中的一个是否位于第一车辆的第一盲点。

作为一例，盲点监测器160可参照所检测的多个周边车辆各自与第一车辆之间的纵向距离及横向距离，来确认多个周边车辆是否位于第一车辆的第一盲点。即，在第一车辆的第一盲点在第一车辆的后方区域的两侧设定为3m×3m的规格的情况下，可判断为纵向距离小于3m且从横向距离减去车辆宽度的1/2距离的距离达到小于3m的周边车辆位于第一车辆的第一盲点。并且，可通过参照横向距离值为“+”还是“－”，来确认多个周边车辆所处的第一盲点是第一车辆的右侧盲点还是左侧盲点。

接着，第一车辆的盲点警告装置100使警告确定模块180在周边车辆中的一个位于第一车辆的第一盲点的情况下输出警告，并使第一车辆的驾驶人员知晓周边车辆位于第一车辆的第一盲点的情况，从而可实现安全驾驶。

之后，第一车辆的盲点警告装置100可通过车辆间通信部来接收对于第二车辆的位置信息，若确认到所接收的第二车辆的位置信息与第一车辆的第一盲点相对应，则就此对第一车辆的驾驶人员发出警告，从而可实现安全驾驶。

即，可执行如下程序，即，若通过车辆间通信来从第一车辆的后方区域中的第二车辆的第二盲点警告装置100′获取第二盲点监测信息，则第一车辆的第一盲点警告装置100参照第一盲点监测信息和第二盲点监测信息来警告多个周边车辆及第二车辆中的至少一个位于第一盲点，上述第二盲点监测信息为对第二车辆是否位于第一车辆的第一盲点进行确认的结果。

在此情况下，第一车辆的第一盲点警告装置100可对第一车辆的驾驶环境信息进行响应来执行如下的程序，即，参照第一盲点监测信息及第二盲点监测信息中的至少一个，来警告多个周边车辆及第二车辆中的至少一个位于第一盲点。因此，即使在水滴等的污染物存在于第一车辆的后方摄像头的情况下，第一车辆的盲点警告装置100也可通过车辆间通信来确认第二车辆的位置信息并对盲点发出警告。

并且，第一车辆的第一盲点警告装置100可执行通过车辆间通信来从第二车辆的第二盲点警告装置100′获取第二车辆的全球定位***位置信息的程序。而且，在从第二车辆传送的第二车辆的全球定位***位置信息的全球定位***置信度值被判断为有效的情况下，第一车辆的第一盲点警告100执行参照第二车辆的全球定位***位置信息来确认第二车辆是否位于第一盲点并警告第二车辆位于第一盲点的程序，在第二车辆的全球定位***位置信息的全球定位***置信度值无效的情况下，可执行如下的程序，即，参照第一盲点监测信息和第二盲点监测信息，来警告多个周边车辆及第二车辆中的至少一个位于第一盲点。

另一方面，第二车辆的第二盲点警告装置100′从前方摄像头获取前方影像。

而且，第二车辆的第二盲点警告装置100′使得第二检测器150′利用前方影像来检测第二车辆前方的周边车辆。

作为一例，若输入前方影像，则第二检测器150′可检测前方影像内的周边车辆，即，可检测图3中的第一车辆。在此情况下，为了检测前方影像内的周边车辆，可利用R-CNN、Fast R-CNN等的目标检测器，但本发明并不限定于此。

作为一例，重新参照图5，第二车辆的第二盲点警告装置可向第二车辆的第二检测器传送从用于拍摄第二车辆的前方区域的第二前方摄像头获取的第二前方影像或能够以向其他装置传送的方式进行支持。

接着，第二车辆的第二检测器通过向卷积层210(即，第三卷积层)输入第二前方影像，使得卷积层210(第三卷积层)对第二前方影像采用卷积运算，由此生成第二前方影像特征映射，通过向区域生成网络220(即，第三区域生成网络)输入第二前方影像特征映射，使得区域生成网络220(第三区域生成网络)输出与第二前方影像特征映射上的第三目标相对应的第三候选框。而且，第二检测器通过向池化层230(即，第三池化层)输入第二前方影像特征映射，使得池化层230(第三池化层)对于与第二前方影像特征映射上的多个第三候选框相对应的至少一个区域采用池化运算，由此输出第二前方影像特征向量，通过向全连接层240(即，第三全连接层)输入第二前方影像特征向量，使得全连接层240(第三全连接层)对于第二前方影像特征向量采用全连接运算。之后，第二检测器可通过向分类层250(即，第三分类层)和回归层260(即，第三回归层)分别输入全连接层240(即，第三全连接层)的输出，使得第三分类层和第三回归层分别输出各自对于第三目标的第三类信息和第三回归信息，上述第三目标分别与第三候选框相对应，由此可通过参照分别对于第三目标的第三类信息和第三回归信息来检测位于第二前方影像内的第一车辆。

参照图4，第二车辆的第二检测器150′可在分别计算多个周边车辆与第二车辆之间的各个距离之后确认第二车辆是否位于周边车辆的盲点。即，可在计算第一车辆与第二车辆之间的距离之后，确认第二车辆是否位于第一车辆的第一盲点。

即，第二检测器150′可生成第二盲点监测信息，上述第二盲点监测信息用于表示第二车辆是否位于所检测的第一车辆的第一盲点。

在此情况下，第二检测器150′可参照第二车辆与所检测到的第一车辆之间的各个纵向距离及各个横向距离，来确认第二车辆是否位于第一车辆的第一盲点。

另一方面，第二检测器150′可处于通过学习装置来使可对位于输入影像内的多个周边车辆进行检测的方法已进行学习的状态，将在之后内容中对学习装置及学习方法进行说明。

之后，在第二车辆位于多个周边车辆的盲点的情况下，第二车辆的盲点警告装置100′可通过车辆间通信部来向多个周边车辆传送与第二车辆位于多个周边车辆的盲点相关的信息。即，若判断为第二车辆位于第一车辆的第一盲点，则第二车辆的盲点警告装置100′可通过车辆间通信部来向第一车辆传送与第二车辆位于第一车辆的第一盲点相关的信息。

接着，接收该信息的多个周边车辆，即，图3中的第一车辆的盲点警告装置100可通过警告确定模块180并利用第二车辆位于第一车辆的盲点这一事实来向第一车辆的驾驶人员发出警告，从而可实现安全驾驶。

最终，不仅可通过车辆间通信共享车辆的位置信息(GPS)，还可在位置准确度低的高层建筑物之间、阴天、隧道等驾驶环境中获取与多个周边车辆的盲点相关的信息，因此可实现安全驾驶。

并且，即使在后方摄像头的至少一个镜头被灰尘、水滴等污染的情况下，也可获取与周边车辆的盲点相关的信息，因此可实现安全驾驶。

除此之外，由于车辆的后方没有前照灯，但即使在基于后方摄像头的后方图像的目标检测性能低的状态下，也可利用从周边车辆的前方摄像头获取的前方图像来准确地提供盲点警告。

另一方面，盲点警告装置100可使自己的警告确定模块180根据驾驶环境来确定对盲点的警告。

作为一例，在判断为全球定位***置信度值有效的情况下，可通过车辆间通信并利用周边车辆的全球定位***信息来计算车辆之间的距离，参照所计算的距离来判断是否对盲点发出警告。

但是，在全球定位***置信度值无效的情况下，可通过利用摄像头来计算车辆之间的距离，参照通过车辆间通信共享的所计算的距离来确定是否对盲点发出警告。

并且，可根据对于车辆的行驶信息来确定是否对盲点发出警告。即，若在白天、晴天等普通照度下行驶，则可参照利用后方摄像头的盲点监测器160的结果来对盲点发出警告，若在夜间、雨天等低照度下行驶，则可参照通过车辆间通信来从多个周边车辆传送的内容和利用前方摄像头的车辆检测器150′的结果来对盲点发出警告。

如上所述，本发明可在极端情况下通过车辆间通信进行传送，并通过从多个周边车辆输出的盲点信息的车辆间信息融合(Information Fusion)来提供经容错及波动鲁棒优化的盲点检测，由此，可通过进行具有功能安全性(Functional Safety)的盲点警告来实现安全行驶。

之后，参照图2可知，若从用于拍摄第一车辆的前方区域的第一前方摄像头101获取第一车辆的第一前方影像，则第一车辆的盲点警告装置100可执行如下的程序，即，通过向第一车辆的第一检测器150传送第一前方影像，使第一检测器150基于卷积神经网络来对第一前方影像进行分析，以检测位于第一车辆的前方区域的第三车辆，并通过车辆间通信向第三车辆传送第三盲点监测信息，上述第三盲点监测信息为对第一车辆是否位于所检测到的第三车辆的第三盲点进行确认的结果。在此情况下，第一车辆的盲点警告装置100能够以与时间顺序无关的方式独立执行如下程序：利用从第一前方摄像头101输出的第一前方影像来生成第三盲点监测信息，上述第三盲点监测信息表示第一车辆是否位于第三车辆的第三盲点；以及利用从第一车辆的后方摄像头102输出的后方影像来生成第一盲点监测信息，上述第一盲点监测信息表示多个周边车辆及第二车辆中的至少一个是否位于第一车辆的第一盲点。

作为一例，参照图5，第一车辆的第一盲点警告装置可向第一检测器传送从第一前方摄像头获取的第一前方影像。

接着，第一检测器通过向卷积层210(即，第一卷积层)输入第一前方影像，使得卷积层210(第一卷积层)对第一前方影像采用卷积运算，由此生成第一前方影像特征映射，通过向区域生成网络220(即，第一区域生成网络)输入第一前方影像特征映射，使得区域生成网络220(第一区域生成网络)生成与第一前方影像特征映射上的第一目标相对应的第一候选框。而且，第一检测器通过向池化层230(即，第一池化层)输入第一前方影像特征映射，使得池化层230(第一池化层)对于与第一前方影像特征映射上的第一候选框相对应的至少一个区域采用池化运算，由此生成第一前方影像特征向量，通过向全连接层240(第一全连接层)输入第一前方影像特征向量，使得全连接层240(即，第一全连接层)对于第一前方影像特征向量采用全连接运算。之后，第一检测器可通过向分类层250(即，第一分类层)和回归层260(即，第一回归层)分别输入全连接层240(第一全连接层)的输出，来分别输出与分别与第一候选框相对应的第一目标相关的第一类信息和第一回归信息，由此可通过参照分别对于第一目标的第一类信息和第一回归信息来检测位于第一前方影像内的第三车辆。

另一方面，第一检测器150可处于通过学习装置来使可对位于影像内的多个周边车辆进行检测的方法已进行学习的状态，将在之后内容中对学习装置及学习方法进行说明。

而且，第一检测器150可在计算第一车辆与所检测的第三车辆之间的距离之后生成第三盲点监测信息，上述第三盲点监测信息用于表示第一车辆是否位于第三车辆的第三盲点。

图6简要示出用于对本发明一实施例的基于车辆间通信并通过与周边车辆之间的协作来警告盲点且在极端情况下经容错及波动鲁棒优化的盲点警告装置及检测器进行学习的学习装置。学习装置200可包括：存储器110，用于存储指令，上述指令用于在输入影像中检测车辆；以及处理器120，执行与存储于存储器110的指令相对应地使在上述内容中说明的第一盲点警告装置100的盲点监测器、第一检测器、第二盲点警告装置的第二检测器进行学习的程序。在此情况下，虽然未在上述内容中进行说明，但并不排除第二盲点警告装置的盲点监测器。

具体地，学习装置200的典型例为通过利用至少一个计算装置(例如，计算机处理器、存储器、贮存器、输入装置及输出装置、包括其他现有的计算装置的结构要素的装置；路由器、开关等的电子通信装置；网络附属存储及存储区域网络等的电子信息存储***)和至少一个计算机软件(即，使计算装置以特定的方式起到功能的指令)的组合来实现所需***性能的装置。

并且，计算装置的处理器可包括微处理单元或中央处理器、缓存、数据母线等的硬件结构。并且，计算装置还可包括操作***、执行特定目的的应用程序的软件结构。

但是，计算装置并不排除用于实施本发明的处理器、存储器、介质或将其他计算结构要素的组合包括在内的综合处理器。

参照图7，如下说明利用以如上所述的方式构成的本发明一实施例的学习装置200来对用于在输入影像中检测车辆的盲点监测器及检测器进行学习的方法。在以下说明中，将并不单独区分盲点监测器和检测器。

首先，若获取与车辆的前方摄像头输出的前方影像及后方摄像头输出的后方影像相对应的至少一个训练图像，则学习装置200向卷积层输入训练图像，使得卷积层对训练图像采用卷积运算，由此可生成学习用特征映射。

而且，学习装置200可通过向区域生成网络220输入通过卷积层210生成的学习用特征映射，使得区域生成网络220生成与学习用特征映射上的学习用目标相对应的学习用候选框，通过向池化层230输入学习用特征映射，使得池化层230对于与学习用特征映射上的学习用候选框相对应的区域采用池化运算，由此生成学习用特征向量。

之后，学习装置200通过向全连接层240输入由池化层230生成的学习用特征向量，使得全连接层240对于学习用特征向量采用全连接运算，通过向分类层250和回归层260分别输入全连接层240的学习用输出，由此分别生成对于与各个学习用候选框相对应的各个学习用目标相对应的学习用类信息和学习用回归信息。

之后，学习装置200使至少一个损失层270参照学习用类信息、学习用回归信息及与之相对应的地面真值来计算至少一个损失，通过将损失利用到其中的反向传播来更新至少一个全连接层240及卷积层210中的至少一个参数，从而可学习盲点警告装置的盲点监测器及检测器。

并且，以上说明的本发明的实施例可由可通过多种计算机结构要素执行的程序指令的形态来体现，由此可记录在计算机可读记录介质。上述计算机可读记录介质能够以独立或组合的方式包含程序指令、数据文件、数据结构等。记录在上述计算机可读记录介质的程序指令可以为了本发明而特别设计、组成或可使用计算机软件领域的技术人员公知的。计算机可读记录介质的例可包括：硬盘、软盘及磁带等的磁介质；光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)等的光记录介质；光磁软盘(floptical disk)等的磁-光介质(magneto-optical media)；以及只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等的存储程序指令并执行的特别构成的硬件装置。程序指令不仅可例举通过编译器制作的机械语言代码，还包括使用解释器等来通过计算机执行的高级语言代码。为了执行本发明中的处理，上述硬件装置能够以通过一个以上的软件模块启动的方式构成，反之亦然。

以上，通过具体结构要素等的特定事项、限定实施例及附图来对本发明进行了说明，但这仅用于更全面地理解本发明，而本发明并不限定于上述实施例，只要是本发明所属技术领域的普通技术人员，则可通过本说明书实施多种修改及变形。

因此，本发明的思想并不限定于以上说明的实施例，本发明的权利要求书以及与权利要求书的范围等同或等价的所有变形全部属于本发明的思想范围。

Claims (20)

1.一种基于车辆间通信来对车辆的盲点发出警告的方法，其特征在于，包括：

步骤(a)，若从用于对第一车辆的后方区域进行拍摄的后方摄像头获取上述第一车辆的后方影像，则上述第一车辆的第一盲点警告装置执行将上述第一车辆的上述后方影像传送到盲点监测器的程序，使上述盲点监测器基于卷积神经网络来对上述第一车辆的上述后方影像进行分析，以确认至少一个周边车辆是否位于上述第一车辆的上述后方影像，并输出第一盲点监测信息，上述第一盲点监测信息为对上述第一车辆的上述后方影像中的至少一个上述周边车辆是否位于上述第一车辆的第一盲点进行确认的结果；

在上述(a)步骤中，上述第一盲点警告装置通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下程序：

程序(i)，通过向第二卷积层输入上述后方影像，使得上述第二卷积层对上述后方影像采用卷积运算，由此生成后方影像特征映射；

程序(ii)，通过向第二区域生成网络输入上述后方影像特征映射，使得上述第二区域生成网络生成与上述后方影像特征映射上的第二目标相对应的第二候选框；

程序(iii)，通过向第二池化层输入上述后方影像特征映射，使得上述第二池化层对于与上述后方影像特征映射上的上述第二候选框相对应的至少一个区域采用池化运算，由此生成后方影像特征向量；

程序(iv)，通过向第二全连接层输入上述后方影像特征向量，使得上述第二全连接层对于上述后方影像特征向量采用全连接运算；以及

程序(v)，通过向第二分类层和第二回归层分别输入上述第二全连接层的输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述第二目标的第二类信息和第二回归信息，上述第二目标分别与上述第二候选框相对应，

由此使上述盲点监测器通过参照分别对于上述第二目标的上述第二类信息和上述第二回归信息来检测位于上述后方影像内的上述周边车辆；

以及

步骤(b)，若通过上述车辆间通信获取第二盲点监测信息，则上述第一盲点警告装置执行参照上述第一盲点监测信息和上述第二盲点监测信息来就多个上述周边车辆及第二车辆中的至少一个位于上述第一盲点的情况发出警告的程序，上述第二盲点监测信息为通过第二车辆的第二盲点警告装置来对上述第二车辆是否位于上述第一车辆的上述第一盲点进行确认的结果，上述第二车辆位于上述第一车辆的上述后方区域；

在上述步骤(b)中，上述第二盲点警告装置通过将从用于对上述第二车辆的前方区域进行拍摄的第二前方摄像头获取的第二前方影像传送到上述第二车辆的第二检测器，来使得上述第二检测器执行如下程序：

程序(i)，通过向第三卷积层输入上述第二前方影像，使得上述第三卷积层对于上述第二前方影像采用卷积运算，由此生成第二前方影像特征映射；

程序(ii)，通过向第三区域生成网络输入上述第二前方影像特征映射，使得上述第三区域生成网络生成与上述第二前方影像特征映射上的第三目标相对应的第三候选框；

程序(iii)，通过向第三池化层输入上述第二前方影像特征映射，使得上述第三池化层对于与上述第二前方影像特征映射上的上述第三候选框相对应的至少一个区域采用池化运算，由此生成第二前方影像特征向量；

程序(iv)，通过向第三全连接层输入上述第二前方影像特征向量，使得上述第三全连接层对于上述第二前方影像特征向量采用全连接运算；以及

程序(v)，通过向第三分类层和第三回归层分别输入上述第三全连接层的输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述第三目标的第三类信息和第三回归信息，上述第三目标分别与上述第三候选框相对应，

由此使上述第二检测器通过参照分别对于上述第三目标的上述第三类信息和上述第三回归信息来检测位于上述第二前方影像内的上述第一车辆，

从而执行如下程序，即，生成用于对上述第二车辆是否位于所检测的上述第一车辆的上述第一盲点进行表示的上述第二盲点监测信息；

在上述步骤(b)中，上述第一盲点警告装置执行通过上述车辆间通信来从上述第二盲点警告装置获取对于上述第二车辆的全球定位***位置信息的程序，

在对于上述第二车辆的上述全球定位***位置信息的全球定位***置信度值有效的情况下，上述第一盲点警告装置执行如下的程序，即，参照对于上述第二车辆的上述全球定位***位置信息，来确认上述第二车辆是否位于上述第一盲点，从而警告上述第二车辆位于上述第一盲点，

在对于上述第二车辆的上述全球定位***位置信息的上述全球定位***置信度值无效的情况下，上述第一盲点警告装置执行如下的程序，即，参照上述第一盲点监测信息和上述第二盲点监测信息，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

2.根据权利要求1所述的方法，其特征在于，还包括步骤(c)，即，若从用于对上述第一车辆的前方区域进行拍摄的第一前方摄像头获取上述第一车辆的第一前方影像，则上述第一盲点警告装置执行将上述第一前方影像传送到上述第一车辆的第一检测器的程序，使上述第一检测器基于上述卷积神经网络来对上述第一前方影像进行分析，以检测位于上述第一车辆的上述前方区域的第三车辆，并通过上述车辆间通信向上述第三车辆传送第三盲点监测信息，上述第三盲点监测信息为对上述第一车辆是否位于所检测的上述第三车辆的第三盲点进行确认的结果。

3.根据权利要求2所述的方法，其特征在于，

上述第一盲点警告装置通过将上述第一前方影像传送到上述第一检测器，来使得上述第一检测器执行如下程序：

程序(i)，通过向第一卷积层输入上述第一前方影像，使得上述第一卷积层对上述第一前方影像采用卷积运算，由此生成第一前方影像特征映射；

程序(ii)，通过向第一区域生成网络输入上述第一前方影像特征映射，使得上述第一区域生成网络生成与上述第一前方影像特征映射上的第一目标相对应的第一候选框；

程序(iii)，通过向第一池化层输入上述第一前方影像特征映射，使得上述第一池化层对于与上述第一前方影像特征映射上的上述第一候选框相对应的至少一个区域采用池化运算，由此生成第一前方影像特征向量；

程序(iv)，通过向第一全连接层输入上述第一前方影像特征向量，使得上述第一全连接层对于上述第一前方影像特征向量采用全连接运算；以及

程序(v)，通过向第一分类层和第一回归层分别输入上述第一全连接层的输出，使得上述第一分类层和上述第一回归层分别输出各自对于上述第一目标的第一类信息和第一回归信息，上述第一目标分别与上述第一候选框相对应，

由此使第一检测器通过参照分别对于上述第一目标的上述第一类信息和上述第一回归信息来检测位于上述第一前方影像内的上述第三车辆。

4.根据权利要求3所述的方法，其特征在于，上述第一检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：

程序(i)，通过向上述第一卷积层输入训练图像，使得上述第一卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；

程序(ii)，通过向上述第一区域生成网络输入上述学习用特征映射，使得上述第一区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；

程序(iii)，通过向上述第一池化层输入上述学习用特征映射，使得上述第一池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；

程序(iv)，通过向上述第一全连接层输入上述学习用特征向量，使得上述第一全连接层对于上述学习用特征向量采用全连接运算；

程序(v)，通过向上述第一分类层和上述第一回归层分别输入上述第一全连接层的学习用输出，使得上述第一分类层和上述第一回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及

程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第一全连接层及上述第一卷积层的至少一个参数。

5.根据权利要求2所述的方法，其特征在于，上述第一盲点警告装置执行通过参照上述第一车辆与上述第三车辆之间的纵向距离及横向距离来对上述第一车辆是否位于上述第三盲点进行确认的程序。

6.根据权利要求2所述的方法，其特征在于，上述第一盲点警告装置还执行通过上述车辆间通信来将对于上述第一车辆的全球定位***位置信息传送到上述第三车辆的程序。

7.根据权利要求1所述的方法，其特征在于，上述盲点监测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：

程序(i)，通过向上述第二卷积层输入训练图像，使得上述第二卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；

程序(ii)，通过向上述第二区域生成网络输入上述学习用特征映射，使得上述第二区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；

程序(iii)，通过向上述第二池化层输入上述学习用特征映射，使得上述第二池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；

程序(iv)，通过向上述第二全连接层输入上述学习用特征向量，使得上述第二全连接层对于上述学习用特征向量采用全连接运算；

程序(v)，通过向上述第二分类层和上述第二回归层分别输入上述第二全连接层的学习用输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及

程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第二全连接层及上述第二卷积层中的至少一个参数。

8.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，上述第一盲点警告装置通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下的程序，即，参照各个上述周边车辆与上述第一车辆之间的纵向距离及横向距离，来确认上述周边车辆是否位于上述第一盲点。

9.根据权利要求1所述的方法，其特征在于，在上述步骤(b)中，上述第一盲点警告装置对上述第一车辆的驾驶环境信息进行响应来执行如下的程序，即，参照上述第一盲点监测信息及上述第二盲点监测信息中的至少一部分，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

10.根据权利要求1所述的方法，其特征在于，上述第二检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：

程序(i)，通过向上述第三卷积层输入训练图像，使得上述第三卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；

程序(ii)，通过向上述第三区域生成网络输入上述学习用特征映射，使得上述第三区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；

程序(iii)，通过向上述第三池化层输入上述学习用特征映射，使得上述第三池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；

程序(iv)，通过向上述第三全连接层输入上述学习用特征向量，使得上述第三全连接层对于上述学习用特征向量采用全连接运算；

程序(v)，通过向上述第三分类层和上述第三回归层分别输入上述第三全连接层的学习用输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及

程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第三全连接层及上述第三卷积层中的至少一个参数。

11.一种基于车辆间通信来对车辆的盲点发出警告的第一车辆的第一盲点警告装置，其特征在于，

包括：

至少一个存储器，用于存储指令；以及

至少一个处理器，用于执行上述指令，上述指令用于执行程序(I)及程序(II)，在上述程序(I)中，若从用于对上述第一车辆的后方区域进行拍摄的后方摄像头获取上述第一车辆的后方影像，则向盲点监测器传送上述第一车辆的上述后方影像，使上述盲点监测器基于卷积神经网络来对上述第一车辆的上述后方影像进行分析，以确认至少一个周边车辆是否位于上述第一车辆的上述后方影像，并输出第一盲点监测信息，上述第一盲点监测信息为对上述第一车辆的上述后方影像中的至少一个上述周边车辆是否位于上述第一车辆的第一盲点进行确认的结果，在上述程序(II)中，若通过上述车辆间通信获取第二盲点监测信息，则参照上述第一盲点监测信息和上述第二盲点监测信息来就多个上述周边车辆及第二车辆中的至少一个位于上述第一盲点的情况发出警告，上述第二盲点监测信息为通过第二车辆的第二盲点警告装置来对上述第二车辆是否位于上述第一车辆的上述第一盲点进行确认的结果，上述第二车辆位于上述第一车辆的上述后方区域；

在上述程序(I)中，上述处理器通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下程序：

程序(i)，通过向第二卷积层输入上述后方影像，使得上述第二卷积层对上述后方影像采用卷积运算，由此生成后方影像特征映射；

程序(ii)，通过向第二区域生成网络输入上述后方影像特征映射，使得上述第二区域生成网络生成与上述后方影像特征映射上的第二目标相对应的第二候选框；

程序(iii)，通过向第二池化层输入上述后方影像特征映射，使得上述第二池化层对于与上述后方影像特征映射上的上述第二候选框相对应的至少一个区域采用池化运算，由此生成后方影像特征向量；

程序(iv)，通过向第二全连接层输入上述后方影像特征向量，使得上述第二全连接层对于上述后方影像特征向量采用全连接运算；以及

程序(v)，通过向第二分类层和第二回归层分别输入上述第二全连接层的输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述第二目标的第二类信息和第二回归信息，上述第二目标分别与上述第二候选框相对应，

由此使上述盲点监测器通过参照分别对于上述第二目标的上述第二类信息和上述第二回归信息来检测位于上述后方影像内的上述周边车辆；

在上述程序(II)中，上述处理器执行通过上述车辆间通信来从上述第二盲点警告装置获取对于上述第二车辆的全球定位***位置信息的程序，

在对于上述第二车辆的上述全球定位***位置信息的全球定位***置信度值有效的情况下，上述处理器执行如下的程序，即，参照对于上述第二车辆的上述全球定位***位置信息，来确认上述第二车辆是否位于上述第一盲点，从而警告上述第二车辆位于上述第一盲点，

在对于上述第二车辆的上述全球定位***位置信息的上述全球定位***置信度值无效的情况下，上述处理器执行如下的程序，即，参照上述第一盲点监测信息和上述第二盲点监测信息，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点；

在上述程序(II)中，上述第二盲点警告装置通过将从用于对上述第二车辆的前方区域进行拍摄的第二前方摄像头获取的第二前方影像传送到上述第二车辆的第二检测器，来使得上述第二检测器执行如下程序：

程序(i)，通过向第三卷积层输入上述第二前方影像，使得上述第三卷积层对于上述第二前方影像采用卷积运算，由此生成第二前方影像特征映射；

程序(ii)，通过向第三区域生成网络输入上述第二前方影像特征映射，使得上述第三区域生成网络生成与上述第二前方影像特征映射上的第三目标相对应的第三候选框；

程序(iii)，通过向第三池化层输入上述第二前方影像特征映射，使得上述第三池化层对于与上述第二前方影像特征映射上的上述第三候选框相对应的至少一个区域采用池化运算，由此生成第二前方影像特征向量；

程序(iv)，通过向第三全连接层输入上述第二前方影像特征向量，使得上述第三全连接层对于上述第二前方影像特征向量采用全连接运算；以及

程序(v)，通过向第三分类层和第三回归层分别输入上述第三全连接层的输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述第三目标的第三类信息和第三回归信息，上述第三目标分别与上述第三候选框相对应，

由此通过参照分别对于上述第三目标的上述第三类信息和上述第三回归信息来检测位于上述第二前方影像内的上述第一车辆，从而执行如下程序，即，生成用于对上述第二车辆是否位于所检测的上述第一车辆的上述第一盲点进行表示的上述第二盲点监测信息。

12.根据权利要求11所述的装置，其特征在于，还执行程序(III)，即，若从用于对上述第一车辆的前方区域进行拍摄的第一前方摄像头获取上述第一车辆的第一前方影像，则上述处理器向上述第一车辆的第一检测器传送上述第一前方影像，使上述第一检测器基于上述卷积神经网络来对上述第一前方影像进行分析，以检测位于上述第一车辆的上述前方区域的第三车辆，并通过上述车辆间通信向上述第三车辆传送第三盲点监测信息，上述第三盲点监测信息为对上述第一车辆是否位于所检测的上述第三车辆的第三盲点进行确认的结果。

13.根据权利要求12所述的装置，其特征在于，上述处理器通过将上述第一前方影像传送到上述第一检测器，来使得上述第一检测器执行如下的程序：

程序(i)，通过向第一卷积层输入上述第一前方影像，使得上述第一卷积层对上述第一前方影像采用卷积运算，由此生成第一前方影像特征映射；

程序(ii)，通过向第一区域生成网络输入上述第一前方影像特征映射，使得上述第一区域生成网络生成与上述第一前方影像特征映射上的第一目标相对应的第一候选框；

程序(iii)，通过向第一池化层输入上述第一前方影像特征映射，使得上述第一池化层对于与上述第一前方影像特征映射上的上述第一候选框相对应的至少一个区域采用池化运算，由此生成第一前方影像特征向量；

程序(iv)，通过向第一全连接层输入上述第一前方影像特征向量，使得上述第一全连接层对于上述第一前方影像特征向量采用全连接运算；以及

程序(v)，通过向第一分类层和第一回归层分别输入上述第一全连接层的输出，使得上述第一分类层和上述第一回归层分别输出各自对于上述第一目标的第一类信息和第一回归信息，上述第一目标分别与上述第一候选框相对应，

由此使上述第一检测器通过参照分别对于上述第一目标的上述第一类信息和上述第一回归信息来检测位于上述第一前方影像内的上述第三车辆。

14.根据权利要求13所述的装置，其特征在于，上述第一检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：

程序(i)，通过向上述第一卷积层输入训练图像，使得上述第一卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；

程序(ii)，通过向上述第一区域生成网络输入上述学习用特征映射，使得上述第一区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；

程序(iii)，通过向上述第一池化层输入上述学习用特征映射，使得上述第一池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；

程序(iv)，通过向上述第一全连接层输入上述学习用特征向量，使得上述第一全连接层对于上述学习用特征向量采用全连接运算；

程序(v)，通过向上述第一分类层和上述第一回归层分别输入上述第一全连接层的学习用输出，使得上述第一分类层和上述第一回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及

程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第一全连接层及上述第一卷积层的至少一个参数。

15.根据权利要求12所述的装置，其特征在于，上述处理器执行通过参照上述第一车辆与上述第三车辆之间的纵向距离及横向距离来对上述第一车辆是否位于上述第三盲点进行确认的程序。

16.根据权利要求12所述的装置，其特征在于，上述处理器还执行通过上述车辆间通信来将对于上述第一车辆的全球定位***位置信息传送到上述第三车辆的程序。

17.根据权利要求11所述的装置，其特征在于，上述盲点监测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：

程序(i)，通过向上述第二卷积层输入训练图像，使得上述第二卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；

程序(ii)，通过向上述第二区域生成网络输入上述学习用特征映射，使得上述第二区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；

程序(iii)，通过向上述第二池化层输入上述学习用特征映射，使得上述第二池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；

程序(iv)，通过向上述第二全连接层输入上述学习用特征向量，使得上述第二全连接层对于上述学习用特征向量采用全连接运算；

程序(v)，通过向上述第二分类层和上述第二回归层分别输入上述第二全连接层的学习用输出，使得上述第二分类层和上述第二回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及

程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第二全连接层及上述第二卷积层中的至少一个参数。

18.根据权利要求11所述的装置，其特征在于，在上述程序(I)中，上述处理器通过将上述后方影像传送到上述盲点监测器，来使得上述盲点监测器执行如下的程序，即，参照各个上述周边车辆与上述第一车辆之间的纵向距离及横向距离，来确认上述周边车辆是否位于上述第一盲点。

19.根据权利要求11所述的装置，其特征在于，在上述程序(II)中，上述处理器对上述第一车辆的驾驶环境信息进行响应来执行如下的程序，即，参照上述第一盲点监测信息及上述第二盲点监测信息中的至少一部分，来警告多个上述周边车辆及上述第二车辆中的至少一个位于上述第一盲点。

20.根据权利要求11所述的装置，其特征在于，上述第二检测器处于通过使学习装置执行程序来已进行学习的状态，上述程序包括：

程序(i)，通过向上述第三卷积层输入训练图像，使得上述第三卷积层对上述训练图像采用卷积运算，由此生成学习用特征映射；

程序(ii)，通过向上述第三区域生成网络输入上述学习用特征映射，使得上述第三区域生成网络生成与上述学习用特征映射上的学习用目标相对应的学习用候选框；

程序(iii)，通过向上述第三池化层输入上述学习用特征映射，使得上述第三池化层对于与上述学习用特征映射上的上述学习用候选框相对应的至少一个区域采用池化运算，由此生成学习用特征向量；

程序(iv)，通过向上述第三全连接层输入上述学习用特征向量，使得上述第三全连接层对于上述学习用特征向量采用全连接运算；

程序(v)，通过向上述第三分类层和上述第三回归层分别输入上述第三全连接层的学习用输出，使得上述第三分类层和上述第三回归层分别输出各自对于上述学习用目标的学习用类信息和学习用回归信息，上述学习用目标分别与上述学习用候选框相对应；以及

程序(vi)，使损失层参照上述学习用类信息、上述学习用回归信息及分别与之相对应的地面真值来计算至少一个损失，通过反向传播上述损失来更新至少一个上述第三全连接层及上述第三卷积层中的至少一个参数。