CN101277432A - 驾驶辅助方法以及驾驶辅助装置 - Google Patents

Abstract

本发明提供一种驾驶辅助方法和驾驶辅助装置，在驾驶员通过后视镜看车辆周边时由于支柱而产生了死角的情况下，能够将死角区域的图像显示于支柱。该方法使用安装于本车辆的死角摄影照相机(4)，拍摄由于本车辆的支柱而产生的死角区，将相当于该死角区的图像显示在支柱的内侧，检测驾驶员的位置，并且取得设在车室内的车内后视镜角度，并根据驾驶员的头部位置和车内后视镜的角度，计算出驾驶员通过车内后视镜观察车辆周边时由于映在车内后视镜中的支柱而产生的死角区，将由死角摄影照相机(4)拍摄的图像数据中的与死角区相当的区域，投影在支柱。

Description

驾驶辅助方法以及驾驶辅助装置

技术领域

本发明涉及驾驶辅助方法以及驾驶辅助装置。

背景技术

以往，作为辅助安全驾驶的装置，开发有利用车载照相机拍摄成为驾驶员的死角的区域，并在显示器等上进行显示的车载***。作为这种***之一，提出有一种利用车载照相机拍摄由于车辆的支柱而产生的死角区域，将摄影图像显示在支柱内侧的***(例如参照专利文献1)。支柱是支撑车窗和车顶的左右支柱，虽然遮挡了驾驶员的一部分视野，但为了安全性，必须是确保规定厚度的部件。另外，由于驾驶员的视线方向与照相机的摄影方向不一致，所以该装置对照相机的摄影图像进行与驾驶员的视线方向一致的坐标转换。

[专利文献1]日本特开2005-184225号公报

但是，上述装置不适用于驾驶员通过车内后视镜观察车辆后方或侧后方的情况。即，在驾驶员通过车内后视镜观察车辆后方或侧后方时，借助于车内后视镜的驾驶员的视野，有时被车辆后方的后支柱、和位于前方座椅与后方座椅之间的中支柱遮挡。

对此，也可以采用如下的方法，即，在后支柱和中支柱，投影假设驾驶员直接目视后方或侧后方的情况而生成的图像，使驾驶员通过车内后视镜观察所投影的图像的方法。但是，在通过车内后视镜看后方或侧后方的情况下，驾驶员可观察的范围以及视线方向，与直接目视后方或侧后方情况下的观察范围以及视线方向不同，因此，采用上述的方法，投影在支柱上的图像与实际景物之间的差异很大，驾驶员有时会感到不协调。

发明内容

本发明是鉴于上述的问题点而完成的，其目的是提供一种驾驶辅助方法以及驾驶辅助装置，即使在驾驶员通过后视镜看车辆周边时由于支柱而产生了死角的情况下，也能够将死角区域的图像显示在支柱。

为了解决上述问题点，本发明之1提供一种驾驶辅助方法，该方法使用安装于车辆的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，将相当于该死角区域的图像显示在上述支柱的内侧，其特征在于，检测驾驶员的位置，并且取得设在车室内的后视镜的角度，根据上述驾驶员的位置和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边时，由于映在上述后视镜中的支柱而产生的死角区域，并且将上述摄影装置所拍摄的图像数据中的与上述计算出的死角区域相当的区域，显示在上述支柱。

本发明之2提供一种驾驶辅助装置，该驾驶辅助装置使用安装于车辆的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，利用显示装置将由上述摄影装置拍摄的图像显示在上述支柱的内侧，其特征在于，具有：驾驶员位置检测单元，检测驾驶员的位置；后视镜位置检测单元，取得设在车室内的后视镜的角度；死角区域运算单元，其根据上述驾驶员的位置和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边时，由于映在上述后视镜中的上述支柱而产生的死角区域；图像合成单元，其使用由上述摄影装置拍摄的图像数据，生成与上述死角区域相当的死角显示图像；和图像输出单元，向上述显示装置输出上述死角显示图像。

本发明之3是基于本发明之2的驾驶辅助装置，其特征在于，还具有可视范围计算单元，该可视范围计算单元根据上述驾驶员的位置和上述后视镜的角度，计算出该驾驶员通过上述后视镜可看到的可视范围，上述死角区域运算单元，判断上述可视范围内所包含的上述支柱，根据上述驾驶员的位置和上述后视镜的角度计算出由于该支柱而产生的上述死角区域，上述图像输出单元，向该支柱显示上述死角显示图像。

本发明之4是基于本发明之2或3的驾驶辅助装置，其特征在于，还具有判断上述车辆是否进行车道变更的车辆状况判断单元，在通过上述车辆状况判断而判断为上述车辆是进行车道变更时，将与由于映在上述后视镜中的上述支柱而产生的死角区域相当的上述死角显示图像，向该支柱输出。

本发明之5是基于本发明之4的驾驶辅助装置，其特征在于，还具有检测在上述车辆的后方或侧后方的障碍物的障碍物检测单元，在由上述障碍物检测单元检测出在上述车辆的后方或侧后方的障碍物的情况下，上述图像合成单元在该障碍物的位置设定用于将上述图像数据进行坐标转换的假想平面。

根据本发明之1，根据驾驶员的位置和后视镜的角度，计算由于映在后视镜中的支柱而产生的死角区域。而且，在支柱的内侧显示与该死角区域相当的区域的死角显示图像。因此，即使在驾驶员通过后视镜看车辆后方的情况下，也可以对死角进行辅助。

根据本发明之2，驾驶辅助装置根据驾驶员的位置和后视镜的角度，计算由于映在后视镜中的支柱而产生的死角区域。而且，在支柱的内侧显示与该死角区域相当的区域的死角显示图像。因此，即使在驾驶员通过后视镜看车辆后方的情况下，也可以对死角进行辅助。

根据本发明之3，在后视镜的可视范围中所包含的支柱显示死角显示图像。因此，由于对于不包含在后视镜的可视范围内的支柱，省略了死角区域的运算处理和显示处理，所以，可减少处理量。

根据本发明之4，在车辆进行车道变更时，显示死角显示图像。因此，在驾驶员通过后视镜看车辆后方或侧后方的情况下，可判断在车辆后方或侧后方是否存在其他车辆。

根据本发明之5，当检测到在车辆后方或侧后方的障碍物的情况下，将假想平面设定在该障碍物的位置。因此，能够将以障碍物为中心的清晰的图像投影在支柱的内面。

附图说明

图1是本实施方式的驾驶辅助***的方框图。

图2是本车辆的俯视图。

图3是由于前支柱而产生的死角区的示意图。

图4是车内后视镜的可视范围的示意图。

图5是通过车内后视镜看而产生的后视镜死角区的示意图。

图6是由于侧方支柱和后支柱产生的死角区的示意图。

图7是假想平面和照相机摄影面的示意图。

图8是车道变更时的假想平面和照相机摄影面的示意图。

图9是屏蔽图案的说明图。

图10是设置于支柱的屏幕的主视图。

图11是表示本实施方式的处理顺序的流程图。

图12是映在车内后视镜中的死角显示图像的模式图。

图中：1-驾驶辅助***；2-作为驾驶辅助装置的驾驶辅助单元；4-作为摄影装置的死角摄影照相机；10-作为车辆状况判断单元的***控制部；11-作为驾驶员位置检测单元的头部位置检测部；13-作为后视镜位置检测单元、死角区域运算单元、可视范围计算单元的死角区运算部；15-作为图像合成单元、图像输出单元的图像转换部；16-作为图像合成单元、图像输出单元的假想平面设定部；17-作为图像合成单元、图像输出单元、障碍物检测单元的投影图像输出部；20、20A、20B、20C-作为显示装置和投影装置的投影机；50-死角显示图像；BM-作为死角区域的后视镜死角区；A1-可视范围；B-作为死角区域的死角区；C1-作为车辆的本车辆；C2-作为障碍物的其他车辆；G、GI-图像数据；M-车内后视镜；VP-假想平面；P、PA1、PA2、PB1、PB2、PC1、PC2-支柱；θ-旋转角度。

具体实施方式

下面，结合图1～图12，对将本发明具体化的一实施方式进行说明，图1是说明安装在本车辆C1(参照图2)中的驾驶辅助***1的构成的方框图。

驾驶辅助***1被搭载在本车辆C1中，并且如图1所示，具有作为驾驶辅助装置的驾驶辅助单元2、头部检测传感器3、作为摄影装置的死角摄影照相机4、视线检测照相机5、后视镜角度传感器7、障碍物检测传感器8、导航ECU(以下导航ECU6)、和作为显示装置以及投影装置的投影机20。

驾驶辅助单元2具有作为车辆状况判断单元的***控制部10、作为驾驶员位置检测单元的头部位置检测部11、视线方向检测部12、作为后视镜位置检测单元、死角区域运算单元、可视范围计算单元的死角区运算部13、和图像数据取得部14。另外，还具有作为图像合成单元、图像输出单元的图像转换部15、作为图像合成单元、图像输出单元、障碍物检测单元的假想平面设定部16、作为图像合成单元、图像输出单元的投影图像输出部17、和属性数据存储部18。***控制部10，若设置在本车辆C1的仪表板(instrument panel)或转向柱(steering column)、或导航装置(均未图示)等中的***启动开关SW1被进行了输入操作，则开始驾驶辅助***1的死角辅助功能的运行。另外，在判断为本车辆C1进行车道变更时，开始死角辅助功能。并且，若判断为本车辆C1接近了交叉路口或弯道，则导航ECU6向***控制部10输出辅助开始信号，输入了该信号的***控制部10开始死角辅助功能。或者，也可以在本车辆C1的档位被切换到倒档的情况下等，判断为开始死角辅助功能。

导航ECU6具有本车位置运算部6a、GPS接收部6b、车辆信号输入部6c、地图数据存储部6d。本车位置运算部6a根据GPS接收部6b计算出本车辆C1的绝对位置。另外，车辆信号输入部6c从本车辆C1所具有的车速传感器和陀螺仪(未图示)输入车速脉冲、和方位检测信号。本车位置运算部6a从车辆信号输入部6c取得车速脉冲和方位检测信号，计算出相对基准位置的相对位置，并结合基于GPS接收部6b而计算出的绝对位置来确定本车位置。

在地图数据存储部6d中，储存有用于搜索到达目的地的路径的路径数据、和用于向显示器输出地图的地图绘制数据(均未图示)。导航ECU6中具有的路径搜索部(未图示)根据该路径数据搜索到达目的地的路径。另外，本车位置运算部6a使用该路径数据和地图绘制数据判断本车辆C1是否接近了例如交叉路口或弯道之类的进行死角辅助的规定地点。

头部位置检测部11从头部检测传感器3输入检测信号，检测出驾驶员的头部位置。头部检测传感器3例如由超声波传感器构成，在车室内的驾驶席周围安装有多个。从头部检测传感器3发出的超声波被驾驶员的头部反射，头部检测传感器3计测从发出超声波到接收反射波的时间。头部位置检测部11根据由头部检测传感器3计测的计测时间，使用三角测量法等公知的方法，分别计算出至头部的各个相对距离。

另外，视线方向检测部12检测出驾驶员的视线方向。具体是，视线方向检测部12从设在车室内的视线检测照相机5输入图像数据GI。视线检测照相机5被安装在例如仪表板等可拍摄到驾驶员的面部和眼睛的位置和角度。视线方向检测部12若输入了拍摄了驾驶员的面部和眼睛的图像数据GI，则采用公知的图像处理方法，判断驾驶员的面部朝向和瞳孔位置，由此来判断视线的朝向。例如，在驾驶员的视线方向包含在自平行于本车辆C1的长度方向(图2中Y箭头方向)的方向偏离规定角度的范围内的情况下，判断为驾驶员是朝向车辆前方。另外，若视线方向检测部12根据预先储存的车内后视镜M(参照图2)的位置，判断为驾驶员的视线方向是车内后视镜M的方向，则判断为驾驶员正在看车内后视镜M。另外，例如在视线检测照相机5被安装在驾驶员的正面的情况下，若通过图像处理检测到驾驶员的侧面部，则判断为驾驶员正在看车辆后方或侧后方。

死角区运算部13根据驾驶员的视线方向，运算由于设在本车辆C1中的支柱P(参照图2)而产生的死角区。在本实施方式中，如图2所示，在本车辆C1中设有6根支柱P，包括各个前支柱(A支柱)PA1、PA2、各个中支柱(B支柱)PB1、PB2、和各个后支柱(C支柱)PC1、PC2。各个前支柱PA1、PA2分别被设在驾驶席前方的左侧和右侧。各个中支柱PB1、PB2分别被设在左侧的前门D1与后门D2之间、和右侧的前门D3与后门D4之间。各个后支柱PC1、PC2分别被设在车辆后方，位于后门D2、D4的车窗W2、W4与后车窗W6之间。

例如，在驾驶员面向前方的情况下，死角区运算部13从属性数据存储部18中读出与各个前支柱PA1、PA2对应的支柱属性数据18a。此外，存储在属性数据存储部18中的各个支柱属性数据18a具有与左前支柱PA1、右前支柱PA2、左中支柱PB1、右中支柱PB2、左后支柱PC1、右后支柱PC2的3维坐标以及形状有关的数据。例如，支柱属性数据18a是用图案或坐标来表示支柱P的外形的数据，其表示用于表示支柱P的外形的长度方向、车宽方向和竖直方向的3维坐标、和支柱P的宽度和长度。

死角区运算部13从头部位置检测部11取得驾驶员的头部位置，根据头部位置和各个前支柱PA1、PA2的位置，分别计算出作为如图3所示那样由于左前支柱PA1和右前支柱PA2而产生的死角区域的各个死角区B1、B2。此时，例如用直线连接头部位置DH的中心点，与分别设在各个前支柱PA1、PA2上的多个代表点，可以将由直线包围的区域设定为死角区B1、B2，也可以采用其他方法运算各个死角区B1、B2。

另外，若由视线方向检测部12判断为驾驶员正朝向车内后视镜M，则死角区运算部13计算出由于通过车内后视镜M观察到的各个中支柱PB1、PB2和各个后支柱PC1、PC2而产生的死角区。即，在驾驶员看车内后视镜M时，有时在车内后视镜M中，根据后视镜角度，而映出各个中支柱PB1、PB2和各个后支柱PC1、PC2中的一个或多个。这样，当在车内后视镜M中映出各个中支柱PB1、PB2和各个后支柱PC1、PC2中的至少一个时，死角区运算部13计算出由于该支柱P而产生的通过后视镜看的死角区。

首先，死角区运算部13从后视镜角度传感器7(参照图1)取得车内后视镜M的角度。后视镜角度传感器7被设在车内后视镜M的角度调整部，如图4所示，检测出相对于与车宽方向(图中X轴)平行的轴的旋转角度θ。并且，后视镜角度传感器7还检测出表示车内后视镜M的相对竖直方向的角度(倾斜度)的俯角φ(未图示)。

死角区运算部13根据从后视镜角度传感器7取得的旋转角度θ和俯角φ，计算出驾驶员通过后视镜M可观察的可视范围A1。即，如图4所示，首先，取得驾驶员的头部位置DH，根据头部位置DH和车内后视镜M的旋转角度θ和俯角φ，计算出例如驾驶员的针对车内后视镜M的视线方向的最大入射角和最小入射角，并计算出从头部位置DH可看到的可视范围A1。该可视范围A1根据头部位置DH而变化。例如，即使预先将后视镜角度进行调整，以使在车内后视镜M的全体区域可映出通过后车窗W6看到的实际风景，若头部位置DH向右侧的前门D3的方向(X箭头方向)偏移，则针对车内后视镜M的驾驶员的视线的入射角减小。因此，可视范围A1向左侧(与X箭头方向相反的方向)偏移若干。此外，死角区运算部13也可以预先存储车内后视镜M的位于初始位置时的可视范围A1，并根据头部位置DH来改变位于初始位置时的可视范围A1。并且，在车内后视镜M是曲率半径比较大的凸面镜的情况下，也可以考虑该车内后视镜M的特性来运算可视范围A1。

并且，死角区运算部13判断在车内后视镜M的可视范围A1内是否包含各个中支柱PB1、PB2、各个后支柱PC1、PC2的至少一部分。如上述那样，在驾驶员的头部位置DH比通常的位置向右侧(图4中X箭头方向)偏移若干的情况下，由于可视范围A1向左侧(图4中的与X箭头相反的方向)偏移，所以在可视范围A1内包含左后支柱PC1。在这种情况下，如图5所示，死角区运算部13根据头部位置DH和支柱属性数据18a，计算出由于左后支柱PC1而产生的通过车内后视镜看的后视镜死角区BM。例如，死角区运算部13用直线分别连接设在左后支柱PC1上的多个各代表点、和设在车内后视镜的镜面上或镜面里侧的驾驶员的假想视点，将由各个直线包围的区域设定为后视镜死角区BM1。此外，后视镜死角区BM也可以根据驾驶员的视线方向和头部位置DH，采用其他方法来计算。

另外，若由视线方向检测部12判断为驾驶员正直接目视后方，则如图6所示，死角区运算部13计算出由于各个中支柱PB1、PB2和各个后支柱PC1、PC2而产生的死角区B。例如，死角区运算部13也可以从头部位置检测部11取得头部位置DH，用直线连接头部位置DH与设在各个中支柱PB1、PB2和各个后支柱PC1、PC2上的多个代表点，将由各直线包围的区域设定为死角区B3～B6。

假想平面设定部16设定用于对由图像数据取得部14取得的图像数据G进行坐标转换的假想平面VP。例如，在驾驶员正直接目视车辆前方的情况下，如图3所示，在距本车辆C1规定距离的车辆前方的位置设定假想平面VP。假想平面VP，例如设定在与死角区B2的中心线L1正交的位置。此外，在图3中，为了简化，只图示了用于将死角图像投影在右前支柱PA2上的假想平面VP，但对各个前支柱PA1、PA2的各个死角区B1、B2都设定假想平面VP。

在驾驶员正通过车内后视镜M看车辆后方或侧后方的情况下，如图7所示，在距本车辆C1规定距离的车辆后方的位置设定假想平面VP。或者，假想平面设定部16也可以从导航ECU6取得标记在交叉路口的路面上的人行横道等基准物的位置，在基准物的位置设定假想平面VP。

另外，假想平面设定部16在本车辆C1变更车道时，在接近了本车辆C1后方的作为障碍物的其他车辆C2(参照图8)的位置设定假想平面VP。具体是，由***控制部10和导航ECU6等根据从本车辆C1的方向指示器等输入的方向变更信号，判断本车辆C1是否正在进行车道变更。在判断为本车辆C1进行车道变更时，假想平面设定部16从障碍物检测传感器8(参照图1)取得检测信号，并判断本车辆C1的后方或侧后方有无其他车辆C2。该障碍物检测传感器8是毫米波雷达、或声纳等，被安装在车辆的后端等。在本车辆C1的后方或侧后方存在其他车辆C2的情况下，假想平面设定部16计算出其他车辆C2相对本车辆C1的相对距离，并如图8所示那样，在该其他车辆C2的规定的位置设定假想平面VP。若这样设定了假想平面VP，则在将其他车辆C2的像投影到支柱P时，不会发生与通过后车窗W6等能观察的其他车辆C2相比的偏移、或变形。

另外，假想平面设定部16，在与假想平面VP的位置一致的位置设定照相机摄影面CP的位置。照相机摄影面CP表示与死角摄影照相机4的焦点对合的位置。为了将聚焦在照相机摄影面CP而拍摄的图像数据G，坐标转换到假想平面VP上，假想平面设定部16在死角区B2内将照相机摄影面CP设定在接近假想平面VP的位置。即，设定为，在图3和图7中通过假想平面VP中的由后视镜死角区BM分隔的部分的端部。

图像数据取得部14从设在本车辆C1中的各个死角摄影照相机4取得图像数据G。如图2所示，各个死角摄影照相机4，在本实施方式中，对应各个支柱P共设有6台。左前方照相机4AL和右前方照相机4AR被设在左前支柱PA1和右前支柱PA2的附近，其能够拍摄包含由于各个前支柱PA1、PA2而产生的死角的车辆周边。左侧方照相机4BL和右侧方照相机4BR被设在左中支柱PB1和右中支柱PB2的附近，其能够拍摄包含由于各个中支柱PB1、PB2而产生的死角的车辆周边。左后方照相机4CL和右后方照相机4CR被设在左后支柱PC1和右后支柱PC2的附近，其能够拍摄包含由于各个后支柱PC1、PC2而产生的死角的车辆周边。

图像数据取得部14若从假想平面设定部16取得了照相机摄影面CP的位置时，则控制对应的死角摄影照相机4，将焦点对在照相机摄影面CP的位置进行拍摄，并输出到图像转换部15。

另外，将表示各个死角摄影照相机4的位置和视角的摄影参数18d(参照图1)存储在属性数据存储部18中。

图像转换部15从图像数据取得部14取得由死角摄影照相机4拍摄的图像数据G。另外，从死角区运算部13取得死角区B或后视镜死角区BM。并且，生成对所取得的图像数据G中的与死角区B、BM相当的区域进行修剪后而得到的死角图像。而且，将该死角图像坐标转换到由假想平面设定部16设定的假想平面VP。该坐标转换是将死角数据的各个像素转换成假想平面VP上的各个像素的处理。

图像转换部15将被投影在假想平面VP上的图像，投影转换到包含支柱P的内侧面的支柱面上。可将支柱面根据支柱属性数据18a的3维坐标进行设定。

然后，为了将投影转换到支柱面的上述图像由所设置的各个投影机20进行投影，将该图像与投影机20的位置配合而进行坐标转换。此外，如图2所示，在本车辆C1的车顶内侧，设有4个能够将图像分别投影在不同的支柱P的内侧面的投影机20。

即，由于从投影机20输出的光入射到支柱P的内侧面的角度，被显示在内侧面Pa的图像发生歪斜、放大或缩小。因此，例如预先在图像转换部15的内置存储器等中，保存映射表(map)，并根据该映射表，将投影转换后的图像作为针对投影机20的输出图像进一步进行坐标转换，且上述映射表预先将投影转换后的上述图像的各个像素的坐标、与向各个投影机20输出的图像的各个像素的坐标建立关联。

并且，由图像转换部15进行了坐标转换的图像被输出到投影图像输出部17，投影图像输出部17根据从属性数据存储部18读出的屏蔽图案18b，生成向各个投影机20输出的死角显示图像。如图9所示，屏蔽图案18b是用于向死角显示图像附加屏蔽的数据，其由沿着支柱P的内面形状的图像显示区域Z1、和屏蔽Z2构成。投影图像输出部17通过对于图像显示区域Z1的区域读入死角显示图像；对于屏蔽Z2的区域读入用于使投影机20不显示的数据，生成用于将死角显示图像投影在支柱P的投影数据。一旦生成了投影数据，则投影图像输出部17将该投影数据输出到各个投影机20。

此外，本实施方式在本车辆C1中分别安装有前方投影机20A、侧方投影机20B、后方投影机20C。前方投影机20A被安装成可分别向各个前支柱PA1、PA2投影图像。各个侧方投影机20B被安装成可分别向各个中支柱PB1、PB2投影图像。各个后方投影机20C被安装成可分别向各个后支柱PC1、PC2投影图像。本实施方式共设置了4个投影机20，但在使用即使1个也能向各个支柱P投影图像的结构的投影机的情况下，也可以使用1个，或4个以外的多个。

如图10所示，在各个支柱P的内侧面Pa，粘贴有被剪切成与支柱P的形状一致的屏幕SC。将各个投影机20的焦点与设置在投影对象的支柱P的屏幕SC对合而进行调整。此外，在支柱P的内侧面Pa是由可通过接受从投影机20输出的投影光而显示清楚的图像的材质和形状构成的情况下，也可以省略屏幕SC。

如图2所示，投影机20向支柱P的屏幕SC射出投影光L，将图像投影在屏幕SC。另外，基于屏蔽图案18b的屏蔽Z2，在该屏幕SC的周围的车窗上不会投影图像。在驾驶员直接目视车辆前方或车辆后方的情况下，驾驶员可直接确认被投影在各个支柱P的图像。另外，在驾驶员通过车内后视镜M看车辆后方和侧后方的情况下，与驾驶员的视线配合而投影到各个支柱P的图像，映在车内后视镜M中，并可看到死角显示图像的虚像。

下面，结合图11，对本实施方式的处理顺序进行说明。首先，***控制部10判断是否开始死角辅助(步骤S1)。***控制部10，若上述***启动开关SW1被进行了输入操作，则判断为开始死角辅助。另外，在导航ECU6检测到本车辆C1的车道变更时，判断为开始死角辅助。并且，在导航ECU6判断为本车辆C1接近了交叉路口或弯道时，判断为开始死角辅助。另外，也可以在本车辆C1的档位被切换到倒档时，判断为开始死角辅助。或者也可以基于视线方向检测部12，在驾驶员的视线从行进方向偏移了规定角度时，判断为开始死角辅助。

若***控制部10判断为开始死角辅助时(步骤S1中“是”)，***启动，并且在进行了初始化后，检测头部位置(步骤S2)。头部位置检测部11从头部检测传感器3输入检测信号，计算出驾驶员的头部位置DH。

另外，视线方向检测部12检测驾驶员的视线方向(步骤S3)，判断驾驶员的视线方向是否朝向车内后视镜M以外(步骤S4)。如上述那样，例如当驾驶员的视线方向，包含在以本车辆C1的长度方向为基准，以本车辆C1的行进方向为中心的规定角度范围内的情况下，判断为驾驶员面向前方。另外，在驾驶员的视线方向不包含在上述规定角度范围内，而朝向比驾驶员的位置还靠车辆后方的情况下，判断该视线方向是否包含在以本车辆C1的与行进方向相反的方向为中心的后方的规定角度范围内。在视线方向包含在后方的规定角度范围内的情况下，判断为驾驶员正在看车辆后方。在驾驶员的视线方向的仰角为规定角度以上，且是车内后视镜M的方向的情况下，判断为正在看车内后视镜M。

在步骤S4中，在判断为驾驶员的视线方向与车内后视镜M的方向一致的情况下(步骤S4中“否”)，死角区运算部13从后视镜角度传感器7取得由旋转角度θ和俯角φ构成的后视镜角度(步骤S5)。在驾驶员的视线方向是车内后视镜M以外的情况下(步骤S4中“是”)，进入步骤S6。

在步骤S6中，死角区运算部13，根据驾驶员的视线方向，计算出由于支柱P而产生的死角区(步骤S6)。当在步骤S3中判断为驾驶员面向前方的情况下，从属性数据存储部18中读出各个前支柱PA1、PA2的支柱属性数据18a，如图3所示那样计算出由于各个前支柱PA1、PA2而产生的死角区B1、B2的坐标。

当在步骤S3中判断为驾驶员朝向车辆后方的情况下，死角区运算部13从属性数据存储部18中读出与各个中支柱PB1、PB2、以及各个后支柱PC1、PC2对应的支柱属性数据18a，如图6所示那样计算出死角区B3～B6的坐标。

另外，当在步骤S3中，判断为驾驶员朝向车内后视镜M的方向的情况下，死角区运算部13，根据在步骤S5中取得的后视镜角度和驾驶员的头部位置DH，如上述那样计算出车内后视镜M的可视范围A1。然后，对于该可视范围A1，判断在可视范围A1内是否包含各个中支柱PB1、PB2以及后支柱PC1、PC2。并且，根据支柱属性数据18a，计算出由包含在可视范围A1内的支柱P所遮挡的后视镜死角区BM。

若计算出了死角区B或后视镜死角区BM后，假想平面设定部16根据驾驶员的视线方向和后视镜角度，如上述那样设定假想平面VP(步骤S7)。即，将假想平面VP设定在距本车辆C1规定距离的位置、或人行横道等基准物的位置、或本车辆C1的后方的其他车辆C2的位置。另外，假想平面设定部16根据假想平面VP的位置，设定照相机摄影面CP的位置，并将其输出到图像数据取得部14。

图像数据取得部14根据视线方向检测部12，选择取得图像数据G的照相机，取得对由于支柱P而产生的死角进行了拍摄而得到的图像数据G(步骤S8)。在驾驶员面向前方的情况下，从各个前方照相机4AL、4AR取得图像数据G。另外，在驾驶员朝向后方的情况下，从侧方照相机4BL、4BR和后方照相机4CL、4CR取得图像数据G。另外，在通过车内后视镜M正在看车辆后方和侧后方的情况下，从与车内后视镜M的可视范围A1中包含的支柱P对应的死角摄影照相机4取得图像数据G。

若取得了图像数据G，则图像转换部15，根据图像数据G中的在步骤S6计算出的死角区B或后视镜死角区BM，剪切出死角图像(步骤S9)。另外，图像转换部15生成用于向投影机20输出的投影数据(步骤S10)。具体是，如上述那样，利用图像转换部15，在将死角图像投影转换到假想平面VP后，进行与投影对象的支柱P的位置和3维形状配合的投影转换。并且，选择向该支柱P投影图像的投影机20，与该投影机20的位置配合进行坐标转换。另外，利用投影图像输出部17读入向屏蔽图案18b的图像显示区域Z1进行了坐标转换后的图像。

若生成了投影数据，则投影图像输出部17向所选择的上述投影机20输出投影数据(步骤S11)。在驾驶员正在看前方的情况下，向前方投影机20A输出投影数据，在驾驶员正在看后方的情况下，向侧方投影机20B和后方投影机20C输出投影数据。另外，在通过车内后视镜M正在看车辆后方或侧后方的情况下，向与视线方向对应的支柱P输出投影数据。

在驾驶员通过车内后视镜M观察车辆后方或侧后方，并在车内后视镜M的可视范围A1内包含左后支柱PC1的情况下，利用后方投影机20C向左后支柱PC1投影死角显示图像。由此，例如，如图12所示那样，被投影在左后支柱PC1的死角显示图像50映在车内后视镜M中。因此，由于驾驶员能够通过死角显示图像50看到被左后支柱PC1遮挡的背景，所以能够确认车辆后方的其他车辆C2的有无等。另外，由于将死角显示图像50与借助于车内后视镜M的驾驶员的视线配合而显示，所以，可进行实际背景与映在车内后视镜M中的背景像51之间不存在错位或变形的显示。

若对死角显示图像进行了投影，则***控制部10判断是否结束显示(步骤S12)。例如，当从***启动开关SW1的输入操作开始，经过了规定时间的情况下、或结束了车道变更的情况下、或通过了交叉路口或弯道的情况下，判断为结束显示。或者，当驾驶员的视线，与行进方向比较是规定角度以内的方向的情况下、或本车辆C1的档位是倒档以外的情况下，判断为结束显示。若判断为是结束显示(步骤S12中“是”)，则结束处理。

另一方面，当在步骤S12中，判断为不是结束显示的情况下(步骤S12中“否”)，返回步骤S2，重复步骤S2～步骤S11。此时，在头部位置DH和视线方向发生了变化的情况下，根据新检测的头部位置DH和视线方向，变更显示图像。

根据上述实施方式，可达到以下的效果。

(1)上述实施方式，即使在由于映在车内后视镜M中的支柱P而产生了死角的情况下，也根据驾驶员的头部位置DH、视线方向和后视镜角度，计算出由于该支柱P而产生的后视镜死角区BM。而且，在从死角摄影照相机4取得的图像数据G中，剪切出与后视镜死角区BM相当的区域，并将死角显示图像50输出到该支柱P的内侧。因此，在通过车内后视镜M观察车辆周边的情况下，可辅助显示由于支柱P而产生的死角。

(2)上述实施方式，在车内后视镜M的可视范围A1中所包含的支柱P显示死角显示图像50。因此，由于对于不包含在可视范围A1内的支柱P，可省略后视镜死角区BM的运算处理和显示处理，所以，可减轻驾驶辅助***1的处理。

(3)上述实施方式，在由导航ECU6判断为本车辆C1进行车道变更时，进行支柱P的死角辅助。因此，在驾驶员通过车内后视镜M看车辆后方或侧后方的情况下，可判断在车辆后方或侧后方是否存在其他车辆C2。

(4)上述实施方式，在利用障碍物检测传感器8检测到位于本车辆C1后方的其他车辆C2时，将假想平面VP设定在该其他车辆C2的位置。因此，能够将以其他车辆C2为中心的清楚的图像投影在支柱P的内面。

此外，上述实施方式也可以进行以下的变更。

·关于头部检测传感器3，虽然采用了超声波传感器，但也可以采用图像识别传感器等其他传感器。另外，虽然是在驾驶席附近具备多个，但也可以具备1个。另外，也可以基于检测驾驶席的靠背枕和座位位置的检测传感器，检测驾驶员的头部位置。

·上述实施方式是利用头部检测传感器3检测驾驶员的头部位置GH，但作为驾驶员的位置，也可以检测其他部位(例如眼睛的位置)。

·上述实施方式，与假想平面VP的位置对合的基准物也可以是人行横道以外。例如，也可以将假想平面VP与信号机等路面设置物对合。另外，例如，也可以在本车辆C1中搭载用于计测至车辆前方的障碍物的相对距离的雷达、传感器等，在检测到包含步行者、自行车、其他车辆等障碍物时，将假想平面VP与障碍物对合。此外，关于障碍物例如是否是步行者、自行车的判定，使用特征检测等公知的图像处理。

·上述实施方式也可以针对1个支柱P设置多个死角摄影照相机4，从不同的角度对由于支柱而产生的死角进行拍摄。

·上述实施方式是将投影机20设置在本车辆C1的车顶R的内侧，但投影机20的位置只要是能够将图像投影在支柱P的内面的位置即可，例如，也可以设置在仪表板的上方(大致中央)等其他位置。

·上述实施方式在判断为驾驶员朝向前方时，将图像投影在各个前支柱PA1、PA2，但也可以将图像投影在任意一方的支柱P。例如，可以只投影在靠近驾驶员的右前支柱PA2，也可以根据驾驶员的视线方向，适当变更要投影图像的支柱P。

·上述实施方式在判断为驾驶员朝向后方或侧后方时，将图像投影在各个中支柱PB1、PB2、各个后支柱PC1、PC2，但也可以将图像投影在任意一方的支柱P。例如，也可以省略针对中支柱PB1、PB2的图像投影。或者，也可以根据驾驶员的视线方向，适当变更要投影图像的支柱P。

·上述实施方式，当有各个中支柱PB1、PB2和各个后支柱PC1、PC2中的至少一个映在车内后视镜M中的情况下，死角区运算部13计算出由于该支柱P而产生的死角。除此以外，也可以在判断为驾驶员正在看车内后视镜M时，向各个中支柱PB1、PB2以及各个后支柱PC1、PC2的全部投影与驾驶员的视线和头部位置配合的死角显示图像。

·上述实施方式，是利用投影机20将图像投影在支柱P的内侧面Pa，但也可以在支柱P的内侧设置作为薄型显示单元的显示器，将死角显示图像50输出到显示器。

Claims (5)

1.一种驾驶辅助方法，该方法使用安装于车辆的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，将相当于该死角区域的图像显示在上述支柱的内侧，其特征在于，

检测驾驶员的位置，并且取得设在车室内的后视镜的角度，根据上述驾驶员的位置和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边时，由于映在上述后视镜中的支柱而产生的死角区域，并且将上述摄影装置所拍摄的图像数据中的与上述计算出的死角区域相当的区域，显示在上述支柱。

2.一种驾驶辅助装置，该驾驶辅助装置使用安装于车辆的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，利用显示装置将由上述摄影装置拍摄的图像显示在上述支柱的内侧，其特征在于，具有：

驾驶员位置检测单元，检测驾驶员的位置；

后视镜位置检测单元，取得设在车室内的后视镜的角度；

死角区域运算单元，其根据上述驾驶员的位置和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边时，由于映在上述后视镜中的上述支柱而产生的死角区域；

图像合成单元，其使用由上述摄影装置拍摄的图像数据，生成与上述死角区域相当的死角显示图像；

和图像输出单元，向上述显示装置输出上述死角显示图像。

3.根据权利要求2所述的驾驶辅助装置，其特征在于，

还具有可视范围计算单元，该可视范围计算单元根据上述驾驶员的位置和上述后视镜的角度，计算出该驾驶员通过上述后视镜可看到的可视范围，

上述死角区域运算单元，判断上述可视范围内所包含的上述支柱，根据上述驾驶员的位置和上述后视镜的角度计算出由于该支柱而产生的上述死角区域，

上述图像输出单元，向该支柱显示上述死角显示图像。

4.根据权利要求2或3所述的驾驶辅助装置，其特征在于，

还具有判断上述车辆是否进行车道变更的车辆状况判断单元，

在通过上述车辆状况判断而判断为上述车辆是进行车道变更时，将与由于映在上述后视镜中的上述支柱而产生的死角区域相当的上述死角显示图像，向该支柱输出。

5.根据权利要求4所述的驾驶辅助装置，其特征在于，

还具有检测在上述车辆的后方或侧后方的障碍物的障碍物检测单元，

在由上述障碍物检测单元检测出在上述车辆的后方或侧后方的障碍物的情况下，上述图像合成单元在该障碍物的位置设定用于将上述图像数据进行坐标转换的假想平面。

Images