JP4412365B2 - Driving support method and driving support device - Google Patents

Driving support method and driving support device Download PDF

Info

Publication number
JP4412365B2
JP4412365B2 JP2007205672A JP2007205672A JP4412365B2 JP 4412365 B2 JP4412365 B2 JP 4412365B2 JP 2007205672 A JP2007205672 A JP 2007205672A JP 2007205672 A JP2007205672 A JP 2007205672A JP 4412365 B2 JP4412365 B2 JP 4412365B2
Authority
JP
Japan
Prior art keywords
blind spot
driver
pillar
vehicle
pillars
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007205672A
Other languages
Japanese (ja)
Other versions
JP2008265719A (en
Inventor
英文 岡部
実 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007205672A priority Critical patent/JP4412365B2/en
Priority to CN2008100855184A priority patent/CN101277432B/en
Priority to EP08004495A priority patent/EP1974998B1/en
Priority to US12/073,916 priority patent/US8035575B2/en
Publication of JP2008265719A publication Critical patent/JP2008265719A/en
Application granted granted Critical
Publication of JP4412365B2 publication Critical patent/JP4412365B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、運転支援方法及び運転支援装置に関する。   The present invention relates to a driving support method and a driving support device.

従来より、安全運転を支援する装置として、ドライバーの死角となる領域を車載カメラによって撮影し、ディスプレイ等に表示する車載システムが開発されている。その一つとして、車両のピラーによって生じる死角領域を車載カメラで撮影し、撮影画像をピラーの内側に表示するシステムが提案されている（例えば特許文献１参照）。ピラーは、ウィンドウやルーフを支える左右の支柱であって、ドライバーの視界を一部遮ってしまうものの、安全性のために所定の太さを確保しなければならない部材である。また、この装置では、ドライバの視線の方向と、カメラの撮影方向とが一致しないため、カメラの撮影画像をドライバの視線方向に合わせて座標変換する。
特開２００５−１８４２２５号公報 2. Description of the Related Art Conventionally, as an apparatus that supports safe driving, an in-vehicle system that captures an area that is a blind spot of a driver with an in-vehicle camera and displays it on a display or the like has been developed. As one of such systems, a system has been proposed in which a blind spot region caused by a vehicle pillar is photographed by an in-vehicle camera and the photographed image is displayed inside the pillar (see, for example, Patent Document 1). Pillars are left and right support columns that support windows and roofs, and are members that need to have a predetermined thickness for safety, although they partially block the driver's field of view. Further, in this apparatus, since the direction of the driver's line of sight does not match the shooting direction of the camera, coordinate conversion of the captured image of the camera is performed in accordance with the line of sight of the driver.
JP 2005-184225 A

しかし、上記した装置では、ドライバーがルームミラー越しに車両後方又は後側方を視認した場合に対応していない。即ち、ドライバーがルームミラーを介して車両後方又は後側方を視認した際に、ルームミラーを介したドライバーの視界が、車両後方のリヤピラーや、前方座席と後方座席との間にあるセンターピラーにより遮られることがある。   However, the above-described device does not support the case where the driver visually recognizes the rear or rear side of the vehicle through the rearview mirror. That is, when the driver visually recognizes the rear or rear side of the vehicle through the rearview mirror, the driver's field of view through the rearview mirror is displayed by the rear pillar at the rear of the vehicle or the center pillar between the front seat and the rear seat. May be blocked.

これに対し、リヤピラーやセンターピラーに、ドライバーが後方又は後側方を直接目視した場合を想定して生成された画像を投影し、投影した画像をルームミラーを介してドライバーに視認させる方法も考えられる。しかし、ルームミラー越しに後方又は後側方を見る場合にドライバーが視認できる範囲及び視線方向は、後方又は後側方を直接目視する場合の視認範囲及び視線方向とは異なるため、上記の方法では、ピラーに投影された画像と実際の風景との差異が大きくなり、ドライバーが違和感を覚えることがある。   On the other hand, a method of projecting an image generated on the assumption that the driver directly looks at the rear or rear side on the rear pillar or center pillar, and allowing the driver to visually recognize the projected image through the rearview mirror is also considered. It is done. However, the range and line-of-sight direction that the driver can visually recognize when looking at the rear or rear side through the rearview mirror are different from the range and line-of-sight direction when directly looking at the rear or rear side. , The difference between the image projected on the pillar and the actual landscape becomes large, and the driver may feel uncomfortable.

本発明は、上記問題点に鑑みてなされたものであり、その目的は、ドライバーがミラー越しに車両周辺を見た際にピラーによって死角が生じる場合でも、死角領域の画像をピラーに表示することができる運転支援方法及び運転支援装置を提供することにある。   The present invention has been made in view of the above problems, and its purpose is to display an image of a blind spot area on a pillar even when a blind spot is generated by the pillar when the driver sees the vehicle periphery through a mirror. It is an object to provide a driving support method and a driving support device that can perform the above.

上記問題点を解決するために、請求項１に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、ドライバーの位置を検出するとともに、車室内に設けられたミラーの角度を取得し、前記ドライバーの位置及び前記ミラーの角度に基づき、該ドライバーが前記ミラーを介して見ることができる可視範囲を算出し、ドライバーの視線の方向を判断し、前記ドライバーの視線が前記ミラーの方向であると判断した場合には、前記複数のピラーのうち前記可視範囲内のピラーについてのみ該ピラーによって生じる死角領域を前記ドライバーの位置及び前記ミラーの角度に基づき算出し、前記撮影装置が撮影した画像データのうち前記可視範囲内のピラーによって生じる死角領域に相当する領域を前記可視範囲内のピラーに対して表示し、前記ドライバーの視線が前記ミラーの方向ではないと判断した場合には、前記複数のピラーのうち前記ドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーよって生じる死角領域を前記ドライバーの位置に基づき算出し、前記撮影装置が撮影した画像データのうち前記予め対応付けられているピラーによって生じる死角領域に相当する領域を前記予め対応付けられているピラーに対して表示することを要旨とする。 In order to solve the above-described problem, the invention according to claim 1 shoots a blind spot area generated by a plurality of pillars provided in the vehicle using a photographing device attached to the vehicle , and In the driving support method for displaying the corresponding image inside the pillar, the position of the driver is detected, the angle of the mirror provided in the vehicle interior is acquired, and the position of the driver and the angle of the mirror are If the driver calculates the visible range that can be seen through the mirror, determines the direction of the driver's line of sight, and determines that the driver's line of sight is the direction of the mirror, the blind spot region generated by the pillar only pillars in the visible range is calculated based on the position and angle of the mirror of the driver, the imaging Display area corresponding to a blind spot region generated by a pillar within the visible range of the image data location is taken against a pillar in the visible range, if the line of sight of the driver is determined not to be the direction of the mirror In this case, the blind spot region generated by the pillar is calculated based on the position of the driver only for the pillar previously associated with the direction of the driver's line of sight among the plurality of pillars, and the image data captured by the imaging device The gist is to display an area corresponding to a blind spot area generated by the previously associated pillar with respect to the previously associated pillar .

請求項２に記載の発明は、車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を表示装置により前記ピラーの内側に表示する運転支援装置において、ドライバーの位置を検出するドライバー位置検出手段と、車室内に設けられたミラーの角度を取得するミラー位置検出手段と、ドライバーの視線の方向を判断する視線方向検出部と、前記ドライバーの位置及び前記ミラーの角度に基づき、ドライバーが前記ミラーを介して見ることができる可視範囲を算出する可視範囲算出手段と、ドライバーが前記車両周辺を視認した際に、前記ピラーにより生じる死角領域を算出する死角領域演算手段と、前記撮影装置が撮影した画像データを用いて、前記死角領域に相当する死角表示画像を生成する画像合成手段と、前記死角表示画像を前記表示装置に出力する画像出力手段とを備え、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記可視範囲内に存在するピラーを判断し、該可視範囲内のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置及び前記ミラーの角度に基づいて算出し、前記画像出力手段は、前記可視範囲内のピラーにおける前記死角表示画像を前記可視範囲内のピラーに対して表示し、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断された場合には、前記死角領域演算手段は、前記複数のピラーのうちドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記予め対応付けられているピラーにおける前記死角表示画像を前記予め対応付けられているピラーに対して表示することを要旨とする。 According to a second aspect of the present invention, a blind spot region generated by a plurality of pillars provided in the vehicle is photographed using a photographing device attached to the vehicle , and an image photographed by the photographing device is captured by the display device. In a driving support device that displays inside a pillar, driver position detecting means for detecting the position of the driver, mirror position detecting means for obtaining the angle of a mirror provided in the passenger compartment, and a line of sight for determining the direction of the driver's line of sight a direction detecting unit, based on the position and angle of the mirror of the driver, when the driver who visually visible range calculating means for calculating the visible range which can be viewed through the mirror, the peripheral front Symbol vehicle drivers in a blind spot region calculating unit for calculating the blind spot region generated by the front Symbol pillar, by using the image data which the imaging device is taken, the An image synthesizing means for generating a blind spot display image corresponding to the corner regions, and an image output means for outputting the blind spot display image on the display device, the direction of the line of sight of the driver by the line-of-sight direction detecting section of the mirror When it is determined that the direction is a direction, the blind spot area calculating means determines a pillar existing in the visible range among the plurality of pillars, and the dead angle generated by the pillar only for the pillar in the visible range. An area is calculated based on the position of the driver and the angle of the mirror, and the image output means displays the blind spot display image of the pillar in the visible range with respect to the pillar in the visible range, and the line-of-sight direction When the detection unit determines that the direction of the driver's line of sight is not the direction of the mirror, the blind spot area calculation unit is configured to output the plurality of pixels. The blind spot area generated by the pillar is calculated based on the position of the driver only for the pillar previously associated with the direction of the driver's line of sight, and the image output means The blind spot display image is displayed on the previously associated pillar .

請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両前方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち車両前方のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーにおける前記死角表示画像を前記車両前方のピラーに対して表示し、前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両後方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記車両前方のピラーを除くピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーを除くピラーにおける前記死角表示画像を前記車両前方のピラーを除くピラーに対して表示することを要旨とする。 According to a third aspect of the present invention, in the driving support device according to the second aspect, the gaze direction detection unit determines that the direction of the driver's line of sight is not the direction of the mirror, and the direction of the driver's line of sight Is determined to be in front of the vehicle, the blind spot area calculating means calculates the blind spot area generated by the pillar only for the pillar in front of the vehicle based on the position of the driver. The image output means displays the blind spot display image of the pillar in front of the vehicle with respect to the pillar in front of the vehicle, and the line-of-sight direction detection unit determines that the direction of the line of sight of the driver is not the direction of the mirror. And when it is determined that the direction of the line of sight of the driver is the rear of the vehicle, the blind spot area calculation means That is, only the pillars excluding the pillars in front of the vehicle calculate the blind spot area caused by the pillars based on the position of the driver, and the image output means displays the blind spot display image in the pillars excluding the pillars in front of the vehicle. The gist is to display on pillars excluding the pillar in front of the vehicle .

請求項４に記載の発明は、請求項２又は３に記載の運転支援装置において、前記車両が車線変更を行うか否かを判断する車両状況判断手段をさらに備え、前記車両状況判断により前記車両が車線変更を行うと判断した際に、前記可視範囲内のピラーにおける前記死角表示画像を、該可視範囲内のピラーに対して出力することを要旨とする。 According to a fourth aspect of the present invention, in the driving support device according to the second or third aspect of the present invention, the vehicle further includes a vehicle state determination unit that determines whether or not the vehicle changes lanes. There when it is determined to perform the lane change, the blind spot image display in the pillar in the visible range, and summarized in that output to the pillar within the visible range.

請求項５に記載の発明は、請求項４に記載の運転支援装置において、前記車両の後方又は後側方に障害物を検出する障害物検出手段をさらに備え、前記障害物検出手段により前記車両の後方又は後側方に障害物を検出した場合に、前記画像合成手段は、該障害物の位置に前記画像データを座標変換する仮想平面を設定することを要旨とする。   According to a fifth aspect of the present invention, in the driving support device according to the fourth aspect, the vehicle further includes obstacle detection means for detecting an obstacle behind or behind the vehicle, and the vehicle is detected by the obstacle detection means. The gist of the invention is that the image composition means sets a virtual plane for coordinate transformation of the image data at the position of the obstacle when an obstacle is detected behind or behind the vehicle.

請求項１に記載の発明によれば、ドライバーの視線がミラーの方向であると判断した場合には、可視範囲内のピラーによって生じる死角領域をドライバーの位置及びミラーの角度に基づき算出する。また、ピラーの内側には、可視範囲内のピラーにおける死角領域に相当する領域の死角表示画像が表示される。このため、ドライバーがミラーを介して車両後方を見た場合にも、死角を補助することができる。また、ミラーの可視範囲に含まれないピラーに対しては、死角領域の演算処理及び表示処理が省略されるので、処理を軽減することができる。 According to the first aspect of the present invention, when it is determined that the driver's line of sight is in the direction of the mirror, the blind spot region caused by the pillar in the visible range is calculated based on the position of the driver and the angle of the mirror . Also, a blind spot display image of an area corresponding to the blind spot area in the pillar within the visible range is displayed inside the pillar . For this reason, even when the driver looks at the rear of the vehicle through the mirror, the blind spot can be assisted. In addition, for the pillars that are not included in the visible range of the mirror, the calculation process and the display process of the blind spot area are omitted, so that the process can be reduced.

請求項２に記載の発明によれば、視線方向検出部によりドライバーの視線方向がミラーの方向であると判断された場合には、運転支援装置は、可視範囲内のピラーによって生じる死角領域をドライバーの位置及びミラーの角度に基づき算出する。また、ピラーの内側には、可視範囲内のピラーにおける死角領域に相当する領域の死角表示画像が表示される。このため、ドライバーがミラーを介して車両後方を見た場合にも、死角を補助することができる。また、ミラーの可視範囲に含まれないピラーに対しては、死角領域の演算処理及び表示処理が省略されるので、処理を軽減することができる。 According to the second aspect of the present invention, when the gaze direction detection unit determines that the driver's gaze direction is the mirror direction, the driving support device displays the blind spot area caused by the pillar in the visible range as the driver. And the angle of the mirror . Also, a blind spot display image of an area corresponding to the blind spot area in the pillar within the visible range is displayed inside the pillar . For this reason, even when the driver looks at the rear of the vehicle through the mirror, the blind spot can be assisted. In addition, for the pillars that are not included in the visible range of the mirror, the calculation process and the display process of the blind spot area are omitted, so that the process can be reduced.

請求項３に記載の発明によれば、ドライバーの視線方向が前方であると判断された場合には、車両前方のピラーにおける死角表示画像が車両前方のピラーに表示される。また、ドライバーの視線方向が後方であると判断された場合には、車両前方のピラーを除くピラーにおける死角表示画像が車両前方のピラーを除くピラーに表示される。 According to the third aspect of the present invention, when it is determined that the line-of-sight direction of the driver is the front, the blind spot display image in the pillar in front of the vehicle is displayed on the pillar in front of the vehicle. Further, when it is determined that the driver's line-of-sight direction is backward, a blind spot display image in the pillar excluding the pillar in front of the vehicle is displayed on the pillar excluding the pillar in front of the vehicle.

請求項４に記載の発明によれば、車両が車線変更を行う際に、可視範囲内におけるピラーの死角表示画像を表示する。このため、ドライバーがミラー越しに車両後方又は後側方を見た場合に、車両後方又は後側方に他車両が存在するか否かを判断することができる。 According to the invention of claim 4, when the vehicle changes lanes, the blind spot display image of the pillar in the visible range is displayed. For this reason, when the driver looks at the rear or rear side of the vehicle through the mirror, it can be determined whether or not there is another vehicle behind or behind the vehicle.

請求項５に記載の発明によれば、車両後方又は後側方に障害物を検出した場合に、その障害物の位置に仮想平面を設定する。このため、障害物を中心とした明瞭な画像をピラーの内面に投影することができる。   According to the fifth aspect of the present invention, when an obstacle is detected behind or behind the vehicle, a virtual plane is set at the position of the obstacle. For this reason, a clear image centering on the obstacle can be projected onto the inner surface of the pillar.

以下、本発明を具体化した一実施形態を図１〜図１２に従って説明する。図１は、自車両Ｃ１（図２参照）に実装された運転支援システム１の構成を説明するブロック図である。   Hereinafter, an embodiment embodying the present invention will be described with reference to FIGS. FIG. 1 is a block diagram illustrating a configuration of a driving support system 1 mounted on the host vehicle C1 (see FIG. 2).

運転支援システム１は自車両Ｃ１に搭載され、図１に示すように運転支援装置としての運転支援ユニット２、頭部検出センサ３、撮影装置としての死角撮影カメラ４、視線検出カメラ５、ミラー角度センサ７、障害物検出センサ８、ナビゲーションＥＣＵ（以下、ナビＥＣＵ６）、表示装置及び投影装置としてのプロジェクタ２０を備えている。   The driving support system 1 is mounted on the host vehicle C1, and as shown in FIG. 1, a driving support unit 2 as a driving support device, a head detection sensor 3, a blind spot photographing camera 4 as a photographing device, a line-of-sight detection camera 5, and a mirror angle. A sensor 7, an obstacle detection sensor 8, a navigation ECU (hereinafter referred to as a navigation ECU 6), a display device, and a projector 20 as a projection device are provided.

運転支援ユニット２は、車両状況判断手段としてのシステム制御部１０、ドライバー位置検出手段としての頭部位置検出部１１、視線方向検出部１２、ミラー位置検出手段、死角領域演算手段、可視範囲算出手段としての死角エリア演算部１３、画像データ取得部１４を備えている。また、画像合成手段、画像出力手段としての画像変換部１５、画像合成手段、画像出力手段、障害物検出手段としての仮想平面設定部１６、画像合成手段、画像出力手段としての投影画像出力部１７、属性データ記憶部１８を備えている。システム制御部１０は、自車両Ｃ１のインストルメントパネル又はステアリングコラムや、ナビゲーション装置（いずれも図示略）等に備えられたシステム起動スイッチＳＷ１が入力操作されると、運転支援システム１の死角補助機能を開始する。また、自車両Ｃ１が車線変更を行うと判断した際に、死角補助機能を開始する。さらに、自車両Ｃ１が交差点又はカーブに接近したと判断すると、ナビＥＣＵ６はシステム制御部１０に支援開始信号を出力し、該信号を入力したシステム制御部１０は、死角補助機能を開始する。又は、自車両Ｃ１のシフトポジションがリバースに切り替えられた場合等に、死角補助を開始すると判断してもよい。   The driving support unit 2 includes a system control unit 10 as a vehicle state determination unit, a head position detection unit 11 as a driver position detection unit, a gaze direction detection unit 12, a mirror position detection unit, a blind spot area calculation unit, and a visible range calculation unit. The blind spot area calculation unit 13 and the image data acquisition unit 14 are provided. In addition, the image synthesis unit, the image conversion unit 15 as an image output unit, the image synthesis unit, the image output unit, the virtual plane setting unit 16 as an obstacle detection unit, the image synthesis unit, and the projection image output unit 17 as an image output unit The attribute data storage unit 18 is provided. When the system activation switch SW1 provided in the instrument panel or steering column of the host vehicle C1, a navigation device (both not shown) or the like is input and operated, the system control unit 10 performs the blind spot assist function of the driving support system 1. To start. Further, when it is determined that the host vehicle C1 changes the lane, the blind spot assist function is started. Further, when it is determined that the host vehicle C1 has approached an intersection or a curve, the navigation ECU 6 outputs a support start signal to the system control unit 10, and the system control unit 10 that has received the signal starts a blind spot assist function. Alternatively, it may be determined that blind spot assistance is started when the shift position of the host vehicle C1 is switched to reverse.

ナビＥＣＵ６は、自車位置演算部６ａ、ＧＰＳ受信部６ｂ、車両信号入力部６ｃ、地図データ記憶部６ｄを備えている。自車位置演算部６ａは、ＧＰＳ受信部６ｂに基づき、自車両Ｃ１の絶対位置を算出する。また、車両信号入力部６ｃは、自車両Ｃ１に備えられた車速センサやジャイロ（図示略）から車速パルス、方位検出信号を入力する。自車位置演算部６ａは、車両信号入力部６ｃから車速パルス及び方位検出信号を取得して基準位置に対する相対位置を算出し、ＧＰＳ受信部６ｂに基づき算出した絶対位置と組み合わせて自車位置を特定する。   The navigation ECU 6 includes a host vehicle position calculation unit 6a, a GPS reception unit 6b, a vehicle signal input unit 6c, and a map data storage unit 6d. The own vehicle position calculation unit 6a calculates the absolute position of the own vehicle C1 based on the GPS receiving unit 6b. The vehicle signal input unit 6c inputs a vehicle speed pulse and a direction detection signal from a vehicle speed sensor or a gyro (not shown) provided in the host vehicle C1. The own vehicle position calculation unit 6a acquires a vehicle speed pulse and a direction detection signal from the vehicle signal input unit 6c, calculates a relative position with respect to the reference position, and combines the own vehicle position with the absolute position calculated based on the GPS reception unit 6b. Identify.

地図データ記憶部６ｄには、目的地までの経路を探索するための経路データと、ディスプレイに地図を出力するための地図描画データ（いずれも図示略）とが記憶されている。ナビＥＣＵ６に備えられた経路探索部（図示略）は、この経路データに基づき目的地までの経路を探索する。また、自車位置演算部６ａは、この経路データ及び地図描画データを用いて、自車両Ｃ１が、例えば交差点やカーブといった死角補助を行う所定地点に接近しているか否かを判断する。   The map data storage unit 6d stores route data for searching for a route to the destination and map drawing data for outputting a map on the display (both not shown). A route search unit (not shown) provided in the navigation ECU 6 searches for a route to the destination based on this route data. In addition, the host vehicle position calculation unit 6a determines whether or not the host vehicle C1 is approaching a predetermined point that performs blind spot assistance, such as an intersection or a curve, using the route data and the map drawing data.

頭部位置検出部１１は、頭部検出センサ３から検出信号を入力して、ドライバーの頭部位置を検出する。頭部検出センサ３は、例えば超音波センサから構成され、車室内であって、運転席の周囲に複数取り付けられている。頭部検出センサ３から発信された超音波は、ドライバーの頭部に反射し、頭部検出センサ３は、超音波を発信してから反射波を受信するまでの時間を計測する。頭部位置検出部１１は、頭部検出センサ３が計測した計測時間に基づき、三角測量法等の公知の方法を用いて頭部までの各相対距離をそれぞれ算出する。   The head position detection unit 11 receives a detection signal from the head detection sensor 3 and detects the head position of the driver. The head detection sensor 3 is composed of, for example, an ultrasonic sensor, and a plurality of head detection sensors 3 are attached around the driver's seat in the passenger compartment. The ultrasonic wave transmitted from the head detection sensor 3 is reflected on the driver's head, and the head detection sensor 3 measures the time from when the ultrasonic wave is transmitted until the reflected wave is received. The head position detection unit 11 calculates each relative distance to the head using a known method such as triangulation based on the measurement time measured by the head detection sensor 3.

また、視線方向検出部１２は、ドライバーの視線の方向を検出する。具体的には、視線方向検出部１２は、車室内に設けられた視線検出カメラ５から画像データＧＩを入力する。視線検出カメラ５は、例えばインストルメントパネル等、ドライバーの顔や目を撮影可能な位置及び角度に取り付けられている。視線方向検出部１２は、ドライバーの顔や目を撮影した画像データＧＩを入力すると、公知の画像処理方法により、ドライバーの顔の向きや瞳の位置を判断し、視線の向きを判断する。例えばドライバーの視線方向が、自車両Ｃ１の長さ方向（図２中Ｙ矢印方向）と平行な方向から所定角度範囲に含まれる場合には
、ドライバーが車両前方を向いていると判断する。また、視線方向検出部１２は、予め記憶したルームミラーＭ（図２参照）の位置に基づき、ドライバーの視線方向が、ルームミラーＭの方向であると判断すると、ドライバーがルームミラーＭを見ていると判断する。また、例えば視線検出カメラ５がドライバーの正面に取り付けられている場合にドライバーの横顔を画像処理により検出すると、ドライバーが車両後方及び後側方を見ていると判断する。 The line-of-sight direction detection unit 12 detects the direction of the driver's line of sight. Specifically, the line-of-sight direction detection unit 12 inputs the image data GI from the line-of-sight detection camera 5 provided in the vehicle interior. The line-of-sight detection camera 5 is attached to a position and angle at which a driver's face and eyes can be photographed, such as an instrument panel. When the image data GI obtained by photographing the driver's face and eyes is input, the gaze direction detection unit 12 determines the driver's face direction and pupil position by a known image processing method, and determines the gaze direction. For example, if the driver's line-of-sight direction is included in a predetermined angle range from a direction parallel to the length direction (Y arrow direction in FIG. 2) of the host vehicle C1, it is determined that the driver is facing the front of the vehicle. When the line-of-sight detection unit 12 determines that the line-of-sight direction of the driver is the direction of the room mirror M based on the position of the room mirror M (see FIG. 2) stored in advance, the driver looks at the room mirror M. Judge that Further, for example, when the gaze detection camera 5 is attached to the front of the driver and the profile of the driver is detected by image processing, it is determined that the driver is looking at the rear and rear sides of the vehicle.

死角エリア演算部１３は、ドライバーの視線の方向に応じて、自車両Ｃ１に設けられたピラーＰ（図２参照）により生じる死角エリアを演算する。本実施形態では、ピラーＰは、図２に示すように自車両Ｃ１に６本設けられており、各フロントピラー（Ａピラー）ＰＡ１，ＰＡ２、各センターピラー（Ｂピラー）ＰＢ１，ＰＢ２、各リヤピラー（Ｃピラー）ＰＣ１，ＰＣ２から構成されている。各フロントピラーＰＡ１，ＰＡ２は、運転席の前方の左側及び右側にそれぞれ設けられている。各センターピラーＰＢ１，ＰＢ２は、左側の前方ドアＤ１及び後方ドアＤ２の間と、右側の前方ドアＤ３及び後方ドアＤ４の間にそれぞれ設けられている。各リヤピラーＰＣ１，ＰＣ２は、車両後方に設けられ、後方ドアＤ２，Ｄ４のウィンドウＷ２，Ｗ４とリヤウィンドウＷ６との間に介在している。   The blind spot area calculation unit 13 calculates a blind spot area generated by the pillar P (see FIG. 2) provided in the host vehicle C1 according to the direction of the driver's line of sight. In the present embodiment, as shown in FIG. 2, six pillars P are provided in the host vehicle C1, each front pillar (A pillar) PA1, PA2, each center pillar (B pillar) PB1, PB2, each rear pillar. (C pillar) It is composed of PC1 and PC2. The front pillars PA1 and PA2 are provided on the left and right sides in front of the driver's seat, respectively. Each center pillar PB1, PB2 is provided between the left front door D1 and the rear door D2 and between the right front door D3 and the rear door D4, respectively. Each of the rear pillars PC1 and PC2 is provided at the rear of the vehicle, and is interposed between the windows W2 and W4 of the rear doors D2 and D4 and the rear window W6.

例えば、ドライバーが前方を向いている場合には、死角エリア演算部１３は、属性データ記憶部１８から、各フロントピラーＰＡ１，ＰＡ２に対応するピラー属性データ１８ａを読み出す。尚、属性データ記憶部１８に記憶された各ピラー属性データ１８ａは、左フロントピラーＰＡ１、右フロントピラーＰＡ２、左センターピラーＰＢ１、右センターピラーＰＢ２、左リヤピラーＰＣ１、右リヤピラーＰＣ２の３次元座標及び形状に関するデータを有している。例えば、ピラー属性データ１８ａは、ピラーＰの外形をパターン又は座標で示したデータであって、ピラーＰの外形を示す長さ方向、車幅方向及び鉛直方向の３次元の座標や、ピラーＰの幅や長さを示す。   For example, when the driver is facing forward, the blind spot area calculation unit 13 reads the pillar attribute data 18a corresponding to the front pillars PA1 and PA2 from the attribute data storage unit 18. The pillar attribute data 18a stored in the attribute data storage unit 18 includes three-dimensional coordinates of the left front pillar PA1, the right front pillar PA2, the left center pillar PB1, the right center pillar PB2, the left rear pillar PC1, and the right rear pillar PC2. It has data about the shape. For example, the pillar attribute data 18a is data indicating the outer shape of the pillar P in a pattern or coordinates, and the three-dimensional coordinates in the length direction, the vehicle width direction, and the vertical direction indicating the outer shape of the pillar P, Indicates the width and length.

死角エリア演算部１３は、ドライバーの頭部位置を頭部位置検出部１１から取得し、頭部位置と各フロントピラーＰＡ１，ＰＡ２の位置とに基づき、図３に示すように左フロントピラーＰＡ１及び右フロントピラーＰＡ２によって生じる死角領域としての各死角エリアＢ１，Ｂ２をそれぞれ算出する。このとき例えば、頭部位置ＤＨの中心点と、各フロントピラーＰＡ１，ＰＡ２にそれぞれ設定された複数の代表点とを直線で結び、直線で囲まれた領域を死角エリアＢ１，Ｂ２とすることもできるし、その他の方法により各死角エリアＢ１，Ｂ２を演算するようにしてもよい。   The blind spot area calculation unit 13 acquires the head position of the driver from the head position detection unit 11, and based on the head position and the positions of the front pillars PA1 and PA2, as shown in FIG. Each blind spot area B1, B2 as a blind spot area generated by the right front pillar PA2 is calculated. At this time, for example, the center point of the head position DH and a plurality of representative points respectively set on the front pillars PA1 and PA2 are connected by straight lines, and the areas surrounded by the straight lines may be designated as blind spot areas B1 and B2. Alternatively, the blind spot areas B1 and B2 may be calculated by other methods.

また、視線方向検出部１２により、ドライバーがルームミラーＭを向いていると判断すると、死角エリア演算部１３は、ルームミラーＭを介して視認された各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２により生じる死角エリアを算出する。即ち、ドライバーがルームミラーＭを見た場合、ルームミラーＭには、ミラー角度によって各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２のうち一つまたは複数が映ることがある。このように、ルームミラーＭに各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２のうち少なくとも一つが映る場合、死角エリア演算部１３は、そのピラーＰによって生じるミラー越しの死角を算出する。   When the line-of-sight direction detection unit 12 determines that the driver is facing the room mirror M, the blind spot area calculation unit 13 recognizes the center pillars PB1 and PB2 and the rear pillars PC1 and PC2 viewed through the room mirror M. Calculate the blind spot area caused by. That is, when the driver looks at the rearview mirror M, one or more of the center pillars PB1 and PB2 and the rear pillars PC1 and PC2 may appear on the rearview mirror M depending on the mirror angle. As described above, when at least one of the center pillars PB1 and PB2 and the rear pillars PC1 and PC2 is reflected on the room mirror M, the blind spot area calculation unit 13 calculates the blind spot through the mirror caused by the pillar P.

まず死角エリア演算部１３は、ミラー角度センサ７（図１参照）から、ルームミラーＭの角度を取得する。ミラー角度センサ７は、ルームミラーＭの角度調整部に取り付けられ、図４に示すように、車幅方向（図中Ｘ軸）と平行な軸に対する回転角度θを検出する。さらに、ミラー角度センサ７は、ルームミラーＭの鉛直方向に対する角度（傾き）を示す俯角φ（図示略）も検出する。   First, the blind spot area calculation unit 13 acquires the angle of the room mirror M from the mirror angle sensor 7 (see FIG. 1). The mirror angle sensor 7 is attached to the angle adjustment unit of the room mirror M, and detects a rotation angle θ with respect to an axis parallel to the vehicle width direction (X axis in the figure) as shown in FIG. Further, the mirror angle sensor 7 also detects a depression angle φ (not shown) indicating an angle (inclination) of the room mirror M with respect to the vertical direction.

死角エリア演算部１３は、ミラー角度センサ７から取得した回転角度θ及び俯角φに基
づき、ドライバーがルームミラーＭを介して視認することができる可視範囲Ａ１を算出する。即ち、図４に示すように、まずドライバーの頭部位置ＤＨを取得し、頭部位置ＤＨ及びルームミラーＭの回転角度θ及び俯角φに基づき、例えばドライバーのルームミラーＭに対する視線方向の最大入射角と最小入射角を算出して、頭部位置ＤＨから見える可視範囲Ａ１を算出する。この可視範囲Ａ１は、頭部位置ＤＨに応じて変化する。例えば、ルームミラーＭの全域にリヤウィンドウＷ６を介して見える実風景が映るように、予めミラー角度を調節していても、頭部位置ＤＨが右側の前方ドアＤ３の方向（Ｘ矢印方向）にずれると、ルームミラーＭに対するドライバーの視線の入射角が小さくなる。このため、可視範囲Ａ１は、左側（反Ｘ矢印方向）に若干ずれる。尚、死角エリア演算部１３は、ルームミラーＭの初期位置での可視範囲Ａ１を予め記憶しておき、頭部位置ＤＨに応じて初期位置での可視範囲Ａ１を変更するようにしてもよい。さらに、ルームミラーＭが曲率半径の比較的大きい凸面鏡である場合には、そのルームミラーＭの特性を加味して可視範囲Ａ１を演算するようにしてもよい。 The blind spot area calculation unit 13 calculates a visible range A1 that the driver can visually recognize through the room mirror M based on the rotation angle θ and the depression angle φ acquired from the mirror angle sensor 7. That is, as shown in FIG. 4, first, the head position DH of the driver is obtained, and based on the head position DH and the rotation angle θ and the depression angle φ of the rearview mirror M, for example, the maximum incidence in the line-of-sight direction on the rearview mirror M of the driver. The angle and the minimum incident angle are calculated, and the visible range A1 that can be seen from the head position DH is calculated. This visible range A1 changes according to the head position DH. For example, even if the mirror angle is adjusted in advance so that the actual scenery seen through the rear window W6 is reflected in the entire area of the room mirror M, the head position DH is in the direction of the right front door D3 (X arrow direction). If it deviates, the incident angle of the line of sight of the driver with respect to the rearview mirror M becomes small. For this reason, the visible range A1 is slightly shifted to the left (in the direction of the anti-X arrow). The blind spot area calculation unit 13 may store the visible range A1 at the initial position of the room mirror M in advance and change the visible range A1 at the initial position in accordance with the head position DH. Further, when the room mirror M is a convex mirror having a relatively large radius of curvature, the visible range A1 may be calculated in consideration of the characteristics of the room mirror M.

さらに、死角エリア演算部１３は、ルームミラーＭの可視範囲Ａ１に、各センターピラーＰＢ１，ＰＢ２、各リヤピラーＰＣ１，ＰＣ２の少なくとも一部が含まれるか否かを判断する。上記したように、ドライバーの頭部位置ＤＨが通常の位置よりも若干右側（図４中Ｘ矢印方向）にずれている場合には、可視範囲Ａ１は、左側（図４中反Ｘ矢印方向）にずれるため、可視範囲Ａ１に左リヤピラーＰＣ１が含まれる。この場合、図５に示すように、死角エリア演算部１３は、頭部位置ＤＨとピラー属性データ１８ａとに基づき、左リヤピラーＰＣ１により生じるルームミラー越しのミラー死角エリアＢＭを算出する。例えば、死角エリア演算部１３は、左リヤピラーＰＣ１に複数設定された各代表点と、ルームミラーＭの鏡面上又は鏡面奥側に設定されたドライバーの仮想視点とを直線でそれぞれ結び、各直線で囲まれた領域をミラー死角エリアＢＭ１とする。尚、ミラー死角エリアＢＭは、ドライバーの視線方向及び頭部位置ＤＨに基づき、他の方法で算出するようにしてもよい。   Further, the blind spot area calculation unit 13 determines whether or not the visible range A1 of the room mirror M includes at least a part of the center pillars PB1 and PB2 and the rear pillars PC1 and PC2. As described above, when the head position DH of the driver is slightly shifted from the normal position to the right side (X arrow direction in FIG. 4), the visible range A1 is on the left side (counter X arrow direction in FIG. 4). Therefore, the left rear pillar PC1 is included in the visible range A1. In this case, as shown in FIG. 5, the blind spot area calculation unit 13 calculates a mirror blind spot area BM over the rearview mirror generated by the left rear pillar PC1 based on the head position DH and the pillar attribute data 18a. For example, the blind spot area calculation unit 13 connects each representative point set in the left rear pillar PC1 and the virtual viewpoint of the driver set on the mirror surface or the back side of the mirror surface with a straight line. The enclosed area is defined as a mirror blind spot area BM1. The mirror blind spot area BM may be calculated by another method based on the driver's line-of-sight direction and the head position DH.

また、視線方向検出部１２により、ドライバーが後方を直接目視していると判断すると、図６に示すように、死角エリア演算部１３は、各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２により生じる死角エリアＢを算出する。例えば、死角エリア演算部１３は、頭部位置検出部１１から頭部位置ＤＨを取得し、頭部位置ＤＨと、各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２に設定された複数の代表点とを直線で結び、各直線で囲まれた領域を死角エリアＢ３〜Ｂ６としてもよい。   Also, if the gaze direction detection unit 12 determines that the driver is directly viewing the back, the blind spot area calculation unit 13 is generated by the center pillars PB1 and PB2 and the rear pillars PC1 and PC2, as shown in FIG. A blind spot area B is calculated. For example, the blind spot area calculation unit 13 acquires the head position DH from the head position detection unit 11, and the head position DH and a plurality of representative points set in the center pillars PB1 and PB2 and the rear pillars PC1 and PC2. The areas surrounded by the straight lines may be designated as blind spot areas B3 to B6.

仮想平面設定部１６は、画像データ取得部１４が取得した画像データＧを座標変換するための仮想平面ＶＰを設定する。例えば、ドライバーが車両前方を直接目視している場合、図３に示すように、自車両Ｃ１から所定距離だけ離れた車両前方の位置に仮想平面ＶＰを設定する。仮想平面ＶＰは、例えば死角エリアＢ２の中心線Ｌ１と直行する位置に設定する。尚、図３では便宜上、右フロントピラーＰＡ２に死角画像を投影するための仮想平面ＶＰのみを図示しているが、各フロントピラーＰＡ１，ＰＡ２の各死角エリアＢ１，Ｂ２に対して仮想平面ＶＰを設定する。   The virtual plane setting unit 16 sets a virtual plane VP for coordinate conversion of the image data G acquired by the image data acquisition unit 14. For example, when the driver directly looks in front of the vehicle, the virtual plane VP is set at a position in front of the vehicle that is a predetermined distance away from the host vehicle C1, as shown in FIG. The virtual plane VP is set, for example, at a position orthogonal to the center line L1 of the blind spot area B2. In FIG. 3, for the sake of convenience, only the virtual plane VP for projecting the blind spot image on the right front pillar PA2 is shown. However, the virtual plane VP is shown for each blind spot area B1, B2 of each front pillar PA1, PA2. Set.

ドライバーがルームミラーＭを介して車両後方又は後側方を見ている場合には、図７に示すように、自車両Ｃ１から所定距離だけ離れた車両後方の位置に仮想平面ＶＰを設定する。又は、仮想平面設定部１６は、ナビＥＣＵ６から、交差点の路面に標示された横断歩道等の基準物の位置を取得し、基準物の位置に仮想平面ＶＰを設定してもよい。   When the driver is looking at the rear or rear side of the vehicle via the room mirror M, the virtual plane VP is set at a position behind the vehicle that is a predetermined distance away from the host vehicle C1, as shown in FIG. Alternatively, the virtual plane setting unit 16 may acquire the position of a reference object such as a pedestrian crossing marked on the road surface of the intersection from the navigation ECU 6 and set the virtual plane VP at the position of the reference object.

また、仮想平面設定部１６は、自車両Ｃ１が車線変更する際には、自車両Ｃ１後方に接近した障害物としての他車両Ｃ２（図８参照）の位置に仮想平面ＶＰを設定する。具体的には、システム制御部１０及びナビＥＣＵ６等により、自車両Ｃ１の方向指示器等から入
力した方向変更信号に基づき、自車両Ｃ１が車線変更しているか否かを判断する。自車両Ｃ１が車線変更すると判断した際には、仮想平面設定部１６は、障害物検出センサ８（図１参照）から検出信号を取得して、自車両Ｃ１の後方又は後側方の他車両Ｃ２の有無を判断する。この障害物検出センサ８は、ミリ波レーダや、ソナー等であって、車両後端等に取り付けられている。自車両Ｃ１の後方又は後側方の他車両Ｃ２が存在する場合には、仮想平面設定部１６は自車両Ｃ１に対する他車両Ｃ２の相対距離を算出し、図８に示すようにその他車両Ｃ２の所定の位置に仮想平面ＶＰを設定する。このように仮想平面ＶＰを設定すると、ピラーＰに他車両Ｃ２の像を投影した際に、リヤウィンドウＷ６等を介して視認できる他車両Ｃ２とずれたり、ゆがんだりすることがない。 Further, when the host vehicle C1 changes lanes, the virtual plane setting unit 16 sets the virtual plane VP at the position of the other vehicle C2 (see FIG. 8) as an obstacle approaching the rear of the host vehicle C1. Specifically, the system control unit 10 and the navigation ECU 6 determine whether or not the host vehicle C1 is changing lanes based on a direction change signal input from a direction indicator or the like of the host vehicle C1. When it is determined that the host vehicle C1 changes lanes, the virtual plane setting unit 16 acquires a detection signal from the obstacle detection sensor 8 (see FIG. 1), and the other vehicle behind or behind the host vehicle C1. The presence or absence of C2 is determined. The obstacle detection sensor 8 is a millimeter wave radar, a sonar, or the like, and is attached to the rear end of the vehicle. When the other vehicle C2 behind or behind the host vehicle C1 exists, the virtual plane setting unit 16 calculates the relative distance of the other vehicle C2 with respect to the host vehicle C1, and as shown in FIG. A virtual plane VP is set at a predetermined position. When the virtual plane VP is set in this way, when the image of the other vehicle C2 is projected onto the pillar P, it does not deviate from or be distorted with the other vehicle C2 that can be seen through the rear window W6 or the like.

また、仮想平面設定部１６は、仮想平面ＶＰの位置に合わせてカメラ撮影面ＣＰの位置も設定する。カメラ撮影面ＣＰは、死角撮影カメラ４のピントを合わせる位置を示す。カメラ撮影面ＣＰにピントを合わせて撮影された画像データＧは、仮想平面ＶＰ上に座標変換されるため、仮想平面設定部１６は、死角エリアＢ２内において仮想平面ＶＰに近い位置にカメラ撮影面ＣＰを設定する。図３及び図７では、仮想平面ＶＰのうち、ミラー死角エリアＢＭで区切られた部分の端を通るように設定する。   The virtual plane setting unit 16 also sets the position of the camera photographing plane CP in accordance with the position of the virtual plane VP. The camera photographing surface CP indicates a position where the blind spot photographing camera 4 is focused. Since the image data G photographed while focusing on the camera photographing plane CP is coordinate-converted on the virtual plane VP, the virtual plane setting unit 16 is located near the virtual plane VP in the blind spot area B2. Set the CP. 3 and 7, the virtual plane VP is set so as to pass through the end of the portion divided by the mirror blind spot area BM.

画像データ取得部１４は、自車両Ｃ１に設けられた各死角撮影カメラ４から画像データＧを取得する。図２に示すように、各死角撮影カメラ４は、本実施形態では各ピラーＰに対応して６つ設けられている。左前方カメラ４ＡＬ及び右前方カメラ４ＡＲは、左フロントピラーＰＡ１及び右フロントピラーＰＡ２付近に設けられ、各フロントピラーＰＡ１，ＰＡ２により生じる死角を含む車両周辺を撮影可能になっている。左側方カメラ４ＢＬ及び右側方カメラ４ＢＲは、左センターピラーＰＢ１及び右センターピラーＰＢ２付近に設けられ、各センターピラーＰＢ１，ＰＢ２により生じる死角を含む車両周辺を撮影可能になっている。左後方カメラ４ＣＬ及び右後方カメラ４ＣＲは、左リヤピラーＰＣ１及び左リヤピラーＰＣ２付近に設けられ、各リヤピラーＰＣ１，ＰＣ２により生じる死角を含む車両周辺を撮影可能になっている。   The image data acquisition unit 14 acquires image data G from each blind spot photographing camera 4 provided in the host vehicle C1. As shown in FIG. 2, six blind spot photographing cameras 4 are provided corresponding to each pillar P in this embodiment. The left front camera 4AL and the right front camera 4AR are provided in the vicinity of the left front pillar PA1 and the right front pillar PA2, and can photograph a vehicle periphery including a blind spot generated by each front pillar PA1, PA2. The left side camera 4BL and the right side camera 4BR are provided in the vicinity of the left center pillar PB1 and the right center pillar PB2, and are capable of photographing the periphery of the vehicle including the blind spots generated by the center pillars PB1 and PB2. The left rear camera 4CL and the right rear camera 4CR are provided in the vicinity of the left rear pillar PC1 and the left rear pillar PC2, and can photograph a vehicle periphery including a blind spot generated by each of the rear pillars PC1 and PC2.

画像データ取得部１４は、仮想平面設定部１６からカメラ撮影面ＣＰの位置を取得すると、対応する死角撮影カメラ４を制御して、カメラ撮影面ＣＰの位置にピントを合わせて撮影を行い、画像変換部１５に出力する。   When the image data acquisition unit 14 acquires the position of the camera shooting plane CP from the virtual plane setting unit 16, the image data acquisition unit 14 controls the corresponding blind spot shooting camera 4 to focus on the position of the camera shooting plane CP and perform shooting. The data is output to the conversion unit 15.

また、各死角撮影カメラ４の位置や画角を示す撮影パラメータ１８ｄ（図１参照）は、属性データ記憶部１８に記憶されている。
画像変換部１５は、死角撮影カメラ４により撮影された画像データＧを画像データ取得部１４から取得する。また、死角エリア演算部１３から、死角エリアＢ又はミラー死角エリアＢＭを取得する。さらに、取得した画像データＧのうち、死角エリアＢ，ＢＭに相当する領域をトリミングした死角画像を生成する。また、その死角画像を、仮想平面設定部１６が設定した仮想平面ＶＰに座標変換する。この座標変換は、死角データの各画素を、仮想平面ＶＰ上の各画素に変換する処理である。 In addition, shooting parameters 18 d (see FIG. 1) indicating the position and angle of view of each blind spot shooting camera 4 are stored in the attribute data storage unit 18.
The image conversion unit 15 acquires the image data G captured by the blind spot imaging camera 4 from the image data acquisition unit 14. Further, the blind spot area B or the mirror blind spot area BM is acquired from the blind spot area calculation unit 13. Furthermore, a blind spot image is generated by trimming areas corresponding to the blind spot areas B and BM in the acquired image data G. Further, the blind spot image is coordinate-converted into a virtual plane VP set by the virtual plane setting unit 16. This coordinate conversion is a process of converting each pixel of the blind spot data into each pixel on the virtual plane VP.

画像変換部１５は、仮想平面ＶＰに投影された画像を、ピラーＰの内側面を含むピラー面上に投影変換する。ピラー面は、ピラー属性データ１８ａの３次元座標に基づき設定することができる。   The image conversion unit 15 projects and converts the image projected on the virtual plane VP onto a pillar surface including the inner surface of the pillar P. The pillar surface can be set based on the three-dimensional coordinates of the pillar attribute data 18a.

続いて、ピラー面に投影変換された上記画像を、設けられた各プロジェクタ２０により投影するために、該画像をプロジェクタ２０の位置に合わせて座標変換する。尚、図２に示すように、自車両Ｃ１のルーフ内側には、４つのプロジェクタ２０が、それぞれ異なるピラーＰの内側面に画像を投影可能に設けられている。   Subsequently, in order to project the image projected and converted on the pillar surface by each projector 20 provided, the image is coordinate-converted according to the position of the projector 20. As shown in FIG. 2, four projectors 20 are provided on the inner side of the roof of the host vehicle C <b> 1 so that images can be projected on inner surfaces of different pillars P, respectively.

即ち、プロジェクタ２０から出力された光が、ピラーＰの内側面に入射する角度によって、内側面Ｐａに表示される画像は、歪んだり、拡大又は縮小される。従って、例えば、投影変換した上記画像の各画素の座標と、各プロジェクタ２０に対して出力する画像の各画素の座標とを予め関連付けたマップ等を画像変換部１５の内蔵メモリ等に予め格納しておき、該マップに基づき、投影変換した画像を、プロジェクタ２０への出力画像としてさらに座標変換する。   That is, the image displayed on the inner surface Pa is distorted, enlarged, or reduced depending on the angle at which the light output from the projector 20 is incident on the inner surface of the pillar P. Therefore, for example, a map or the like in which the coordinates of each pixel of the image subjected to the projection conversion and the coordinates of each pixel of the image output to each projector 20 are associated in advance is stored in the built-in memory or the like of the image conversion unit 15. Based on the map, the projected image is further coordinate-converted as an output image to the projector 20.

さらに、画像変換部１５により座標変換された画像は、投影画像出力部１７に出力され、投影画像出力部１７は、属性データ記憶部１８から読み出したマスクパターン１８ｂに基づき、各プロジェクタ２０に出力する死角表示画像を生成する。図９に示すように、マスクパターン１８ｂは、死角表示画像にマスクをかけるためのデータであって、ピラーＰの内面形状に沿った画像表示領域Ｚ１と、マスクＺ２とから構成されている。投影画像出力部１７は、画像表示領域Ｚ１の領域には、死角表示画像を読み込み、マスクＺ２の領域は、プロジェクタ２０の非表示にするためのデータを読み込んで、死角表示画像をピラーＰに投影するための投影データを生成する。投影データを生成すると、投影画像出力部１７は、その投影データを各プロジェクタ２０に出力する。   Further, the image coordinate-converted by the image conversion unit 15 is output to the projection image output unit 17, and the projection image output unit 17 outputs to each projector 20 based on the mask pattern 18 b read from the attribute data storage unit 18. A blind spot display image is generated. As shown in FIG. 9, the mask pattern 18b is data for applying a mask to the blind spot display image, and includes an image display region Z1 along the inner surface shape of the pillar P and a mask Z2. The projection image output unit 17 reads the blind spot display image in the area of the image display area Z1, reads the data for non-display of the projector 20 in the area of the mask Z2, and projects the blind spot display image on the pillar P. To generate projection data for When the projection data is generated, the projection image output unit 17 outputs the projection data to each projector 20.

尚、本実施形態では、自車両Ｃ１には、前方プロジェクタ２０Ａ、側方プロジェクタ２０Ｂ、後方プロジェクタ２０Ｃがそれぞれ取り付けられている。前方プロジェクタ２０Ａは、各フロントピラーＰＡ１，ＰＡ２にそれぞれ画像を投影可能に取り付けられている。各側方プロジェクタ２０Ｂは、各センターピラーＰＢ１，ＰＢ２にそれぞれ画像を投影可能に取り付けられている。各後方プロジェクタ２０Ｃは、各リヤピラーＰＣ１，ＰＣ２に画像を投影可能に取り付けられている。本実施形態では、プロジェクタ２０を４つ設けたが、１つでも各ピラーＰに画像を投影可能な構成であるプロジェクタの場合には１つでもよいし、４つ以外の複数でもよい。   In the present embodiment, a front projector 20A, a side projector 20B, and a rear projector 20C are attached to the host vehicle C1. The front projector 20A is attached to each of the front pillars PA1 and PA2 so that an image can be projected. Each side projector 20B is attached to each center pillar PB1, PB2 so that an image can be projected. Each rear projector 20C is attached to each rear pillar PC1, PC2 so that an image can be projected. In the present embodiment, four projectors 20 are provided. However, in the case of a projector having a configuration capable of projecting an image on each pillar P, one projector may be used, or a plurality of projectors other than four may be used.

図１０に示すように、各ピラーＰの内側面Ｐａには、ピラーＰの形状に合わせて切断されたスクリーンＳＣが貼着されている。各プロジェクタ２０の焦点は、投影対象のピラーＰに設けられたスクリーンＳＣに合わせて調整されている。尚、ピラーＰの内側面Ｐａがプロジェクタ２０から出力された投影光を受光して鮮明な画像を表示できる材質及び形状からなる場合には、スクリーンＳＣは省略してもよい。   As shown in FIG. 10, a screen SC cut in accordance with the shape of the pillar P is attached to the inner surface Pa of each pillar P. The focus of each projector 20 is adjusted according to the screen SC provided on the pillar P to be projected. Note that the screen SC may be omitted when the inner surface Pa of the pillar P is made of a material and shape capable of receiving the projection light output from the projector 20 and displaying a clear image.

図２に示すように、プロジェクタ２０は、ピラーＰのスクリーンＳＣに対して投影光Ｌを出射し、スクリーンＳＣに画像を投影する。また、そのスクリーンＳＣの周囲のウィンドウには、マスクパターン１８ｂのマスクＺ２により画像が投影されないようになっている。ドライバーが車両前方又は車両後方を直接目視する場合には、ドライバーは、各ピラーＰに投影された画像を直接確認することができる。また、ドライバーがルームミラーＭを介して車両後方及び後側方を見る場合には、ドライバーの視線に合わせて各ピラーＰに投影された画像がルームミラーＭに映って、死角表示画像の虚像を見ることができる。   As shown in FIG. 2, the projector 20 emits projection light L to the screen SC of the pillar P, and projects an image on the screen SC. Further, an image is not projected on the window around the screen SC by the mask Z2 of the mask pattern 18b. When the driver directly looks at the front or rear of the vehicle, the driver can directly check the image projected on each pillar P. Further, when the driver looks at the rear and rear sides of the vehicle through the rearview mirror M, the image projected on each pillar P according to the driver's line of sight is reflected on the rearview mirror M, and a virtual image of the blind spot display image is displayed. Can see.

次に本実施形態の処理手順について図１１に従って説明する。まず、システム制御部１０は、死角補助を開始するか否かを判断する（ステップＳ１）。システム制御部１０は、上記したシステム起動スイッチＳＷ１が入力操作されると死角補助を開始すると判断する。また、ナビＥＣＵ６が、自車両Ｃ１の車線変更を検出したとき、死角補助を開始すると判断する。さらに、ナビＥＣＵ６が、自車両Ｃ１が交差点又はカーブに接近したと判断したとき、死角補助を開始すると判断する。他にも、自車両Ｃ１のシフトポジションがリバースに切り替えられた際に、死角補助を開始すると判断してもよい。又は、視線方向検出部１２に基づき、ドライバーの視線が進行方向から所定角度離れたとき、死角補助を開始すると判断してもよい。   Next, the processing procedure of this embodiment will be described with reference to FIG. First, the system control unit 10 determines whether or not to start blind spot assistance (step S1). The system control unit 10 determines that blind spot assistance is started when the above-described system activation switch SW1 is input. Further, when the navigation ECU 6 detects a lane change of the host vehicle C1, it determines that the blind spot assistance is started. Further, when the navigation ECU 6 determines that the host vehicle C1 approaches the intersection or curve, it determines that the blind spot assistance is started. In addition, when the shift position of the host vehicle C1 is switched to reverse, it may be determined that blind spot assistance is started. Alternatively, based on the line-of-sight direction detection unit 12, it may be determined that the blind spot assistance is started when the driver's line of sight is away from the traveling direction by a predetermined angle.

システム制御部１０が死角補助を開始すると判断すると（ステップＳ１においてＹＥＳ）、システムを起動し、且つ初期化した後、頭部位置を検出する（ステップＳ２）。頭部位置検出部１１は、頭部検出センサ３から検出信号を入力し、ドライバーの頭部位置ＤＨを算出する。   If system control unit 10 determines that blind spot assistance is to be started (YES in step S1), the system is activated and initialized, and then the head position is detected (step S2). The head position detection unit 11 inputs a detection signal from the head detection sensor 3 and calculates the head position DH of the driver.

また、視線方向検出部１２は、ドライバーの視線方向を検出し（ステップＳ３）、ドライバーの視線方向がルームミラーＭ以外を向いているか否かを判断する（ステップＳ４）。上記したように、例えばドライバーの視線方向が、自車両Ｃ１の長さ方向を基準とし、自車両Ｃ１の進行方向を中心とした所定角度範囲に含まれる場合は、ドライバーが前方を向いていると判断する。また、ドライバーの視線方向が、上記所定角度範囲に含まれずドライバーの位置よりも車両後方を向いている場合には、その視線方向が自車両Ｃ１の反進行方向を中心とした後方の所定角度範囲に含まれるか否かを判断する。視線方向が、後方の所定角度範囲に含まれる場合には、ドライバーが車両後方を見ていると判断する。ドライバーの視線方向の仰角が、所定角度以上である場合であって、且つルームミラーＭの方向である場合には、ルームミラーＭを見ていると判断する。   The line-of-sight detection unit 12 detects the line-of-sight direction of the driver (step S3), and determines whether or not the line-of-sight direction of the driver faces other than the room mirror M (step S4). As described above, for example, when the driver's line-of-sight direction is included in a predetermined angle range centered on the traveling direction of the host vehicle C1 with reference to the length direction of the host vehicle C1, the driver is facing forward. to decide. Further, when the driver's line-of-sight direction is not included in the predetermined angle range and faces the rear of the vehicle with respect to the driver's position, the line-of-sight direction is a predetermined angle range behind the vehicle C1 as the center. It is judged whether it is included in. When the line-of-sight direction is included in the predetermined angle range on the rear side, it is determined that the driver is looking at the rear side of the vehicle. When the elevation angle in the line-of-sight direction of the driver is equal to or greater than a predetermined angle and in the direction of the rearview mirror M, it is determined that the rearview mirror M is being viewed.

ステップＳ４において、ドライバーの視線方向がルームミラーＭの方向と一致すると判断した場合には（ステップＳ４においてＮＯ）、死角エリア演算部１３は、ミラー角度センサ７から、回転角度θ及び俯角φから構成されるミラー角度を取得する（ステップＳ５）。ドライバーの視線方向がルームミラーＭ以外である場合には（ステップＳ４においてＹＥＳ）、ステップＳ６に進む。   When it is determined in step S4 that the driver's line-of-sight direction coincides with the direction of the room mirror M (NO in step S4), the blind spot area calculation unit 13 includes the rotation angle θ and the depression angle φ from the mirror angle sensor 7. The mirror angle to be obtained is acquired (step S5). If the line-of-sight direction of the driver is other than room mirror M (YES in step S4), the process proceeds to step S6.

ステップＳ６では、死角エリア演算部１３は、ドライバーの視線方向に基づき、ピラーＰにより生じる死角エリアを算出する（ステップＳ６）。ステップＳ３においてドライバーが前方を向いていると判断した場合には、属性データ記憶部１８から各フロントピラーＰＡ１，ＰＡ２のピラー属性データ１８ａを読み出し、図３に示すように各フロントピラーＰＡ１，ＰＡ２によって生じる死角エリアＢ１，Ｂ２の座標を算出する。   In step S6, the blind spot area calculation unit 13 calculates a blind spot area generated by the pillar P based on the driver's line-of-sight direction (step S6). If it is determined in step S3 that the driver is facing forward, the pillar attribute data 18a of each front pillar PA1, PA2 is read from the attribute data storage unit 18, and the front pillars PA1, PA2 as shown in FIG. The coordinates of the resulting blind spot areas B1 and B2 are calculated.

ステップＳ３においてドライバーが車両後方を向いていると判断した場合には、死角エリア演算部１３は、属性データ記憶部１８から各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２に対応するピラー属性データ１８ａを読み出し、図６に示すように、死角エリアＢ３〜Ｂ６の座標を算出する。   If it is determined in step S3 that the driver is facing the rear of the vehicle, the blind spot area calculation unit 13 reads from the attribute data storage unit 18 the pillar attribute data 18a corresponding to the center pillars PB1 and PB2 and the rear pillars PC1 and PC2. And the coordinates of the blind spot areas B3 to B6 are calculated as shown in FIG.

また、ステップＳ３において、ドライバーがルームミラーＭの方向を向いていると判断した場合には、死角エリア演算部１３は、ステップＳ５において取得したミラー角度とドライバーの頭部位置ＤＨとに基づいて、上記したようにルームミラーＭの可視範囲Ａ１を算出する。そして、その可視範囲Ａ１に、各センターピラーＰＢ１，ＰＢ２及びリヤピラーＰＣ１，ＰＣ２が可視範囲Ａ１に含まれるか否かを判断する。さらに、ピラー属性データ１８ａに基づき、可視範囲Ａ１に含まれるピラーＰによって遮られるミラー死角エリアＢＭを算出する。   In step S3, if it is determined that the driver is facing the direction of the room mirror M, the blind spot area calculation unit 13 is based on the mirror angle acquired in step S5 and the head position DH of the driver. As described above, the visible range A1 of the room mirror M is calculated. Then, it is determined whether or not the center pillars PB1 and PB2 and the rear pillars PC1 and PC2 are included in the visible range A1 in the visible range A1. Furthermore, based on the pillar attribute data 18a, a mirror blind spot area BM blocked by the pillar P included in the visible range A1 is calculated.

死角エリアＢ又はミラー死角エリアＢＭを算出すると、仮想平面設定部１６は、ドライバーの視線方向とミラー角度とに基づき、上記したように仮想平面ＶＰを設定する（ステップＳ７）。即ち、自車両Ｃ１から所定距離の位置、又は横断歩道等の基準物の位置、又は自車両Ｃ１の後方の他車両Ｃ２の位置に仮想平面ＶＰを設定する。また、仮想平面設定部１６は、仮想平面ＶＰの位置に基づきカメラ撮影面ＣＰの位置を設定し、画像データ取得部１４に出力する。   When the blind spot area B or the mirror blind spot area BM is calculated, the virtual plane setting unit 16 sets the virtual plane VP as described above based on the driver's line-of-sight direction and the mirror angle (step S7). That is, the virtual plane VP is set at a position a predetermined distance from the host vehicle C1, a position of a reference object such as a pedestrian crossing, or a position of the other vehicle C2 behind the host vehicle C1. Further, the virtual plane setting unit 16 sets the position of the camera photographing plane CP based on the position of the virtual plane VP and outputs the position to the image data acquisition unit 14.

画像データ取得部１４は、視線方向検出部１２に基づき、画像データＧを取得するカメラを選択し、ピラーＰにより生じる死角を撮影した画像データＧを取得する（ステップＳ
８）。ドライバーが前方を向いている場合には、各前方カメラ４ＡＬ、４ＡＲから画像データＧを取得する。また、ドライバーが後方を向いている場合には、側方カメラ４ＢＬ，４ＢＲ及び後方カメラ４ＣＬ，４ＣＲから画像データＧを取得する。また、ルームミラーＭ越しに車両後方及び後側方を見ている場合には、ルームミラーＭの可視範囲Ａ１に含まれるピラーＰに対応する死角撮影カメラ４から画像データＧを取得する。 The image data acquisition unit 14 selects a camera that acquires the image data G based on the line-of-sight direction detection unit 12, and acquires image data G obtained by photographing a blind spot caused by the pillar P (step S).
8). When the driver is facing forward, the image data G is acquired from each of the front cameras 4AL and 4AR. Further, when the driver is facing backward, the image data G is acquired from the side cameras 4BL and 4BR and the rear cameras 4CL and 4CR. Further, when looking at the rear and rear sides of the vehicle through the rearview mirror M, the image data G is acquired from the blind spot photographing camera 4 corresponding to the pillar P included in the visible range A1 of the rearview mirror M.

画像データＧを取得すると、画像変換部１５は、画像データＧのうち、ステップＳ６で算出した死角エリアＢ又はミラー死角エリアＢＭに基づき、死角画像を切り出す（ステップＳ９）。また、画像変換部１５は、プロジェクタ２０に出力するための投影データを生成する（ステップＳ１０）。具体的には、上記したように、画像変換部１５により、死角画像を仮想平面ＶＰに投影変換した後、投影対象のピラーＰの位置及び３次元形状に合わせて投影変換を行う。さらに、該ピラーＰに画像を投影するプロジェクタ２０を選択し、該プロジェクタ２０の位置に合わせて座標変換する。また、投影画像出力部１７によりマスクパターン１８ｂの画像表示領域Ｚ１に座標変換した画像を読み込む。   When the image data G is acquired, the image conversion unit 15 cuts out a blind spot image based on the blind spot area B or the mirror blind spot area BM calculated in step S6 in the image data G (step S9). The image conversion unit 15 generates projection data to be output to the projector 20 (step S10). Specifically, as described above, the image conversion unit 15 performs projection conversion of the blind spot image on the virtual plane VP, and then performs projection conversion according to the position and the three-dimensional shape of the pillar P to be projected. Further, a projector 20 that projects an image on the pillar P is selected, and coordinate conversion is performed according to the position of the projector 20. In addition, the projection image output unit 17 reads an image whose coordinates are converted into the image display area Z1 of the mask pattern 18b.

投影データを生成すると、投影画像出力部１７は、選択した上記プロジェクタ２０に対し投影データを出力する（ステップＳ１１）。ドライバーが前方を見ている場合には、前方プロジェクタ２０Ａに投影データを出力し、ドライバーが後方を見ている場合には、側方プロジェクタ２０Ｂ及び後方プロジェクタ２０Ｃに投影データを出力する。また、ルームミラーＭ越しに車両後方又は後側方を見ている場合には、視線方向に対応するピラーＰに投影データを出力する。   When the projection data is generated, the projection image output unit 17 outputs the projection data to the selected projector 20 (step S11). When the driver is looking forward, the projection data is output to the front projector 20A, and when the driver is looking backward, the projection data is output to the side projector 20B and the rear projector 20C. Further, when looking at the rear or rear side of the vehicle through the rear-view mirror M, projection data is output to the pillar P corresponding to the line-of-sight direction.

ドライバーがルームミラーＭ越しに車両後方又は後側方を視認し、ルームミラーＭの可視範囲Ａ１に左リヤピラーＰＣ１が含まれる場合、後方プロジェクタ２０Ｃにより、左リヤピラーＰＣ１に死角表示画像が投影される。これにより、例えば図１２に示すように、左リヤピラーＰＣ１に投影された死角表示画像５０がルームミラーＭに映る。従って、ドライバーは左リヤピラーＰＣ１によって遮られた背景を、死角表示画像５０として見ることができるので、車両後方の他車両Ｃ２の有無等を確認することができる。また、死角表示画像５０は、ルームミラーＭを介したドライバーの視線に合わせて表示されているので、実際の背景がルームミラーＭに映った背景像５１に対してずれたりゆがんだりすることなく表示される。   When the driver views the rear or rear side of the vehicle through the rearview mirror M and the left rear pillar PC1 is included in the visible range A1 of the rearview mirror M, a blind spot display image is projected on the left rear pillar PC1 by the rear projector 20C. Thereby, for example, as shown in FIG. 12, the blind spot display image 50 projected on the left rear pillar PC1 is reflected on the room mirror M. Therefore, the driver can see the background obstructed by the left rear pillar PC1 as the blind spot display image 50, so that the presence or absence of the other vehicle C2 behind the vehicle can be confirmed. Further, since the blind spot display image 50 is displayed according to the line of sight of the driver through the room mirror M, the actual background is displayed without being shifted or distorted with respect to the background image 51 reflected in the room mirror M. Is done.

死角表示画像を投影すると、システム制御部１０は、表示終了であるか否かを判断する（ステップＳ１２）。例えば、システム起動スイッチＳＷ１の入力操作から所定時間が経過した場合、又は車線変更が完了した場合、又は交差点又はカーブを通過した場合に表示終了であると判断する。又は、ドライバーの視線が進行方向から所定角度以内の方向になった場合、又は自車両Ｃ１のシフトポジションがリバース以外になった場合に表示終了であると判断する。表示終了であると判断すると（ステップＳ１２においてＹＥＳ）、処理を終了する。   When the blind spot display image is projected, the system control unit 10 determines whether or not the display is finished (step S12). For example, it is determined that the display is finished when a predetermined time has elapsed from the input operation of the system activation switch SW1, when the lane change is completed, or when an intersection or a curve is passed. Alternatively, when the driver's line of sight is in a direction within a predetermined angle from the traveling direction, or when the shift position of the host vehicle C1 is other than reverse, it is determined that the display is finished. If it is determined that the display is complete (YES in step S12), the process is terminated.

一方、ステップＳ１２において、表示終了でないと判断した場合には（ステップＳ１２においてＮＯ）、ステップＳ２に戻り、ステップＳ２〜ステップＳ１１を繰り返す。その際、頭部位置ＤＨや視線方向が変化した場合には、新たに検出した頭部位置ＤＨや視線方向に基づき、表示画像を変更する。   On the other hand, if it is determined in step S12 that the display is not finished (NO in step S12), the process returns to step S2, and steps S2 to S11 are repeated. At this time, if the head position DH or the line-of-sight direction changes, the display image is changed based on the newly detected head position DH or line-of-sight direction.

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、ルームミラーＭに映されたピラーＰによって死角が生じる場合にも、ドライバーの頭部位置ＤＨ、視線方向及びミラー角度に基づき、そのピラーＰにより生じるミラー死角エリアＢＭを算出するようにした。また、死角撮影カメラ４から取得した画像データＧのうち、ミラー死角エリアＢＭに相当する領域を切り出して、該ピラ
ーＰの内側に死角表示画像５０を出力するようにした。このため、ルームミラーＭ越しに車両周辺を視認する場合に、ピラーＰによって生じる死角を補助することができる。 According to the above embodiment, the following effects can be obtained.
(1) In the above embodiment, even when a blind spot is generated by the pillar P reflected on the rearview mirror M, the mirror blind spot area BM generated by the pillar P is determined based on the head position DH, the line-of-sight direction, and the mirror angle of the driver. Calculated. In addition, a region corresponding to the mirror blind spot area BM is cut out from the image data G acquired from the blind spot photographing camera 4, and the blind spot display image 50 is output inside the pillar P. For this reason, when visually recognizing the periphery of the vehicle through the room mirror M, it is possible to assist the blind spot caused by the pillar P.

（２）上記実施形態では、ルームミラーＭの可視範囲Ａ１に含まれるピラーＰに死角表示画像５０が表示される。このため、可視範囲Ａ１に含まれないピラーＰに対しては、ミラー死角エリアＢＭの演算処理及び表示処理が省略されるので、運転支援システム１の処理を軽減することができる。   (2) In the above embodiment, the blind spot display image 50 is displayed on the pillar P included in the visible range A1 of the room mirror M. For this reason, since the calculation process and the display process of the mirror blind spot area BM are omitted for the pillar P that is not included in the visible range A1, the process of the driving support system 1 can be reduced.

（３）上記実施形態では、ナビＥＣＵ６により自車両Ｃ１が車線変更を行うと判断した際に、ピラーＰの死角補助を行うようにした。このため、ドライバーがルームミラーＭ越しに車両後方又は後側方を見た場合に、車両後方又は後側方に他車両Ｃ２が存在するか否かを判断することができる。   (3) In the above embodiment, when the navigation ECU 6 determines that the host vehicle C1 changes lanes, the blind spot of the pillar P is assisted. For this reason, when the driver looks at the rear or rear side of the vehicle through the rearview mirror M, it can be determined whether or not the other vehicle C2 exists behind or behind the vehicle.

（４）上記実施形態では、障害物検出センサ８により、自車両Ｃ１の後方にある他車両Ｃ２を検出した際に、その他車両Ｃ２の位置に仮想平面ＶＰを設定するようにした。このため、他車両Ｃ２を中心とした明瞭な画像をピラーＰの内面に投影することができる。   (4) In the above embodiment, when the obstacle detection sensor 8 detects the other vehicle C2 behind the host vehicle C1, the virtual plane VP is set at the position of the other vehicle C2. For this reason, a clear image centering on the other vehicle C2 can be projected on the inner surface of the pillar P.

尚、上記実施形態は以下のように変更してもよい。
・頭部検出センサ３は、超音波センサとしたが、画像認識センサ等、これ以外のセンサでもよい。また、運転席近傍に複数備えられているとしたが、単数でもよい。また、運転席のヘッドレストやシート位置を検出する検出センサに基づき、ドライバーの頭部位置を検出するようにしてもよい。 In addition, you may change the said embodiment as follows.
The head detection sensor 3 is an ultrasonic sensor, but other sensors such as an image recognition sensor may be used. Further, although a plurality are provided near the driver's seat, a single number may be provided. The head position of the driver may be detected based on a detection sensor that detects the headrest and seat position of the driver's seat.

・上記実施形態では、頭部検出センサ３によりドライバーの頭部位置ＤＨを検出するようにしたが、ドライバーの位置としてその他の部位（例えば目の位置）を検出してもよい。   In the above embodiment, the head position DH of the driver is detected by the head detection sensor 3, but other parts (for example, eye positions) may be detected as the driver position.

・上記実施形態では、仮想平面ＶＰの位置を合わせる基準物は横断歩道以外でもよい。例えば、信号機等の路面設置物に仮想平面ＶＰを合わせるようにしてもよい。また例えば、自車両Ｃ１に車両前方の障害物までの相対距離を計測する、レーダ、センサ等を搭載し、歩行者、自転車、他車両等を含む障害物が検出された場合に、仮想平面ＶＰを障害物に合わせるようにしてもよい。尚、障害物が、例えば歩行者、自転車であるか否かの判定は、特徴検出等の公知の画像処理を用いる。   In the above embodiment, the reference object for aligning the position of the virtual plane VP may be other than a pedestrian crossing. For example, the virtual plane VP may be matched with a road surface installation such as a traffic light. In addition, for example, when an obstacle including a pedestrian, a bicycle, another vehicle, or the like is installed in the host vehicle C1 that includes a radar, a sensor, or the like that measures a relative distance to an obstacle ahead of the vehicle, the virtual plane VP You may make it match with an obstacle. For example, a known image process such as feature detection is used to determine whether the obstacle is a pedestrian or a bicycle.

・上記実施形態では、一つのピラーＰに対して、複数の死角撮影カメラ４を設け、ピラーＰによって生じる死角を異なる角度から撮影するようにしてもよい。
・上記実施形態では、プロジェクタ２０を自車両Ｃ１のルーフＲの内側に設けるようにしたが、プロジェクタ２０の位置はピラーＰの内面に画像を投影できる位置であればよく、例えばダッシュボードの上方（略中央）等、その他の位置に設けるようにしてもよい。 In the above embodiment, a plurality of blind spot photographing cameras 4 may be provided for one pillar P, and the blind spot caused by the pillar P may be photographed from different angles.
In the above embodiment, the projector 20 is provided inside the roof R of the host vehicle C1, but the position of the projector 20 may be a position where an image can be projected onto the inner surface of the pillar P. For example, above the dashboard ( You may make it provide in other positions, such as (substantially center).

・上記実施形態では、ドライバーが前方を向いていると判断した際に、各フロントピラーＰＡ１，ＰＡ２に画像を投影するようにしたが、どちらか一方のピラーＰに画像を投影するようにしてもよい。例えば、ドライバーに近い右フロントピラーＰＡ２のみに投影してもよいし、ドライバーの視線方向に応じて、画像を投影するピラーＰを適宜変更するようにしてもよい。   In the above embodiment, when it is determined that the driver is facing forward, an image is projected on each of the front pillars PA1 and PA2. However, an image may be projected on one of the pillars P. Good. For example, the image may be projected only on the right front pillar PA2 close to the driver, or the pillar P for projecting the image may be appropriately changed according to the line-of-sight direction of the driver.

・上記実施形態では、ドライバーが後方又は後側方を向いていると判断した際に、各センターピラーＰＢ１，ＰＢ２、各リヤピラーＰＣ１，ＰＣ２に画像を投影するようにしたが、いずれか一つのピラーＰに画像を投影するようにしてもよい。例えば、センターピラーＰＢ１，ＰＢ２への画像投影を省略するようにしてもよい。又は、ドライバーの視線方
向に応じて、画像を投影するピラーＰを適宜変更するようにしてもよい。 In the above embodiment, when it is determined that the driver is facing rearward or rearward, an image is projected on each of the center pillars PB1, PB2 and each of the rear pillars PC1, PC2. An image may be projected onto P. For example, the image projection onto the center pillars PB1 and PB2 may be omitted. Or you may make it change suitably the pillar P which projects an image according to a driver | operator's gaze direction.

・上記実施形態では、ルームミラーＭに各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２のうち少なくとも一つが映る場合、死角エリア演算部１３は、そのピラーＰによって生じる死角を算出するようにした。これ以外に、ドライバーがルームミラーＭを見ていると判断した際に、各センターピラーＰＢ１，ＰＢ２及び各リヤピラーＰＣ１，ＰＣ２の全てに、ドライバーの視線及び頭部位置に合わせた死角表示画像を投影するようにしてもよい。   In the above embodiment, when at least one of the center pillars PB1 and PB2 and the rear pillars PC1 and PC2 is reflected on the room mirror M, the blind spot area calculation unit 13 calculates the blind spot caused by the pillar P. In addition to this, when it is determined that the driver is looking at the rearview mirror M, a blind spot display image that matches the driver's line of sight and head position is projected on each of the center pillars PB1, PB2 and each of the rear pillars PC1, PC2. You may make it do.

・上記実施形態では、プロジェクタ２０によってピラーＰの内側面Ｐａに画像を投影するようにしたが、ピラーＰの内側に薄型の表示手段としてのディスプレイを設け、ディスプレイに死角表示画像５０を出力しても良い。   In the above embodiment, the projector 20 projects the image onto the inner surface Pa of the pillar P. However, a thin display means is provided inside the pillar P, and the blind spot display image 50 is output to the display. Also good.

本実施形態の運転支援システムのブロック図。The block diagram of the driving assistance system of this embodiment. 自車両の平面図。The top view of the own vehicle. フロントピラーによって生じる死角エリアの概念図。The conceptual diagram of the blind spot area produced by a front pillar. ルームミラーの可視範囲の概念図。The conceptual diagram of the visible range of a room mirror. ルームミラー越しに生じるミラー死角エリアの概念図。The conceptual diagram of the mirror blind spot area which arises through a room mirror. 側方ピラー及びリヤピラーによって生じる死角エリアの概念図。The conceptual diagram of the blind spot area produced by a side pillar and a rear pillar. 仮想平面及びカメラ撮影面の概念図。The conceptual diagram of a virtual plane and a camera imaging surface. 車線変更の際の仮想平面及びカメラ撮影面の概念図。The conceptual diagram of the virtual plane in the case of a lane change and a camera imaging surface. マスクパターンの説明図。Explanatory drawing of a mask pattern. ピラーに設けられたスクリーンの正面図。The front view of the screen provided in the pillar. 本実施形態の処理手順を示すフロー。The flow which shows the process sequence of this embodiment. ルームミラーに映る死角表示画像の模式図。The schematic diagram of the blind spot display image reflected on a room mirror.

符号の説明Explanation of symbols

１…運転支援システム、２…運転支援装置としての運転支援ユニット、４…撮影装置としての死角撮影カメラ、１０…車両状況判断手段としてのシステム制御部、１１…ドライバー位置検出手段としての頭部位置検出部、１３…ミラー位置検出手段、死角領域演算手段、可視範囲算出手段としての死角エリア演算部、１５…画像合成手段、画像出力手段としての画像変換部、１６…画像合成手段、画像出力手段としての仮想平面設定部、１７…画像合成手段、画像出力手段、障害物検出手段としての投影画像出力部、２０，２０Ａ，２０Ｂ，２０Ｃ…表示装置及び投影装置としてのプロジェクタ、５０…死角表示画像、ＢＭ…死角領域としてのミラー死角エリア、Ａ１…可視範囲、Ｂ…死角領域としての死角エリア、Ｃ１…車両としての自車両、Ｃ２…障害物としての他車両、Ｇ，ＧＩ…画像データ、Ｍ…ルームミラー、ＶＰ…仮想平面、Ｐ、ＰＡ１，ＰＡ２，ＰＢ１，ＰＢ２，ＰＣ１，ＰＣ２…ピラー、θ…回転角度。   DESCRIPTION OF SYMBOLS 1 ... Driving assistance system, 2 ... Driving assistance unit as a driving assistance apparatus, 4 ... Blind spot photographing camera as an imaging device, 10 ... System control part as vehicle condition judgment means, 11 ... Head position as driver position detection means Detection unit, 13 ... mirror position detection unit, blind spot area calculation unit, blind spot area calculation unit as visible range calculation unit, 15 ... image synthesis unit, image conversion unit as image output unit, 16 ... image synthesis unit, image output unit Virtual plane setting unit as 17... Image composition means, image output means, projection image output section as obstacle detection means, 20, 20A, 20B, 20C... Display device and projector as projection device, 50. , BM ... Mirror blind spot area as a blind spot area, A1 ... Visible range, B ... Dead spot area as a blind spot area, C1 ... Own vehicle as a vehicle , C2 ... other vehicle as an obstacle, G, GI ... image data, M ... view mirror, VP ... virtual plane, P, PA1, PA2, PB1, PB2, PC1, PC2 ... pillar, theta ... rotation angle.

Claims (5)

車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、該死角領域に相当する画像を前記ピラーの内側に表示する運転支援方法において、
ドライバーの位置を検出するとともに、車室内に設けられたミラーの角度を取得し、前記ドライバーの位置及び前記ミラーの角度に基づき、該ドライバーが前記ミラーを介して見ることができる可視範囲を算出し、ドライバーの視線の方向を判断し、
前記ドライバーの視線が前記ミラーの方向であると判断した場合には、前記複数のピラーのうち前記可視範囲内のピラーについてのみ該ピラーによって生じる死角領域を前記ドライバーの位置及び前記ミラーの角度に基づき算出し、前記撮影装置が撮影した画像データのうち前記可視範囲内のピラーによって生じる死角領域に相当する領域を前記可視範囲内のピラーに対して表示し、
前記ドライバーの視線が前記ミラーの方向ではないと判断した場合には、前記複数のピラーのうち前記ドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーよって生じる死角領域を前記ドライバーの位置に基づき算出し、前記撮影装置が撮影した画像データのうち前記予め対応付けられているピラーによって生じる死角領域に相当する領域を前記予め対応付けられているピラーに対して表示することを特徴とする運転支援方法。 In a driving support method for photographing a blind spot region generated by a plurality of pillars provided in the vehicle using a photographing device attached to the vehicle , and displaying an image corresponding to the blind spot region on the inside of the pillar.
The position of the driver is detected, the angle of the mirror provided in the passenger compartment is acquired , and the visible range that the driver can see through the mirror is calculated based on the position of the driver and the angle of the mirror. , Determine the direction of the driver ’s line of sight,
When it is determined that the driver's line of sight is in the direction of the mirror, a blind spot region generated by the pillar only in the visible range among the plurality of pillars is based on the position of the driver and the angle of the mirror. Calculating and displaying an area corresponding to a blind spot area caused by pillars in the visible range among the image data captured by the imaging device for the pillars in the visible range;
If it is determined that the driver's line of sight is not in the direction of the mirror, a blind spot region generated by the pillar is only selected for a pillar that is previously associated with the direction of the driver's line of sight among the plurality of pillars. Calculating based on a position, and displaying an area corresponding to a blind spot area generated by the previously associated pillar in the image data captured by the imaging apparatus on the previously associated pillar ; Driving assistance method to do. 車両に取り付けられた撮影装置を用いて、該車両に設けられた複数のピラーによって生じる死角領域を撮影し、前記撮影装置によって撮影された画像を表示装置により前記ピラーの内側に表示する運転支援装置において、
ドライバーの位置を検出するドライバー位置検出手段と、
車室内に設けられたミラーの角度を取得するミラー位置検出手段と、
ドライバーの視線の方向を判断する視線方向検出部と、
前記ドライバーの位置及び前記ミラーの角度に基づき、ドライバーが前記ミラーを介して見ることができる可視範囲を算出する可視範囲算出手段と、
ドライバーが前記車両周辺を視認した際に、前記ピラーにより生じる死角領域を算出する死角領域演算手段と、
前記撮影装置が撮影した画像データを用いて、前記死角領域に相当する死角表示画像を生成する画像合成手段と、
前記死角表示画像を前記表示装置に出力する画像出力手段とを備え、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記可視範囲内に存在するピラーを判断し、該可視範囲内のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置及び前記ミラーの角度に基づいて算出し、前記画像出力手段は、前記可視範囲内のピラーにおける前記死角表示画像を前記可視範囲内のピラーに対して表示し、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断された場合には、前記死角領域演算手段は、前記複数のピラーのうちドライバーの視線の方向に予め対応付けられているピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記予め対応付けられているピラーにおける前記死角表示画像を前記予め対応付けられているピラーに対して表示することを特徴とする運転支援装置。 A driving support device that uses a photographing device attached to a vehicle to photograph a blind spot area caused by a plurality of pillars provided in the vehicle , and displays an image photographed by the photographing device on the inside of the pillar by a display device. In
Driver position detecting means for detecting the position of the driver;
Mirror position detecting means for obtaining the angle of the mirror provided in the vehicle interior;
A gaze direction detection unit that determines the direction of the gaze of the driver;
Visible range calculation means for calculating a visible range that the driver can see through the mirror based on the position of the driver and the angle of the mirror;
When the drivers are viewing the previous SL vehicle periphery, a blind spot region calculating unit for calculating the blind spot region generated by the front Symbol pillars,
Image synthesizing means for generating a blind spot display image corresponding to the blind spot area using image data taken by the photographing device;
Image output means for outputting the blind spot display image to the display device ,
When the line-of-sight direction detection unit determines that the direction of the line of sight of the driver is the direction of the mirror, the blind spot area calculation unit determines a pillar existing in the visible range among the plurality of pillars. The blind spot area generated by the pillar only for the pillar in the visible range is calculated based on the position of the driver and the angle of the mirror, and the image output means displays the blind spot display image in the pillar in the visible range. For the pillars in the visible range,
When the line-of-sight direction detection unit determines that the direction of the driver's line of sight is not the direction of the mirror, the blind spot area calculating unit is associated in advance with the direction of the driver's line of sight among the plurality of pillars. The blind spot region generated by the pillar only for the pillar being calculated is calculated based on the position of the driver, and the image output means associates the blind spot display image in the previously associated pillar with the previously associated pillar. A driving support device characterized by displaying on a pillar . 請求項２に記載の運転支援装置において、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両前方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち車両前方のピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーにおける前記死角表示画像を前記車両前方のピラーに対して表示し、
前記視線方向検出部により前記ドライバーの視線の方向が前記ミラーの方向ではないと判断され、かつ前記ドライバーの視線の方向が車両後方であると判断された場合には、前記死角領域演算手段は、前記複数のピラーのうち前記車両前方のピラーを除くピラーについてのみ該ピラーによって生じる前記死角領域を前記ドライバーの位置に基づいて算出し、前記画像出力手段は、前記車両前方のピラーを除くピラーにおける前記死角表示画像を前記車両前方のピラーを除くピラーに対して表示することを特徴とする運転支援装置。 In the driving assistance device according to claim 2,
When the line-of-sight direction detection unit determines that the driver's line-of-sight direction is not the mirror direction and the driver's line-of-sight direction is the front of the vehicle, the blind spot area calculation means includes: The blind spot region generated by the pillar only in the plurality of pillars in front of the vehicle is calculated based on the position of the driver, and the image output means displays the blind spot display image in the pillar in front of the vehicle in the front of the vehicle. Display against pillars of
When it is determined by the line-of-sight direction detection unit that the direction of the driver's line of sight is not the direction of the mirror, and the direction of the driver's line of sight is determined to be behind the vehicle, the blind spot area calculation means Only the pillars excluding the pillars in front of the vehicle out of the plurality of pillars calculate the blind spot area caused by the pillars based on the position of the driver, and the image output means is configured to calculate the blind spots in the pillars excluding the pillars in front of the vehicle. A driving assistance apparatus that displays a blind spot display image on pillars excluding the pillars in front of the vehicle . 請求項２又は３に記載の運転支援装置において、
前記車両が車線変更を行うか否かを判断する車両状況判断手段をさらに備え、
前記車両状況判断により前記車両が車線変更を行うと判断した際に、前記可視範囲内のピラーにおける前記死角表示画像を、該可視範囲内のピラーに対して出力することを特徴とする運転支援装置。 In the driving assistance device according to claim 2 or 3,
Vehicle condition judging means for judging whether or not the vehicle changes lanes,
When it is determined by the vehicle state determination that the vehicle changes lanes, the driving angle display image for the pillar in the visible range is output to the pillar in the visible range. . 請求項４に記載の運転支援装置において、
前記車両の後方又は後側方に障害物を検出する障害物検出手段をさらに備え、
前記障害物検出手段により前記車両の後方又は後側方に障害物を検出した場合に、前記画像合成手段は、該障害物の位置に前記画像データを座標変換する仮想平面を設定することを特徴とする運転支援装置。 The driving support device according to claim 4,
The vehicle further comprises an obstacle detection means for detecting an obstacle behind or behind the vehicle,
When an obstacle is detected behind or behind the vehicle by the obstacle detection means, the image composition means sets a virtual plane for coordinate conversion of the image data at the position of the obstacle. A driving support device.
JP2007205672A 2007-03-26 2007-08-07 Driving support method and driving support device Expired - Fee Related JP4412365B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007205672A JP4412365B2 (en) 2007-03-26 2007-08-07 Driving support method and driving support device
CN2008100855184A CN101277432B (en) 2007-03-26 2008-03-10 Driving support method and driving support apparatus
EP08004495A EP1974998B1 (en) 2007-03-26 2008-03-11 Driving support method and driving support apparatus
US12/073,916 US8035575B2 (en) 2007-03-26 2008-03-12 Driving support method and driving support apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007080008 2007-03-26
JP2007205672A JP4412365B2 (en) 2007-03-26 2007-08-07 Driving support method and driving support device

Publications (2)

Publication Number Publication Date
JP2008265719A JP2008265719A (en) 2008-11-06
JP4412365B2 true JP4412365B2 (en) 2010-02-10

Family

ID=39996380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007205672A Expired - Fee Related JP4412365B2 (en) 2007-03-26 2007-08-07 Driving support method and driving support device

Country Status (2)

Country Link
JP (1) JP4412365B2 (en)
CN (1) CN101277432B (en)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5093611B2 (en) * 2008-12-01 2012-12-12 アイシン精機株式会社 Vehicle periphery confirmation device
JP5568761B2 (en) * 2009-02-03 2014-08-13 富士重工業株式会社 Visual field estimation apparatus, visual field estimation method, computer program, and recording medium
JP5299688B2 (en) 2009-06-03 2013-09-25 アイシン精機株式会社 Vehicle periphery monitoring method and vehicle periphery monitoring device
DE102010015079A1 (en) * 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh A method of displaying an image on a display device in a vehicle. Driver assistance system and vehicle
JP5690080B2 (en) * 2010-04-30 2015-03-25 オリンパスイメージング株式会社 Moving image data generation device and moving image data generation method
JP2012034076A (en) * 2010-07-29 2012-02-16 Alps Electric Co Ltd Visual assistance system for vehicle, and vehicle provided with the same
DE102010040803A1 (en) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
CN103987582B (en) * 2011-12-15 2017-02-22 松下知识产权经营株式会社 Drive assistance device
KR101417383B1 (en) * 2012-10-31 2014-07-08 현대자동차주식회사 Apparatus and method for image control of room-mirror
WO2015019122A1 (en) * 2013-08-07 2015-02-12 Audi Ag Visualization system,vehicle and method for operating a visualization system
CN103802728B (en) * 2013-11-08 2016-03-30 广东好帮手电子科技股份有限公司 Automatically the drive assist system selecting scape to show based on Helmet Mounted Display and method
FR3015939B1 (en) * 2013-12-30 2018-06-15 Valeo Systemes Thermiques DEVICE AND METHOD FOR RETRO VISION WITH ELECTRONIC DISPLAY FOR VEHICLE.
JP6032219B2 (en) 2014-01-24 2016-11-24 トヨタ自動車株式会社 Driving assistance device
JP6028747B2 (en) * 2014-02-12 2016-11-16 トヨタ自動車株式会社 Display device and driving support device
GB201406405D0 (en) 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN105083291B (en) * 2014-04-25 2018-11-09 歌乐株式会社 Driver assistance system based on line-of-sight detection
KR102270577B1 (en) * 2014-10-21 2021-06-29 현대모비스 주식회사 Apparatus and method for controlling outputting external image of vehicle
JP6073536B1 (en) * 2015-03-04 2017-02-01 三菱電機株式会社 Display control device for vehicle
WO2017024458A1 (en) * 2015-08-10 2017-02-16 Bayerische Motoren Werke Aktiengesellschaft System, method and apparatus for vehicle and computer readable medium
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
CN105405093B (en) 2015-11-12 2019-03-15 中国商用飞机有限责任公司 Aircraft cockpit visual field enhances system and method
CN105539288A (en) * 2015-12-10 2016-05-04 合肥虔视光电科技有限公司 Transparent automobile backseat projection display system
CN105599682A (en) * 2016-02-03 2016-05-25 广州勘帝德电子科技有限公司 Automobile driving assisting system and method based on dead zone detection and looking-around image monitoring
CN108701415B (en) * 2016-02-25 2021-08-03 富士胶片株式会社 Driving support device, driving support method, and driving support program
CN105774654A (en) * 2016-03-02 2016-07-20 广州三晶智能电子技术有限公司 Car blind spot visible steering system and control method
JP2017178025A (en) * 2016-03-30 2017-10-05 矢崎総業株式会社 Driving support device
JP6313355B2 (en) 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ Vehicle perimeter monitoring device
CN109923597A (en) * 2016-11-18 2019-06-21 三菱电机株式会社 Drive assistance device and driving assistance method
JP6470335B2 (en) * 2017-03-15 2019-02-13 株式会社Ｓｕｂａｒｕ Vehicle display system and method for controlling vehicle display system
JP6851018B2 (en) 2017-03-24 2021-03-31 パナソニックＩｐマネジメント株式会社 In-car lighting and automobiles
CN107415831A (en) * 2017-05-26 2017-12-01 刘新宇 Safe video system and automobile
US10356307B2 (en) * 2017-09-13 2019-07-16 Trw Automotive U.S. Llc Vehicle camera system
JP2019066636A (en) * 2017-09-29 2019-04-25 本田技研工業株式会社 Driving training device, and driving training method
DE112018006951T5 (en) * 2018-03-02 2020-11-19 Mitsubishi Electric Corporation DRIVING ASSISTANCE DEVICE, DRIVING ASSISTANCE METHOD, COMPUTER-READABLE MEDIUM AND COMPUTER PROGRAM
CN108536149B (en) * 2018-04-25 2023-07-28 吉林大学 Unmanned vehicle obstacle avoidance control method based on Dubins path
JP7052632B2 (en) * 2018-08-10 2022-04-12 トヨタ自動車株式会社 Peripheral display device for vehicles
JP7163732B2 (en) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 Driving support device, driving support system, driving support method and program
CN113661085B (en) * 2019-03-29 2023-08-18 本田技研工业株式会社 Vehicle-mounted driving assistance device
CN112440881B (en) * 2019-08-31 2022-07-12 华为技术有限公司 Self-adaptive adjusting method and device for rearview mirror
CN111556295A (en) * 2020-05-12 2020-08-18 新石器慧通（北京）科技有限公司 Control method and device of movable monitoring cloud deck and unmanned vehicle
CN113968186A (en) * 2020-07-22 2022-01-25 华为技术有限公司 Display method, device and system
CN112009370A (en) * 2020-09-07 2020-12-01 东风汽车集团有限公司 Automobile steering anti-collision display system and display method
CN112738496A (en) * 2020-12-25 2021-04-30 浙江合众新能源汽车有限公司 Image processing method, apparatus, system, and computer-readable medium
CN115379124A (en) * 2022-10-26 2022-11-22 四川中绳矩阵技术发展有限公司 Visual angle system changing along with visual angle, image imaging method, device and medium

Also Published As

Publication number Publication date
CN101277432A (en) 2008-10-01
CN101277432B (en) 2012-07-04
JP2008265719A (en) 2008-11-06

Similar Documents

Publication Publication Date Title
JP4412365B2 (en) Driving support method and driving support device
EP1974998B1 (en) Driving support method and driving support apparatus
JP4862774B2 (en) Driving support method and driving support device
JP4497133B2 (en) Driving support method and driving support device
EP1961613B1 (en) Driving support method and driving support device
JP4784572B2 (en) Driving support method and driving support device
US8089512B2 (en) Driving support device, driving support method and computer program
JP4883977B2 (en) Image display device for vehicle
WO2012091476A2 (en) Apparatus and method for displaying a blind spot
JP5618138B2 (en) Parking assistance device
JP2008099201A (en) Method and device for supporting driving
JP2004240480A (en) Operation support device
JP2010154304A (en) Mobile camera system and driving method
JP4862775B2 (en) Driving support method and driving support device
JP4957589B2 (en) Obstacle warning device, obstacle warning method, and computer program
JP2009005054A (en) Driving support device, driving support method, and program
US20220086368A1 (en) Vehicular display system
JP2008213645A (en) Parking assistant method and parking assistant device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4412365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141127

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees