JP2010136289A - Device and method for supporting drive - Google Patents

Device and method for supporting drive Download PDF

Info

Publication number
JP2010136289A
JP2010136289A JP2008312530A JP2008312530A JP2010136289A JP 2010136289 A JP2010136289 A JP 2010136289A JP 2008312530 A JP2008312530 A JP 2008312530A JP 2008312530 A JP2008312530 A JP 2008312530A JP 2010136289 A JP2010136289 A JP 2010136289A
Authority
JP
Japan
Prior art keywords
vehicle
image
guide
guide line
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008312530A
Other languages
Japanese (ja)
Inventor
Chiharu Yamano
千晴 山野
Mitsuru Abe
満 安倍
Hideki Shirai
英樹 白井
Kazuhiro Sakata
和宏 坂田
Kazunari Hattori
和成 服部
Toshihiro Hattori
敏弘 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso IT Laboratory Inc
Original Assignee
Denso Corp
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso IT Laboratory Inc filed Critical Denso Corp
Priority to JP2008312530A priority Critical patent/JP2010136289A/en
Publication of JP2010136289A publication Critical patent/JP2010136289A/en
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and method for supporting drive, which can superpose and display, on an image obtained by imaging surroundings of a vehicle, a guide line allowing a driver to easily recognize the track of the vehicle in the running direction of the vehicle. <P>SOLUTION: The device for supporting drive includes: imaging parts (2a-2c) for acquiring images obtained by shooting structures around a vehicle by shooting the surroundings of the vehicle (10); a guide drawing part (433) for estimating the track in the running direction of the vehicle (10) to set a guide line having a predetermined width along the track on an actual coordinate system for showing the positions of structures around the vehicle on a real space, and drawing the guide line on the image by projecting the guide line provided on the actual coordinate system on an image coordinate system for showing the positions of the structures around the vehicle on the image in accordance with the mounting positions and imaging directions of the imaging parts (2a-2c) with respect to the vehicle (10); an image synthesis part (434) for creating a synthetic image with the drawn guide line superposed on the image; and a display part (3) for displaying the synthetic image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、運転支援装置及び運転支援方法に関し、特に、車載カメラで撮影した画像上に車両の進行方向の推定軌跡を示すガイド線を表示する運転支援装置及び運転支援方法に関する。   The present invention relates to a driving support device and a driving support method, and more particularly, to a driving support device and a driving support method for displaying a guide line indicating an estimated trajectory of a traveling direction of a vehicle on an image taken by an in-vehicle camera.

近年、車両後方または車両左前方など、運転席から見え難い位置を、車載カメラにより撮影し、その撮影画像を車内に設置されたモニタに表示することにより、ドライバの運転を支援する装置が提案されている（例えば、特許文献１を参照）。   In recent years, there has been proposed a device that supports driving of a driver by photographing a position that is difficult to see from the driver's seat such as the rear of the vehicle or the front left of the vehicle with an in-vehicle camera and displaying the photographed image on a monitor installed in the vehicle. (For example, refer to Patent Document 1).

例えば、特許文献１に開示された操舵支援装置は、現時点の操舵角αでの後退時の車両の予想軌跡を演算し、その予想軌跡に基づいて車幅の目安を示すガイド表示を、そのときの操舵角αに対応した所定位置にカメラにより撮像された映像を重畳させて、モニタに表示させる。   For example, the steering assist device disclosed in Patent Document 1 calculates a predicted trajectory of the vehicle when reversing at the current steering angle α, and displays a guide display indicating a guide for the vehicle width based on the predicted trajectory. The video imaged by the camera is superimposed on a predetermined position corresponding to the steering angle α, and displayed on the monitor.

特開２０００−２７２４４５号公報JP 2000-272445 A

しかしながら、上記のような運転支援装置に用いられる車載カメラは、広い範囲を撮像してドライバに提示できるようにするために、広い画角を有することが要求される。一方、車載カメラは、限られた設置スペースに配置できるように、小型であることが求められる。そのため、車載カメラで使用される撮像光学系では、一般に歪曲収差が十分に補正されていない。従って、車載カメラで撮像された画像は、画像中心から離れるほど歪んだ像となる。さらに、車両の近傍に位置する物体と車両から遠くに位置する物体とでは、画像上の見え方、特に大きさなどが異なる。そのため、運転支援装置が、車載カメラで撮像された画像に対して、単純に予想軌跡を計算することにより得られるガイド線を重畳させてモニタに表示しても、ドライバは、ガイド線が路面に描かれているという実感をあまり感じることができない。そのため、車載カメラで撮像された画像上にガイド線が表示されていても、ドライバが車両の進行方向の予想軌跡と車両周囲の構造物との位置関係を認識することは難しく、ドライバがガイド線を参照して車両が所望の方向へ進むようにハンドルの操舵角を調節することは困難な場合があった。   However, an in-vehicle camera used in the driving support apparatus as described above is required to have a wide angle of view so that a wide range can be captured and presented to the driver. On the other hand, the vehicle-mounted camera is required to be small so that it can be placed in a limited installation space. For this reason, in an imaging optical system used in a vehicle-mounted camera, generally, distortion is not sufficiently corrected. Therefore, the image captured by the in-vehicle camera becomes a distorted image as the distance from the image center increases. Furthermore, an object located in the vicinity of the vehicle and an object located far from the vehicle differ in how they appear on the image, particularly in size. For this reason, even if the driving support device superimposes the guide line obtained by simply calculating the expected trajectory on the image captured by the in-vehicle camera and displays it on the monitor, the driver will I can't really feel that it is drawn. Therefore, even if a guide line is displayed on the image captured by the in-vehicle camera, it is difficult for the driver to recognize the positional relationship between the predicted trajectory in the traveling direction of the vehicle and the structure around the vehicle. In some cases, it is difficult to adjust the steering angle of the steering wheel so that the vehicle travels in a desired direction.

また、特許文献１に開示された操舵支援装置のように、車両が直進するときのガイド線と所定の操舵角で車両が旋回するときのガイド線が一つの画像上に重畳して表示されると、局所的にガイド線が集中してしまい、ドライバは画像上に写っている路面または物体を見難くなるおそれがあった。さらに、その操舵支援装置は、他の車両などの立体構造物が存在するか否かにかかわらずガイド線を描くため、立体構造物上にガイド線が表示されてしまい、ドライバは車両の進行方向に存在する立体構造物を認識することが難しくなるおそれがあった。   Further, as in the steering assist device disclosed in Patent Document 1, a guide line when the vehicle goes straight and a guide line when the vehicle turns at a predetermined steering angle are displayed superimposed on one image. As a result, the guide lines are locally concentrated, and it may be difficult for the driver to see the road surface or object in the image. Further, since the steering assist device draws a guide line regardless of whether or not a three-dimensional structure such as another vehicle exists, the guide line is displayed on the three-dimensional structure, and the driver moves in the traveling direction of the vehicle. It may be difficult to recognize the three-dimensional structure existing in the.

そこで、本発明の目的は、車両周囲を撮影した画像に対して、ドライバが車両の進行方向における車両の軌跡を容易に認識できるガイド線を重畳させて表示することが可能な運転支援装置及び運転支援方法を提供することにある。   SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a driving support device and driving capable of superimposing and displaying a guide line by which a driver can easily recognize the trajectory of the vehicle in the traveling direction of the vehicle with respect to an image taken around the vehicle. It is to provide a support method.

また本発明の他の目的は、車載カメラにより撮影された画像から、ドライバが車両の進行方向上に存在する立体構造物を容易に認識することが可能な運転支援装置及び運転支援方法を提供することにある。   Another object of the present invention is to provide a driving support device and a driving support method that allow a driver to easily recognize a three-dimensional structure existing in the traveling direction of a vehicle from an image taken by an in-vehicle camera. There is.

請求項１の記載によれば、本発明の一つの形態として、運転支援装置が提供される。係る運転支援装置は、車両（１０）の周囲を撮影して、車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、車両（１０）の進行方向の軌跡を推定し、その軌跡に沿った所定幅を持つガイド線を実空間上での車両周囲の構造物の位置を表す実座標系上で設定し、かつ実座標系上のガイド線を、撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、画像上での車両周囲の構造物の位置を表す画像座標系上に投影することにより、画像上にガイド線を描画するガイド描画部（４３３）と、画像上に描画されたガイド線を重畳した合成画像を作成する画像合成部（４３４）と、合成画像を表示する表示部（３）とを有する。
本発明に係る運転支援装置は、車両周囲を撮影した画像に対して、ドライバが車両の進行方向の軌跡を容易に認識できるガイド線を重畳させて表示することができる。特に、この運転支援装置は、実座標系上で、車両の進行方向の推定軌跡に沿った所定幅を持つガイド線を設定し、そのガイド線を、撮像部の車両に対する取り付け位置及び撮影方向に従って画像座標系上に投影するので、合成画像上でガイド線に遠近感を与えることができる。そのため、この運転支援装置は、ドライバに対して、ガイド線が路面上に描画されているように見せることができるので、ドライバは、ガイド線を参照することにより、車両の進行方向における車両の軌跡を正確に認識することができる。 According to the first aspect of the present invention, a driving support device is provided as one aspect of the present invention. The driving assistance apparatus images the periphery of the vehicle (10), estimates the trajectory in the traveling direction of the vehicle (10), and the imaging units (2a to 2c) that acquire images of the structures around the vehicle. A guide line having a predetermined width along the trajectory is set on the real coordinate system representing the position of the structure around the vehicle in the real space, and the guide line on the real coordinate system is set to the imaging unit (2a to 2). 2c) A guide drawing unit that draws a guide line on an image by projecting it onto an image coordinate system representing the position of a structure around the vehicle on the image in accordance with the mounting position and shooting direction of the vehicle (10). (433), an image composition unit (434) for creating a composite image in which guide lines drawn on the image are superimposed, and a display unit (3) for displaying the composite image.
The driving assistance apparatus according to the present invention can display a superimposed image of a guide line that allows the driver to easily recognize the trajectory in the traveling direction of the vehicle on an image obtained by photographing the periphery of the vehicle. In particular, the driving support device sets a guide line having a predetermined width along the estimated trajectory of the traveling direction of the vehicle on the real coordinate system, and the guide line is set according to the mounting position of the imaging unit with respect to the vehicle and the shooting direction. Since the projection is performed on the image coordinate system, it is possible to give perspective to the guide line on the composite image. Therefore, this driving support device can make the driver appear as if the guide line is drawn on the road surface, so that the driver refers to the guide line so that the trajectory of the vehicle in the traveling direction of the vehicle. Can be accurately recognized.

また請求項２の記載によれば、運転支援装置は、撮像部（２ａ〜２ｃ）が有する撮像光学系の歪曲収差量を画像上の各画素について示したルックアップテーブルを記憶する記憶部（４１）をさらに有し、ガイド描画部（４３３）は、ルックアップテーブルを参照することにより、画像座標系上に投影されたガイド線の位置を歪曲収差量に応じて補正することが好ましい。
これにより、運転支援装置は、歪曲収差を十分に補正することが難しい小型撮像光学系を用いて車両周囲の画像を取得する場合でも、その歪曲収差による、画像上に写った車両周囲の路面などの歪みと同様の歪みをガイド線に加えることができる。そのため、運転支援装置は、ドライバに対して、ガイド線が路面上に描画されているように見せることができる。 According to the second aspect of the present invention, the driving support device stores a lookup table that indicates a distortion aberration amount of the imaging optical system included in the imaging units (2a to 2c) for each pixel on the image. ), And the guide drawing unit (433) preferably corrects the position of the guide line projected on the image coordinate system according to the distortion amount by referring to the lookup table.
As a result, even when the driving assistance apparatus acquires an image around the vehicle using a small imaging optical system in which it is difficult to sufficiently correct the distortion, the road surface around the vehicle reflected on the image due to the distortion, etc. Can be applied to the guide line. Therefore, the driving assistance device can make the driver feel as if the guide line is drawn on the road surface.

さらに、請求項３の記載によれば、ガイド描画部（４３３）は、実座標系上でガイド線を車両（１０）の進行方向における車両（１０）の左右端の推定軌跡間に格子状に設定し、かつ格子状に設定されたガイド線を画像座標系上に投影することにより、画像上に格子状のガイド線を描画することが好ましい。
これにより、運転支援装置は、ドライバに対して、進行方向における車両の占める領域を正確に認識させることができる。 According to the third aspect of the present invention, the guide drawing unit (433) displays the guide lines in a grid pattern between the estimated trajectories of the left and right ends of the vehicle (10) in the traveling direction of the vehicle (10) on the real coordinate system. It is preferable to draw the grid-shaped guide lines on the image by projecting the set guide lines set in a grid pattern onto the image coordinate system.
Thereby, the driving assistance apparatus can make the driver recognize the area occupied by the vehicle in the traveling direction accurately.

さらに、請求項４の記載によれば、運転支援装置は、撮像部（２ａ〜２ｃ）により撮像された画像から、車両周囲の立体構造物を検出する立体構造物検出部（４３５）をさらに有し、ガイド描画部（４３３）は、ガイド線のうちの立体構造物が重なる部分を描画しないことが好ましい。
これにより、運転支援装置は、立体構造物が車両の進行方向上に存在する場合、その立体構造物がガイド線の上に存在するようにドライバに画像を見せることができる。そのため、運転支援装置は、ドライバが車両の進行方向上に存在する立体構造物の存在を認識することを容易にする。 According to the fourth aspect of the present invention, the driving support device further includes a three-dimensional structure detection unit (435) that detects a three-dimensional structure around the vehicle from the images captured by the imaging units (2a to 2c). And it is preferable that a guide drawing part (433) does not draw the part which the solid structure overlaps among guide lines.
As a result, when the three-dimensional structure exists in the traveling direction of the vehicle, the driving support device can display an image to the driver so that the three-dimensional structure exists on the guide line. Therefore, the driving assistance device makes it easy for the driver to recognize the presence of the three-dimensional structure existing in the traveling direction of the vehicle.

さらに、請求項５の記載によれば、ガイド描画部（４３３）は、実座標系におけるガイド線を、車両（１０）の進行方向において、車両（１０）の最も突出した部分の高さに設定することが好ましい。
これにより、運転支援装置は、立体構造物が車両の予測進行方向上に存在する場合、車両とその立体構造物が衝突する場所をドライバに認識させることができる。 According to the fifth aspect of the present invention, the guide drawing unit (433) sets the guide line in the real coordinate system to the height of the most protruding portion of the vehicle (10) in the traveling direction of the vehicle (10). It is preferable to do.
Thereby, the driving assistance device can make the driver recognize the location where the vehicle and the three-dimensional structure collide when the three-dimensional structure exists in the predicted traveling direction of the vehicle.

さらに、請求項６の記載によれば、撮像部（２ｂ）は、車両（１０）の左前方に取り付けられ、車両（１０）の前側端部の少なくとも一部及び車両（１０）の左前方の路面を撮影することが好ましい。なお、撮像部（２ａ）は、車両（１０）の後方に取り付けられ、車両（１０）の後側端部の少なくとも一部及び車両（１０）の後方の路面を撮影するものであってもよい。   Further, according to the sixth aspect of the present invention, the imaging unit (2b) is attached to the left front of the vehicle (10), and at least a part of the front end of the vehicle (10) and the left front of the vehicle (10). It is preferable to photograph the road surface. The imaging unit (2a) may be attached to the rear of the vehicle (10), and may capture at least a part of the rear end of the vehicle (10) and the road surface behind the vehicle (10). .

また、請求項７の記載によれば、本発明の他の一つの形態として、運転支援方法が提供される。係る運転支援方法は、車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影して、車両周囲の構造物を撮影した画像を取得するステップと、車両（１０）の進行方向の軌跡を推定し、その軌跡に沿った所定幅を持つガイド線を実空間上での車両周囲の構造物の位置を表す実座標系上で設定するステップと、実座標系上のガイド線を、撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、撮像部（２ａ〜２ｃ）により撮影された画像上での車両周囲の構造物の位置を表す画像座標系上に投影することにより、その画像上にガイド線を描画するステップと、画像上に描画されたガイド線を重畳した合成画像を作成するステップと、合成画像を表示するステップとを有する。
本発明に係る運転支援方法は、車両周囲を撮影した画像に対して、ドライバが車両の進行方向の軌跡を容易に認識できるガイド線を重畳させて表示することができる。特に、この運転支援方法は、実座標系上で、車両の進行方向の推定軌跡に沿った所定幅を持つガイド線を設定し、そのガイド線を、撮像部の車両に対する取り付け位置及び撮影方向に従って画像座標系上に投影するので、合成画像上でガイド線に遠近感を与えることができる。そのため、この運転支援方法は、ドライバに対して、ガイド線が路面上に描画されているように見せることができるので、ドライバは、ガイド線を参照することにより、車両の進行方向の軌跡を正確に認識することができる。 Moreover, according to the description of Claim 7, the driving assistance method is provided as another form of this invention. According to the driving support method, the imaging unit (2a to 2c) attached to the vehicle (10) captures an image of the surroundings of the vehicle (10) and acquires an image of the structure around the vehicle, 10) estimating a travel direction trajectory and setting a guide line having a predetermined width along the trajectory on a real coordinate system representing a position of a structure around the vehicle in real space; The position of the structure around the vehicle on the image captured by the imaging unit (2a to 2c) is determined according to the mounting position and imaging direction of the imaging unit (2a to 2c) with respect to the vehicle (10). Projecting onto the image coordinate system to represent, drawing a guide line on the image, creating a composite image in which the guide line drawn on the image is superimposed, and displaying the composite image Have.
In the driving support method according to the present invention, a guide line that allows the driver to easily recognize the trajectory in the traveling direction of the vehicle can be superimposed and displayed on an image obtained by photographing the periphery of the vehicle. In particular, the driving support method sets a guide line having a predetermined width along an estimated trajectory of the traveling direction of the vehicle on the real coordinate system, and the guide line is set according to the mounting position of the imaging unit with respect to the vehicle and the shooting direction. Since the projection is performed on the image coordinate system, it is possible to give perspective to the guide line on the composite image. Therefore, this driving support method can make the driver appear as if the guide line is drawn on the road surface, so that the driver can accurately track the trajectory of the vehicle traveling direction by referring to the guide line. Can be recognized.

上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。   The reference numerals in parentheses attached to the above-described parts are examples that show the correspondence with specific means described in the embodiments described later.

以下、本発明の第１の実施形態に係る運転支援装置について説明する。
本発明の第１の実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を写す周辺画像に、車両の進行方向における車両の左右端の推定軌跡を示すガイド線を重畳した合成画像を作成して、車内に設置されたディスプレイに表示するものである。特にこの運転支援装置は、ガイド線自体に遠近感が表れるようにガイド線の幅を調整することにより、ドライバが車両の進行方向の推定軌跡及びその推定軌跡と車両周囲の構造物との位置関係を認識することを容易にする。 Hereinafter, the driving support device according to the first embodiment of the present invention will be described.
The driving support apparatus according to the first embodiment of the present invention is configured such that the vehicle in the traveling direction of the vehicle is displayed in a peripheral image that captures a structure around the vehicle that is captured by a camera installed behind the vehicle or in front of the vehicle. A composite image in which guide lines indicating the estimated trajectories at the left and right ends are superimposed and displayed on a display installed in the vehicle. In particular, this driving support device adjusts the width of the guide line so that a sense of perspective appears in the guide line itself, so that the driver can estimate the trajectory of the traveling direction of the vehicle and the positional relationship between the estimated trajectory and structures around the vehicle. Make it easy to recognize.

図１は、本発明の第１の実施形態に係る運転支援装置１の全体構成を示す。図１に示すように、運転支援装置１は、車両１０に搭載された３台のカメラ２ａ、２ｂ、２ｃと、ディスプレイ３と、コントローラ４とを有する。カメラ２及びディスプレイ３と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）５によって互いに接続されている。
また、コントローラ４は、ＣＡＮ５を介して、ハンドルの操舵角を検知する操舵角センサ６、車両１０の車輪速度を検知可能な車輪速度センサ７及び車両１０の電子制御ユニット８とも接続されている。そしてコントローラ４は、操舵角センサ６から、ハンドルの操舵角を表す操舵角信号を取得可能となっている。またコントローラ４は、車輪速度センサ７から車輪速度を表す車輪速度信号を取得可能となっている。さらにコントローラ４は、電子制御ユニット８からシフトレバーのポジションを表すシフトポジション信号を取得可能となっており、そのシフトポジション信号に基づいて、車両１０が前進しているか、後進しているかを判断可能となっている。 FIG. 1 shows an overall configuration of a driving support apparatus 1 according to the first embodiment of the present invention. As shown in FIG. 1, the driving support device 1 includes three cameras 2 a, 2 b, 2 c mounted on a vehicle 10, a display 3, and a controller 4. The camera 2 and the display 3 and the controller 4 are connected to each other by a control area network (hereinafter referred to as CAN) 5.
The controller 4 is also connected to the steering angle sensor 6 that detects the steering angle of the steering wheel, the wheel speed sensor 7 that can detect the wheel speed of the vehicle 10, and the electronic control unit 8 of the vehicle 10 via the CAN 5. The controller 4 can obtain a steering angle signal representing the steering angle of the steering wheel from the steering angle sensor 6. The controller 4 can acquire a wheel speed signal representing the wheel speed from the wheel speed sensor 7. Furthermore, the controller 4 can acquire a shift position signal indicating the position of the shift lever from the electronic control unit 8, and can determine whether the vehicle 10 is moving forward or backward based on the shift position signal. It has become.

カメラ２ａ〜２ｃは、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に車両１０の周囲の路面などの像を結像する結像光学系などを有する。そしてカメラ２ａ〜２ｃは、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そしてカメラ２ａ〜２ｃは、車両１０の周囲を撮影した周辺画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、カメラ２ａ〜２ｃは、周辺画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。
カメラ２ａ〜２ｃは、撮影により得られた周辺画像を逐次コントローラ４へ送信する。 The cameras 2a to 2c connect a two-dimensional detector composed of a photoelectric converter having sensitivity to visible light, such as CCD or C-MOS, and an image of a road surface around the vehicle 10 on the two-dimensional detector. An imaging optical system for imaging is included. The cameras 2a to 2c perform shooting at regular time intervals (for example, 1/30 second). The cameras 2a to 2c are, for example, color images in which peripheral images of the periphery of the vehicle 10 are represented by, for example, horizontal 640 pixels × vertical 480 pixels, and the luminance of each pixel is represented by 256 gradations of red, green, and blue. Generate as The cameras 2a to 2c may generate the peripheral image as a gray image corresponding to the illuminance of near infrared light within the imaging range.
The cameras 2a to 2c sequentially transmit peripheral images obtained by photographing to the controller 4.

図２（ａ）及び図２（ｂ）は、それぞれ、３台のカメラ２ａ、２ｂ、２ｃが車両１０に設置された、カメラの配置の一例を示す、車両１０の概略平面図及び概略側面図である。図２（ａ）及び図２（ｂ）に示すように、カメラ２ａは、車両１０の後方、トランクの上部中央に、カメラ２ａの撮像光学系の光軸が、車両１０の後方且つ斜め下方に向くように取り付けられる。そしてカメラ２ａは、車両１０の後側端部の少なくとも一部及び車両１０の後方の路面を含む所定範囲を撮影する。またカメラ２ｂは、車両１０の左前方に、カメラ２ｂの撮像系の光軸が車両の前後方向の中心軸に対して左方向に４５°の角をなすように取り付けられる。そしてカメラ２ｂは、車両１０の前側端部の少なくとも一部及び車両１０の左前方の路面を含む所定範囲を撮影する。さらにカメラ２ｃは、車両１０の右前方に、カメラ２ｃの撮像系の光軸が車両の前後方向の中心軸に対して右方向に４５°の角をなすように取り付けられる。そしてカメラ２ｃは、車両１０の前側端部の少なくとも一部及び車両１０の右前方の路面を含む所定範囲を撮影する。   FIG. 2A and FIG. 2B are a schematic plan view and a schematic side view of the vehicle 10 showing an example of the arrangement of the cameras, in which three cameras 2a, 2b, and 2c are installed in the vehicle 10, respectively. It is. As shown in FIGS. 2 (a) and 2 (b), the camera 2a is located behind the vehicle 10, in the upper center of the trunk, and the optical axis of the imaging optical system of the camera 2a is located behind the vehicle 10 and obliquely downward. It is attached to face. The camera 2 a captures a predetermined range including at least a part of the rear end portion of the vehicle 10 and the road surface behind the vehicle 10. The camera 2b is attached to the left front of the vehicle 10 so that the optical axis of the imaging system of the camera 2b forms a 45 ° angle to the left with respect to the central axis in the front-rear direction of the vehicle. The camera 2 b captures a predetermined range including at least a part of the front end portion of the vehicle 10 and the road surface on the left front side of the vehicle 10. Further, the camera 2c is attached to the right front of the vehicle 10 so that the optical axis of the imaging system of the camera 2c forms a 45 ° angle to the right with respect to the central axis in the front-rear direction of the vehicle. The camera 2 c captures a predetermined range including at least a part of the front end portion of the vehicle 10 and the road surface on the right front side of the vehicle 10.

ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、インストルメントパネル内に配置される。なお、ディスプレイ３は、インストルメントパネルと独立して配置してもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の装置のディスプレイであってもよい。   The display 3 is composed of, for example, a liquid crystal display or an organic EL display, and is disposed in the instrument panel. Note that the display 3 may be arranged independently of the instrument panel. Alternatively, the display 3 may be a display of another device such as a navigation device.

コントローラ４は、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、運転支援装置１を制御するための各種プログラム及びパラメータ、制御部４３による一時的な演算結果などを記憶する。また、通信部４２は、カメラ２、ディスプレイ３、操舵角センサ６、車輪速度センサ７及び電子制御ユニット８とＣＡＮ５を通じて通信する通信インターフェース及びその制御回路を有する。   The controller 4 includes a storage unit 41, a communication unit 42, and a control unit 43. The storage unit 41 includes, for example, a semiconductor memory such as an electrically rewritable nonvolatile memory and a volatile memory. The storage unit 41 stores various programs and parameters for controlling the driving support device 1, temporary calculation results by the control unit 43, and the like. The communication unit 42 includes a communication interface that communicates with the camera 2, the display 3, the steering angle sensor 6, the wheel speed sensor 7, and the electronic control unit 8 through the CAN 5 and its control circuit.

制御部４３は、１個もしくは複数個の図示してないマイクロプロセッサ及びその周辺回路を有する。そして制御部４３は、運転支援装置１全体を制御する。
図３に、制御部４３の機能ブロック図を示す。図３に示すように、制御部４３は、画像選択部４３１と、画像描画部４３２と、ガイド描画部４３３と、画像合成部４３４とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。 The control unit 43 includes one or a plurality of microprocessors (not shown) and their peripheral circuits. And the control part 43 controls the driving assistance device 1 whole.
FIG. 3 shows a functional block diagram of the control unit 43. As illustrated in FIG. 3, the control unit 43 includes an image selection unit 431, an image drawing unit 432, a guide drawing unit 433, and an image composition unit 434. Each of these units included in the control unit 43 is implemented as a functional module realized by a computer program executed on a microprocessor included in the control unit 43, for example.

画像選択部４３１は、カメラ２ａ〜２ｃのうちの何れのカメラにより取得された周辺画像をディスプレイ３に表示させるかを選択する。そのために、画像選択部４３１は、操舵角センサ６から取得した操舵角信号及び電子制御ユニット８から取得したシフトポジション信号を参照する。そして、画像選択部４３１は、シフトポジション信号がシフトレバーがリバースポジションとなっていることを示していれば、車両１０の後部に取り付けられたカメラ２ａを選択する。なお、画像選択部４３１は、車輪速度センサ７から取得した車輪速度信号が、車両１０が後進していることを示していれば、カメラ２ａを選択してもよい。そして画像選択部４３１は、カメラ２ａの識別信号を制御部４３に通知する。一方、画像選択部４３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が左方向へ旋回していることを示していれば、車両１０の左前方に取り付けられたカメラ２ｂを選択する。そして画像選択部４３１は、カメラ２ｂの識別信号を制御部４３に通知する。また、画像選択部４３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が右方向へ旋回していることを示していれば、車両１０の右前方に取り付けられたカメラ２ｃを選択する。そして画像選択部４３１は、カメラ２ｃの識別信号を制御部４３に通知する。
制御部４３は、画像選択部４３１から通知された識別信号に対応するカメラに対して画像要求信号を送信する。そして制御部４３は、そのカメラから画像信号を受信し、画像描画部４３２に渡す。 The image selection unit 431 selects which of the cameras 2 a to 2 c is to display the peripheral image acquired by the camera 3 on the display 3. Therefore, the image selection unit 431 refers to the steering angle signal acquired from the steering angle sensor 6 and the shift position signal acquired from the electronic control unit 8. Then, if the shift position signal indicates that the shift lever is in the reverse position, the image selection unit 431 selects the camera 2a attached to the rear portion of the vehicle 10. Note that the image selection unit 431 may select the camera 2a if the wheel speed signal acquired from the wheel speed sensor 7 indicates that the vehicle 10 is moving backward. Then, the image selection unit 431 notifies the control unit 43 of the identification signal of the camera 2a. On the other hand, the image selection unit 431 indicates that the shift position signal indicates that the shift lever is in the drive position, or the wheel speed signal indicates that the vehicle 10 is moving forward, and the steering angle signal is If the vehicle 10 is turning leftward, the camera 2b attached to the left front of the vehicle 10 is selected. Then, the image selection unit 431 notifies the control unit 43 of the identification signal of the camera 2b. In addition, the image selection unit 431 indicates that the shift position signal indicates that the shift lever is in the drive position, or the wheel speed signal indicates that the vehicle 10 is moving forward, and the steering angle signal is If the vehicle 10 is turning rightward, the camera 2c attached to the right front of the vehicle 10 is selected. Then, the image selection unit 431 notifies the control unit 43 of the identification signal of the camera 2c.
The control unit 43 transmits an image request signal to the camera corresponding to the identification signal notified from the image selection unit 431. The control unit 43 receives an image signal from the camera and passes it to the image drawing unit 432.

画像描画部４３２は、ドライバがディスプレイ３に表示された画像から、車両周囲の状態を容易に認識できるように、何れかのカメラによって取得された周辺画像に対して所定の補正処理を行う。例えば、画像描画部４３２は、そのような補正処理として、取得された周辺画像に含まれる各画素の輝度値を平均した輝度平均値が所定の値となるように、その所定の値から輝度平均値を引いた差を各画素の輝度値に加える輝度補正処理を行ってもよい。また画像描画部４３２は、取得された周辺画像に含まれる各画素の輝度値のうちの最大値と最小値が一定の値となるように階調変換処理を行ってもよい。さらに画像描画部４３２は、ドライバが、車両１０または他の構造物の影と重なった暗領域と、太陽または街灯などの光源から直接光が照射された明領域の両方とも見え易いように、取得された周辺画像に対してダイナミックレンジ圧縮処理を行ってもよい。画像描画部４３２は、公知の手法を用いてダイナミックレンジ圧縮処理を行うことができる。例えば、画像描画部４３２は、周辺画像中の着目画素について、その着目画素を含む周辺画像中の所定領域の平均輝度値が所定値以下の場合に、その所定値と平均輝度値の差に所定の係数を乗じた値を着目画素の輝度値に加えることによって、周辺画像のダイナミックレンジを圧縮し、ドライバにとって明領域と暗領域の何れも見易くすることができる。
さらに画像描画部４３２は、ディスプレイ３の特性に応じた補正処理などを行ってもよい。
画像描画部４３２は、上記のような補正処理のうちの少なくとも一つまたは複数の補正処理を、何れかのカメラによって取得された周辺画像に対して実行する。そして画像描画部４３２は、周辺画像に対して補正処理を行うことにより得られた補正画像を画像合成部４３４へ渡す。 The image drawing unit 432 performs a predetermined correction process on the peripheral image acquired by any camera so that the driver can easily recognize the state around the vehicle from the image displayed on the display 3. For example, as such correction processing, the image drawing unit 432 calculates the luminance average from the predetermined value so that the luminance average value obtained by averaging the luminance values of the pixels included in the acquired peripheral image becomes a predetermined value. You may perform the brightness correction process which adds the difference which pulled the value to the brightness value of each pixel. Further, the image drawing unit 432 may perform the gradation conversion process so that the maximum value and the minimum value of the luminance values of each pixel included in the acquired peripheral image are constant values. Furthermore, the image drawing unit 432 obtains the driver so that the driver can easily see both the dark region that overlaps the shadow of the vehicle 10 or other structure and the bright region that is directly irradiated with light from a light source such as the sun or a streetlight. A dynamic range compression process may be performed on the peripheral image that has been processed. The image drawing unit 432 can perform dynamic range compression processing using a known method. For example, when the average luminance value of a predetermined region in the peripheral image including the target pixel is equal to or less than a predetermined value for the target pixel in the peripheral image, the image drawing unit 432 determines the difference between the predetermined value and the average luminance value. By adding a value obtained by multiplying the coefficient to the luminance value of the target pixel, the dynamic range of the peripheral image can be compressed, and the driver can easily see both the bright area and the dark area.
Further, the image drawing unit 432 may perform correction processing according to the characteristics of the display 3.
The image drawing unit 432 performs at least one or a plurality of correction processes among the above correction processes on the peripheral image acquired by any camera. Then, the image drawing unit 432 passes the corrected image obtained by performing the correction process on the peripheral image to the image composition unit 434.

ガイド描画部４３３は、ディスプレイ３に表示される合成画像上で、車両１０の予測進行方向に沿って車両１０の左右端の推定軌跡を表すガイド線を描画する。その際、ガイド描画部４３３は、ガイド線が実際に路面上に描かれているように見せるために、実空間上での車両１０の周囲の構造物の位置を表す実座標系上でガイド線に所定の幅を設定するとともに、その実座標系上でのガイド線の位置を決定する。さらに、ガイド描画部４３３は、カメラ２ａ〜２ｃの画角、撮影方向、路面からの高さ、歪曲収差の量などの撮影条件を表すパラメータを用いて、実座標系上のガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影する。これにより、ガイド描画部４３３は、合成画像上に描画されるガイド線に、車両１０の周囲の景色と同様の遠近感を持たせることができるので、ドライバは車両１０の進行方向における車両の軌跡と車両１０の周囲の構造物との位置関係を容易に認識することができる。なお、実座標系上でのガイド線の幅は、実際の駐車場または道路などにおいて路面上に描かれる車線境界線あるいは区画線と同程度の幅、例えば、２０cmに設定されることが好ましい。   The guide drawing unit 433 draws guide lines representing the estimated trajectories of the left and right ends of the vehicle 10 along the predicted traveling direction of the vehicle 10 on the composite image displayed on the display 3. At this time, the guide drawing unit 433 guides the guide line on the real coordinate system representing the position of the structure around the vehicle 10 in the real space in order to make it appear that the guide line is actually drawn on the road surface. Is set to a predetermined width, and the position of the guide line on the real coordinate system is determined. Further, the guide drawing unit 433 synthesizes guide lines on the real coordinate system using parameters representing shooting conditions such as the angle of view of the cameras 2a to 2c, the shooting direction, the height from the road surface, and the amount of distortion. Projection is performed on an image coordinate system representing the position of a structure around the vehicle on the image. As a result, the guide drawing unit 433 can give the guide line drawn on the composite image the same perspective as the scenery around the vehicle 10, so that the driver can track the vehicle in the traveling direction of the vehicle 10. And the positional relationship between the vehicle 10 and surrounding structures can be easily recognized. The width of the guide line on the real coordinate system is preferably set to the same width as the lane boundary line or lane marking drawn on the road surface in an actual parking lot or road, for example, 20 cm.

まず、ガイド描画部４３３は、操舵角センサ６から取得した操舵角信号に基づいて、車両１０の進行方向における車両１０の左右端の軌跡を推定する。そしてガイド描画部４３３は、車両１０の左右端の推定軌跡のそれぞれに沿って、実座標系上でのガイド線の位置を決定する。   First, the guide drawing unit 433 estimates the left and right trajectories of the vehicle 10 in the traveling direction of the vehicle 10 based on the steering angle signal acquired from the steering angle sensor 6. The guide drawing unit 433 determines the position of the guide line on the real coordinate system along each of the estimated trajectories of the left and right ends of the vehicle 10.

図４を参照しつつ、車両１０の進行方向の軌跡の決定方法について説明する。図４において、車両１０はｘｚ平面上に存在するものとする。そして車両１０の前側端の中心１０１をｘｚ平面の原点とし、車両１０が直進するときにｚ軸と平行となるように実座標系を設定する。また車両１０が存在する路面からの高さ方向にｙ軸を設定する。また図４では、車両１０は、右方向へ旋回するものとする。さらに図４において、車両１０のホイールベース長及び前輪１０２から車両１０の前側端までの距離は、それぞれ、Ｌ、Ｌ’で表される。また、車幅及びトレッド長（左右の車輪の中心間の距離）は、それぞれ、Ｗ、Ｔで表される。さらに、車両１０の旋回中心はｃで表される。   A method for determining the trajectory of the traveling direction of the vehicle 10 will be described with reference to FIG. In FIG. 4, it is assumed that the vehicle 10 exists on the xz plane. Then, the center 101 of the front end of the vehicle 10 is set as the origin of the xz plane, and the real coordinate system is set so as to be parallel to the z axis when the vehicle 10 goes straight. Further, the y axis is set in the height direction from the road surface on which the vehicle 10 exists. In FIG. 4, the vehicle 10 turns to the right. Further, in FIG. 4, the wheel base length of the vehicle 10 and the distance from the front wheel 102 to the front end of the vehicle 10 are represented by L and L ′, respectively. The vehicle width and tread length (the distance between the centers of the left and right wheels) are represented by W and T, respectively. Furthermore, the turning center of the vehicle 10 is represented by c.

このとき、車両１０の前側端の中心１０１の最小回転半径θcは次式により求められる。
ただし、Routは、旋回中心ｃから外側の車輪（図４では、左側の車輪）の中心までの距離である。そして、車両１０のハンドルの操舵角をθstrとし、ハンドルの左右どちらか一方における最大回転角をθmaxstrとすれば、車両１０の前側端の中心１０１の回転角αは次式で表すことができる。
したがって、車両１０の旋回中心ｃから、車両１０の前側端の中心１０１が通る軌跡までの回転半径Rcは、次式により求められる。
したがって、旋回中心ｃの座標(Xc,Yc,Zc)は、次式で与えられる。
ただし、hは、ガイド線が描画される高さを表し、ガイド描画部４３３が路面上にガイド線を描画する場合、hは0に設定される。 At this time, the minimum turning radius θ c of the center 101 of the front end of the vehicle 10 is obtained by the following equation.
However, R out is the distance from the turning center c to the center of the outer wheel (the left wheel in FIG. 4). If the steering angle of the steering wheel of the vehicle 10 is θ str and the maximum rotation angle of either the left or right side of the steering wheel is θ maxstr , the rotation angle α of the center 101 at the front end of the vehicle 10 can be expressed by the following equation. it can.
Therefore, the turning radius R c from the turning center c of the vehicle 10 to the locus through which the center 101 of the front end of the vehicle 10 passes is obtained by the following equation.
Accordingly, the coordinates (X c , Y c , Z c ) of the turning center c are given by the following equation.
However, h represents the height at which the guide line is drawn. When the guide drawing unit 433 draws the guide line on the road surface, h is set to 0.

次に、ガイド線として描画する軌跡の長さをL2とする。ガイド描画部４３３は、軌跡の長さL2を、例えば、車両１０の前方におけるドライバの死角に相当する長さとすることができる。そしてガイド描画部４３３は、例えば、車両１０の左右端の推定軌跡を表すガイド線をそれぞれN個（ただしNは自然数）の円弧lok、lik(k=0,1,2,...,N)の集合として描画する。この場合、車両１０の外側の軌跡（図４では、車両１０の左端の軌跡）に相当する外側の円弧lokの車両１０から遠い方の端点（以下、遠端点という）における、車両１０の前側端からの回転角βok (k=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の前側端の外側端部までの距離をRoとして次式で求められる。
したがって、車両１０の外側の軌跡に対応する、ガイド線の各円弧lokの遠端点の座標(Xok,Yok,Zok)は次式で与えられる。
ただし、Gwは、ガイド線の幅であり、（５）式において(+Gw/2)となる場合、座標(Xok,Yok,Zok)はガイド線の各円弧lokの遠端点の外側の座標を表し、一方、（５）式において(-Gw/2)となる場合、座標(Xok,Yok,Zok)はガイド線の各円弧lokの遠端点の内側の座標を表す。なお、ガイド線の各円弧lokの車両１０に近い方の端点（以下、近端点という）の座標は、円弧lok-1の遠端点の座標と同一とすることができる。 Then, the length of the trajectory to be drawn as a guide wire and L 2. Guide drawing unit 433, the length L 2 of the trajectories, for example, be a length corresponding to the blind spot of the driver in front of the vehicle 10. The guide drawing unit 433, for example, has N guide lines representing the estimated trajectories of the left and right ends of the vehicle 10 (where N is a natural number) arcs l ok , l ik (k = 0, 1, 2,... , N). In this case, the vehicle 10 at the end point (hereinafter referred to as the far end point) farther from the vehicle 10 on the outer arc l ok corresponding to the outer locus of the vehicle 10 (in FIG. 4, the left end locus of the vehicle 10). rotation angle beta ok from the front end (k = 0,1,2, ..., N ) , the following equation the distance from the turning center c of the vehicle 10 to the outer end portion of the front end of the vehicle 10 as R o Is required.
Therefore, the coordinates (X ok , Y ok , Z ok ) of the far end point of each arc l ok of the guide line corresponding to the trajectory outside the vehicle 10 are given by the following equations.
However, G w is the width of the guide line. When (+ G w / 2) in equation (5), the coordinates (X ok , Y ok , Z ok ) are far from each arc l ok of the guide line. Represents the coordinates outside the end point. On the other hand, if (-G w / 2) in equation (5), the coordinates (X ok , Y ok , Z ok ) are the far end points of each arc l ok of the guide line Represents the coordinates inside. Note that the coordinates of the end point closer to the vehicle 10 (hereinafter referred to as the near end point) of each arc l ok of the guide line can be the same as the coordinates of the far end point of the arc l ok-1 .

同様に、車両１０の内側の軌跡（図４では、車両１０の右端の軌跡）に相当する内側の円弧likの遠端点における、車両１０の前側端からの回転角βik (k=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の前側端の内側端部までの距離をRiとして次式で求められる。
したがって、車両１０の内側の軌跡に対応する、ガイド線の各円弧likの遠端点の座標(Xik,Yik,Zik)は次式で与えられる。
ただし、Gwは、ガイド線の幅であり、（７）式において(+Gw/2)となる場合、座標(Xik,Yik,Zik)はガイド線の各円弧likの遠端点の外側の座標を表し、一方、（７）式において(-Gw/2)となる場合、座標(Xik,Yik,Zik)はガイド線の各円弧likの遠端点の内側の座標を表す。なお、ガイド線の各円弧likの近端点の座標は、円弧lik-1の遠端点の座標と同一とすることができる。 Similarly, the rotation angle β ik (k = 0) from the front end of the vehicle 10 at the far end point of the inner arc l ik corresponding to the inner track of the vehicle 10 (in FIG. 4, the rightmost track of the vehicle 10). , 1, 2,..., N) is obtained by the following equation, where R i is the distance from the turning center c of the vehicle 10 to the inner end of the front end of the vehicle 10.
Therefore, the coordinates (X ik , Y ik , Z ik ) of the far end point of each arc l ik of the guide line corresponding to the trajectory inside the vehicle 10 are given by the following equations.
However, G w is the width of the guide line, and when (+ G w / 2) in equation (7), the coordinates (X ik , Y ik , Z ik ) are far from each arc l ik of the guide line. Represents the coordinates outside the end points. On the other hand, if (−G w / 2) in equation (7), the coordinates (X ik , Y ik , Z ik ) are the far end points of each arc l ik of the guide line Represents the coordinates inside. The coordinates of the near end point of each arc l ik of the guide line can be the same as the coordinates of the far end point of the arc l ik-1 .

次に、車両１０が後進するときの軌跡について説明する。図４において、車両１０の後側端と後輪間の距離はＬ”で表される。このとき、旋回中心ｃから車両１０の後側端の中心１０３までの距離Rrは、以下の式で表される。
また、ガイド線として描画する軌跡の長さをL3とする。ガイド描画部４３３は、軌跡の長さL3を、例えば、車両１０の後方におけるドライバの死角に相当する長さとすることができる。そしてガイド描画部４３３は、例えば、車両１０の左右端の推定軌跡を表すガイド線をそれぞれN個（ただしNは自然数）の円弧lom、lim(m=0,1,2,...,N)の集合として描画する。この場合、車両１０の外側の軌跡（図４では、車両１０の左端の軌跡）に相当する外側の円弧lomの遠端点における、車両１０の後側端からの回転角γom(m=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の後側端の外側端部までの距離をRobとして次式で求められる。
Next, the trajectory when the vehicle 10 moves backward will be described. In FIG. 4, the distance between the rear end of the vehicle 10 and the rear wheel is represented by L ″. At this time, the distance R r from the turning center c to the center 103 of the rear end of the vehicle 10 is expressed by the following equation: It is represented by
Further, the length of the trajectory to be drawn as a guide wire and L 3. Guide drawing unit 433, the length L 3 of the trajectory, for example, be a length corresponding to the blind spot of the driver in the rear of the vehicle 10. The guide drawing unit 433, for example, has N guide lines representing the estimated trajectories of the left and right ends of the vehicle 10 (where N is a natural number) arcs l om , l im (m = 0, 1, 2,... , N). In this case, the rotation angle γ om (m = m = m) from the rear end of the vehicle 10 at the far end point of the outer arc l om corresponding to the trajectory outside the vehicle 10 (in FIG. 4, the trajectory at the left end of the vehicle 10). 0, 1, 2,..., N) is obtained by the following equation, where R ob is the distance from the turning center c of the vehicle 10 to the outer end of the rear end of the vehicle 10.

したがって、車両１０の外側の軌跡に対応する、ガイド線の各円弧lomの遠端点の座標(Xom,Yom,Zom)は次式で与えられる。
ただし、Gwは、ガイド線の幅であり、（１０）式において(+Gw/2)となる場合、座標(Xom,Yom,Zom)はガイド線の各円弧lomの遠端点の外側の座標を表し、一方、（１０）式において(-Gw/2)となる場合、座標(Xom,Yom,Zom)はガイド線の各円弧lomの遠端点の内側の座標を表す。なお、ガイド線の各円弧lomの近端点の座標は、円弧lom-1の遠端点の座標と同一とすることができる。 Accordingly, the coordinates (X om , Y om , Z om ) of the far end point of each arc l om of the guide line corresponding to the trajectory outside the vehicle 10 are given by the following equations.
However, G w is the width of the guide line, and when (+ G w / 2) in equation (10), the coordinates (X om , Y om , Z om ) are far from each arc l om of the guide line. Represents the coordinates outside the end point. On the other hand, if (−G w / 2) in equation (10), the coordinates (X om , Y om , Z om ) are the far end points of each arc l om of the guide line Represents the coordinates inside. The coordinates of the near end point of each arc l om of the guide line can be the same as the coordinates of the far end point of the arc l om-1 .

同様に、車両１０の内側の軌跡に相当する内側の円弧limの遠端点における、車両１０の後側端からの回転角γim (k=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の後側端の内側端部までの距離をRibとして次式で求められる。
したがって、車両１０の内側の軌跡に対応する、ガイド線の各円弧limの遠端点の座標(Xim,Yim,Zim)は次式で与えられる。
ただし、Gwは、ガイド線の幅であり、（１２）式において(+Gw/2)となる場合、座標(Xim,Yim,Zim)はガイド線の各円弧limの遠端点の外側の座標を表し、一方、（１２）式において(-Gw/2)となる場合、座標(Xim,Yim,Zim)はガイド線の各円弧limの遠端点の内側の座標を表す。なお、ガイド線の各円弧limの近端点の座標は、円弧lim-1の遠端点の座標と同一とすることができる。 Similarly, the rotation angle γ im (k = 0, 1, 2,..., N) from the rear end of the vehicle 10 at the far end point of the inner arc l im corresponding to the inner locus of the vehicle 10. Is obtained by the following equation, where Rib is the distance from the turning center c of the vehicle 10 to the inner end of the rear end of the vehicle 10.
Accordingly, the coordinates (X im , Y im , Z im ) of the far end point of each arc l im of the guide line corresponding to the trajectory inside the vehicle 10 are given by the following equations.
However, G w is the width of the guide line, and when (+ G w / 2) in equation (12), the coordinates (X im , Y im , Z im ) are far from each arc l im of the guide line. Represents the coordinates outside the end points. On the other hand, if (-G w / 2) in equation (12), the coordinates (X im , Y im , Z im ) are the far end points of each arc l im of the guide line Represents the coordinates inside. Note that the coordinates of the near end point of each arc l im of the guide line can be the same as the coordinates of the far end point of the arc l im-1 .

なお、ガイド描画部４３３は、車両１０が左旋回するときも、ｘ軸の正負を逆向きに設定することにより、上記と同様にガイド線の位置を決定することができる。なお、ガイド描画部４３３は、実座標系上で車両の軌跡を推定する他の様々な方法、例えば、特開２０００−２７２４４５号公報に開示された方法にしたがって、ガイド線の位置を決定してもよい。   Note that the guide drawing unit 433 can determine the position of the guide line in the same manner as described above by setting the positive and negative of the x axis in the reverse direction even when the vehicle 10 turns left. The guide drawing unit 433 determines the position of the guide line according to various other methods for estimating the trajectory of the vehicle on the real coordinate system, for example, the method disclosed in Japanese Patent Laid-Open No. 2000-272445. Also good.

ガイド描画部４３３は、実座標系でのガイド線の位置を決定すると、そのガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影する。そのために、ガイド描画部４３３は、例えば、Ellen Schwalbe, "GEOMETRIC MODELLING AND CALIBRATION OF FISHEYE LENS CAMERA SYSTEMS", Proceedings of the ISPRS working group V/5, 'Panoramic Photogrammetry Workshop', 2005に開示された方法を使用することができる。   When the guide drawing unit 433 determines the position of the guide line in the real coordinate system, the guide drawing unit 433 projects the guide line on the image coordinate system that represents the position of the structure around the vehicle on the composite image. For this purpose, the guide drawing unit 433 uses, for example, the method disclosed in Ellen Schwalbe, “GEOMETRIC MODELLING AND CALIBRATION OF FISHEYE LENS CAMERA SYSTEMS”, Proceedings of the ISPRS working group V / 5, “Panoramic Photogrammetry Workshop”, 2005. can do.

具体的には、先ず、ガイド描画部４３３は、次式にしたがって、実座標系上の特定点の座標(Xw,Yw,Zw)を、カメラ２ａ〜２ｃのうちの撮像したカメラを原点としたカメラ座標系上の座標(xt,yt,zt)に変換する。なお、実座標系の原点は、例えば、図４に示したように、車両１０の前側端の中心１０１に設定される。
ただし、座標(tx,ty,tz)は、実座標系上でのカメラの位置を表す。Ｒはカメラ回転行列であり、カメラ座標系のx軸、y軸、z軸それぞれの周りの回転成分をＲx、Ｒy、Ｒzとして、Ｒ＝ＲxＲyＲzと表される。なお、各軸周りの回転成分は、以下のように表される。
ただし、θx、θy、θzは、撮像したカメラの光軸が実座標系のＸ軸、Ｙ軸、Ｚ軸それぞれとなす角である。 Specifically, first, the guide drawing unit 433 selects the camera in which the coordinates (X w , Y w , Z w ) of the specific point on the real coordinate system are imaged according to the following equation, from among the cameras 2a to 2c. Convert the coordinates (x t , y t , z t ) on the camera coordinate system as the origin. Note that the origin of the real coordinate system is set at the center 101 of the front end of the vehicle 10, for example, as shown in FIG.
However, the coordinates (t x , t y , t z ) represent the position of the camera on the real coordinate system. R is a camera rotation matrix, x-axis of the camera coordinate system, y-axis, a rotation component around each z axis R x, R y, as R z, is expressed as R = R x R y R z. The rotation component around each axis is expressed as follows.
Here, θ x , θ y , and θ z are angles formed by the optical axis of the captured camera with the X axis, Y axis, and Z axis of the real coordinate system.

次に、ガイド描画部４３３は、次式にしたがって、カメラ座標系上の座標(xt,yt,zt)を合成画像の画像座標系上の座標(u,v)に変換する。ただし、uは、画像座標系上の水平方向の座標であり、vは、画像座標系上の垂直方向の座標である。
ただし、Cuは画像座標系の水平方向の中心位置の座標であり、Cvは画像座標系の垂直方向の中心位置の座標である。すなわち、座標(Cu,Cv)は、カメラの撮像光学系の光軸に対応する。またDは、撮像光学系の最大画角に対応する、座標(Cu,Cv)からの距離である。 Next, the guide drawing unit 433 converts coordinates (x t , y t , z t ) on the camera coordinate system into coordinates (u, v) on the image coordinate system of the composite image according to the following expression. However, u is a coordinate in the horizontal direction on the image coordinate system, and v is a coordinate in the vertical direction on the image coordinate system.
However, Cu is the coordinate of the horizontal center position of the image coordinate system, and Cv is the coordinate of the vertical center position of the image coordinate system. That is, the coordinates (Cu, Cv) correspond to the optical axis of the imaging optical system of the camera. D is a distance from the coordinates (Cu, Cv) corresponding to the maximum angle of view of the imaging optical system.

ガイド描画部４３３は、得られた座標(u,v)に対するカメラの撮像光学系の水平方向及び垂直方向の歪曲収差量(dx,dy)を特定する。そしてガイド描画部４３３は、座標(u,v)を、水平方向及び垂直方向の歪曲収差量だけ平行移動させることにより、最終的な座標(ui,vi)を得る（すなわち、ui=u+dx,vi=v+dy）。なお、歪曲収差量(dx,dy)は、カメラの撮像光学系の特性及び座標(u,v)に対応する物像間距離によって定まる。そしてその物像間距離は、カメラ２ａ〜２ｃの撮像範囲に路面のみが写ると仮定することにより、予め求められる。そこで、運転支援装置１は、画像座標系上の各座標(u,v)に対する歪曲収差量(dx,dy)を、予めルックアップテーブルに記録し、そのルックアップテーブルを記憶部４１に格納しておく。これにより、ガイド描画部４３３は、そのルックアップテーブルを参照することにより、画像座標系上の各座標(u,v)に対する歪曲収差量(dx,dy)を求めることができる。 The guide drawing unit 433 specifies the amount of distortion (dx, dy) in the horizontal and vertical directions of the imaging optical system of the camera with respect to the obtained coordinates (u, v). The guide drawing unit 433 obtains final coordinates (u i , v i ) by translating the coordinates (u, v) by the amount of distortion in the horizontal direction and the vertical direction (that is, u i = u + d x , v i = v + d y ). Note that the distortion amount (dx, dy) is determined by the characteristics of the imaging optical system of the camera and the distance between the object images corresponding to the coordinates (u, v). The distance between the object images is obtained in advance by assuming that only the road surface is captured in the imaging range of the cameras 2a to 2c. Therefore, the driving support device 1 records in advance a distortion aberration amount (dx, dy) for each coordinate (u, v) on the image coordinate system in a lookup table, and stores the lookup table in the storage unit 41. Keep it. Accordingly, the guide drawing unit 433 can obtain the distortion amount (dx, dy) for each coordinate (u, v) on the image coordinate system by referring to the lookup table.

ガイド描画部４３３は、上記の（１）式〜（１６）式にしたがって、車両１０の進行方向の推定軌跡に沿って描画されるガイド線を構成する各円弧の端点の画像座標系上の位置を決定する。そしてガイド描画部４３３は、その位置にしたがって、ガイド線の各円弧を描画したガイド画像を作成する。ガイド画像は、例えば、カメラ２ａ〜２ｃにより撮像された周辺画像と同じサイズの画像とすることができる。そしてガイド描画部４３３は、ガイド線を、路面表示された境界線と区別可能なように、例えば、緑色でガイド画像上に描画する。   The guide drawing unit 433 is a position on the image coordinate system of the end point of each arc constituting the guide line drawn along the estimated trajectory of the traveling direction of the vehicle 10 according to the above equations (1) to (16). To decide. Then, the guide drawing unit 433 creates a guide image in which each arc of the guide line is drawn according to the position. The guide image can be, for example, an image having the same size as the peripheral image captured by the cameras 2a to 2c. Then, the guide drawing unit 433 draws the guide line on the guide image in, for example, green so that it can be distinguished from the boundary line displayed on the road surface.

また、ガイド描画部４３３は、格子状のガイド線を描画してもよい。この場合も、ガイド描画部４３３は、実座標系上でガイド線の位置を決定し、その後に、ガイド線を画像座標系上に投影することにより、合成画像上でのガイド線の位置を決定する。この場合、実座標系上における、車両１０の進行方向に対して直交する方向について、ガイド描画部４３３は、前進時には、上記の（６）、（８）式により求められる座標(Xok,Yok,Zok)と座標(Xik,Yik,Zik)を結ぶ線分をガイド線として描画すればよく、後進時には、（１１）、（１３）式により求められる座標(Xom,Yom,Zom)と座標(Xim,Yim,Zim)を結ぶ線分をガイド線として描画すればよい。一方、実座標系上における、車両１０の進行方向に平行な方向について、ガイド描画部４３３は、車両１０の進行方向に沿った車両左右端の推定軌跡間の間隔を所定等分する線に沿ってガイド線を描画すればよい。 Further, the guide drawing unit 433 may draw a grid-like guide line. Also in this case, the guide drawing unit 433 determines the position of the guide line on the composite image by determining the position of the guide line on the real coordinate system and then projecting the guide line on the image coordinate system. To do. In this case, with respect to the direction orthogonal to the traveling direction of the vehicle 10 on the real coordinate system, the guide drawing unit 433, when moving forward, coordinates (X ok , Y obtained by the above equations (6) and (8)). ok , Z ok ) and coordinates (X ik , Y ik , Z ik ) need only be drawn as guide lines, and in reverse, coordinates (X om , Y om, Z om) and coordinates (X im, Y im, may be drawn a line segment connecting the Z im) as a guide wire. On the other hand, in the direction parallel to the traveling direction of the vehicle 10 on the real coordinate system, the guide drawing unit 433 follows a line that equally divides the interval between the estimated trajectories at the left and right ends of the vehicle along the traveling direction of the vehicle 10. To draw a guide line.

なお、ガイド描画部４３３は、格子状のガイド線を描画する場合、ガイド線が路面の情報を見難くすることを防止するために、個々のガイド線の幅を、車両１０の進行方向における車両１０の左右端の推定軌跡に沿ったガイド線のみを描画する場合よりも細くすることが好ましい。例えば、格子状のガイド線が描画される場合、個々のガイド線は、実座標系上で5cm程度の幅を持つことが好ましい。   The guide drawing unit 433 sets the width of each guide line to the vehicle in the traveling direction of the vehicle 10 in order to prevent the guide line from making it difficult to see the road surface information when drawing the grid-like guide lines. It is preferable to make it thinner than when only the guide lines along the estimated trajectories of the left and right ends of 10 are drawn. For example, when a grid-like guide line is drawn, each guide line preferably has a width of about 5 cm on the real coordinate system.

さらに、ガイド描画部４３３は、ドライバにとってガイド線を見易くするために、ガイド線に陰影を付してもよい。そのために、例えば、ガイド描画部４３３は、所定位置に仮想光源を設定し、その仮想光源によりガイド線を照明し、ガイド線の下方数ｃｍの位置に影が投影されるものとして、ガイド線の影を作成することができる。このような陰影の作成方法自体は公知であるため、その詳細な説明は省略する。なお、この場合において、仮想光源が設定される所定位置は、例えば、車両１０の上方数ｍの位置とすることができる。また、ガイド描画部４３３は、陰影を見易くするために、その所定位置を、車両１０の真上から、車両１０が旋回する方向と反対方向に数ｍずらしてもよい。例えば、ガイド描画部４３３は、車両１０が左旋回する場合、仮想光源の位置を、車両１０の直上方よりも右側に数ｍずらした位置とする。このように仮想光源の位置を設定することにより、ガイド描画部４３３は、車両１０の推定軌跡に沿って湾曲するガイド線の内側に影を付することができるので、ガイド線の影がガイド線そのものに隠れることがなくなる。
なお、ガイド描画部４３３は、実座標系上でガイド線に陰影を付し、その陰影も、ガイド線自体と同様に画像座標系上に投影してもよい。
また、陰影自体の幅は小さくてよいため、ガイド描画部４３３は、画像座標系上でのガイド線の位置を決定した後、ガイド線の下方数画素の輝度値を単純にガイド線よりも小さくすることにより、ガイド線の陰影としてもよい。 Further, the guide drawing unit 433 may add a shadow to the guide line so that the driver can easily see the guide line. For this purpose, for example, the guide drawing unit 433 sets a virtual light source at a predetermined position, illuminates the guide line with the virtual light source, and a shadow is projected at a position several cm below the guide line. Shadows can be created. Since the method of creating such a shadow itself is known, a detailed description thereof will be omitted. In this case, the predetermined position where the virtual light source is set can be, for example, a position several m above the vehicle 10. In addition, the guide drawing unit 433 may shift the predetermined position by several meters from the position directly above the vehicle 10 in the direction opposite to the direction in which the vehicle 10 turns in order to make the shadow easy to see. For example, when the vehicle 10 turns to the left, the guide drawing unit 433 sets the position of the virtual light source to a position shifted by several meters to the right side from just above the vehicle 10. By setting the position of the virtual light source in this manner, the guide drawing unit 433 can add a shadow to the inside of the guide line that is curved along the estimated trajectory of the vehicle 10, so that the shadow of the guide line is the guide line. It will not be hidden by itself.
The guide drawing unit 433 may add a shadow to the guide line on the real coordinate system and project the shadow on the image coordinate system in the same manner as the guide line itself.
In addition, since the width of the shadow itself may be small, the guide drawing unit 433 determines the position of the guide line on the image coordinate system, and then simply sets the luminance values of several pixels below the guide line to be smaller than the guide line. By doing so, it may be a shadow of the guide line.

さらに、ガイド描画部４３３は、ガイド線の色または輝度を、実座標系における車両１０からの距離に応じて変化させてもよい。例えば、ガイド描画部４３３は、車両１０から離れるにつれてガイド線の輝度が低下するように、グラディエーション状にガイド線の輝度を変化させてもよい。あるいは、ガイド描画部４３３は、車両１０から離れるにつれてガイド線の色が周囲の路面の色に近づくように、グラディエーション状にガイド線の色を変化させてもよい。   Further, the guide drawing unit 433 may change the color or brightness of the guide line according to the distance from the vehicle 10 in the real coordinate system. For example, the guide drawing unit 433 may change the brightness of the guide line in a gradient manner so that the brightness of the guide line decreases as the distance from the vehicle 10 increases. Alternatively, the guide drawing unit 433 may change the color of the guide line in a gradient manner so that the color of the guide line approaches the color of the surrounding road surface as the distance from the vehicle 10 increases.

画像合成部４３４は、画像描画部４３２により作成された補正画像上にガイド描画部４３３により描画されたガイド画像を重畳して、合成画像を作成する。その際、画像合成部４３３は、ガイド画像上の各画素のうち、ガイド線以外の画素を透明とする。すなわち、画像合成部４３４は、合成画像のうち、ガイド線が描画される画素は、ガイド画像上の対応する画素の輝度値を有し、ガイド線以外の画素は、補正画像上の対応する画素の輝度値を有するように合成画像を作成する。
また、画像合成部４３４は、ガイド線を半透明として、補正画像上のガイド線と重畳される部位に写っているものも、ドライバが見えるようにしてもよい。これらの画像合成法自体は公知であるため、その画像合成法の詳細な説明は省略する。
画像合成部４３４は、作成した合成画像を制御部４３へ渡す。そして制御部４３は、その合成画像をディスプレイ３に表示させる。 The image composition unit 434 creates a composite image by superimposing the guide image drawn by the guide drawing unit 433 on the corrected image created by the image drawing unit 432. At that time, the image composition unit 433 makes pixels other than the guide line transparent among the pixels on the guide image. That is, the image composition unit 434 has a luminance value of a corresponding pixel on the guide image in the synthesized image, and a pixel other than the guide line is a corresponding pixel on the corrected image. A composite image is created so as to have a luminance value of.
In addition, the image composition unit 434 may make the driver visible even if the guide line is made translucent so that it appears in a portion superimposed on the guide line on the corrected image. Since these image composition methods are known per se, a detailed description of the image composition method is omitted.
The image composition unit 434 passes the created composite image to the control unit 43. Then, the control unit 43 displays the composite image on the display 3.

図５に、ガイド線が表示された合成画像の一例を示す。図５に示された合成画像５００では、車両１０の左右端の推定軌跡を表すガイド線５１０及び５２０が陰影を伴って表示されている。そして合成画像５００から分かるように、ガイド線５１０及び５２０の線幅は、車両１０から遠ざかるにしたがって細くなっている。そのため、合成画像５００はカメラの歪曲収差によって大きく歪んでいるにもかかわらず、ガイド線５１０及び５２０は、路面上に描画されているように見える。したがって、ドライバは、ガイド線５１０及び５２０を参照することにより、車両１０の進行方向における車両１０の左右端の推定軌跡及びその推定軌跡と他の構造物との位置関係を容易に認識できる。   FIG. 5 shows an example of a composite image on which guide lines are displayed. In the composite image 500 shown in FIG. 5, guide lines 510 and 520 representing the estimated trajectories of the left and right ends of the vehicle 10 are displayed with shadows. As can be seen from the composite image 500, the line widths of the guide lines 510 and 520 become narrower as the distance from the vehicle 10 increases. Therefore, although the composite image 500 is largely distorted by camera distortion, the guide lines 510 and 520 appear to be drawn on the road surface. Therefore, the driver can easily recognize the estimated trajectory of the left and right ends of the vehicle 10 in the traveling direction of the vehicle 10 and the positional relationship between the estimated trajectory and other structures by referring to the guide lines 510 and 520.

図６に、ガイド線が表示された合成画像の他の一例を示す。図６に示された合成画像６００では、車両１０の左右端の推定軌跡間に格子状に描画されたガイド線６１０が示されている。そして、合成画像６００では、車両１０から離れるほど、ガイド線６１０の隣接する線同士の間隔が狭くなっている。そのため、合成画像６００はカメラの歪曲収差によって大きく歪んでいるにもかかわらず、ガイド線６１０は、路面上に描画されているように見える。したがって、ドライバは、ガイド線６１０を参照することにより、車両１０の進行方向における車両１０全体の推定軌跡及びその推定軌跡と他の構造物との位置関係を容易に認識できる。   FIG. 6 shows another example of a composite image on which guide lines are displayed. In the composite image 600 shown in FIG. 6, guide lines 610 drawn in a lattice pattern between the estimated trajectories at the left and right ends of the vehicle 10 are shown. In the synthesized image 600, the distance between adjacent lines of the guide line 610 is narrowed as the distance from the vehicle 10 increases. Therefore, although the composite image 600 is largely distorted by camera distortion, the guide line 610 appears to be drawn on the road surface. Therefore, the driver can easily recognize the estimated trajectory of the entire vehicle 10 in the traveling direction of the vehicle 10 and the positional relationship between the estimated trajectory and other structures by referring to the guide line 610.

図７に、制御部４３により制御される、運転支援装置１の動作フローチャートを示す。
まず、制御部４３は、操舵角センサ６から取得した操舵角信号、車輪速度センサ７から取得した車輪速度信号または電子制御ユニット８から取得したシフトポジション信号に基づいて、車両１０が後進を開始したこと、あるいは車両１０が所定速度（例えば、２０ｋｍ／ｈ）以下で旋回を開始したことを検知すると、処理を開始する。 In FIG. 7, the operation | movement flowchart of the driving assistance apparatus 1 controlled by the control part 43 is shown.
First, based on the steering angle signal acquired from the steering angle sensor 6, the wheel speed signal acquired from the wheel speed sensor 7, or the shift position signal acquired from the electronic control unit 8, the control unit 43 starts the reverse travel of the vehicle 10. When it is detected that the vehicle 10 has started turning at a predetermined speed (for example, 20 km / h) or less, the processing is started.

まず、制御部４３の画像選択部４３１は、カメラ２ａ〜２ｃのうち、操舵角信号と、シフトポジション信号または車輪速度信号に基づいて、車両１０の進行方向に対応するカメラを選択する（ステップＳ１０１）。そして制御部４３は、選択されたカメラに対して画像取得要求信号を送信し、選択されたカメラから周辺画像を取得する（ステップＳ１０２）。
次に、制御部４３の画像描画部４３２は、取得した周辺画像に対して輝度補正またはコントラスト補正などの補正処理を行って、補正画像を作成する（ステップＳ１０３）。そして画像描画部４３２は、作成した補正画像を制御部４３の画像合成部４３４へ渡す。 First, the image selection unit 431 of the control unit 43 selects a camera corresponding to the traveling direction of the vehicle 10 based on the steering angle signal and the shift position signal or the wheel speed signal among the cameras 2a to 2c (step S101). ). And the control part 43 transmits an image acquisition request signal with respect to the selected camera, and acquires a periphery image from the selected camera (step S102).
Next, the image drawing unit 432 of the control unit 43 performs correction processing such as luminance correction or contrast correction on the acquired peripheral image to create a corrected image (step S103). Then, the image drawing unit 432 passes the created corrected image to the image composition unit 434 of the control unit 43.

また、制御部４３のガイド描画部４３３は、操舵角信号及び車輪速度信号に基づいて、車両１０の進行方向における、車両１０の左右端の軌跡を推定する（ステップＳ１０４）。そしてガイド描画部４３３は、その推定軌跡に沿って、所定幅を持つガイド線の実座標系上の位置を決定する（ステップＳ１０５）。その後、ガイド描画部４３３は、実座標系上のガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影して、合成画像上のガイド線の位置を決定することにより、ガイド線が描画されたガイド画像を作成する（ステップＳ１０６）。ガイド描画部４３３は、ガイド画像を画像合成部４３４へ渡す。   Further, the guide drawing unit 433 of the control unit 43 estimates the trajectories of the left and right ends of the vehicle 10 in the traveling direction of the vehicle 10 based on the steering angle signal and the wheel speed signal (step S104). Then, the guide drawing unit 433 determines the position on the real coordinate system of the guide line having a predetermined width along the estimated locus (step S105). Thereafter, the guide drawing unit 433 projects the guide line on the real coordinate system onto the image coordinate system representing the position of the structure around the vehicle on the composite image, and determines the position of the guide line on the composite image. As a result, a guide image on which a guide line is drawn is created (step S106). The guide drawing unit 433 passes the guide image to the image composition unit 434.

画像合成部４３４は、画像描画部４３２により作成された補正画像上にガイド描画部４３３により描画されたガイド画像を重畳して、合成画像を作成する（ステップＳ１０７）。そして画像合成部４３４は、作成された合成画像を制御部４３へ渡す。制御部４３は、ディスプレイ３にその合成画像を表示させる（ステップＳ１０８）。   The image composition unit 434 creates a composite image by superimposing the guide image drawn by the guide drawing unit 433 on the corrected image created by the image drawing unit 432 (step S107). Then, the image composition unit 434 passes the created composite image to the control unit 43. The control unit 43 displays the composite image on the display 3 (step S108).

次に、制御部４３は、運転支援装置１を待機状態にすべきか否か判定する（ステップＳ１０９）。制御部４３は、運転支援装置１を待機状態にしない場合、ステップＳ１０２〜Ｓ１０９の処理を繰り返す。一方、制御部４３は、運転支援装置１を待機状態にすべき場合、処理を終了する。なお、運転支援装置１を待機状態にする条件は、例えば、車両１０が停止してから所定時間（例えば、１０秒間）経過したこととすることができる。あるいは、その条件は、車両１０のインストルメントパネルなどに設置された運転支援装置１の操作部（図示せず）を介して、ドライバが運転支援装置１をオフにしたことであってもよい。
なお、各ステップにおける、制御部４３の各部の処理の詳細は既に詳述したので、ここではその説明を省略する。 Next, the control unit 43 determines whether or not the driving support device 1 should be in a standby state (step S109). The control part 43 repeats the process of step S102-S109, when not making the driving assistance device 1 into a standby state. On the other hand, the control part 43 complete | finishes a process, when the driving assistance apparatus 1 should be made into a standby state. The condition for putting the driving assistance device 1 in the standby state can be, for example, that a predetermined time (for example, 10 seconds) has elapsed since the vehicle 10 stopped. Alternatively, the condition may be that the driver turns off the driving support device 1 via an operation unit (not shown) of the driving support device 1 installed on an instrument panel or the like of the vehicle 10.
The details of the processing of each part of the control unit 43 in each step have already been described in detail, and the description thereof is omitted here.

以上説明してきたように、本発明の第１の実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を表す周辺画像に、車両の進行方向における、車両の左右端の推定軌跡を示すガイド線を重畳して、車内に設置されたディスプレイに表示する。特にこの運転支援装置は、実座標系上でガイド線に所定の幅を設定し、その所定の幅を持つガイド線をディスプレイに表示される合成画像の画像座標系上に投影することにより、ガイド線に遠近感を持たせることができる。さらにこの運転支援装置は、カメラの撮像光学系の歪曲収差に応じて合成画像上のガイド線の位置を補正することにより、合成画像上でのガイド線の違和感をなくすことができる。そのため、この運転支援装置は、ドライバが合成画像上のガイド線を参照することにより、車両の進行方向の推定軌跡及びその推定軌跡と車両周囲の構造物との位置関係を認識することを容易にする。   As described above, the driving support device according to the first embodiment of the present invention provides a peripheral image representing a structure around the vehicle photographed by a camera installed on the rear side of the vehicle or the front side of the vehicle. A guide line indicating the estimated trajectory of the left and right ends of the vehicle in the traveling direction of the vehicle is superimposed and displayed on a display installed in the vehicle. In particular, the driving support apparatus sets a predetermined width for the guide line on the real coordinate system, and projects the guide line having the predetermined width onto the image coordinate system of the composite image displayed on the display. A sense of perspective can be given to the line. Furthermore, this driving support device can eliminate the uncomfortable feeling of the guide line on the composite image by correcting the position of the guide line on the composite image in accordance with the distortion aberration of the imaging optical system of the camera. Therefore, this driving support device makes it easy for the driver to recognize the estimated trajectory of the traveling direction of the vehicle and the positional relationship between the estimated trajectory and structures around the vehicle by referring to the guide line on the composite image. To do.

次に、本発明の第２の実施形態に係る運転支援装置について説明する。本発明の第２の実施形態に係る運転支援装置は、車載カメラにより撮影された周辺画像から、その撮像範囲内に存在する立体構造物を検出する。そして係る運転支援装置は、車両の予測進行方向を示すガイド線とその立体構造物が重なる場合に、ガイド線よりも立体構造物を優先して表示することで、ドライバが立体構造物の存在を容易に認識できるようにする。   Next, a driving support apparatus according to a second embodiment of the present invention will be described. The driving assistance apparatus according to the second embodiment of the present invention detects a three-dimensional structure existing within the imaging range from a peripheral image captured by an in-vehicle camera. Then, when the guide line indicating the predicted traveling direction of the vehicle and the three-dimensional structure overlap, the driving support device displays the three-dimensional structure with priority over the guide line, so that the driver can indicate the presence of the three-dimensional structure. Make it easy to recognize.

第２の実施形態に係る運転支援装置は、第１の実施形態に係る運転支援装置と比較して、図１に示されるコントローラ４の制御部４３により実現される機能のみが異なる。そこで、以下では、制御部４３により実現される機能についてのみ説明する。第２の実施形態に係る運転支援装置の全体構成及びカメラの配置については、図１及び図２を参照されたい。   The driving support apparatus according to the second embodiment is different from the driving support apparatus according to the first embodiment only in the function realized by the control unit 43 of the controller 4 shown in FIG. Therefore, only functions realized by the control unit 43 will be described below. Please refer to FIG. 1 and FIG. 2 for the overall configuration of the driving support apparatus and the arrangement of the cameras according to the second embodiment.

図８に、制御部４３の機能ブロック図を示す。図８に示すように、制御部４３は、画像選択部４３１と、画像描画部４３２と、ガイド描画部４３３と、画像合成部４３４と、立体構造物検出部４３５を有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。制御部４３が有するこれらの各部のうち、画像選択部４３１、画像描画部４３２及び画像合成部４３４については、第１の実施形態における画像選択部４３１、画像描画部４３２及び画像合成部４３４と同じ機能を有するため、ここではその説明を省略する。また、ガイド描画部４３３は、立体構造検出部４３５により検出された立体構造物に関する処理を除いて、第１の実施形態におけるガイド描画部４３３と同様の処理を実行する。そのため、ここでは、ガイド描画部４３３については、立体構造物に関する処理についてのみ説明する。   FIG. 8 shows a functional block diagram of the control unit 43. As illustrated in FIG. 8, the control unit 43 includes an image selection unit 431, an image drawing unit 432, a guide drawing unit 433, an image composition unit 434, and a three-dimensional structure detection unit 435. Each of these units included in the control unit 43 is implemented as a functional module realized by a computer program executed on a microprocessor included in the control unit 43, for example. Among these units included in the control unit 43, the image selection unit 431, the image drawing unit 432, and the image composition unit 434 are the same as the image selection unit 431, the image drawing unit 432, and the image composition unit 434 in the first embodiment. Since it has a function, the description thereof is omitted here. Further, the guide drawing unit 433 executes the same processing as the guide drawing unit 433 in the first embodiment, except for the processing related to the three-dimensional structure detected by the three-dimensional structure detection unit 435. Therefore, here, only the processing related to the three-dimensional structure will be described for the guide drawing unit 433.

立体構造物検出部４３５は、カメラ２ａ〜２ｃにより撮像された周辺画像から、その撮像範囲内に存在する立体構造物を検出する。なお、立体構造物は、路面上に存在する３次元状の形状を持つ物体であり、例えば、他の車両、ガードレール、壁、ポール、ブロックなどである。   The three-dimensional structure detection unit 435 detects a three-dimensional structure existing within the imaging range from the peripheral images captured by the cameras 2a to 2c. Note that the three-dimensional structure is an object having a three-dimensional shape that exists on the road surface, and is, for example, another vehicle, a guard rail, a wall, a pole, a block, or the like.

立体構造物検出部４３５は、カメラ２ａ〜２ｃのうち、画像選択部４３１により選択された一つのカメラが、車両１０の移動中に連続して撮影することにより得られた複数の周辺画像から、公知の様々な単眼ステレオ法を用いて立体構造物を検出する。例えば、立体構造物検出部４３５は、撮影時刻の異なる２枚の周辺画像の何れにも写っていると判断される特徴点を複数抽出する。そして立体構造物検出部４３５は、一方の周辺画像上で抽出された各特徴点について、公知のトラッキング技術を用いることにより、他方の周辺画像上で対応する特徴点を決定する。一方、立体構造物検出部４３５は、それら２枚の周辺画像を取得する間に得られた操舵角センサ６から取得した操舵角信号及び車輪速度センサ７から取得した車輪速度信号に基づいて、２枚の画像撮影間におけるカメラの移動距離を決定する。そして立体構造物検出部４３５は、三角測量の原理を用いて、各特徴点までの距離を求める。また、カメラの画角、撮影方向及び取り付け位置は予め分かっている。そのため、周辺画像上に路面のみが写っていると仮定した場合における、周辺画像上の各画素についての路面までの距離も予め求めることができる。そこで、立体構造物検出部４３５は、各特徴点までの距離と、その特徴点に対応する画素における路面までの距離が異なる画素を抽出することにより、立体構造物を検出できる。   The three-dimensional structure detection unit 435 includes a plurality of peripheral images obtained by continuously capturing images while one vehicle selected by the image selection unit 431 among the cameras 2a to 2c is moving the vehicle 10. A three-dimensional structure is detected using various known monocular stereo methods. For example, the three-dimensional structure detection unit 435 extracts a plurality of feature points that are determined to be reflected in any of two peripheral images having different shooting times. Then, the three-dimensional structure detection unit 435 determines a corresponding feature point on the other peripheral image by using a known tracking technique for each feature point extracted on the one peripheral image. On the other hand, the three-dimensional structure detection unit 435 generates 2 based on the steering angle signal acquired from the steering angle sensor 6 obtained while acquiring the two peripheral images and the wheel speed signal acquired from the wheel speed sensor 7. The moving distance of the camera between image captures is determined. Then, the three-dimensional structure detection unit 435 obtains the distance to each feature point using the principle of triangulation. In addition, the angle of view, shooting direction, and mounting position of the camera are known in advance. Therefore, when it is assumed that only the road surface is shown on the peripheral image, the distance to the road surface for each pixel on the peripheral image can be obtained in advance. Therefore, the three-dimensional structure detection unit 435 can detect the three-dimensional structure by extracting pixels having different distances to the feature points and the distances to the road surface in the pixels corresponding to the feature points.

また、立体構造物検出部４３５は、特開２００７−２５６０２９号公報、あるいは、K.Fintzel他, "3D Parking Assistant System", 2004 IEEE Intelligent Vehicles Symposium, 2004などに開示された単眼ステレオ法を利用して、周辺画像上の各点までの距離を調べることにより、立体構造物を検出してもよい。   The three-dimensional structure detection unit 435 uses a monocular stereo method disclosed in Japanese Patent Application Laid-Open No. 2007-256029 or K. Fintzel et al., “3D Parking Assistant System”, 2004 IEEE Intelligent Vehicles Symposium, 2004, etc. Then, the three-dimensional structure may be detected by examining the distance to each point on the peripheral image.

あるいは、立体構造物検出部４３５は、車両の移動によってカメラの位置が変わることによる、周辺画像上の特定の路面領域の形状変化と立体構造物の形状変化が異なることを利用して、立体構造物を検出してもよい。この場合、立体構造物検出部４３５は、複数の周辺画像において抽出された、同一の対象物に対応する複数の特徴点が含まれる所定領域の形状の変化を調べ、その形状変化を、予め予測される路面の形状変化か立体構造物の形状変化の何れに属するかを判定することにより、立体構造物を検出してもよい。   Alternatively, the three-dimensional structure detection unit 435 uses the fact that the shape change of the specific road surface area on the peripheral image and the shape change of the three-dimensional structure differ due to the change of the camera position due to the movement of the vehicle. An object may be detected. In this case, the three-dimensional structure detection unit 435 examines a change in the shape of a predetermined area including a plurality of feature points corresponding to the same target object extracted from a plurality of surrounding images, and predicts the shape change in advance. The three-dimensional structure may be detected by determining which one of the shape change of the road surface and the shape change of the three-dimensional structure belongs.

また、立体構造物検出部４３５は、カメラ２ａ〜２ｃのうち、画像選択部４３１により選択された一つのカメラが、車両１０の移動中に連続して撮影することにより得られた複数の周辺画像から路面領域を推定し、推定された路面領域以外の周辺画像上に立体構造物が写っているとして、立体構造物を検出してもよい。そのために、例えば、立体構造物検出部４３５は、選択されたカメラにより取得された２枚の周辺画像間の対応点から、カメラの位置変化と路面に関するパラメータを推定する。そして立体構造物検出部４３５は、得られたカメラの位置変化と路面に関するパラメータから２枚の周辺画像間の路面に対する２次元射影変換行列を計算する。そして立体構造物検出部４３５は、得られた２次元射影変換行列を用いて一方の周辺画像を変換することにより、路面領域を推定する。なお、このような路面領域の推定方法は、例えば、山口他、「車載単眼カメラを用いた道路面領域の推定」、画像の認識・理解シンポジウム（MIRU2008）、2008年7月、などに開示されている。   In addition, the three-dimensional structure detection unit 435 includes a plurality of peripheral images obtained by continuously capturing images while one vehicle selected by the image selection unit 431 among the cameras 2 a to 2 c is moving the vehicle 10. The road surface area may be estimated from the three-dimensional structure, and the three-dimensional structure may be detected on the assumption that the three-dimensional structure is shown on a peripheral image other than the estimated road surface area. For this purpose, for example, the three-dimensional structure detection unit 435 estimates a camera position change and a parameter relating to a road surface from corresponding points between two peripheral images acquired by the selected camera. Then, the three-dimensional structure detection unit 435 calculates a two-dimensional projective transformation matrix for the road surface between the two peripheral images from the obtained camera position change and road surface parameters. Then, the three-dimensional structure detection unit 435 estimates the road surface area by converting one of the surrounding images using the obtained two-dimensional projective transformation matrix. Such road surface area estimation methods are disclosed in, for example, Yamaguchi et al., “Estimation of road surface area using in-vehicle monocular camera”, Image Recognition and Understanding Symposium (MIRU2008), July 2008, etc. ing.

また、車両１０に距離センサが搭載されている場合、立体構造物検出部４３５は、コントローラ４がＣＡＮ５を通じてその距離センサから取得した測距信号を用いて立体構造物を検出してもよい。この場合、測距信号が車両１０から所定距離に物体が存在することを示していれば、立体構造物検出部４３５は、その距離センサの測定対象領域に対応する周辺画像上の領域に立体構造物が存在すると判定する。   When the distance sensor is mounted on the vehicle 10, the three-dimensional structure detection unit 435 may detect the three-dimensional structure using the ranging signal acquired from the distance sensor by the controller 4 through the CAN 5. In this case, if the distance measurement signal indicates that an object is present at a predetermined distance from the vehicle 10, the three-dimensional structure detection unit 435 has a three-dimensional structure in a region on the peripheral image corresponding to the measurement target region of the distance sensor. It is determined that an object exists.

立体構造物検出部４３５は、周辺画像上の立体構造物に相当する領域を示す立体構造物情報を、ガイド描画部４３３へ渡す。立体構造物情報は、例えば、周辺画像と同じサイズの２値画像で表され、その２値画像は、検出された立体構造物に対応する領域に属する画素とその他の領域に属する画素が異なる輝度値を有する。また、立体構造物情報は、周辺画像の各画素ごとに、車両１０からの距離を表す距離情報を有していてもよい。   The three-dimensional structure detection unit 435 passes three-dimensional structure information indicating a region corresponding to the three-dimensional structure on the peripheral image to the guide drawing unit 433. The three-dimensional structure information is represented by, for example, a binary image having the same size as the surrounding image, and the binary image has different luminance values for pixels belonging to the area corresponding to the detected three-dimensional structure and pixels belonging to other areas. Has a value. In addition, the three-dimensional structure information may include distance information representing the distance from the vehicle 10 for each pixel of the peripheral image.

ガイド描画部４３３は、ガイド線と周辺画像上で検出された立体構造物が重なる場合、その重複領域ではガイド線を描画しない。そのために、先ず、ガイド描画部４３３は、第１の実施形態に関して説明した手順に従って、車両１０の進行方向における車両１０の左右端の推定軌跡に沿って画像座標系上でのガイド線の位置を決定する。そしてガイド描画部４３３は、決定されたガイド線の位置に基づいて、ガイド線が描画されるべき領域が立体構造物情報に示された立体構造物に対応する領域と重複する場合、その重複領域ではガイド線を消去する。   When the guide line and the three-dimensional structure detected on the peripheral image overlap, the guide drawing unit 433 does not draw the guide line in the overlapping region. For this purpose, first, the guide drawing unit 433 determines the position of the guide line on the image coordinate system along the estimated trajectories of the left and right ends of the vehicle 10 in the traveling direction of the vehicle 10 according to the procedure described in the first embodiment. decide. When the area where the guide line is to be drawn overlaps with the area corresponding to the three-dimensional structure indicated in the three-dimensional structure information based on the determined position of the guide line, the guide drawing unit 433 overlaps the overlapping area. Then delete the guide line.

そしてガイド描画部４３３は、ガイド線について、立体構造物との重複領域に関する修正を行って得られたガイド画像を画像合成部４３４へ渡す。画像合成部４３４は、画像描画部４３２から取得した補正画像上にそのガイド画像を重畳して合成画像を作成する。そして制御部４３は、得られた合成画像をディスプレイ３に表示させる。
これにより、合成画像上で、ガイド線は立体構造物の下に隠れるように見えるので、ドライバは、ディスプレイ３に表示された合成画像を参照して、車両１０の進行方向上に存在する立体構造物を容易に認識することができる。そのため、運転支援装置１は、ドライバが車両１０を立体構造物と衝突させてしまうことを防止できる。 Then, the guide drawing unit 433 passes a guide image obtained by correcting the overlapping area with the three-dimensional structure for the guide line to the image composition unit 434. The image composition unit 434 creates a composite image by superimposing the guide image on the corrected image acquired from the image drawing unit 432. Then, the control unit 43 causes the display 3 to display the obtained composite image.
Thereby, since the guide line appears to be hidden under the three-dimensional structure on the composite image, the driver refers to the composite image displayed on the display 3 and the three-dimensional structure existing in the traveling direction of the vehicle 10. Objects can be easily recognized. Therefore, the driving assistance device 1 can prevent the driver from colliding the vehicle 10 with the three-dimensional structure.

図９に、車両１０の進行方向上に立体構造物が存在する状況の一例を示す鳥瞰図９００を示す。図９に示される鳥瞰図９００では、車両１０が後進しようとしており、車両１０の後方に他の車両２０が存在する。そして、車両１０の左右端の推定軌跡９１０、９２０から明らかなように、車両１０がそのまま後進すると、車両１０は車両２０と衝突するおそれがある。
図１０に、図９に示される状況に対応する、ガイド線が表示された合成画像の一例を示す。図１０に示された合成画像１０００では、ガイド線１０１０及び１０２０が立体構造物である他の車両２０の下に隠れているように表示されている。そのため、ドライバは、ガイド線１０１０及び１０２０を参照することにより、車両１０の進行方向に存在する車両２０を容易に認識することが可能となる。 FIG. 9 shows a bird's eye view 900 showing an example of a situation in which a three-dimensional structure exists in the traveling direction of the vehicle 10. In the bird's eye view 900 shown in FIG. 9, the vehicle 10 is going backward, and another vehicle 20 exists behind the vehicle 10. As is apparent from the estimated trajectories 910 and 920 at the left and right ends of the vehicle 10, the vehicle 10 may collide with the vehicle 20 when the vehicle 10 moves backward as it is.
FIG. 10 shows an example of a composite image on which guide lines are displayed corresponding to the situation shown in FIG. In the composite image 1000 shown in FIG. 10, the guide lines 1010 and 1020 are displayed so as to be hidden under the other vehicle 20 that is a three-dimensional structure. Therefore, the driver can easily recognize the vehicle 20 existing in the traveling direction of the vehicle 10 by referring to the guide lines 1010 and 1020.

なお、ガイド描画部４３３は、車両の左右端の推定軌跡に沿って設定されたガイド線と立体構造物が重なる場合、車両１０から遠い方のガイド線の端点を、立体構造物と重なる点よりも実座標系上で所定距離手前側に相当する位置に設定し、その端点よりも遠いガイド線を消去してもよい。これにより、運転支援装置１は、ドライバがディスプレイ３に表示された合成画像上のガイド線の端点を参照することにより、車両１０を立体構造物と衝突する前に停止させることを補助できる。   Note that when the guide line set along the estimated trajectory of the left and right ends of the vehicle and the three-dimensional structure overlap, the guide drawing unit 433 determines the end point of the guide line far from the vehicle 10 from the point overlapping the three-dimensional structure. Also, a position corresponding to the front side of the predetermined distance on the real coordinate system may be set, and a guide line farther than the end point may be deleted. Thereby, the driving assistance device 1 can assist the driver to stop the vehicle 10 before colliding with the three-dimensional structure by referring to the end point of the guide line on the composite image displayed on the display 3.

また、ガイド描画部４３３は、車両１０の進行方向において、最も突出した部分（例えば、バンパー）の高さにガイド線を描画してもよい。そのために、ガイド描画部４３３は、上記の（６）、（８）式または（１１）、（１３）式において、Ｙ軸方向の高さhを、車両１０の進行方向において、最も突出した部分の高さに設定すればよい。あるいは、ガイド描画部４３３は、実座標系上において、車両１０の左右端の推定軌跡に沿って、路面に対して垂直な面内に格子状のガイド線を設定してもよい。
この場合も、ガイド描画部４３３は、車両１０の左右端の推定軌跡に沿って設定されたガイド線と立体構造物が重なる場合に、その重複領域ではガイド線を消去する。あるいは、ガイド描画部４３３は、何れかのガイド線が、立体構造物情報に示された立体構造物に対応する領域と重複する場合、その重複領域では立体構造物の輪郭に沿ってガイド線を描画してもよい。なお、立体構造物の輪郭に沿ってガイド線を描画するために、立体構造物中の任意の部位の実座標系上の座標が分かることが好ましい。そのため、この場合には、立体構造物検出部４３５は、単眼ステレオ法または距離センサを用いて立体構造物を検出することが好ましい。 In addition, the guide drawing unit 433 may draw a guide line at the height of the most protruding portion (for example, a bumper) in the traveling direction of the vehicle 10. Therefore, the guide drawing unit 433 is the portion that protrudes most in the traveling direction of the vehicle 10 with the height h in the Y-axis direction in the above formulas (6), (8) or (11), (13). Should be set to the height of. Alternatively, the guide drawing unit 433 may set a grid-shaped guide line in a plane perpendicular to the road surface along the estimated trajectories of the left and right ends of the vehicle 10 on the real coordinate system.
Also in this case, when the guide line set along the estimated trajectory at the left and right ends of the vehicle 10 and the three-dimensional structure overlap, the guide drawing unit 433 deletes the guide line in the overlapping region. Alternatively, when any of the guide lines overlaps with a region corresponding to the three-dimensional structure indicated in the three-dimensional structure information, the guide drawing unit 433 draws a guide line along the outline of the three-dimensional structure in the overlapping region. You may draw. In addition, in order to draw a guide line along the outline of the three-dimensional structure, it is preferable to know the coordinates on an actual coordinate system of an arbitrary part in the three-dimensional structure. Therefore, in this case, the three-dimensional structure detection unit 435 preferably detects the three-dimensional structure using a monocular stereo method or a distance sensor.

図１１に、図９に示される状況に対応する、ガイド線が表示された合成画像の他の一例を示す。図１１に示された合成画像１１００では、路面に対して垂直な面内に、車両１０の左右端の推定軌跡に沿って、格子状のガイド線が描画されている。このうち、ガイド線１１１０及び１１２０が車両１０のバンパーの高さに合わせて描画されている。さらに、ガイド線１１１０が、他の車両２０とぶつかったところで途切れている。そのため、ドライバは、ガイド線１１１０を参照することにより、車両１０が車両２０と衝突する位置を容易に認識できるので、車両１０が車両２０と衝突する前に車両１０を停止させることができる。   FIG. 11 shows another example of a composite image on which guide lines are displayed corresponding to the situation shown in FIG. In the composite image 1100 shown in FIG. 11, lattice-shaped guide lines are drawn along the estimated trajectories at the left and right ends of the vehicle 10 in a plane perpendicular to the road surface. Among these, guide lines 1110 and 1120 are drawn according to the height of the bumper of the vehicle 10. Further, the guide line 1110 is interrupted when it hits another vehicle 20. Therefore, the driver can easily recognize the position where the vehicle 10 collides with the vehicle 20 by referring to the guide line 1110, so that the vehicle 10 can be stopped before the vehicle 10 collides with the vehicle 20.

さらに、ガイド描画部４３３は、車両１０の左右端の推定軌跡に沿ってガイド線を表示する代わりに、車両１０の進行方向における先端部を中心とし、車両１０の進行方向において、最も突出した部分の高さにおいて、車両１０からの距離を様々に変えた同心円状のガイド線を描画してもよい。この場合も、ガイド描画部４３３は、実座標系上でその同心円状のガイド線の位置を決め、その後、同心円状のガイド線を画像座標系に投影することにより、合成画像上でのガイド線の位置を決定する。そしてガイド描画部４３３は、何れかのガイド線が、立体構造物情報に示された立体構造物に対応する領域と重複する場合、その重複領域ではガイド線を消去する。
さらに、ガイド描画部４３３は、ガイド線と立体構造物が重なった点に、ガイド線と異なるマークを描画してもよい。そのようなマークは、例えば、ガイド線と異なる色で描画される、円形、星型などの図形とすることができる。 Further, instead of displaying guide lines along the estimated trajectories of the left and right ends of the vehicle 10, the guide drawing unit 433 is a portion that protrudes most in the traveling direction of the vehicle 10 with the tip in the traveling direction of the vehicle 10 as the center. Concentric guide lines with various distances from the vehicle 10 may be drawn. Also in this case, the guide drawing unit 433 determines the position of the concentric guide line on the real coordinate system, and then projects the concentric guide line on the image coordinate system, thereby generating the guide line on the composite image. Determine the position. When any of the guide lines overlaps with an area corresponding to the three-dimensional structure indicated in the three-dimensional structure information, the guide drawing unit 433 deletes the guide line in the overlapping area.
Furthermore, the guide drawing unit 433 may draw a mark different from the guide line at the point where the guide line and the three-dimensional structure overlap each other. Such a mark can be, for example, a figure such as a circle or a star drawn in a color different from the guide line.

図１２に、図９に示される状況に対応する、ガイド線が表示された合成画像の他の一例を示す。図１２に示された合成画像１２００では、同心円状のガイド線１２１０〜１２４０が車両１０のバンパーの高さに合わせて描画されている。さらに、ガイド線１２１０〜１２３０が、他の車両２０とぶつかったところで途切れている。そのため、ドライバは、ガイド線１２１０〜１２４０を参照することにより、車両１０を他の車両と衝突させることなく、移動させることが可能な範囲を容易に認識することができる。   FIG. 12 shows another example of a composite image on which guide lines are displayed corresponding to the situation shown in FIG. In the composite image 1200 shown in FIG. 12, concentric guide lines 1210 to 1240 are drawn according to the height of the bumper of the vehicle 10. Furthermore, the guide lines 1210 to 1230 are interrupted when they collide with another vehicle 20. Therefore, the driver can easily recognize the range in which the vehicle 10 can be moved without causing the vehicle 10 to collide with another vehicle by referring to the guide lines 1210 to 1240.

このように、ガイド線を車両１０の最も突出した部分で描画することにより、ドライバは、ディスプレイ３に表示された合成画像を参照して、車両１０と立体構造物が最初に衝突する部分を容易に認識することができる。そのため、運転支援装置１は、ドライバが車両１０を立体構造物と衝突させてしまうことを防止できる。   In this way, by drawing the guide line at the most protruding portion of the vehicle 10, the driver can easily refer to the composite image displayed on the display 3 so that the vehicle 10 and the three-dimensional structure first collide with each other. Can be recognized. Therefore, the driving assistance device 1 can prevent the driver from colliding the vehicle 10 with the three-dimensional structure.

図１３に、制御部４３により制御される、第２の実施形態に係る運転支援装置１の動作フローチャートを示す。
まず、制御部４３は、操舵角センサ６から取得した操舵角信号、車輪速度センサ７から取得した車輪速度信号または電子制御ユニット８から取得したシフトポジション信号に基づいて、車両１０が後進を開始したこと、あるいは車両１０が所定速度（例えば、２０ｋｍ／ｈ）以下で旋回を開始したことを検知すると、処理を開始する。 In FIG. 13, the operation | movement flowchart of the driving assistance device 1 which concerns on 2nd Embodiment controlled by the control part 43 is shown.
First, based on the steering angle signal acquired from the steering angle sensor 6, the wheel speed signal acquired from the wheel speed sensor 7, or the shift position signal acquired from the electronic control unit 8, the control unit 43 starts the reverse travel of the vehicle 10. When it is detected that the vehicle 10 has started turning at a predetermined speed (for example, 20 km / h) or less, the processing is started.

まず、制御部４３の画像選択部４３１は、カメラ２ａ〜２ｃのうち、操舵角信号と、シフトポジション信号または車輪速度信号に基づいて、車両１０の進行方向に対応するカメラを選択する（ステップＳ２０１）。そして制御部４３は、選択されたカメラに対して画像取得要求信号を送信し、選択されたカメラから周辺画像を取得する（ステップＳ２０２）。そして制御部４３は、取得した周辺画像にその取得時間を関連付けて記憶部４１に記憶する。
次に、制御部４３の画像描画部４３２は、取得した周辺画像に対して輝度補正またはコントラスト補正などの補正処理を行って、補正画像を作成する（ステップＳ２０３）。そして画像描画部４３２は、作成した補正画像を制御部４３の画像合成部４３４へ渡す。 First, the image selection unit 431 of the control unit 43 selects a camera corresponding to the traveling direction of the vehicle 10 based on the steering angle signal and the shift position signal or the wheel speed signal among the cameras 2a to 2c (step S201). ). And the control part 43 transmits an image acquisition request signal with respect to the selected camera, and acquires a periphery image from the selected camera (step S202). Then, the control unit 43 stores the acquired peripheral image in the storage unit 41 in association with the acquisition time.
Next, the image drawing unit 432 of the control unit 43 performs correction processing such as luminance correction or contrast correction on the acquired peripheral image to create a corrected image (step S203). Then, the image drawing unit 432 passes the created corrected image to the image composition unit 434 of the control unit 43.

また、制御部４３の立体構造物検出部４３５は、記憶部４１に記憶されている、所定フレーム数前に取得された過去の周辺画像及び最新の周辺画像と、その過去の周辺画像が取得されてから最新の周辺画像が取得されるまでの操舵角信号及び車輪速度信号に基づき、単眼ステレオ法などを用いることにより、周辺画像中に写っている立体構造物を検出する（ステップＳ２０４）。そして立体構造物検出部４３５は、検出された立体構造物に対応する領域を示す立体構造物情報を制御部４３のガイド描画部４３３へ渡す。なお、所定フレーム数は、例えば、1〜10フレームの何れかとすることができる。   In addition, the three-dimensional structure detection unit 435 of the control unit 43 acquires the past peripheral image and the latest peripheral image that are stored in the storage unit 41 and acquired the predetermined number of frames ago, and the past peripheral image. Based on the steering angle signal and the wheel speed signal from when the latest peripheral image is acquired, the three-dimensional structure shown in the peripheral image is detected by using a monocular stereo method or the like (step S204). Then, the three-dimensional structure detection unit 435 passes three-dimensional structure information indicating a region corresponding to the detected three-dimensional structure to the guide drawing unit 433 of the control unit 43. The predetermined number of frames can be any one of 1 to 10 frames, for example.

また、制御部４３のガイド描画部４３３は、操舵角信号及び車輪速度信号に基づいて、車両１０の進行方向における、車両１０の左右端の軌跡を推定する（ステップＳ２０５）。そしてガイド描画部４３３は、その推定軌跡に沿って、所定幅を持つガイド線の実座標系上の位置を決定する（ステップＳ２０６）。その後、ガイド描画部４３３は、実座標系上のガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影して、合成画像上のガイド線の位置を決定する（ステップＳ２０７）。   Further, the guide drawing unit 433 of the control unit 43 estimates the trajectories of the left and right ends of the vehicle 10 in the traveling direction of the vehicle 10 based on the steering angle signal and the wheel speed signal (step S205). Then, the guide drawing unit 433 determines the position of the guide line having a predetermined width on the real coordinate system along the estimated locus (step S206). Thereafter, the guide drawing unit 433 projects the guide line on the real coordinate system onto the image coordinate system representing the position of the structure around the vehicle on the composite image, and determines the position of the guide line on the composite image. (Step S207).

次に、ガイド描画部４３３は、ガイド線が描画されるべき領域と立体構造物が存在する領域が重複するか否か判定する（ステップＳ２０８）。ステップＳ２０８において、ガイド線が描画されるべき領域と立体構造物が存在する領域が重複する場合、ガイド描画部４３３は、その重複領域内ではガイド線を描画しないように、ガイド線を修正する（ステップＳ２０９）。ステップＳ２０９の後、ガイド描画部４３３は、ガイド線が描画されたガイド画像を作成する（ステップＳ２１０）。そしてガイド描画部４３３は、ガイド画像を画像合成部４３４へ渡す。
一方、ステップＳ２０８において、ガイド線が描画されるべき領域と立体構造物が存在する領域が重複しない場合、制御部４３は、制御を直接ステップＳ２１０へ移行する。 Next, the guide drawing unit 433 determines whether the area where the guide line is to be drawn overlaps with the area where the three-dimensional structure is present (step S208). In step S208, when the area where the guide line is to be drawn overlaps with the area where the three-dimensional structure exists, the guide drawing unit 433 corrects the guide line so as not to draw the guide line within the overlap area ( Step S209). After step S209, the guide drawing unit 433 creates a guide image in which guide lines are drawn (step S210). Then, the guide drawing unit 433 passes the guide image to the image composition unit 434.
On the other hand, in step S208, when the area where the guide line is to be drawn does not overlap with the area where the three-dimensional structure is present, the control unit 43 proceeds directly to step S210.

画像合成部４３４は、画像描画部４３２により作成された補正画像上にガイド描画部４３３により描画されたガイド画像を重畳して、合成画像を作成する（ステップＳ２１１）。そして画像合成部４３４は、作成された合成画像を制御部４３へ渡す。制御部４３は、ディスプレイ３にその合成画像を表示させる（ステップＳ２１２）。   The image composition unit 434 creates a composite image by superimposing the guide image drawn by the guide drawing unit 433 on the corrected image created by the image drawing unit 432 (step S211). Then, the image composition unit 434 passes the created composite image to the control unit 43. The control unit 43 displays the composite image on the display 3 (step S212).

次に、制御部４３は、運転支援装置１を待機状態にすべきか否か判定する（ステップＳ２１３）。制御部４３は、運転支援装置１を待機状態にしない場合、ステップＳ２０２〜Ｓ２１３の処理を繰り返す。一方、制御部４３は、運転支援装置１を待機状態にすべき場合、処理を終了する。なお、運転支援装置１を待機状態にする条件は、例えば、車両１０が停止してから所定時間（例えば、１０秒間）経過したこととすることができる。あるいは、その条件は、車両１０のインストルメントパネルなどに設置された運転支援装置１の操作部（図示せず）を介して、ドライバが運転支援装置１をオフにしたことであってもよい。   Next, the control unit 43 determines whether or not the driving support device 1 should be put in a standby state (step S213). The control part 43 repeats the process of step S202-S213, when not making the driving assistance device 1 into a standby state. On the other hand, the control part 43 complete | finishes a process, when the driving assistance apparatus 1 should be made into a standby state. The condition for putting the driving assistance device 1 in the standby state can be, for example, that a predetermined time (for example, 10 seconds) has elapsed since the vehicle 10 stopped. Alternatively, the condition may be that the driver turns off the driving support device 1 via an operation unit (not shown) of the driving support device 1 installed on an instrument panel or the like of the vehicle 10.

なお、上記の動作フローチャートでは、立体構造物を検出するために、立体構造物検出部４３５は、単眼ステレオ法など複数フレームの画像を用いるものとしている。そのため、所定フレーム数前に取得された過去の周辺画像が記憶部４１に記憶されていない場合、制御部４３は、ステップＳ２０４、Ｓ２０８及びＳ２０９の処理を省略する。しかし、立体構造物検出部４３５が距離センサを利用して立体構造物を検出する場合、ステップＳ２０４では、最新フレームの周辺画像のみが用いられて立体構造物が検出される。
また、各ステップにおける、制御部４３の各部の処理の詳細は既に詳述したので、ここではその説明を省略する。 In the above operation flowchart, in order to detect a three-dimensional structure, the three-dimensional structure detection unit 435 uses a plurality of frames of images such as a monocular stereo method. Therefore, when the past peripheral images acquired before the predetermined number of frames are not stored in the storage unit 41, the control unit 43 omits the processes of steps S204, S208, and S209. However, when the three-dimensional structure detection unit 435 detects the three-dimensional structure using the distance sensor, in step S204, the three-dimensional structure is detected using only the peripheral image of the latest frame.
In addition, since the details of the processing of each unit of the control unit 43 in each step have already been described in detail, the description thereof is omitted here.

以上説明してきたように、本発明の第２の実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を表す周辺画像から、その撮像範囲内に存在する立体構造物を検出する。そしてこの運転支援装置は、車両の予測進行方向を示すガイド線とその立体構造物が重なる場合に、ガイド線よりも立体構造物を優先して表示する。そのため、この運転支援装置は、ドライバが立体構造物の存在を容易に認識できるとともに、ドライバ自身が運転する車両が立体構造物に衝突する可能性をドライバに正確に認識させることができる。   As described above, the driving support apparatus according to the second embodiment of the present invention is based on a peripheral image representing a structure around the vehicle photographed by a camera installed at the rear of the vehicle or the front of the left and right of the vehicle. A three-dimensional structure existing within the imaging range is detected. The driving support device displays the three-dimensional structure with priority over the guide line when the guide line indicating the predicted traveling direction of the vehicle and the three-dimensional structure overlap. Therefore, this driving support device can easily recognize the presence of the three-dimensional structure by the driver and can cause the driver to accurately recognize the possibility that the vehicle driven by the driver will collide with the three-dimensional structure.

なお、本発明は上記の実施形態に限定されるものではない。例えば、運転支援装置が有するカメラの台数は３台に限られず、例えば、運転支援装置は、車両後方を撮影する１台のカメラのみを有していてもよい。あるいは、運転支援装置は、車両後方を撮影するカメラと、車両前方の左右の角のうち、運転席から離れた方の角に設置されたカメラのみを有していてもよい。
また、制御部は、カメラにより取得された周辺画像をそのままディスプレイに表示させても、ドライバがその周辺画像に写った車両周囲の景色を認識できると考えられる場合、画像描画部の処理を省略してもよい。 In addition, this invention is not limited to said embodiment. For example, the number of cameras included in the driving support device is not limited to three. For example, the driving support device may include only one camera that captures the rear of the vehicle. Alternatively, the driving support apparatus may include only a camera that captures the rear of the vehicle and a camera that is installed at a corner farther from the driver's seat among the left and right corners in front of the vehicle.
In addition, the control unit omits the processing of the image drawing unit when it is considered that the driver can recognize the scenery around the vehicle reflected in the surrounding image even if the surrounding image acquired by the camera is displayed on the display as it is. May be.

さらに、制御部のガイド描画部は、ガイド線の代わりに、あるいはガイド線とともに、車両の予測進行方向を示す矢印マークをガイド画像上に描画してもよい。この矢印マークは、例えば、車両の予測進行方向が右旋回である場合は、右折を表す道路標示のように、途中で右側へ所定角度だけ曲がる矢印とすることができ、また、車両の回転半径が小さくなるほど、ガイド描画部はその所定角度を大きくしてもよい。同様に、矢印マークは、例えば、車両の予測進行方向が左旋回である場合は、左折を表す道路標示のように、途中で左側へ所定角度だけ曲がる矢印とすることができ、また、車両の回転半径が小さくなるほど、ガイド描画部はその所定角度を大きくしてもよい。   Further, the guide drawing unit of the control unit may draw an arrow mark indicating the predicted traveling direction of the vehicle on the guide image instead of or together with the guide line. For example, when the predicted traveling direction of the vehicle is a right turn, the arrow mark can be an arrow that turns to the right by a predetermined angle on the way, such as a road sign indicating a right turn. The guide drawing unit may increase the predetermined angle as the radius decreases. Similarly, for example, when the predicted traveling direction of the vehicle is a left turn, the arrow mark can be an arrow that turns a predetermined angle to the left halfway like a road sign indicating a left turn. As the turning radius decreases, the guide drawing unit may increase the predetermined angle.

さらにガイド描画部は、その矢印マークにおいて、車両が旋回する方向に対応する側の部分の色を他の部分の色と変えてもよい。例えば、車両の予測進行方向が右旋回である場合、ガイド描画部は、矢印マークの右側面部分の色を赤色とし、矢印マークのその他の部分の色を白色としてもよい。さらにまた、ガイド描画部は、車両の回転半径が小さくなるほど、その矢印マークにおける、車両が旋回する方向に対応する側の部分の色と、他の部分の色の差を大きくしてもよい。
上記のように、当業者は、本発明の範囲内で様々な修正を行うことが可能である。 Further, the guide drawing unit may change the color of the part corresponding to the direction in which the vehicle turns in the arrow mark with the color of the other part. For example, when the predicted traveling direction of the vehicle is a right turn, the guide drawing unit may set the color of the right side surface of the arrow mark to red and the color of the other part of the arrow mark to white. Furthermore, the guide drawing unit may increase the difference between the color of the part corresponding to the direction in which the vehicle turns in the arrow mark and the color of the other part as the turning radius of the vehicle decreases.
As described above, those skilled in the art can make various modifications within the scope of the present invention.

本発明の実施形態に係る運転支援装置の全体構成図である。1 is an overall configuration diagram of a driving support apparatus according to an embodiment of the present invention. （ａ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略平面図であり、（ｂ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略側面図である。(A) is a schematic plan view of the vehicle which shows arrangement | positioning of the camera contained in the driving assistance apparatus which concerns on embodiment of this invention, (b) is a camera contained in the driving assistance apparatus which concerns on embodiment of this invention. It is a schematic side view of the vehicle which shows arrangement | positioning. 本発明の第１の実施形態に係る運転支援装置の制御部の機能ブロック図である。It is a functional block diagram of the control part of the driving assistance device concerning a 1st embodiment of the present invention. 車両の進行方向の推定軌跡を求める方法の説明図である。It is explanatory drawing of the method of calculating | requiring the estimated locus | trajectory of the advancing direction of a vehicle. 合成画像の一例を示す図である。It is a figure which shows an example of a synthesized image. 合成画像の他の一例を示す図である。It is a figure which shows another example of a synthesized image. 本発明の第１の実施形態に係る運転支援装置の動作フローチャートである。It is an operation | movement flowchart of the driving assistance device which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る運転支援装置の制御部の機能ブロック図である。It is a functional block diagram of the control part of the driving assistance device concerning a 2nd embodiment of the present invention. 運転支援装置が搭載された車両の進行方向に他の車両が存在する状況の一例を示す鳥瞰図である。It is a bird's-eye view which shows an example of the condition where another vehicle exists in the advancing direction of the vehicle carrying a driving assistance device. 図９の状況に対応する合成画像の一例を示す図である。It is a figure which shows an example of the synthesized image corresponding to the condition of FIG. 図９の状況に対応する合成画像の他の一例を示す図である。It is a figure which shows another example of the synthesized image corresponding to the condition of FIG. 図９の状況に対応する合成画像のさらに他の一例を示す図である。It is a figure which shows another example of the synthesized image corresponding to the condition of FIG. 本発明の第２の実施形態に係る運転支援装置の動作フローチャートである。It is an operation | movement flowchart of the driving assistance device which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１ 運転支援装置
２ａ、２ｂ、２ｃ カメラ
３ ディスプレイ
４ コントローラ
４１ 記憶部
４２ 通信部
４３ 制御部
４３１ 画像選択部
４３２ 画像描画部
４３３ ガイド描画部
４３４ 画像合成部
４３５ 立体構造物検出部
５ コントロールエリアネットワーク（ＣＡＮ）
１０ 車両 DESCRIPTION OF SYMBOLS 1 Driving assistance apparatus 2a, 2b, 2c Camera 3 Display 4 Controller 41 Memory | storage part 42 Communication part 43 Control part 431 Image selection part 432 Image drawing part 433 Guide drawing part 434 Image composition part 435 Three-dimensional structure detection part 5 Control area network ( CAN)
10 Vehicle

Claims (7)

車両（１０）の周囲を撮影して、該車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、
車両（１０）の進行方向の軌跡を推定し、該軌跡に沿った所定幅を持つガイド線を実空間上での前記車両周囲の構造物の位置を表す実座標系上で設定し、かつ実座標系上のガイド線を、前記撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、前記画像上での前記車両周囲の構造物の位置を表す画像座標系上に投影することにより、前記画像上にガイド線を描画するガイド描画部（４３３）と、
前記画像上に前記描画されたガイド線を重畳した合成画像を作成する画像合成部（４３４）と、
前記合成画像を表示する表示部（３）と、
を有することを特徴とする運転支援装置。 An imaging unit (2a to 2c) that captures an image of the surroundings of the vehicle (10) and captures images of structures around the vehicle;
A trajectory in the traveling direction of the vehicle (10) is estimated, a guide line having a predetermined width along the trajectory is set on the real coordinate system representing the position of the structure around the vehicle in real space, and A guide line on the coordinate system is placed on the image coordinate system representing the position of the structure around the vehicle on the image in accordance with the mounting position and the photographing direction of the imaging units (2a to 2c) with respect to the vehicle (10). A guide drawing unit (433) for drawing a guide line on the image by projecting;
An image composition unit (434) for creating a composite image in which the drawn guide line is superimposed on the image;
A display unit (3) for displaying the composite image;
A driving support device comprising: 前記撮像部（２ａ〜２ｃ）が有する撮像光学系の歪曲収差量を前記画像上の各画素について示したルックアップテーブルを記憶する記憶部（４１）をさらに有し、
前記ガイド描画部（４３３）は、前記ルックアップテーブルを参照することにより、前記画像座標系上に投影されたガイド線の位置を前記歪曲収差量に応じて補正する、請求項１に記載の運転支援装置。 A storage unit (41) for storing a look-up table showing the distortion amount of the imaging optical system of the imaging unit (2a to 2c) for each pixel on the image;
The driving according to claim 1, wherein the guide drawing unit (433) corrects the position of the guide line projected on the image coordinate system according to the distortion aberration amount by referring to the lookup table. Support device. 前記ガイド描画部（４３３）は、前記実座標系上で前記ガイド線を車両（１０）の進行方向における車両（１０）の左右端の推定軌跡間に格子状に設定し、かつ該格子状に設定されたガイド線を前記画像座標系上に投影することにより、前記画像上に格子状のガイド線を描画する請求項１または２に記載の運転支援装置。   The guide drawing unit (433) sets the guide lines in a grid shape between the estimated trajectories of the left and right ends of the vehicle (10) in the traveling direction of the vehicle (10) on the real coordinate system, and The driving support apparatus according to claim 1 or 2, wherein a grid-like guide line is drawn on the image by projecting the set guide line onto the image coordinate system. 前記画像から、前記車両周囲の立体構造物を検出する立体構造物検出部（４３５）をさらに有し、
前記ガイド描画部（４３３）は、前記ガイド線のうちの前記立体構造物が重なる部分を描画しない、請求項１〜３の何れか一項に記載の運転支援装置。 A three-dimensional structure detection unit (435) for detecting a three-dimensional structure around the vehicle from the image;
The driving assistance device according to any one of claims 1 to 3, wherein the guide drawing unit (433) does not draw a portion of the guide line where the three-dimensional structure overlaps. 前記ガイド描画部（４３３）は、前記実座標系におけるガイド線を、前記車両（１０）の進行方向において、前記車両（１０）の最も突出した部分の高さにを設定する、請求項１〜４の何れか一項に記載の運転支援装置。   The said guide drawing part (433) sets the guide line in the said real coordinate system to the height of the most projecting part of the said vehicle (10) in the advancing direction of the said vehicle (10). The driving support device according to any one of 4. 前記撮像部（２ｂ）は、前記車両（１０）の左前方に取り付けられ、前記車両（１０）の前側端部の少なくとも一部及び前記車両（１０）の左前方の路面を撮影する、請求項１〜５の何れか一項に記載の運転支援装置。   The said imaging part (2b) is attached to the left front of the said vehicle (10), and image | photographs at least one part of the front side edge part of the said vehicle (10), and the road surface of the left front of the said vehicle (10). The driving assistance apparatus as described in any one of 1-5. 車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影して、該車両周囲の構造物を撮影した画像を取得するステップと、
車両（１０）の進行方向の軌跡を推定し、該軌跡に沿った所定幅を持つガイド線を実空間上での前記車両周囲の構造物の位置を表す実座標系上で設定するステップと、
前記実座標系上のガイド線を、前記撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、前記画像上での前記車両周囲の構造物の位置を表す画像座標系上に投影することにより、前記画像上にガイド線を描画するステップと、
前記画像上に前記描画されたガイド線を重畳した合成画像を作成するステップと、
前記合成画像を表示するステップと、
を有することを特徴とする運転支援方法。 Photographing the surroundings of the vehicle (10) with the imaging units (2a to 2c) attached to the vehicle (10), and obtaining an image of the structure around the vehicle;
Estimating a trajectory in the traveling direction of the vehicle (10), and setting a guide line having a predetermined width along the trajectory on a real coordinate system representing a position of a structure around the vehicle in real space;
An image coordinate system that represents the position of the structure around the vehicle on the image, with the guide line on the real coordinate system in accordance with the mounting position and shooting direction of the imaging units (2a to 2c) with respect to the vehicle (10). Drawing a guide line on the image by projecting on;
Creating a composite image in which the drawn guide line is superimposed on the image;
Displaying the composite image;
A driving support method characterized by comprising:
JP2008312530A 2008-12-08 2008-12-08 Device and method for supporting drive Pending JP2010136289A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008312530A JP2010136289A (en) 2008-12-08 2008-12-08 Device and method for supporting drive

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008312530A JP2010136289A (en) 2008-12-08 2008-12-08 Device and method for supporting drive

Publications (1)

Publication Number Publication Date
JP2010136289A true JP2010136289A (en) 2010-06-17

Family

ID=42347083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008312530A Pending JP2010136289A (en) 2008-12-08 2008-12-08 Device and method for supporting drive

Country Status (1)

Country Link
JP (1) JP2010136289A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011141971A1 (en) * 2010-05-14 2011-11-17 三菱電機株式会社 Parking support apparatus, parking support system, and parking-support camera unit
JP2013135316A (en) * 2011-12-26 2013-07-08 Aisin Seiki Co Ltd Obstacle warning device
JP2013175064A (en) * 2012-02-24 2013-09-05 Kyocera Corp Video processing device, video processing method, and video display system
KR101377036B1 (en) 2010-12-21 2014-04-02 주식회사 만도 Parking assist apparstus and method for controlling parking of the same
WO2014174575A1 (en) * 2013-04-22 2014-10-30 トヨタ自動車株式会社 Vehicular head-up display device
JP5643344B2 (en) * 2011-01-27 2014-12-17 京セラ株式会社 Vehicle travel support device
JP2015074260A (en) * 2013-10-04 2015-04-20 本田技研工業株式会社 Parking support device
JP2016043778A (en) * 2014-08-21 2016-04-04 アイシン精機株式会社 Image display control device and image display system
JP2016085657A (en) * 2014-10-28 2016-05-19 三菱自動車工業株式会社 Non-lighted vehicle detection apparatus
JP2018024306A (en) * 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド Display control device, display control method, and program
KR101821106B1 (en) 2016-09-23 2018-03-08 현대자동차주식회사 Vehicle and control method for the same
CN108476307A (en) * 2016-07-21 2018-08-31 Jvc 建伍株式会社 Display control unit, method, program and system
CN111497736A (en) * 2018-12-28 2020-08-07 株式会社小糸制作所 Marker light system
JP2020161866A (en) * 2019-03-25 2020-10-01 パナソニックＩｐマネジメント株式会社 Image generating device, camera, display system, and vehicle
US10930156B2 (en) 2016-08-09 2021-02-23 JVC Kenwood Corporation Display control apparatus, display apparatus, display control method, and program
JP2021111854A (en) * 2020-01-08 2021-08-02 トヨタ自動車株式会社 Electronic mirror system for vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314991A (en) * 2001-02-09 2002-10-25 Matsushita Electric Ind Co Ltd Image synthesizer
JP2004198211A (en) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd Apparatus for monitoring vicinity of mobile object
JP2004235987A (en) * 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd Drive supporting system
JP2005186906A (en) * 2003-12-26 2005-07-14 Nissan Motor Co Ltd Passage determination supporting device and method
JP2005236540A (en) * 2004-02-18 2005-09-02 Matsushita Electric Ind Co Ltd On-vehicle camera device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314991A (en) * 2001-02-09 2002-10-25 Matsushita Electric Ind Co Ltd Image synthesizer
JP2004198211A (en) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd Apparatus for monitoring vicinity of mobile object
JP2004235987A (en) * 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd Drive supporting system
JP2005186906A (en) * 2003-12-26 2005-07-14 Nissan Motor Co Ltd Passage determination supporting device and method
JP2005236540A (en) * 2004-02-18 2005-09-02 Matsushita Electric Ind Co Ltd On-vehicle camera device

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011141971A1 (en) * 2010-05-14 2011-11-17 三菱電機株式会社 Parking support apparatus, parking support system, and parking-support camera unit
KR101377036B1 (en) 2010-12-21 2014-04-02 주식회사 만도 Parking assist apparstus and method for controlling parking of the same
JP5643344B2 (en) * 2011-01-27 2014-12-17 京セラ株式会社 Vehicle travel support device
US9363485B2 (en) 2011-01-27 2016-06-07 Kyocera Corporation Vehicle driving assist device
JP2013135316A (en) * 2011-12-26 2013-07-08 Aisin Seiki Co Ltd Obstacle warning device
JP2013175064A (en) * 2012-02-24 2013-09-05 Kyocera Corp Video processing device, video processing method, and video display system
WO2014174575A1 (en) * 2013-04-22 2014-10-30 トヨタ自動車株式会社 Vehicular head-up display device
JP2015074260A (en) * 2013-10-04 2015-04-20 本田技研工業株式会社 Parking support device
JP2016043778A (en) * 2014-08-21 2016-04-04 アイシン精機株式会社 Image display control device and image display system
JP2016085657A (en) * 2014-10-28 2016-05-19 三菱自動車工業株式会社 Non-lighted vehicle detection apparatus
CN108476307A (en) * 2016-07-21 2018-08-31 Jvc 建伍株式会社 Display control unit, method, program and system
JP2018024306A (en) * 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド Display control device, display control method, and program
US10930156B2 (en) 2016-08-09 2021-02-23 JVC Kenwood Corporation Display control apparatus, display apparatus, display control method, and program
KR101821106B1 (en) 2016-09-23 2018-03-08 현대자동차주식회사 Vehicle and control method for the same
CN111497736A (en) * 2018-12-28 2020-08-07 株式会社小糸制作所 Marker light system
CN111497736B (en) * 2018-12-28 2023-08-04 株式会社小糸制作所 Sign lamp system
JP2020161866A (en) * 2019-03-25 2020-10-01 パナソニックＩｐマネジメント株式会社 Image generating device, camera, display system, and vehicle
WO2020194893A1 (en) * 2019-03-25 2020-10-01 パナソニックＩｐマネジメント株式会社 Image generation device, camera, display system, and vehicle
JP7209189B2 (en) 2019-03-25 2023-01-20 パナソニックＩｐマネジメント株式会社 Image generation device, camera, display system, vehicle and image generation method
US11820300B2 (en) 2019-03-25 2023-11-21 Panasonic Intellectual Property Management Co., Ltd. Image generation device, camera, display system, and vehicle
JP2021111854A (en) * 2020-01-08 2021-08-02 トヨタ自動車株式会社 Electronic mirror system for vehicle
JP7327171B2 (en) 2020-01-08 2023-08-16 トヨタ自動車株式会社 Vehicle electronic mirror system

Similar Documents

Publication Publication Date Title
JP2010136289A (en) Device and method for supporting drive
JP4970926B2 (en) Vehicle periphery monitoring device
JP4970516B2 (en) Surrounding confirmation support device
JP5108605B2 (en) Driving support system and vehicle
JP5083841B2 (en) Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method
US6366221B1 (en) Rendering device
JP2008182652A (en) Camera posture estimation device, vehicle, and camera posture estimating method
US20160216128A1 (en) Estimated Route Presentation Apparatus and Estimated Route Presentation Method
JP2013001366A (en) Parking support device and parking support method
US20170259830A1 (en) Moving amount derivation apparatus
JP2007142545A (en) Vehicle periphery image processing apparatus and program
JP2018118622A (en) Head-up display device and display control method
JP4756316B2 (en) Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method
JP5178454B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
JP2010016805A (en) Image processing apparatus, driving support system, and image processing method
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
JP2008092459A (en) Periphery monitoring apparatus
JP2008262333A (en) Road surface discrimination device and road surface discrimination method
JP5539250B2 (en) Approaching object detection device and approaching object detection method
JP2008085710A (en) Driving support system
KR101203816B1 (en) Robot fish localization system using artificial markers and method of the same
JP2009188635A (en) Vehicle peripheral image processor and vehicle peripheral condition presenting method
JP3521859B2 (en) Vehicle peripheral image processing device and recording medium
JP2010218058A (en) Device and method for supporting driving
JP2008033781A (en) Road surface gradient detection device and image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121120