JP2006303985A - Predictive course display device and method - Google Patents
Predictive course display device and method Download PDFInfo
- Publication number
- JP2006303985A JP2006303985A JP2005123820A JP2005123820A JP2006303985A JP 2006303985 A JP2006303985 A JP 2006303985A JP 2005123820 A JP2005123820 A JP 2005123820A JP 2005123820 A JP2005123820 A JP 2005123820A JP 2006303985 A JP2006303985 A JP 2006303985A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- predicted course
- predicted
- host vehicle
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、自車両の予測進路を表示する予測進路表示装置およびその方法に関する。 The present invention relates to a predicted route display apparatus and method for displaying a predicted route of a host vehicle.
従来より、ドライバーの運転操作のアシストといった観点から、それぞれが車両の周囲を撮像した複数のカメラからの映像を処理し、これをドライバーに提示する装置が知られている。この類の装置では、複数のカメラからの映像を基準面（例えば、道路）に対して座標変換することで、あたかも上空から車両を含む景色を撮像したような映像をドライバーに提示する手法が用いられることがある。このような俯瞰映像を用いることは、地面上の白線や縁石などと自車両との位置関係が客観的に表現されるため、駐車枠にあわせて駐車する場合や縁石に幅寄せをするような場合において有利である。 2. Description of the Related Art Conventionally, from the viewpoint of assisting a driver's driving operation, an apparatus that processes images from a plurality of cameras each capturing an image of the surroundings of a vehicle and presents them to the driver is known. In this type of device, a technique is used in which images from a plurality of cameras are coordinate-transformed with respect to a reference plane (for example, a road) to present the driver with images as if a scene including a vehicle is captured from above. May be. Using such a bird's-eye view image objectively expresses the positional relationship between the white line on the ground, the curbstone, etc., and the vehicle, so it may be necessary to park in accordance with the parking frame or to bring the curb closer. It is advantageous in some cases.
また、特許文献１に開示されているように、車両の予測進路をカメラ映像と重ね合わせて表示することにより、ドライバーの運転操作をアシストする装置も知られている。
しかしながら、車両の周囲の景色を俯瞰的に表した俯瞰映像を作成した場合には、基準面より高い位置や低い位置にある物体については、その位置関係が正しく再現されないという問題がある。そのため、停止車両などの物体が実際の位置よりも遠方に表示されることがあり、この映像上に予測進路を表示した場合には、予測進路上には物体が存在していないにも拘わらず、実際には自車両がそれと衝突してしまう虞があるという不都合が生じる。 However, when a bird's-eye view image that represents a bird's-eye view of the surroundings of the vehicle is created, there is a problem in that the positional relationship is not correctly reproduced with respect to an object at a position higher or lower than the reference plane. For this reason, an object such as a stopped vehicle may be displayed farther from the actual position. When the predicted course is displayed on this image, the object is not present on the predicted course. In fact, there is a disadvantage that the host vehicle may collide with it.
本発明はこのような事情に鑑みてなされたものであり、その目的は、実空間において自車両の予測進路内に存在する物体の位置を考慮して、俯瞰映像上に予測進路を表示することにより、物体との接触といった実態の発生を抑制することである。 The present invention has been made in view of such circumstances, and an object thereof is to display a predicted course on a bird's-eye view image in consideration of the position of an object existing in the predicted course of the host vehicle in real space. Therefore, it is possible to suppress the occurrence of actual conditions such as contact with an object.
かかる課題を解決するために、本発明は、予測進路表示装置を提供する。この予測進路表示装置は、複数の撮像手段と、画像処理手段と、表示手段と、制御手段とを有する。ここで、複数の撮像手段は、それぞれが車体の周囲に配置され、自車両周囲の映像を撮像する。画像処理手段は、複数の撮像手段によって撮像された映像のそれぞれに基づいて、自車両を中心とした周囲の映像を俯瞰的に表した俯瞰映像を作成する。表示手段は、画像処理手段によって作成された俯瞰映像を表示する。制御手段は、実空間において物体が自車両の予測進路内に存在する可能性のある領域を、俯瞰映像と重ね合わせて表示するように、表示手段を制御する。 In order to solve this problem, the present invention provides a predicted course display device. This predicted course display device has a plurality of imaging means, image processing means, display means, and control means. Here, each of the plurality of image pickup means is arranged around the vehicle body and picks up an image around the host vehicle. The image processing unit creates a bird's-eye view video that represents a surrounding image centered on the host vehicle based on each of the images captured by the plurality of imaging units. The display means displays the overhead video created by the image processing means. The control means controls the display means so that an area in which the object may exist in the predicted course of the host vehicle in real space is displayed so as to overlap with the overhead view video.
本発明によれば、実空間において物体が自車両の予測進路内に存在する可能性のある領域を、俯瞰映像と重ね合わせて表示するため、俯瞰映像中で消失する高さ情報を俯瞰映像上で得ることができる。また、俯瞰映像において、物体と自車両とが接触する可能性のある位置を領域で確認することができる。これにより、物体との接触といった実態の発生を有効に抑制することができる。 According to the present invention, since an area where an object may exist in the predicted course of the host vehicle in real space is displayed superimposed on the overhead image, the height information that disappears in the overhead image is displayed on the overhead image. Can be obtained at In addition, in the bird's-eye view video, it is possible to confirm in the area a position where the object and the host vehicle may come into contact with each other. Thereby, it is possible to effectively suppress the occurrence of actual conditions such as contact with an object.
以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る予測進路表示装置１０の全体構成を示すブロック図である。この予測進路表示装置１０は、車両周囲の映像と、車両の予測進路とを重畳的に表示することにより、ドライバーの運転操作をアシストする装置であり、撮像部１１、映像処理部（画像処理手段）１２、制御部（制御手段）１３、表示部（表示手段）１４および操作部１５を主体に構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an overall configuration of a predicted
撮像部１１は、それぞれが車体の周囲に配置された複数のカメラ（撮像手段）１１ａ〜１１ｄによって構成されている。カメラ１１ａ〜１１ｄとしては、例えば、可視光を撮像するためのＣＣＤカメラ等を用いることができる。撮像部１１を構成する個々のカメラ１１ａ〜１１ｄは、図２に示すように、右ドアミラー、車両のリア、左ドアミラー、車両のフロントの合計４箇所にそれぞれ取り付けられている。車両のリアに取り付けられたカメラ１１ｂは、図３（ａ）のハッチングに示すように、車両後方を撮像し、左ドアミラーに取り付けられたカメラ１１ｃは、同図（ｂ）のハッチングに示すように、車両の左側方を撮像する。また、車両のフロントに取り付けられたカメラ１１ｄは、同図（ｃ）のハッチングに示すように、車両前方を撮像し、車両の右ドアミラーに取り付けられたカメラ１１ａは、同図（ｄ）のハッチングに示すように、車両の右側方を撮像する。個々のカメラ１１ａ〜１１ｄは、それぞれが１８０度程度の画角を持つ広角カメラであり、これらのカメラ１１ａ〜１１ｄが互いの撮像エリアをカバーすることにより、車両周囲の映像を得る。各カメラ１１ａ〜１１ｄから出力される映像は、映像処理部１２に対して出力される。
The
映像処理部１２は、各カメラ１１ａ〜１１ｄからの映像を、ある基準面（例えば、地面）に対して座標変換することで、仮想視点（本実施家形態では、上空）から撮像したような映像（以下、「俯瞰映像」という）を作成する。本実施形態において、映像処理部１２は、この俯瞰映像の作成を前提として、入力映像と出力映像との画素配置の対応関係を記録した変換テーブルを、個々のカメラ１１ａ〜１１ｄからの映像に対応して有している。映像処理部１２は、これらの変換テーブルに基づいて、４つのカメラ１１ａ〜１１ｄの出力映像から必要な部分を切り出し、ひとつの俯瞰映像を生成する。
The
図４は、俯瞰映像の説明図である。この俯瞰映像は、右ドアミラー側の映像Ａ（カメラ１１ａからの映像が座標変換された映像に対応）、車両リア側の映像Ｂ（カメラ１１ｂからの映像が座標変換された映像に対応）、左ドアミラー側の映像Ｃ（カメラ１１ｃからの映像が座標変換された映像に対応）、および、車両フロント側の映像Ｄ（カメラ１１ｄからの映像が座標変換された映像に対応）を使って構成されており、車両上方を視点として、自車両を中心とした周囲の映像を俯瞰的に表している。個々の映像Ａ〜Ｄのつなぎ目部分にはマスク線Ｅが設けられており、映像のつなぎ目であることがドライバーに把握できるようになっている。また、俯瞰映像の中心には自車両を模擬した画像（ＣＧ）も生成される。映像処理部１２によって作成された俯瞰映像は、制御部１３に対して出力される。
FIG. 4 is an explanatory diagram of a bird's-eye view video. This overhead view video is a video A on the right door mirror side (corresponding to a video obtained by coordinate transformation of the video from the
制御部１３は、映像処理部１２から出力される俯瞰映像を表示するように表示部１４を制御するとともに、実空間において物体が自車両の予測進路内に存在する可能性のある領域（注意エリア）を、この俯瞰映像と重ね合わせて表示するように、表示部１４を制御する。制御部１３には、車両の走行状態を検出するために、各種の検出信号が入力されている。車両信号取得部１６は、操舵角、シフトポジション、車速といった走行状態に拘わる各種の車両信号を取得し、取得された車両信号は、制御部１３に入力される。
The
表示部１４は、制御部１３から出力される俯瞰映像と、これに関連する情報とを表示する機能を担っている。この表示部１４としては、ＣＲＴやＬＣＤといった周知の表示手段を用いることができる。この表示部１４は、例えば、センターコンソールの一部に配設されており、その表示された映像をドライバーが認識することができるようになっている。
The
操作部１５は、装置全体の操作をドライバーが行うための機能を担っており、各種のスイッチ類などで構成されている。
The
以下、本実施実施形態に係る予測進路表示装置１０の動作について説明する。まず、予測進路表示装置１０の動作を説明するにあたり、本発明の概念について説明する。図５は、本発明の概念説明図である。俯瞰映像は、上述したように、複数の映像のそれぞれについて、座標変換を施し、これらを合成することによって作成される。この場合、座標変換の基準となる基準面上に存在する物体に関しては、その位置関係を保ったまま俯瞰映像に再現される。しかしながら、基準面より高い位置や低い位置にある立体物については、ＣＧで作成される自車両や車両周囲の物体との位置関係が正しく再現されない。
Hereinafter, the operation of the predicted
図５は、俯瞰映像における位置関係を説明するための図であり、図中上向きに自車両２０が示されており、図中右向きに他車両（停止車両）２１が描かれている。同図（ａ）に示すように、実空間において、自車両２０の後退を前提とした予測進路（図中の実線）とオーバーラップするように停止車両２１が存在する場合、自車両２０がステアリングを直進方向に固定したまま後退すると、自車両２０は停止車両２１に接触してしまう。ところで、同図（ｂ）に示すように、俯瞰映像において、停止車両２１は、実空間上の位置（図中のハッチングの領域）よりも遠方に表示され、自車両２０の後退の予測進路（図中の実線）とはオーバーラップしない位置に表示されることがある。そのため、俯瞰映像を頼りにドライバーが車両を操作した場合には、俯瞰映像の予測進路上には停止車両２１が存在しないと思っていても、実際に車両を移動させると停止車両２１と接触してしまうといった事態が発生する。例えば、ＳＵＶやトラックなどのバンパーといった車両の突起部位は、俯瞰映像上の表示されている位置から離れた位置に存在し、俯瞰映像上では接触しないのに実際に自車両を移動させるとバンパーに接触してしまうといった如くである。
FIG. 5 is a diagram for explaining the positional relationship in the bird's-eye view image. The
図６は、空中に存在する物体Ｏが俯瞰映像において映し出される位置を説明する説明図である。ここで、車両の車幅方向をＸ軸、車長方向をＹ軸、車高方向をＺ軸とする。同図（ａ）に示すように、物体ＯがＸ方向に離れた場所に存在することとし、車両リア側のカメラ１１ｂで作成された俯瞰映像での物体Ｏｐの見え方について説明する。
FIG. 6 is an explanatory diagram for explaining a position where the object O existing in the air is projected in the overhead view video. Here, the vehicle width direction of the vehicle is the X axis, the vehicle length direction is the Y axis, and the vehicle height direction is the Z axis. As shown in FIG. 5A, it is assumed that the object O exists at a location distant in the X direction, and how the object Op appears in the overhead image created by the
同図（ｂ）は、車両を後面（Ｘ−Ｚ面）から前方向（Ｙ方向）に見た図である。カメラ１１ｂの地上からの高さをＨｃ、物体の地上からの高さをＨｔ、カメラ１１ｂと物体Ｏとの間のＸ方向距離をＤｔ、俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＸ方向距離をＤｉ、車幅（正確には、カメラ１１ｂと車体側方との間の距離）をＷとする。俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＸ方向距離Ｄｉは、以下に示す関係を満たす。
FIG. 6B is a view of the vehicle as viewed from the rear surface (XZ plane) to the front direction (Y direction). The height of the
（数式１）
Ｄｉ＝Ｈｃ×Ｄｔ／（Ｈｃ−Ｈｔ）
同数式に示すように、この距離Ｄｉは、カメラ１１ｂの地上からの高さＨｃにカメラ１１ｂと物体Ｏとの間のＸ方向距離Ｄｔを乗算した乗算値から、カメラ１１ｂの地上からの高さＨｃと物体の地上からの高さＨｔとの差を除算した値となる。ここで、カメラ１１ｂと物体Ｏとの間のＸ方向距離Ｄｔが車幅Ｗよりも小さい場合（Ｄｔ＜Ｗ）、自車両がまっすぐに後退したならば、車両は物体Ｏと接触する。特に、カメラ１１ｂと物体Ｏとの間のＸ方向距離Ｄｔが車幅Ｗよりも小さく（Ｄｔ＜Ｗ）、かつ、俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＸ方向距離Ｄｉが車幅Ｗより大きい場合（Ｄｉ＞Ｗ）には、上述したように、俯瞰映像上では物体Ｏｐと接触しないが、実際には物体Ｏに接触するといった事態が起こり得る。
(Formula 1)
Di = Hc × Dt / (Hc−Ht)
As shown in the equation, the distance Di is obtained by multiplying the height Hc of the
図７は、空中に存在する物体Ｏが俯瞰映像において映し出される位置を説明する説明図である。同図（ａ）に示すように、物体ＯがＹ方向に離れた場所に存在するケースにおいて、車両リア側のカメラ１１ｂで作成した俯瞰映像における物体Ｏｐの見え方について説明する。
FIG. 7 is an explanatory diagram for explaining the position at which the object O existing in the air is projected in the overhead view video. As shown in FIG. 6A, how the object Op is seen in the overhead view image created by the
同図（ｂ）は、車両を側面（Ｙ−Ｚ面）から車幅方向（Ｘ方向）に見た図である。カメラ１１ｂの地上からの高さをｈｃ、物体Ｏの地上からの高さをｈｔ、カメラ１１ｂと物体Ｏとの間のＹ方向距離をｄｔ、俯瞰映像上でのカメラ１１と物体ＯｐとのＹ方向距離をｄｉとする。俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＹ方向距離ｄｉは、以下に示す関係を満たす。
FIG. 5B is a view of the vehicle as viewed from the side surface (YZ plane) in the vehicle width direction (X direction). The height of the
（数式２）
ｄｉ＝ｈｃ×ｄｔ／（ｈｃ−ｈｔ）
同数式に示すように、この距離ｄｉは、カメラ１１ｂの地上からの高さｈｃにカメラ１１ｂと物体Ｏとの間のＹ方向距離ｄｔを乗算した乗算値から、カメラ１１ｂの地上からの高さｈｃと物体Ｏの地上からの高さｈｔとの差を除算した値となる。このように、俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＹ方向距離ｄｉは、実空間におけるカメラ１１ｂと物体Ｏとの間のＹ方向距離をｄｔよりも遠くに存在するように映し出される。
(Formula 2)
di = hc × dt / (hc−ht)
As shown in the equation, the distance di is calculated by multiplying the height hc of the
図８は、図６に示すケースを具体的に説明する説明図である。車幅（２Ｗ）を１．８ｍの車両とし、カメラ１１ｂからＸ方向に０．６ｍ（Ｄｔ）の場所に高さ０．６ｍ（Ｈｔ）の駐車車両のバンパーＯが存在すると考える。カメラの取り付け高さを１．２ｍ（Ｈｃ）とすると、俯瞰映像において、この駐車車両のバンパーＯｐは見かけ上、車両中心からＸ方向に１．２ｍ（Ｄｉ）だけ離れた場所に映ることとなる。この場合、自車両がそのまま後退したならば、カメラ１１ｂと物体Ｏとの間のＸ方向距離Ｄｔが車幅Ｗよりも小さいため（Ｄｔ＜Ｗ）、車両と物体Ｏは接触するが、俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＸ方向の距離Ｄｉが車幅Ｗより大きいため（Ｄｉ＞Ｗ）、俯瞰映像上では接触しないように両者の関係が映し出される。このような俯瞰映像に関する特徴は、カメラ１１ｂから作成される俯瞰映像のみならず、他のカメラ１１ａ，１１ｃ，１１ｄから作成される俯瞰映像についても同様にその特徴を挙げることができる。
FIG. 8 is an explanatory diagram for specifically explaining the case shown in FIG. 6. A vehicle having a vehicle width (2W) of 1.8 m is assumed to have a bumper O of a parked vehicle having a height of 0.6 m (Ht) at a location 0.6 m (Dt) in the X direction from the
このような点に鑑み、制御部１３は、俯瞰映像を表示する際には、以下に示すような予測進路を俯瞰映像に重ね合わせて表示するように表示部１４を制御する。予測進路は、安全マージンエリアＡ１と、注意エリアＡ２とで構成される。図９は、安全マージンエリアＡ１と注意エリアＡ２との説明図である。安全マージンエリア（予測進路領域）Ａ１は、直進後退時、自車両が通過する予測進路の範囲（例えば、車幅（２Ｗ）×後方１ｍ）を示す。注意エリアＡ２は、この安全マージンエリアＡ１に基づいて、実空間において、例えば、バンパーといった物体がこの安全マージンエリアＡ１に存在する可能性のある領域である。
In view of such a point, when displaying the bird's-eye view video, the
この注意エリアＡ２の計算方向は、以下の通りとなる。まず、図６を参照して説明したように、カメラ１１ｂの地上からの高さＨｃを１．２ｍ、物体の地上からの高さＨｔを０．６ｍ、カメラ１１ｂと物体Ｏとの間のＸ方向距離Ｄｔと車幅Ｗとを０．９ｍとする。この場合、数式１に従って、俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＸ方向距離Ｄｉを算出すると、この値Ｄｉは１．８ｍとなる。また、図７を参照して説明したように、カメラ１１ｂの地上からの高さｈｃを１．２ｍ、物体Ｏの地上からの高さｈｔを０．６ｍ、カメラ１１ｂと物体Ｏとの間のＹ方向距離ｄｔを１ｍとする。この場合、数式２に従って、俯瞰映像上でのカメラ１１ｂと物体ＯｐとのＹ方向距離ｄｉを算出すると、この値ｄｉは２ｍとなる。これらの演算を踏まえた上で、制御部１３は、自車両のＣＧ後方に、安全マージンエリアＡ１とともに、前後２ｍ、左右３．６ｍのエリアを注意エリアＡ２として表示するように、表示部１４を制御する。これにより、自車両から１ｍ以内の走行範囲（安全マージン領域Ａ１）に６０ｃｍ以下の高さを有する物体Ｏが存在する可能性を示すことができる。
The calculation direction of the caution area A2 is as follows. First, as described with reference to FIG. 6, the height Hc of the
図１０は、操舵時における安全マージンエリアＡ１と注意エリアＡ２との説明図である。また、制御部１３は、後退時に、ドライバーによってステアリングが操舵されると、この操舵に応じて、その安全マージンエリアＡ１と注意エリアＡ２とを変形させて表示するように、表示部１４を制御する。ドライバーが左にステアリングを操舵した場合には、図１０に示すように、その操舵角に対応して、安全マージンエリアＡ１が左方向へせん断変形される。これにより、ステアリング操舵時に１ｍ進む間に通過するエリアが安全マージンエリアＡ１として規定される。また、この安全マージンエリアＡ１の変形に応じて、注意エリアＡ２も同様に変形される。この注意エリアＡ２も、上述した計算方法により算出が可能である。
FIG. 10 is an explanatory diagram of the safety margin area A1 and the attention area A2 during steering. Further, when the steering is steered by the driver at the time of reverse, the
なお、注意エリアＡ２は、単に直線で囲われた領域を表示したり、半透明の色をエリア上に重畳して表示したりしてもよい。また、注意エリアＡ２は、斜線でハッチングを施してもよい。以上、車両後端にあるカメラ１１ｂからの俯瞰絵像を例に説明したが、その他の場所に取り付けられたカメラ１１ａ，１１ｃ，１１ｄからの俯瞰映像についても同様に予測進路（安全マージンエリアＡ１，注意エリアＡ２）の表示を行うことができる。
Note that the caution area A2 may simply display an area surrounded by a straight line, or may display a semi-transparent color superimposed on the area. The attention area A2 may be hatched with diagonal lines. In the above, the bird's-eye view image from the
予測進路の表示手法としては、上述した形態以外にも、以下に示すような形態を採用することもできる。図１１は、車両の側方側の俯瞰映像に対する予測進路の説明図であり、本実施形態では、右ドアミラーに取り付けられたカメラ１１ａからの俯瞰絵像が示されている。同図において、旋回時通過線（予測進路ライン）Ｌ１は、前進走行中において、ステアリングを右に切ったときの車両の右角隅が通過する予測進路の軌跡を示す線である。この線より外側に物体が存在する場合、車両は物体を巻き込むことなく旋回することができる。しかしながら、実際には自車両が巻き込む可能性がある物体であったとしても、俯瞰映像では実際より遠い位置に存在するかのように映し出されることがある。そこで、次のような対策を考える。旋回時通過線Ｌ１上に、例えば、他車両のバンパーを想定して、高さ６０ｃｍの物体が存在すると考える。図６，７で説明したように、車両側面に備えられたカメラ１１ａの高さを考慮すると、旋回時通過線Ｌ１に基づいて、実空間において物体がこの旋回時通過線Ｌ１上に存在する可能性のある軌跡のラインは、注意エリア線Ｌ２で示される。すなわち、この注意エリア線Ｌ２によって、実空間において物体が自車両の予測進路内に存在する可能性のある領域（注意エリア）が画定されることとなる。制御部１３は、俯瞰映像を表示する際には、上述したような旋回時通過線Ｌ１と、注意エリア線Ｌ２とを俯瞰映像に重ね合わせて表示するように表示部１４を制御する。注意エリア線Ｌ２の内側に物体がない場合は、高さ６０センチ以下の物体に接触することなく旋回することが可能であることが判断できる。制御部１３は、車両信号取得部１６によって操舵角を取得し、ステアリングを直進状態の中立位置から操舵したことを判断した場合には、これらの旋回時通過線Ｌ１と、注意エリア線Ｌ２とを表示させる。この場合、ステアリングが右に切られている場合には、図１１に示すように、制御部１３は、カメラ１１ａからの俯瞰映像において、旋回時通過線Ｌ１と注意エリア線Ｌ２とを表示させ、ステアリングが左に切られている場合には、制御部１３は、カメラ１１ｃからの俯瞰映像において、旋回時通過線Ｌ１と注意エリアセンサＬ２とを表示させる。制御部１３は、ステアリングの操舵角に応じて、この旋回時通過線Ｌ１を決定し、それに連動して注意エリア線も変化させる。
As a method for displaying the predicted course, in addition to the above-described forms, the following forms can also be adopted. FIG. 11 is an explanatory diagram of a predicted course for a bird's-eye view image on the side of the vehicle. In this embodiment, an overhead image from the
図１２は、車両の前方側の俯瞰映像に対する予測進路の説明図である。また、別の表示手法としては、車両の幅に所定のマージンの幅を考慮することにより、自車両が通過する予測進路の軌跡を示す一対の進行方向予想軌跡（予測進路ライン）Ｌ１を考える。この進行方向予想軌跡Ｌ１は、操舵角、車速といった情報から一義的に算出可能であり、同図では、ステアリングが右にきられているケースでの進行方向予想軌跡Ｌ１が示されている。ここで、例えば、車両のバンパーといったように、高さ６０ｃｍの物体が存在すると考える。図６，７で説明したように、進行方向予想軌跡Ｌ１上にある物体と、車両フロント側のカメラ１１ｄの取り付け位置、および、カメラ１１ｄと物体間の距離を考慮することにより、この進行方向予想軌跡Ｌ１に基づいて、実空間において物体が進行方向予想軌跡Ｌ１上に存在する可能性のある点群が算出される。そして、これらの点を結び線を引くことにより、その軌跡に対応する一対のラインとして、進行方向予想軌跡Ｌ２を描くことが可能となる。すなわち、この進行方向予想軌跡Ｌ２によって、実空間において物体が自車両の予測進路内に存在する可能性のある領域（注意エリア）が画定されることとなる。制御部１３は、俯瞰映像を表示する際には、この進行方向予想軌跡Ｌ１，Ｌ２を俯瞰映像に重ね合わせて表示するように、表示部１４を制御する。進行方向予想軌跡Ｌ２の内側に物体がない場合は、高さ６０センチ以下の物体に接触することなく走行することが可能であることが判断できる。なお、図１２では、車両の前方側の俯瞰映像に対する予測進路を例に挙げて説明したが、このような予測進路（進行方向予想軌跡Ｌ１，Ｌ２）は車両の後方側の俯瞰映像に対して表示してもよい。このケースでは、制御部１３は、シフトポジションや車速から自車両の後退を判断し、操舵角等を考慮した上で進行方向予想軌跡Ｌ１，Ｌ２を表示させる。
FIG. 12 is an explanatory diagram of the predicted course for the bird's-eye view image on the front side of the vehicle. As another display method, a pair of predicted traveling direction trajectories (predicted course lines) L1 indicating the trajectory of the predicted course through which the host vehicle passes is considered by considering the width of the vehicle with a predetermined margin. This predicted traveling direction trajectory L1 can be uniquely calculated from information such as the steering angle and the vehicle speed, and in the figure, the predicted traveling direction trajectory L1 in the case where the steering is turned to the right is shown. Here, for example, an object having a height of 60 cm such as a bumper of a vehicle is considered to exist. As described with reference to FIGS. 6 and 7, this traveling direction prediction can be made by considering the object on the traveling direction predicted locus L1, the mounting position of the
このように、本実施形態によれば、俯瞰映像を表示させた場合、座標変換の基準となる基準面上に存在する物体に関しては、その位置関係を保ったまま映像の変換を行うことができるが、基準面より高い位置や低い位置にある立体物については、ＣＧで作成される自車両や車両周囲の物体との位置関係が正しく保存されない。そのため、この俯瞰映像において、実空間において物体が自車両の予測進路内に存在する可能性のある領域を表示している。そのため、俯瞰映像中で消失する高さ情報を俯瞰映像上で得ることができ、車両と物体との接触を避けることができる。また、俯瞰映像において、高さのある物体と自車両とが接触する可能性のある位置を領域で確認することができるので、ドライバーにとって分かりやすい表示を行うことができる。これにより、実空間において自車両の予測進路内に存在する物体の位置を考慮して、俯瞰映像上に予測進路を表示することが可能となり、物体との接触といった実態の発生を抑制することができる。 As described above, according to the present embodiment, when an overhead video is displayed, an object existing on a reference plane serving as a reference for coordinate conversion can be converted while maintaining its positional relationship. However, for a three-dimensional object at a position higher or lower than the reference plane, the positional relationship with the host vehicle or objects around the vehicle created by CG is not correctly stored. Therefore, in this bird's-eye view video, an area where an object may exist in the predicted course of the host vehicle is displayed in real space. Therefore, the height information disappearing in the overhead view video can be obtained on the overhead view video, and the contact between the vehicle and the object can be avoided. Further, in the bird's-eye view image, the position where the object with the height and the own vehicle may come into contact can be confirmed in the area, so that the display can be easily understood by the driver. This makes it possible to display the predicted path on the bird's-eye view video in consideration of the position of the object existing in the predicted path of the host vehicle in real space, and to suppress the occurrence of actual conditions such as contact with the object. it can.
なお、本実施形態では、他車両のバンパーを前提として、６０センチの高さにある物体（物体の高さを固定）を例にして説明を行った。しかしながら、画像認識を用いて物体の高さを検出することで、その検出された高さに基づいて、図６，７に示す演算を行い、実空間において物体が自車両の予測進路内に存在する可能性のある領域（注意エリア）の広さを可変に設定することも可能である。この場合、制御部１３は、車両の種類と、当該車両のバンパーの高さとが関連付けられた対応関係を有している。制御部１３は、撮像部１１からの画像を直接的に取得し、画像認識で車両の種類を認識し、この認識された車両の種類に基づいて、映像に映し出された車両のバンパーの高さを判定する。そして、制御部１３は、図６，７を参照して説明したように、このバンパーの高さに応じて注意エリアの広さを可変に設定する。また、４つのカメラ１１ａ〜１１ｄを備えているため、４つのカメラ１１ａ〜１１ｄの撮影の重複領域の映像を比較することで、物体の高さを認識することも可能である。また、各種のセンサーなどを併用し、物体の高さを検出してもよい。これらのケースでは、例えば、注意エリアを段階的に分けて表示するといったように、より精度よく予測進路を表示することができる。
In the present embodiment, the description has been given by taking an object at a height of 60 cm (the height of the object is fixed) as an example on the premise of a bumper of another vehicle. However, by detecting the height of the object using image recognition, the calculation shown in FIGS. 6 and 7 is performed based on the detected height, and the object exists in the predicted course of the host vehicle in real space. It is also possible to variably set the size of an area (attention area) that may be used. In this case, the
また、本実施形態において、俯瞰映像中に最も多く存在する色を地面として地面を検出する場合、物体センサーを用いて物体が存在することを確認した場合には、物体が存在する俯瞰映像を対象として予測進路を表示してもよい。これにより、不必要な領域に予測進路が表示されることが抑制されるので、表示の煩わしさを軽減することができる。さらにを、シフトポジションや車速などから進行方向を判定し、進行方向のみに限定して予測進路を表示することにより、さらに表示の煩わしさを低減することが可能となる。 Also, in this embodiment, when the ground is detected using the most common color in the overhead view video as the ground, when the object is confirmed using the object sensor, the overhead view video where the object exists is targeted. The predicted course may be displayed as Thereby, since it is suppressed that a predicted course is displayed on an unnecessary area | region, the troublesomeness of a display can be reduced. Further, by determining the traveling direction from the shift position and the vehicle speed and displaying the predicted course only in the traveling direction, it is possible to further reduce the troublesomeness of the display.
なお、上述した実施形態において説明したように、注意エリアは撮影に用いるカメラの取り付け位置、撮影に用いるカメラと物体との距離、物体の高さによって決定される。本実施形態では、４つのカメラを用いて領域ごとに俯瞰映像を作り出している関係上、個別のカメラ１１ａ〜１１ｄのマスク線Ｅ上では、注意エリアが不連続になることがある。そのため、制御部１３は、カメラのつなぎ目で注意エリアが連続的に表示するよう、個々の注意エリアを加工してもよい。
Note that, as described in the above-described embodiment, the attention area is determined by the mounting position of the camera used for shooting, the distance between the camera and the object used for shooting, and the height of the object. In the present embodiment, the attention area may be discontinuous on the mask line E of the
１０ 予測進路表示装置
１１ 撮像部
１１ａ〜１１ｄ カメラ
１２ 映像処理部
１３ 制御部
１４ 表示部
１５ 操作部
１６ 車両信号取得部
２０ 自車両
２１ 他車両
DESCRIPTION OF
Claims (9)
前記複数の撮像手段によって撮像された映像のそれぞれに基づいて、自車両を中心とした周囲の映像を俯瞰的に表した俯瞰映像を作成する画像処理手段と、
前記画像処理手段によって作成された俯瞰映像を表示する表示手段と、
実空間において物体が自車両の予測進路内に存在する可能性のある領域を、当該俯瞰映像と重ね合わせて表示するように、前記表示手段を制御する制御手段と
を有することを特徴とする予測進路表示装置。 A plurality of imaging means that are arranged around the vehicle body and capture images of the surroundings of the vehicle;
Image processing means for creating a bird's-eye view video representing a surrounding image around the host vehicle based on each of the images picked up by the plurality of image pickup means;
Display means for displaying a bird's-eye view video created by the image processing means;
Prediction characterized by comprising control means for controlling the display means so that an area where an object may exist in the predicted course of the host vehicle in real space is displayed superimposed on the overhead view video Course display device.
それぞれが車体の周囲に配置され、自車両周囲の映像を撮像し、前記撮像された映像のそれぞれに基づいて、自車両を中心とした周囲の映像を俯瞰的に表した俯瞰映像を作成し、実空間において物体が自車両の予測進路内に存在する可能性のある領域を、当該俯瞰映像と重ね合わせて表示することを特徴とする予測進路表示装置。 In a predicted course display device that displays a predicted course of a vehicle,
Each is arranged around the vehicle body, images the surroundings of the host vehicle, and based on each of the captured images, creates a bird's-eye view video showing the surrounding images centered on the host vehicle, A predicted course display device, characterized in that an area in which an object may exist in a predicted course of a host vehicle in real space is displayed so as to overlap with the overhead view video.
自車両周囲の映像を複数の撮像手段によって撮像する第１のステップと、
前記第１のステップにおいて撮像された映像のそれぞれに基づいて、自車両を中心とした周囲の映像を俯瞰的に表した俯瞰映像を作成する第２のステップと、
前記第２のステップにおいて作成された俯瞰映像を表示する第３のステップとを有し、
前記第３のステップは、実空間において物体が自車両の予測進路内に存在する可能性のある領域を、当該俯瞰映像と重ね合わせて表示するステップであることを特徴とする予測進路表示方法。 In the predicted course display method,
A first step of capturing an image of the surroundings of the host vehicle with a plurality of imaging means;
A second step of creating a bird's-eye view video representing a bird's-eye view of a surrounding image centered on the host vehicle based on each of the images captured in the first step;
A third step of displaying the overhead view image created in the second step,
The predicted step display method according to claim 3, wherein the third step is a step of displaying an area where an object may exist in the predicted route of the host vehicle in a real space so as to be superimposed on the overhead image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005123820A JP4677820B2 (en) | 2005-04-21 | 2005-04-21 | Predicted course display device and predicted course display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005123820A JP4677820B2 (en) | 2005-04-21 | 2005-04-21 | Predicted course display device and predicted course display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006303985A true JP2006303985A (en) | 2006-11-02 |
| JP4677820B2 JP4677820B2 (en) | 2011-04-27 |
Family
ID=37471734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005123820A Active JP4677820B2 (en) | 2005-04-21 | 2005-04-21 | Predicted course display device and predicted course display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4677820B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009101984A (en) * | 2007-10-01 | 2009-05-14 | Nissan Motor Co Ltd | Parking assistance device and method |
| JP2009299387A (en) * | 2008-06-16 | 2009-12-24 | Honda Motor Co Ltd | Opening/closing body controller |
| US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
| JP2020136755A (en) * | 2019-02-14 | 2020-08-31 | 株式会社デンソー | Electronic control device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002079881A (en) * | 2000-05-24 | 2002-03-19 | Matsushita Electric Ind Co Ltd | Plotter |
| JP2002314991A (en) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Image synthesizer |
| JP2005047316A (en) * | 2003-07-30 | 2005-02-24 | Toyota Motor Corp | Collision control device for vehicle |
-
2005
- 2005-04-21 JP JP2005123820A patent/JP4677820B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002079881A (en) * | 2000-05-24 | 2002-03-19 | Matsushita Electric Ind Co Ltd | Plotter |
| JP2002314991A (en) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Image synthesizer |
| JP2005047316A (en) * | 2003-07-30 | 2005-02-24 | Toyota Motor Corp | Collision control device for vehicle |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009101984A (en) * | 2007-10-01 | 2009-05-14 | Nissan Motor Co Ltd | Parking assistance device and method |
| JP2009299387A (en) * | 2008-06-16 | 2009-12-24 | Honda Motor Co Ltd | Opening/closing body controller |
| US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
| JP2020136755A (en) * | 2019-02-14 | 2020-08-31 | 株式会社デンソー | Electronic control device |
| JP7279390B2 (en) | 2019-02-14 | 2023-05-23 | 株式会社デンソー | electronic controller |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4677820B2 (en) | 2011-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4639753B2 (en) | Driving assistance device | |
| JP4425495B2 (en) | Outside monitoring device | |
| JP5003946B2 (en) | Parking assistance device | |
| JP5503660B2 (en) | Driving support display device | |
| JP3695319B2 (en) | Vehicle periphery monitoring device | |
| JP3897305B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, control program, and readable recording medium | |
| US20170228605A1 (en) | Parking assistance apparatus | |
| WO2013128917A1 (en) | Video processing device, video processing method, and video display system | |
| JP5023872B2 (en) | Image display control device and image display control system | |
| JP2005112004A (en) | Vehicle reversing motion assisting device and vehicle reversing motion assisting method | |
| CN103843326A (en) | Image display device, and image display method | |
| JP4192680B2 (en) | Moving object periphery monitoring device | |
| JP4374850B2 (en) | Moving object periphery monitoring device | |
| JP2002354467A (en) | Surrounding information display unit for vehicle | |
| JP4154980B2 (en) | Moving object periphery monitoring device | |
| JP3980304B2 (en) | Parking assistance device | |
| WO2011013813A1 (en) | In-vehicle device and image processing program | |
| JP2006238131A (en) | Vehicle periphery monitoring apparatus | |
| JP5617396B2 (en) | Driving assistance device | |
| JP4677820B2 (en) | Predicted course display device and predicted course display method | |
| JP2008114691A (en) | Vehicular periphery monitoring device, and vehicular periphery monitoring image display method | |
| JP4062145B2 (en) | Imaging device | |
| JP2009265802A (en) | Vehicle visual field support device | |
| JP2011211432A (en) | In-vehicle imaging apparatus | |
| JP6573218B2 (en) | VEHICLE IMAGE DISPLAY DEVICE AND SETTING METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080325 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4677820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |