JP3638132B2

JP3638132B2 - Drawing device

Info

Publication number: JP3638132B2
Application number: JP2001182017A
Authority: JP
Inventors: 伸彦安井; 崇吉田; 篤飯阪; 明石田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-06-30
Filing date: 2001-06-15
Publication date: 2005-04-13
Anticipated expiration: 2021-06-15
Also published as: JP2002079898A

Description

【０００１】
【発明の属する技術分野】
本発明は、描画装置に関し、より特定的には、車両の運転を支援する運転支援装置に組み込むことが可能な描画装置に関する。さらに詳しく述べると、車両に固定される撮像装置により取り込まれた画像を基礎として、車両の周囲を表す出力画像を作成する描画装置に関する。
【０００２】
【従来の技術】
従来から、上述のような描画装置を組み込んだ運転支援装置の研究・開発が盛んに行われている。従来の運転支援装置は、車両に搭載されており、一般的に、撮像装置と、操舵角センサと、演算部と、描画装置と、表示装置とを備えている。撮像装置は、車両の所定位置に固定されており、車両の全周囲の内、自身の視野角で規定される領域の状況を表す画像（以下、撮影画像と称する）を取り込む。また、操舵角センサは、車両の所定位置に固定されており、当該車両のステアリングの舵角量を検出する。演算部は、操舵角センサが検出した舵角量から、車両がこれから辿る予測軌跡を演算する。描画装置は、演算部が演算した予測軌跡を、撮像装置が取り込んだ撮影画像上に描画して、図２０に示すような出力画像を生成する。表示装置は、描画装置が生成した出力画像を表示する。
【０００３】
図２０のような出力画像が表示装置で表示されることにより、当該ドライバは、現在のステアリング操作で、車両が障害物にぶつかることなく駐車スペースに納まるか否かの判断することができる。特に、舵角量が適当でない場合には、予測軌跡が駐車スペースから外れて表示されるので、ドライバはステアリングの操作を調整しやすくなる。
【０００４】
また、以上のような運転支援装置の中には、特公平２−３６４１７号に開示されているように、予測軌跡の近くに存在する障害物との距離を測定するアクティブセンサをさらに備えているものがある。演算部は、アクティブセンサから得られる距離に基づいて、自身が演算した予測軌跡において、撮影画像上に描画すべき部分（以下、描画予測軌跡と称する）を決定する。これによって、描画装置は、距離の測定対象となった障害物の直前で切れる描画予測軌跡を、撮影画像上に描画する。
【０００５】
【発明が解決しようとする課題】
次に、従来の運転支援装置が有する２つの問題点を説明する。第１に、撮影画像の基調色は、車両の現在位置に応じて変わりうる。例えば、舗装された駐車場では、アスファルトの色が基調色となるが、未舗装の駐車場では、土の色を基調色になる。しかしながら、従来の運転支援装置では、予測軌跡の色が固定的に設定されているため、上述の基調色と似てしまう場合がある。かかる場合、ドライバが出力画像上で予測軌跡を瞬時に視認できない場合があるという問題点があった。
【０００６】
第２に、従来の運転支援装置では、予測軌跡は、図２０に示すように、撮影画像上に線で描かれるだけであるから、車両が移動できる限界をドライバが瞬時に理解できないという問題点があった。より具体的には、今、図２１に示すように、従来の運転支援装置を有する車両Ｖusr が障害物Ｖbst が存在する方向に向かっている。このような状況では、車両Ｖusr は、予測軌跡Ｐp と障害物Ｖbst の表面との交点Ｐcrg で接触せずに、障害物Ｖbst の隅Ｐcnr と最初に接触する。つまり、車両Ｖusr が移動できる限界点は、図２１に示すような状況では、障害物Ｖbst の隅Ｐcnr である。以上のように、たとえ、上記公報に開示されているように、障害物の直前で切れるように予測軌跡が描かれたとしても、上述の問題点は依然として残る。
【０００７】
それゆえに、本発明の目的は、予測軌跡をドライバが視認しやすい出力画像を生成できる描画装置を提供することである。
また、本発明の他の目的は、車両が移動できる限界をドライバが理解しやすい出力画像を生成できる描画装置を提供することである。
【０００８】
【課題を解決するための手段および発明の効果】
上記目的を達成するために、本発明の第１の局面は、車両の運転支援のために、当該車両の周囲を表す出力画像を作成する描画装置であって、車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する取得部と、取得部により得られた操舵角に基づいて、車両がこれから移動する予測軌跡を導出する導出部と、導出部により導出された予測軌跡に重畳すべきインジケータを格納する格納部と、車両に固定された撮像装置により取り込まれた撮影画像において、車両に近い側から遠い方に向かって順番にかつ間欠的に、格納部に格納されているインジケータを導出部が導出した予測軌跡に沿って重畳して、出力画像を生成する画像生成部とを備える。
【０００９】
また、好ましくは、描画装置はさらに、導出部により導出された予測軌跡に基づいて、格納部に格納されているインジケータを、撮像装置により取り込まれた撮影画像のどこに重畳するかを示す重畳位置データを生成するデータ生成部を備える。ここで、画像生成部は、データ生成部により生成された重畳位置データに基づいて、格納部に格納されているインジケータを、撮像装置により取り込まれた撮影画像に重畳する。
【００１０】
また、好ましくは、画像生成部は、予め定められた時間帯では、撮影画像上に、予測軌跡を重畳し、他の時間帯では、当該予測軌跡を重畳しない。
【００１１】
また、好ましくは、描画装置はさらに、導出部により導出された予測軌跡から、予め定められた距離の間隔を有する複数の点の座標を算出し、算出された各座標に、車両に近いものから順に番号を割り当て、さらに、割り当てた番号及び算出された座標から少なくとも構成される組みを複数個含む重畳位置データを生成するデータ生成部を備える。ここで、画像生成部は、データ生成部により生成された重畳位置データに含まれる番号に従って座標を順番に選択し、格納部に格納されているインジケータを、撮像装置により取り込まれた撮影画像に順番に重畳する。
【００１２】
上記第１の局面によれば、予測軌跡は、間欠的に表示されるので、出力画像上で目立つ。これによって、予測軌跡をドライバが視認しやすい出力画像を生成できる描画装置を提供することができる。
【００１３】
また、本発明の第２の局面は、車両の運転支援のために、当該車両の周囲を表す出力画像を作成する描画装置であって、車両に設置された測距センサから、当該車両の周囲に存在する障害物までの距離を取得する第１の取得部と、第１の取得部により得られた距離に基づいて、車両が移動可能な限界点を導出する第１の導出部と、車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第２の取得部と、第２の取得部により得られた操舵角に基づいて、車両がこれから移動する予測軌跡を導出する第２の導出部と、第１の導出部により導出された限界点と、第２の導出部により導出された予測軌跡とに基づいて、車両がこれから動くと予測される領域の形状を表す予測走行領域を生成する領域生成部と、車両に固定された撮像装置により取り込まれた撮影画像に、領域生成部で生成された予測走行領域を重畳して、出力画像を生成する画像生成部とを備える。
【００１４】
また、好ましくは、第１の導出部は、車両に備わる両方の車輪毎に予測軌跡を生成する。さらに、領域生成部は、第１の導出部により導出された限界点を通過する線分と、第２の導出部により導出された各予測軌跡とで囲まれる領域の形状を表す予測走行領域を生成する。
【００１５】
また、好ましくは、第１の取得部は、車両に備わる複数の測距センサのそれぞれから、当該車両の周囲に存在する障害物までの距離を取得する。ここで、描画装置はさらに、第１の取得部により取得された距離に基づいて、障害物の表面上の複数の点を示す座標を算出する座標算出部を備える。また、第１の導出部は、座標算出部により算出された各点の座標に対してハフ変換を行い、その結果、障害物の隅の座標を、限界点として導出する。
【００１６】
上記第２の局面によれば、出力画像は、予測軌跡と限界点とに基づいて生成されるので、車両が移動できる限界をドライバが理解しやすい出力画像を生成できる描画装置を提供することができる。
【００１７】
また、本発明の第３の局面は、車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成する方法であって、車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第１の取得ステップと、第１の取得ステップで得られた操舵角に基づいて、車両がこれから移動する予測軌跡を導出する導出ステップと、導出ステップで導出された予測軌跡に重畳すべきインジケータを、描画装置に備わる記憶装置から取得する第２の取得ステップと、車両に固定された撮像装置により取り込まれた撮影画像において、車両に近い側から遠い方に向かって順番にかつ間欠的に、第２の取得ステップで取得されたインジケータを導出ステップで導出された予測軌跡に沿って重畳して、出力画像を生成する画像生成ステップとを備える。
【００１８】
また、本発明の第４の局面は、車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成する方法であって、車両に設置された測距センサから、当該車両の周囲に存在する障害物までの距離を取得する第１の取得ステップと、第１の取得ステップで得られた距離に基づいて、車両が移動可能な限界点を導出する第１の導出ステップと、車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第２の取得ステップと、第２の取得ステップで得られた操舵角に基づいて、車両がこれから移動する予測軌跡を導出する第２の導出ステップと、第１の導出ステップで導出された限界点と、第２の導出ステップで導出された予測軌跡とに基づいて、車両がこれから動くと予測される領域の形状を表す予測走行領域を生成する領域生成ステップと、車両に固定された撮像装置により取り込まれた撮影画像に、領域生成ステップで生成された予測走行領域を重畳して、出力画像を生成する画像生成ステップとを備える。
【００１９】
また、本発明の第５の局面は、車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成するためのコンピュータプログラムであって、車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第１の取得ステップと、第１の取得ステップで得られた操舵角に基づいて、車両がこれから移動する予測軌跡を導出する導出ステップと、導出ステップで導出された予測軌跡に重畳すべきインジケータを、描画装置に備わる記憶装置から取得する第２の取得ステップと、車両に固定された撮像装置により取り込まれた撮影画像において、車両に近い側から遠い方に向かって順番にかつ間欠的に、第２の取得ステップで取得されたインジケータを導出ステップで導出された予測軌跡に沿って重畳して、出力画像を生成する画像生成ステップとを備える。
コンピュータプログラムは典型的には、記憶媒体に格納される。
【００２０】
また、本発明の第６の局面は、車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成するためのコンピュータプログラムであって、車両に設置された測距センサから、当該車両の周囲に存在する障害物までの距離を取得する第１の取得ステップと、第１の取得ステップで得られた距離に基づいて、車両が移動可能な限界点を導出する第１の導出ステップと、車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第２の取得ステップと、第２の取得ステップで得られた操舵角に基づいて、車両がこれから移動する予測軌跡を導出する第２の導出ステップと、第１の導出ステップで導出された限界点と、第２の導出ステップで導出された予測軌跡とに基づいて、車両がこれから動くと予測される領域の形状を表す予測走行領域を生成する領域生成ステップと、車両に固定された撮像装置により取り込まれた撮影画像に、領域生成ステップで生成された予測走行領域を重畳して、出力画像を生成する画像生成ステップとを備える。
コンピュータプログラムは典型的には、記憶媒体に格納される。
【００２１】
【発明の実施の形態】
図１は、本発明の第１の実施形態に係る描画装置Ｕrnd1のハードウェア構成を示すブロック図である。図１において、描画装置Ｕrnd1は、プロセッサ１、プログラムメモリ２およびワーキングエリア３から構成される。プログラムメモリ２は、典型的には、ＲＯＭ(Read Only Memory)である。プログラムメモリ２には、プロセッサ１の処理手順を規定するプログラムＰＧa が格納される。プロセッサ１は、以上のプログラムＰＧa に従って、図２に示すように、実車両Ｖusr （図３参照）の左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を、インジケータＳind1およびＳind2を使って示す出力画像Ｓout を生成する。ここで、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2とは、実車両Ｖusr の左側および右側の後輪がこれから辿る軌跡である。また、インジケータＳind1およびＳind2は、プログラムメモリ２に予め格納されているオブジェクトであって、予め定められた形状（例えば円形や長方形）を有しており、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を表す。
【００２２】
ワーキングエリア３は、典型的には、ＲＡＭ(Random Access Memory)であり、プロセッサ１がプログラムＰＧa を実行する際に使用される。以上の描画装置Ｕrnd1は、典型的には、運転支援装置Ｕast1に組み込まれる。運転支援装置Ｕast1は、実車両Ｖusr に設置され、描画装置Ｕrnd1の他にも、少なくとも１台の撮像装置４と、操舵角センサ５と、表示装置６とを備えている。
【００２３】
撮像装置４は、図３に示すように実車両Ｖusr の後部に埋め込まれ、当該実車両Ｖusr の後方に広がる光景を撮影して、図４に示すような撮影画像Ｓcpt を生成する。また、操舵角センサ５は、実車両Ｖusr の操舵角θを検出して、プロセッサ１に送信する。操舵角θとは、初期位置を基準として、ステアリングが回転した角度を意味する。初期位置は、一般的に、ステアリングが切られていない状態、つまり、実車両Ｖusr が直進姿勢にある状態におけるステアリングの位置を意味する。さらに、表示装置６は、典型的には液晶ディスプレイである。
【００２４】
次に、以上の運転支援装置Ｕast1の動作について説明する。ドライバが運転支援装置Ｕast1による支援が必要なタイミングになると、プロセッサ１は、プログラムＰＧa の実行を開始する。
【００２５】
ここで、図５は、プログラムＰＧa に記述されているプロセッサ１の処理手順を示すフローチャートである。図５において、プロセッサ１は、１つの撮像指示Ｉcpt を生成し、撮像装置４に送信する（ステップＳ１）。ここで、図５に示すように、プロセッサ１は、ステップＳ１０が終了すると、ステップＳ１に戻ってきて、次の撮像指示Ｉcpt を生成する。今回の撮像指示Ｉcpt から、次の撮像指示Ｉcpt までの時間間隔は、実質的にｔ1 秒になるように、プログラムＰＧa は記述されている。ｔ1 は、例えば、表示装置６が１秒間に３０フレームの出力画像Ｓout を表示できる値に選ばれる。撮像指示Ｉcpt は、撮像装置４に撮像を指示するための信号である。撮像装置４は、受信指示Ｉcpt に応答して、図４に示すような撮影画像Ｓcpt を取り込み、ワーキングエリア３に予約されたフレームメモリ（図示せず）に格納する（ステップＳ２）。
【００２６】
次に、プロセッサ１は、導出タイミングＴ1 になったか否かを判断する（ステップＳ３）。導出タイミングＴ1 は、プログラムＰＧa に予め記述されており、プロセッサ１がｔ2 秒に１回の割合で、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を導出するようなタイミングである。ｔ2 は、ステアリングの操舵角θの変化量は時間に対して小さいことから、ｔ1 よりも大きい値（例えば０．１秒）に選ばれる。
【００２７】
プロセッサ１は、導出タイミングＴ1 であれば、検出指示Ｉdtc を生成して、操舵角センサ５に送信する（ステップＳ４）。検出指示Ｉdtc は、操舵角θの検出を操舵角センサ５に指示するための信号である。操舵角センサ５は、受信検出指示Ｉdct に応答して、操舵角θを検出する。検出された操舵角θは、ワーキングエリア３に格納される（ステップＳ５）。
【００２８】
次に、プロセッサ１は、今回得られた操舵角θに基づいて、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を導出する（ステップＳ６）。より具体的には、プロセッサ１は、アッカーマンモデルに従って、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2の式を導出する。左側予測軌跡Ｐp1の式は、アッカーマンモデルによれば、予め定められた長さを有する円弧の式である。より具体的には、かかる円弧は、実車両Ｖusr の旋回中心を中心として有し、その半径は、当該旋回中心から、左側の後輪の回転中心を路面上に正投影した点までの距離に等しい。右側予測軌跡Ｐp2の式も、右側の後輪のものである点を除けば、左側予測軌跡Ｐp1と同様である。
【００２９】
その後、プロセッサ１は、２個のインジケータＳind1およびＳind2の重畳位置データＤspを生成して、ワーキングエリア３に格納する（ステップＳ７）。具体的には、例えば、ステップＳ６で、図６に示すような左側予測軌跡Ｐp1と右側予測軌跡Ｐp2が得られたとする。プロセッサ１は、かかる左側予測軌跡Ｐp1と右側予測軌跡Ｐp2上で、実車両Ｖusr （図示せず）に最も近い２点ａ0 およびｂ0 を算出する。さらに、プロセッサ１は、左側予測軌跡Ｐp1上で、点ａ0 から所定距離Δd だけ離れた点ａ1 と、右側予測軌跡Ｐp2上で、点ｂ0 から所定距離Δd だけ離れた点ｂ1 とを算出する。プロセッサ１は、同様の処理を繰り返して、図６に示すような、ｉ組み（ｉは２以上の自然数）の（ａ0 ，ｂ0 ），（ａ1 ，ｂ1 ），…（ａ(i-1) ，ｂ(i-1) ）を決定する。さらに、（ａ0 ，ｂ0 ），…（ａ(i-1) ，ｂ(i-1) ）の各組みには、実車両Ｖusr に近いものから順番に番号が割り当てられる。以上の番号が付された順番が付された、（ａ0 ，ｂ0 ），…（ａ(i-1) ，ｂ(i-1) ）の各組みが重畳位置データＤspとして、図７に示すように、ワーキングエリア３に格納される。
【００３０】
次に、プロセッサ１は、上述の撮影画像Ｓcpt と、上述の重畳位置データＤspに基づいて、１フレーム分の出力画像Ｓout をフレームメモリ上で生成する（ステップＳ８）。出力画像Ｓout は、図２を参照して説明したように、実車両Ｖusr の周囲の状況（つまり、撮影画像Ｓcpt ）に、インジケータＳind1およびＳind2が重畳された画像である。ステップＳ８をより具体的に説明すると、プロセッサ１は、まず、ステップＳ７で得た重畳位置データＤspから、順番に従って、現在未選択の点の組みの中から、最先の１組みを選択する。現時点では、いずれの点も選択されていないことから、点の組み（ａ0 ，ｂ0 ）が選択される。さらに、プロセッサ１は、フレームメモリ上の撮影画像Ｓcpt における点（ａ0 ，ｂ0 ）に、インジケータＳind1およびＳind2を重畳する。以上の重畳処理により、フレームメモリ上には、図８に示すような、１フレーム分の出力画像Ｓout が生成される。
【００３１】
次に、プロセッサ１は、フレームメモリ上の出力画像Ｓout を表示装置６に転送する（ステップＳ９）。表示装置６は、受信画像Ｓout を自身の画面上に表示する。これによって、今回、表示装置６上には、出力画像Ｓout として、図８に示すように、実車両Ｖusr の周囲の状況を表す画像上の１組みの点（ａ0 ，ｂ0 ）に、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を示す２つのインジケータＳind1およびＳind2が合成されたものが表示される。
【００３２】
次に、プロセッサ１は、図５の処理を終了するか否かを判断し（ステップＳ１０）、終了しないと判断した場合には、フレームメモリに次の出力画像Ｓout を作成するために、ステップＳ１に戻る。その後、ステップＳ１およびＳ２が実行されることにより、フレームメモリには、新しい撮影画像Ｓcpt が格納される。そして、次のステップＳ３で、プロセッサ１は、導出タイミングＴ1 になっていないと判断した場合、インジケータＳind1およびＳind2の重畳位置の変更タイミングＴ2 になったか否かを判断する（ステップＳ１１）。変更タイミングＴ2 は、プログラムＰＧa に予め記述され、プロセッサ１がｔ3 秒に１回の割合で、インジケータＳind1およびＳind2の重畳位置を変更するようなタイミングである。ここで、ｔ3 を小さくしすぎると、インジケータＳind1が点ａ0 から点ａ1 へと早く移動しすぎることになり、ドライバが表示装置６上でインジケータＳind1を目で追えなくなる。以上の観点から、ｔ3 はｔ1 よりも大きい値（例えば０．０５秒）に選ばれる。
【００３３】
プロセッサ１は、ステップＳ１１で変更タイミングＴ2 でないと判断した場合、ステップＳ２で格納された撮影画像Ｓcpt と、重畳位置データＤspにおいて現在選択されている点の組み（現時点では点（ａ0 ，ｂ0 ））とに基づいて、１フレーム分の出力画像Ｓout をフレームメモリ上で生成する（ステップＳ１２）。つまり、今回の出力画像Ｓout でも、撮影画像Ｓcpt の点（ａ0 ，ｂ0 ）に、インジケータＳind1およびＳind2が重畳される。次に、プロセッサ１は、フレームメモリ上の出力画像Ｓout を表示装置６に転送して（ステップＳ１３）、表示装置６に、今回生成した出力画像Ｓout を表示させる。
【００３４】
次に、プロセッサ１は、ステップＳ１０において、図５の処理を終了しないと判断した場合には、ステップＳ１に戻る。その後、ステップＳ１およびＳ２が実行されることにより、フレームメモリには、新しい撮影画像Ｓcpt が格納される。さらに、ステップＳ３において、導出タイミングＴ1 でないと判断され、ステップＳ１１で変更タイミングＴ2 であると判断されると、ステップＳ１４に進む。そして、プロセッサ１は、ワーキングエリア３内の重畳位置データＤspにおいて、未選択の点の組みの内、順番が最先のものを選択する（ステップＳ１４）。前回選択されていた組みが（ａ0 ，ｂ0 ）の場合、本ステップＳ１４では（ａ1 ，ｂ1 ））が選択される。
【００３５】
次に、プロセッサ１は、撮影画像Ｓcpt と、重畳位置データＤspにおいて現在選択されている点の組み（現時点では点（ａ1 ，ｂ1 ））とに基づいて、１フレーム分の出力画像Ｓout をフレームメモリ上で生成する（ステップＳ１５）。つまり、今回の出力画像Ｓout は、図９に示すように、フレームメモリ上の撮影画像Ｓcpt における点（ａ1 ，ｂ1 ）に、インジケータＳind1およびＳind2が重畳されたものである。次に、プロセッサ１は、フレームメモリ上の出力画像Ｓout を表示装置６に転送して（ステップＳ１６）、表示装置６に、今回の出力画像Ｓout を表示させる。
【００３６】
以上のステップＳ１〜Ｓ１６をステップＳ１０で図５の処理を終了すると判断するまで繰り返す。これによって、インジケータＳind1およびＳind2は、ステップＳ９で算出された点ａ0 →ａ1 ，…→ａ(i-1) および点ｂ0 →ｂ1 ，…→ｂ(i-1) に重畳される。そのため、インジケータＳind1およびＳind2は、表示装置６の画面上には、左側予測軌跡Ｐp1と右側予測軌跡Ｐp2に沿いつつ、実車両Ｖusr の進行方向に向かって移動するように表示される。さらに、インジケータＳind1およびＳind2が間欠的に表示されるので、表示装置６上には、左側予測軌跡Ｐp1と右側予測軌跡Ｐp2が間欠的に現れる。これによって、左側予測軌跡Ｐp1と右側予測軌跡Ｐp2が従来よりも強調されるため、ドライバは、出力画像Ｓout 上で両者を瞬時に把握することができる。
【００３７】
また、プロセッサ１は、導出タイミングＴ1 に従って操舵角センサ５から操舵角θを受け取る毎に、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を導出し直す。そのため、表示装置６には、ドライバのステアリング操作に追従した正確な左側予測軌跡Ｐp1および右側予測軌跡Ｐp2が表示される。
【００３８】
なお、第１の実施形態において、変更タイミングＴ2 は可変であってもよい。例えば、インジケータＳind1およびＳind2の重畳位置が実車両Ｖusr に相対的に近い場合には、変更タイミングＴ2 が早くくるようにプログラムＰＧa を記述してもよい。これによって、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2の視認性がさらに向上する。
【００３９】
また、第１の実施形態において、左側予測軌跡Ｐp1において、連続する２つの点ａj からａ(j+1) への距離Δd は一定であった。ここで、ｊは、０からｉ−１の整数である。しかし、距離Δd は一定でなくともよい。例えば、点ａj が実車両Ｖusr に相対的に近い場合、距離Δd を相対的に小さい値に設定して、点ａ(j+1) を選択するように、プログラムＰＧa は記述されてもよい。逆に、点ａj が実車両Ｖusr に相対的に近い場合、距離Δd を相対的に大きい値に設定して、点ａ(j+1) を選択するように、プログラムＰＧa は記述されてもよい。これらによって、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2の視認性がさらに向上する。
【００４０】
図１０は、本発明の第２の実施形態に係る描画装置Ｕrnd2のハードウェア構成を示すブロック図である。図１０において、描画装置Ｕrnd2は、プロセッサ２１、プログラムメモリ２２およびワーキングエリア２３から構成される。プログラムメモリ２２は、典型的には、ＲＯＭ(Read Only Memory)であり、プロセッサ２１の処理手順を規定するプログラムＰＧb を格納している。プロセッサ２１は、以上のプログラムＰＧb に従って、図１１に示すように、実車両Ｖusr （図３参照）の予測軌跡Ｐp を示す出力画像Ｓout を生成する。ここで、予測軌跡Ｐp とは、ここで、実車両Ｖusr の左側および右側の後輪がこれから辿る軌跡であり、後で説明する表示時間帯Ｐdtの間のみ表示される。
【００４１】
ワーキングエリア２３は、典型的には、ＲＡＭ(Random Access Memory)であり、プロセッサ２１がプログラムＰＧb を実行する際に使用される。以上の描画装置Ｕrnd2は、典型的には、運転支援装置Ｕast2に組み込まれる。運転支援装置Ｕast2は、運転支援装置Ｕast1と比較すると、描画装置Ｕrnd1が描画装置Ｕrnd2に代わる点でのみ相違する。それ以外に運転支援装置Ｕast1およびＵast2の間に、構成面の相違点はないので、図１０において、図１に相当する構成には、同一の参照符号を付し、その説明を省略する。
【００４２】
次に、以上の運転支援装置Ｕast2の動作について説明する。ドライバが運転支援装置Ｕast2による支援が必要なタイミングになると、プロセッサ２１は、プログラムメモリ２２内のプログラムＰＧb の実行を開始する。
【００４３】
ここで、図１２は、プログラムＰＧb に記述されているプロセッサ２１の処理手順を示すフローチャートである。図１２のフローチャートは、図５のものと比較すると、いくつかの同じステップを含んでいる。そのため、図１２において、図５のステップに相当するものには同じステップ番号を付し、その説明を省略する。
【００４４】
まず、プロセッサ２１は、ステップ１〜Ｓ６を実行することにより、予測軌跡Ｐp の式を導出する。その後、プロセッサ２１は、ステップＳ２１に進み、ステップＳ２で格納された撮影画像Ｓcpt と、ステップＳ６で導出した予測軌跡Ｐp に基づいて、１フレーム分の出力画像Ｓout をフレームメモリ上で生成する。より具体的には、プロセッサ２１は、導出した予測軌跡Ｐp の全体を出力画像Ｓout 上に描画して、図１１に示すような出力画像Ｓout を生成する。
【００４５】
次に、プロセッサ２１は、ステップＳ９を行って、フレームメモリ上の出力画像Ｓout を表示装置６に転送し表示させる。その後、プロセッサ２１は、図１２の処理を終了するか否かを判断し（ステップＳ１０）、終了しないと判断した場合には、フレームメモリに次の出力画像Ｓout を作成するために、ステップＳ１に戻る。その後、ステップＳ１およびＳ２が実行されることにより、フレームメモリには、新しい撮影画像Ｓcpt が格納される。そして、次のステップＳ３で、プロセッサ１は、導出タイミングＴ1 になっていないと判断した場合、予測軌跡Ｐp の表示時間帯Ｐdtか否かを判断する（ステップＳ２２）。表示時間帯Ｐdtは、プログラムＰＧb に予め記述され、本実施形態では、ｔ4 秒毎に訪れる。つまり、予測軌跡Ｐp の表示および非表示は、ｔ4 秒毎に切り替わるとする。ただし、ｔ4 を小さくしすぎると、予測軌跡Ｐp が表示されているのか、非表示であるのかが、ドライバには視認できなくなる。以上の観点から、ｔ4 は、ｔ1 よりも大きい値（例えば０．１秒）に選ばれる。
【００４６】
プロセッサ２１は、表示時間帯Ｐdtである場合、ステップＳ２１に進み、予測軌跡Ｐp が描画された出力画像Ｓout （図１１参照）をフレームメモリ上で生成する。次に、プロセッサ２１は、ステップＳ９を行って、フレームメモリ上の出力画像Ｓout を表示装置６に転送し表示させる。その後、プロセッサ２１は、図１２の処理を終了するか否かを判断し（ステップＳ１０）、終了しないと判断した場合には、フレームメモリに次の出力画像Ｓout を作成するために、ステップＳ１に戻る。その後、ステップＳ１およびＳ２が実行されることにより、フレームメモリには、新しい撮影画像Ｓcpt が格納される。さらに、ステップＳ３において、導出タイミングＴ1 でないと判断され、ステップＳ２２で表示時間帯Ｐdtでないと判断されると、ステップＳ２３に進む。そして、プロセッサ２１は、ステップＳ２で格納された撮影画像Ｓcpt （図４参照）をそのまま、出力画像Ｓout として、表示装置６に転送する（ステップＳ２３）。表示装置６は、受信出力画像Ｓout を表示する。
【００４７】
プロセッサ２１は、以上のステップＳ２３までの処理を、ステップＳ１０で図１２の処理を終了すると判断するまで繰り返す。これによって、予測軌跡Ｐp は、表示時間帯Ｐdtの間でのみ表示され、それ以外の時間帯では表示されない。かかる表示および非表示の切り替えは交互に行われ、予測軌跡Ｐp は間欠的に表示される。このように、予測軌跡Ｐp が強調されるため、ドライバは出力画像Ｓout 上で予測軌跡Ｐp を視認し易くなる。
【００４８】
図１３は、本発明の第３の実施形態に係る描画装置Ｕrnd3のハードウェア構成を示すブロック図である。図１３において、描画装置Ｕrnd3は、プロセッサ４１、プログラムメモリ４２およびワーキングエリア４３から構成される。プログラムメモリ４２は、典型的には、ＲＯＭ(Read Only Memory)である。プログラムメモリ４２には、プロセッサ１の処理手順を規定するプログラムＰＧc が格納される。プロセッサ４１は、以上のプログラムＰＧc に従って、図１４に示すように、実車両Ｖusr （図３参照）の予測走行領域Ｒptが路面Ｆrd上に示された出力画像Ｓout を生成する。ここで、予測走行領域Ｒptとは、簡単に説明すると、実車両Ｖusr がこれから動くと予測される領域であり、より具体的には、第１の実施形態で説明した左側予測軌跡Ｐp1と、右側予測軌跡Ｐp2と、限界点Ｐlmt を通る線分Ｌlmt とで囲まれる領域である。
【００４９】
ワーキングエリア４３は、典型的には、ＲＡＭ(Random Access Memory)であり、プロセッサ４１がプログラムＰＧc を実行する際に使用される。以上の描画装置Ｕrnd3は、典型的には、運転支援装置Ｕast3に組み込まれる。運転支援装置Ｕast3は、運転支援装置Ｕast1と比較すると、描画装置Ｕrnd1が描画装置Ｕrnd3に代わる点と、請求項における測距センサの一例としての４個のアクティブセンサ４４1 〜４４4 をさらに備える点とで相違する。以上の２点以外に運転支援装置Ｕast3およびＵast1の間に、構成面の相違はないので、図１３において、図１に相当する構成には、同一の参照符号を付し、その説明を省略する。
【００５０】
各アクティブセンサ４４1 〜４４4 は、図１５（ａ）に示すように、実車両Ｖusr の後端に埋め込まれ、好ましくは、水平方向に並ぶように配置される。以上のように配置されるアクティブセンサ４４1 〜４４4 は、実車両Ｖusr の後方に向けて超音波または電波を出射し、その反射波を観測することにより、図１５（ｂ）に示すように、当該実車両Ｖusr の後方において最も近くに位置する障害物Ｖbst までの距離ｄ1 〜ｄ4 を検出する。
【００５１】
次に、以上の運転支援装置Ｕast3の動作について説明する。ドライバが運転支援装置Ｕast3による支援が必要なタイミングになると、プロセッサ４１は、プログラムメモリ４２内のプログラムＰＧc の実行を開始する。
【００５２】
ここで、図１６は、プログラムＰＧc に記述されているプロセッサ４１の処理手順を示すフローチャートである。図１６において、プロセッサ４１は、測距指示Ｉmsr を生成し、すべてのアクティブセンサ４４1 〜４４4 に送信する（ステップＳ４１）。測距指示Ｉmsr とは、全てのアクティブセンサ４４1 〜４４4 に対して、距離ｄ1 〜ｄ4 を検出して、プロセッサ４１に送信するように要求するための信号である。各アクティブセンサ４４1 〜４４4 は、受信測距指示Ｉmsr に応答して、上述の距離ｄ1 〜ｄ4 を検出し、ワーキングエリア４３に格納する（ステップＳ４２）。
【００５３】
次に、今回得られた距離ｄ1 〜ｄ4 に基づいて、プロセッサ４１は、障害物Ｖbst の表面上の４点Ｐ1 〜Ｐ4 の座標値（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）を算出する（ステップＳ４３）。以下、図１７を参照して、ステップＳ４３の処理を具体的に説明する。図１７には、実車両Ｖusr と、障害物Ｖbst と、２次元座標系とが描かれている。２次元座標系において、Ｙ軸は、実車両Ｖusr が有する左側の後輪Ｗr1および右側の後輪Ｗr2の回転中心を結ぶ。また、Ｘ軸は、上記回転中心を結ぶ線分の垂直二等分線の内、水平面に平行な直線である。前述したように、各アクティブセンサ４４1 〜４４4 は実車両Ｖusr に対して固定されるから、各アクティブセンサ４４1 〜４４3 が超音波等を出射する部分の位置Ａ1 〜Ａ4 は、２次元座標系において既知の座標値（ｘa1，ｙa1）〜（ｘa4，ｙa4）で表すことができる。また、距離ｄ1 〜ｄ4 が得られる時に、各アクティブセンサ４４1 〜４４4 が超音波等を出射する角度φ1 〜φ4 も既知である。ここで、本実施形態では、角度φ1 〜φ4 は、上記Ｘ軸と、出射波とがなす角度であり、図１７には、角度φ1 が代表的に示されている。以上のことから、上述の座標値（ｘ1 ，ｙ1 ）は、（ｄ1 ・cos φ1 ＋ｘa1，ｄ1 ・sin φ1 ＋ｙa1）であり、座標値（ｘ2 ，ｙ2 ）〜（ｘ4 ，ｙ4 ）は、（ｄ2 ・cos φ2 ＋ｘa2，ｄ2 ・sin φ2 ＋ｙa2）〜（ｄ4 ・cos φ4 ＋ｘa4，ｄ4 ・sin φ4 ＋ｙa4）である。
【００５４】
次に、今回算出された障害物Ｖbst 上の４点Ｐ1 〜Ｐ4 に基づいて、プロセッサ４１は、限界点Ｐlmt の一例としての障害物Ｖbst の隅Ｐcnr の座標値（ｘlmt ，ｙlmt ）を算出する（ステップＳ４４）。ここで、限界点Ｐlmt とは、実車両Ｖusr が進行可能な限界を示しており、それ以上進行すると障害物Ｖbst にぶつかると想定される点である。以下、図１８を参照して、ステップＳ４４の処理を具体的に説明する。まず、プロセッサ４１は、上述の点Ｐ1 〜Ｐ4 に対してハフ変換を行って、ρ軸とθ軸からなるハフ空間上の曲線Ｃ1 〜Ｃ4 を導出する。ここで、曲線Ｃ1 〜Ｃ4 は、次式（１）〜（４）で表される。
ρ＝ｘ1 ・cos θ＋ｙ1 ・sin θ…（１）
ρ＝ｘ2 ・cos θ＋ｙ2 ・sin θ…（２）
ρ＝ｘ3 ・cos θ＋ｙ3 ・sin θ…（３）
ρ＝ｘ4 ・cos θ＋ｙ4 ・sin θ…（４）
【００５５】
次に、プロセッサ４１は、上式（１）および（２）から、曲線Ｃ1 およびＣ2 のハフ空間上での交点Ｐc1の座標値（ρ1 ，θ1 ）と、上式（２）〜（４）から、曲線Ｃ2 、Ｃ3 およびＣ4 のハフ空間上での交点Ｐc2の座標値（ρ2 ，θ2 ）とを算出する。さらに、プロセッサ４１は、以上の交点Ｐc1から直線Ｐ1 Ｐ2 を表す式を導出する。ここで、直線Ｐ1 Ｐ2 は、２次元座標系上で、次式（５）で表される。同様に、直線Ｐ2 Ｐ4 は次式（６）で表される。
ｙ＝（−cos θ1 ・ｘ＋ρ1 ）／sin θ1 …（５）
ｙ＝（−cos θ2 ・ｘ＋ρ2 ）／sin θ2 …（６）
以上の式（５）および（６）から、プロセッサ４１は、直線Ｐ1 Ｐ2 と直線Ｐ2 Ｐ3 との交点の座標値を求め、上述の座標値（ｘlmt ，ｙlmt ）とする。
【００５６】
次に、プロセッサ４１は、図５のステップＳ４およびＳ５と同様にして、車両Ｖusr の現在の操舵角θを受け取る（ステップＳ４５およびＳ４６）。
【００５７】
次に、プロセッサ４１は、図１９に示す車両Ｖusr の旋回中心点Ｐcnt の上述の２次元座標系における座標値（ｘcnt ，ｙcnt ）を算出する（ステップＳ４７）。さらに、プロセッサ４１は、上述の旋回中心点Ｐcnt を中心とし、車両Ｖusr が有する左側後輪Ｗr1および右側後輪Ｗr2の回転中心点を通る円Ｃr1およびＣr2の式を導出する（ステップＳ４８）。座標値ｘcnt およびｙcnt と、円Ｃr1およびＣr2の式とは、周知のアッカーマンモデルに従って簡単に算出できるので、ここでは、ステップＳ４７およびＳ４８の説明を省略する。また、円Ｃr1およびＣr2は、第１の実施形態における左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を含む。
【００５８】
次に、プロセッサ４１は、ステップＳ４４で得られた座標値（ｘcnr ，ｙcnr ）と、ステップＳ４７で得られた座標値（ｘcnt ，ｙcnt ）とを通過する直線Ｌlmt の式を導出する（ステップＳ４９）。直線Ｌlmt は、車両Ｖusr が障害物Ｖbst にぶつかることなく移動できる限界を規定する直線である。
【００５９】
次に、プロセッサ４１は、ステップＳ４８で得られた円Ｃr1およびＣr2と、ステップＳ４９で得られた直線Ｌlmt と、線分Ｌr12 とで囲まれる領域を表す図形を、予測走行領域Ｒptとして生成する（ステップＳ４１０）。ここで、線分Ｌr12 は、左側後輪Ｗr1および右側後輪Ｗr2の回転中心点を結ぶ。
【００６０】
次に、プロセッサ４１は、図５のステップＳ１およびＳ２と同様にして、撮影画像Ｓcpt を撮像装置４から受け取る（ステップＳ４１１，Ｓ４１２）。さらに、プロセッサ４１は、ステップＳ４１２で格納された撮影画像Ｓcpt と、ステップＳ４１０で生成された予測走行領域Ｒptに基づいて、１フレーム分の出力画像Ｓout をフレームメモリ上で生成する（ステップＳ４１３）。より具体的には、プロセッサ４１は、導出した予測走行領域Ｒptを撮像装置４からみたものに変形して、撮影画像Ｓcpt 上に描画して、図１４に示すような出力画像Ｓout を生成する。次に、プロセッサ４１は、フレームメモリ上の出力画像Ｓout を表示装置６に転送して、表示させる（ステップＳ４１４）。プロセッサ４１は、以上のステップＳ４１〜Ｓ４１４をステップＳ４１５で図１６の処理を終了すると判断するまで繰り返す。以上説明したように、予測走行領域Ｒptは、車両Ｖusr が移動可能な限界を示す限界点Ｐlmt まで帯状に延びるので、ドライバは、表示装置６で、当該車両Ｖusr をどこまで移動させることができるかを瞬時に認識することができる。
【００６１】
また、以上の第１〜第３の実施形態では、撮像装置４は、車両Ｖusr の後部に埋め込まれるとして説明したが、当該車両Ｖusr の前部に埋め込まれても良い。また、撮像装置４の台数は運転支援装置Ｕast1〜Ｕast3の設計要件に応じて定められればよく、何台でもよい。
【００６２】
また、以上の第１〜第３の実施形態では、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2、予測軌跡Ｐp ならびに予測走行領域Ｒptが撮影画像Ｓcpt 上に描画されていた。しかし、これに限らず、プロセッサ１、２１および４１が撮影画像Ｓcpt に何らかの画像処理を行い、画像処理された撮影画像Ｓcpt に、左側予測軌跡Ｐp1および右側予測軌跡Ｐp2、予測軌跡Ｐp ならびに予測走行領域Ｒptが描画されても良い。以上の画像処理としては、撮影画像Ｓcpt から、車両Ｖusr の直上に定められた仮想視点からみた車両の周囲画像を生成する処理が代表的である。
【００６３】
また、以上の第１〜第３の実施形態では、プロセッサ１、２１および４１が撮像装置４に対して撮像指示Ｉcpt を送信し、これを契機にして、撮影画像Ｓcpt がフレームメモリに格納されていた。しかし、撮像装置４が、自発的に撮影画像Ｓcpt を生成して、フレームメモリに格納してもよい。同様に、操舵角センサ５は、プロセッサ１、２１および４１からの検出指示Ｉdct に応答してではなく、操舵角θを自発的に検出してもよい。
【００６４】
また、以上の第３の実施形態では、４台のアクティブセンサ４４1 〜４４4 が車両Ｖusr に設置されていたが、その台数は１台以上であればよい。ただし、１台の場合には、アクティブセンサ４４のレンズの向きを動的に制御して、出射波の角度φを広い範囲で振る必要がある。
【００６５】
また、以上の第３の実施形態では、障害物Ｖbst までの距離ｄ1 〜ｄ4 を測定するためにアクティブセンサ４４1 〜４４4 を用いた。しかし、これに限らず、他の測距センサ、例えば、パッシブセンサが用いられてもよい。パッシブセンサの一例を構成するためには、車両Ｖusr の後方に向けられた少なくとも２台の撮像装置が必要となる。これら撮像装置はそれぞれは、車両Ｖusr の後方にある障害物Ｖbst を撮影する。さらに、プロセッサ４１は、以上の撮像装置からの複数の撮影画像に映っている障害物Ｖbst までの距離を、視差に基づいて測定する（いわゆるステレオ視）。
【００６６】
また、以上の第１〜第３の実施形態では、プログラムＰＧa 〜ＰＧc は、描画装置Ｕrnd1〜Ｕrnd3に格納されていた。しかし、これに限らず、プログラムＰＧa 〜ＰＧc は、ＣＤ−ＲＯＭに代表される記録媒体に記録された状態で頒布されてもよいし、インターネットに代表される通信ネットワークを通じて頒布されてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る描画装置Ｕrnd1のハードウェア構成を示すブロック図である。
【図２】図１のプロセッサ１により生成される出力画像Ｓout を示す図である。
【図３】図１の撮像装置４の設置位置を示す図である。
【図４】図１の撮像装置４が生成する撮影画像Ｓcpt を示す図である。
【図５】図１のプロセッサ１の処理手順を示すフローチャートである。
【図６】図５のステップＳ６で導出される左側予測軌跡Ｐp1および右側予測軌跡Ｐp2を示す図である。
【図７】図５のステップＳ７で生成される重畳位置データＤspを示す図である。
【図８】図５のステップＳ８で生成される出力画像Ｓout を示す図である。
【図９】図５のステップＳ１５で生成される出力画像Ｓout を示す図である。
【図１０】本発明の第２の実施形態に係る描画装置Ｕrnd2のハードウェア構成を示すブロック図である。
【図１１】図１０のプロセッサ２１により生成される出力画像Ｓout を示す図である。
【図１２】図１０のプロセッサ２１の処理手順を示すフローチャートである。
【図１３】本発明の第３の実施形態に係る描画装置Ｕrnd3のハードウェア構成を示すブロック図である。
【図１４】図１３のプロセッサ４１により生成される出力画像Ｓout の示す図である。
【図１５】図１３のアクティブセンサ４４1 〜４４4 の設置位置を示す図である。
【図１６】図１３のプロセッサ４１の処理手順を示すフローチャートである。
【図１７】図１６のステップＳ４３の処理を説明するための図である。
【図１８】図１６のステップＳ４４の処理を説明するための図である。
【図１９】図１６のステップＳ４１０で生成される予測走行領域Ｒptを詳細に示す図である。
【図２０】従来の運転支援装置に表示される出力画像を示す図である
【図２１】従来の運転支援装置が抱えている問題点を説明するための図である。
【符号の説明】
Ｕast1〜Ｕast3…運転支援装置
Ｕrnd1〜Ｕrnd3…描画装置
１，２１，４１…プロセッサ
２，２２，４２…プログラムメモリ
３，２３，４３…ワーキングエリア
４…撮像装置
５…操舵角センサ
６…表示装置
４４1 〜４４4 …アクティブセンサ[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a drawing apparatus, and more particularly to a drawing apparatus that can be incorporated into a driving support apparatus that supports driving of a vehicle. More specifically, the present invention relates to a drawing device that creates an output image representing the surroundings of a vehicle based on an image captured by an imaging device fixed to the vehicle.
[0002]
[Prior art]
  2. Description of the Related Art Conventionally, research and development of driving support devices incorporating the above-described drawing device has been actively conducted. A conventional driving support device is mounted on a vehicle and generally includes an imaging device, a steering angle sensor, a calculation unit, a drawing device, and a display device. The imaging device is fixed at a predetermined position of the vehicle, and captures an image (hereinafter referred to as a captured image) that represents the state of an area defined by its own viewing angle within the entire periphery of the vehicle. The steering angle sensor is fixed at a predetermined position of the vehicle and detects the steering angle amount of the steering of the vehicle. The calculation unit calculates a predicted trajectory that the vehicle will follow from the steering angle amount detected by the steering angle sensor. The drawing apparatus draws the predicted trajectory calculated by the calculation unit on the captured image captured by the imaging apparatus, and generates an output image as shown in FIG. The display device displays the output image generated by the drawing device.
[0003]
  When the output image as shown in FIG. 20 is displayed on the display device, the driver can determine whether the vehicle can fit in the parking space without hitting an obstacle by the current steering operation. In particular, when the amount of steering angle is not appropriate, the predicted trajectory is displayed outside the parking space, so that the driver can easily adjust the steering operation.
[0004]
  In addition, the driving support apparatus as described above further includes an active sensor that measures the distance to an obstacle existing near the predicted locus, as disclosed in Japanese Examined Patent Publication No. 2-36417. There is something. Based on the distance obtained from the active sensor, the calculation unit determines a portion to be drawn on the captured image (hereinafter referred to as a drawing prediction locus) in the prediction locus calculated by itself. As a result, the drawing apparatus draws on the captured image a drawing prediction trajectory that is cut immediately before the obstacle whose distance is to be measured.
[0005]
[Problems to be solved by the invention]
  Next, two problems of the conventional driving support device will be described. First, the base color of the captured image can vary depending on the current position of the vehicle. For example, in a paved parking lot, the color of asphalt is the base color, but in an unpaved parking lot, the color of soil is the base color. However, in the conventional driving support apparatus, since the color of the predicted trajectory is fixedly set, it may resemble the above-described basic color. In such a case, there is a problem that the driver may not be able to instantly visually recognize the predicted trajectory on the output image.
[0006]
  Secondly, in the conventional driving support device, as shown in FIG. 20, since the predicted trajectory is only drawn on the captured image with a line, the driver cannot instantly understand the limit that the vehicle can move. was there. More specifically, as shown in FIG. 21, the vehicle Vusr having the conventional driving support device is heading in the direction where the obstacle Vbst exists. In such a situation, the vehicle Vusr first contacts the corner Pcnr of the obstacle Vbst without contacting the intersection Pcrg between the predicted trajectory Pp and the surface of the obstacle Vbst. That is, the limit point at which the vehicle Vusr can move is the corner Pcnr of the obstacle Vbst in the situation shown in FIG. As described above, even if the predicted trajectory is drawn so as to be cut immediately before the obstacle as disclosed in the above publication, the above-described problem still remains.
[0007]
  Therefore, an object of the present invention is to provide a drawing device that can generate an output image in which a driver can easily recognize a predicted trajectory.
  Another object of the present invention is to provide a drawing device that can generate an output image that allows a driver to easily understand the limit of movement of a vehicle.
[0008]
[Means for Solving the Problems and Effects of the Invention]
  In order to achieve the above object, a first aspect of the present invention is a drawing apparatus for creating an output image representing the surroundings of a vehicle for driving support of the vehicle, the steering angle sensor being fixed to the vehicle From the acquisition unit for acquiring the current steering angle of the vehicle, a deriving unit for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained by the acquiring unit, and the predicted trajectory derived by the deriving unit In the storage section for storing the indicator to be superimposed on the captured image captured by the imaging device fixed to the vehicle, in order from the side closer to the vehicle toward the far sideAnd intermittentlyAnd an image generation unit that generates an output image by superimposing the indicator stored in the storage unit along the predicted trajectory derived by the deriving unit.
[0009]
  Preferably, the drawing apparatus further includes superimposition position data indicating where the indicator stored in the storage unit is superimposed on the captured image captured by the imaging device based on the predicted trajectory derived by the deriving unit. The data generation part which produces | generates is provided. Here, the image generation unit superimposes the indicator stored in the storage unit on the captured image captured by the imaging device based on the superimposition position data generated by the data generation unit.
[0010]
  Preferably, the image generation unit superimposes the predicted trajectory on the captured image in a predetermined time zone and does not superimpose the predicted trajectory in other time zones.
[0011]
  Preferably, the drawing apparatus further calculates the coordinates of a plurality of points having a predetermined distance interval from the predicted trajectory derived by the deriving unit, and the calculated coordinates are closer to the vehicle. A data generation unit that assigns numbers in order and further generates superposition position data including a plurality of sets composed at least of the assigned numbers and the calculated coordinates is provided. Here, the image generation unit sequentially selects the coordinates in accordance with the numbers included in the superimposed position data generated by the data generation unit, and the indicators stored in the storage unit are sequentially displayed on the captured images captured by the imaging device. Superimpose on.
[0012]
  According to the first aspect,Since the measurement trajectory is displayed intermittently, it stands out on the output image. Thus, it is possible to provide a drawing device that can generate an output image in which the driver can easily recognize the predicted locus.
[0013]
  In addition, the second aspect of the present invention isA drawing device that creates an output image representing the surroundings of a vehicle for driving support of the vehicle, and obtains a distance from a distance measuring sensor installed in the vehicle to an obstacle existing around the vehicle Based on a first acquisition unit, a first deriving unit for deriving a limit point at which the vehicle can move based on the distance obtained by the first acquisition unit, and a steering angle sensor fixed to the vehicle, the vehicle A second acquisition unit for acquiring the current steering angle, a second derivation unit for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained by the second acquisition unit,Region generation that generates a predicted travel region that represents the shape of the region where the vehicle is predicted to move based on the limit point derived by the first deriving unit and the predicted trajectory derived by the second deriving unit AndCaptured image captured by an imaging device fixed to the vehicleOverlaid with the predicted travel area generated by the area generation unit,An image generation unit that generates an output image.
[0014]
  Preferably, the first derivation unit generates a predicted locus for each of both wheels provided in the vehicle. Further, the region generation unit calculates a predicted travel region that represents the shape of the region surrounded by the line segment passing through the limit point derived by the first deriving unit and each predicted trajectory derived by the second deriving unit. Generate.
[0015]
  Preferably, the first acquisition unit acquires a distance from each of a plurality of distance measuring sensors provided in the vehicle to an obstacle existing around the vehicle. Here, the drawing apparatus further includes a coordinate calculation unit that calculates coordinates indicating a plurality of points on the surface of the obstacle based on the distance acquired by the first acquisition unit. The first deriving unit performs Hough transform on the coordinates of each point calculated by the coordinate calculating unit, and as a result, the coordinates of the corners of the obstacle are derived as limit points.
[0016]
  According to the second aspect,Since the output image is generated based on the predicted trajectory and the limit point, it is possible to provide a drawing device that can generate an output image in which the driver can easily understand the limit at which the vehicle can move.
[0017]
  A third aspect of the present invention is a method for generating an output image representing the surroundings of a vehicle, which is used in a drawing device that generates an output image for driving support of the vehicle, and is fixed to the vehicle. A first acquisition step of acquiring the current steering angle of the vehicle from the steering angle sensor, and a derivation step of deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained in the first acquisition step; The second acquisition step of acquiring the indicator to be superimposed on the predicted trajectory derived in the derivation step from the storage device provided in the drawing device, and the captured image captured by the imaging device fixed to the vehicle are close to the vehicle. In order from the side toward the far sideAnd intermittentlyAnd an image generation step of generating an output image by superimposing the indicator acquired in the second acquisition step along the predicted trajectory derived in the derivation step.
[0018]
  A fourth aspect of the present invention is a method for generating an output image representing the surroundings of a vehicle, which is used in a drawing device that generates an output image for driving support of the vehicle, and is installed in the vehicle. A first acquisition step for acquiring a distance from the distance measurement sensor to an obstacle existing around the vehicle, and a limit point at which the vehicle can move is derived based on the distance obtained in the first acquisition step. Based on the first derivation step, the second acquisition step of acquiring the current steering angle of the vehicle from the steering angle sensor fixed to the vehicle, and the steering angle obtained in the second acquisition step, Based on the second deriving step for deriving the predicted trajectory from which the vehicle will move, the limit point derived in the first deriving step, and the predicted trajectory derived in the second deriving step, the vehicle will move from now on Predicted Generate an output image by superimposing the predicted travel area generated in the area generation step on the captured image captured by the imaging device fixed to the vehicle and the area generation step for generating the predicted travel area representing the shape of the area And an image generation step.
[0019]
  According to a fifth aspect of the present invention, there is provided a computer program for generating an output image representing the surroundings of a vehicle, which is used in a drawing device that generates an output image for driving support of the vehicle. From the fixed steering angle sensor, based on the first acquisition step of acquiring the current steering angle of the vehicle and the steering angle obtained in the first acquisition step, a predicted trajectory from which the vehicle will move is derived. In a derivation step, a second acquisition step of acquiring an indicator to be superimposed on the predicted trajectory derived in the derivation step from a storage device provided in the drawing device, and a captured image captured by an imaging device fixed to the vehicle, In order from the side closer to the vehicle toward the far sideAnd intermittentlyAnd an image generation step of generating an output image by superimposing the indicator acquired in the second acquisition step along the predicted trajectory derived in the derivation step.
  The computer program is typically stored on a storage medium.
[0020]
  According to a sixth aspect of the present invention, there is provided a computer program for generating an output image representing a periphery of the vehicle, which is used in a drawing device that generates an output image for driving support of the vehicle. A first acquisition step for acquiring a distance from an installed distance measuring sensor to an obstacle existing around the vehicle, and a limit on which the vehicle can move based on the distance obtained in the first acquisition step A first deriving step for deriving a point; a second obtaining step for obtaining a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle; and a second obtaining step. Based on the steering angle obtained in step 2, the second derivation step for deriving a predicted trajectory from which the vehicle will move, the limit point derived in the first derivation step, and the prediction derived in the second derivation step Based on the trajectory, an area generation step that generates a predicted travel area that represents the shape of the area where the vehicle is predicted to move from now on, and an area generation step that generates a captured image captured by an imaging device fixed to the vehicle And an image generation step of generating an output image by superimposing the predicted travel area.
  Computer programs are typically stored on storage media.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
  FIG. 1 is a block diagram showing a hardware configuration of the drawing apparatus Urnd1 according to the first embodiment of the present invention. In FIG. 1, the drawing device Urnd 1 is composed of a processor 1, a program memory 2 and a working area 3. The program memory 2 is typically a ROM (Read Only Memory). The program memory 2 stores a program PGa that defines the processing procedure of the processor 1. In accordance with the above program PGa, the processor 1 generates an output image Sout indicating the left predicted trajectory Pp1 and the right predicted trajectory Pp2 of the actual vehicle Vusr (see FIG. 3) using the indicators Sind1 and Sind2, as shown in FIG. To do. Here, the left predicted trajectory Pp1 and the right predicted trajectory Pp2 are trajectories followed by the left and right rear wheels of the actual vehicle Vusr. Indicators Sind1 and Sind2 are objects stored in advance in the program memory 2 and have a predetermined shape (for example, a circle or a rectangle), and represent the left predicted trajectory Pp1 and the right predicted trajectory Pp2. .
[0022]
  The working area 3 is typically a RAM (Random Access Memory), and is used when the processor 1 executes the program PGa. The above drawing device Urnd1 is typically incorporated in the driving support device Uast1. The driving support device Uast1 is installed in the actual vehicle Vusr and includes at least one imaging device 4, a steering angle sensor 5, and a display device 6 in addition to the drawing device Urnd1.
[0023]
  As shown in FIG. 3, the imaging device 4 captures a scene embedded in the rear part of the actual vehicle Vusr and spreading behind the actual vehicle Vusr to generate a captured image Scpt as shown in FIG. Further, the steering angle sensor 5 detects the steering angle θ of the actual vehicle Vusr and transmits it to the processor 1. The steering angle θ means an angle at which the steering is rotated with reference to the initial position. The initial position generally means the position of the steering when the steering is not turned off, that is, when the actual vehicle Vusr is in a straight running posture. Further, the display device 6 is typically a liquid crystal display.
[0024]
  Next, the operation of the above driving support apparatus Uast1 will be described. When it is time for the driver to require assistance from the driving assistance device Uast1, the processor 1 starts executing the program PGa.
[0025]
  Here, FIG. 5 is a flowchart showing a processing procedure of the processor 1 described in the program PGa. In FIG. 5, the processor 1 generates one imaging instruction Icpt and transmits it to the imaging device 4 (step S1). Here, as shown in FIG. 5, when step S10 ends, the processor 1 returns to step S1 to generate the next imaging instruction Icpt. The program PGa is described so that the time interval from the current imaging instruction Icpt to the next imaging instruction Icpt is substantially t1 seconds. For example, t1 is selected to a value that allows the display device 6 to display an output image Sout of 30 frames per second. The imaging instruction Icpt is a signal for instructing the imaging apparatus 4 to perform imaging. In response to the reception instruction Icpt, the imaging device 4 captures a captured image Scpt as shown in FIG. 4 and stores it in a frame memory (not shown) reserved in the working area 3 (step S2).
[0026]
  Next, the processor 1 determines whether or not the derivation timing T1 has come (step S3). The derivation timing T1 is described in advance in the program PGa, and is a timing at which the processor 1 derives the left prediction trajectory Pp1 and the right prediction trajectory Pp2 at a rate of once per t2 seconds. t2 is selected to be larger than t1 (for example, 0.1 second) because the amount of change in the steering angle θ of the steering is small with respect to time.
[0027]
  If it is the derivation timing T1, the processor 1 generates a detection instruction Idtc and transmits it to the steering angle sensor 5 (step S4). The detection instruction Idtc is a signal for instructing the steering angle sensor 5 to detect the steering angle θ. The steering angle sensor 5 detects the steering angle θ in response to the reception detection instruction Idct. The detected steering angle θ is stored in the working area 3 (step S5).
[0028]
  Next, the processor 1 derives the left predicted trajectory Pp1 and the right predicted trajectory Pp2 based on the steering angle θ obtained this time (step S6). More specifically, the processor 1 derives expressions of the left prediction trajectory Pp1 and the right prediction trajectory Pp2 according to the Ackermann model. According to the Ackerman model, the formula of the left prediction trajectory Pp1 is an arc formula having a predetermined length. More specifically, such an arc has the turning center of the actual vehicle Vusr as the center, and the radius is the distance from the turning center to the point where the rotation center of the left rear wheel is orthographically projected on the road surface. equal. The formula of the right predicted trajectory Pp2 is the same as that of the left predicted trajectory Pp1 except that the right predicted trajectory Pp2 is for the right rear wheel.
[0029]
  Thereafter, the processor 1 generates superimposed position data Dsp of the two indicators Sind1 and Sind2 and stores them in the working area 3 (step S7). Specifically, for example, it is assumed that the left predicted trajectory Pp1 and the right predicted trajectory Pp2 as shown in FIG. 6 are obtained in step S6. The processor 1 calculates two points a0 and b0 that are closest to the actual vehicle Vusr (not shown) on the left predicted trajectory Pp1 and the right predicted trajectory Pp2. Further, the processor 1 calculates a point a1 separated from the point a0 by a predetermined distance Δd on the left predicted locus Pp1 and a point b1 separated from the point b0 by a predetermined distance Δd on the right predicted locus Pp2. The processor 1 repeats the same processing, and as shown in FIG. 6, i sets (i is a natural number of 2 or more) (a0, b0), (a1, b1), ... (a (i-1), b (i-1)) is determined. Furthermore, numbers (a0, b0),... (A (i-1), b (i-1)) are assigned numbers in order from the closest to the actual vehicle Vusr. As shown in FIG. 7, each set of (a0, b0),... (A (i-1), b (i-1)) to which the above numbers are attached is used as superposition position data Dsp. Are stored in the working area 3.
[0030]
  Next, the processor 1 generates an output image Sout for one frame on the frame memory based on the above-described captured image Scpt and the above-described superimposed position data Dsp (step S8). As described with reference to FIG. 2, the output image Sout is an image in which indicators Sind1 and Sind2 are superimposed on the situation around the actual vehicle Vusr (that is, the photographed image Scpt). Step S8 will be described more specifically. First, the processor 1 selects the earliest one set from the currently unselected set of points according to the order from the superposition position data Dsp obtained in step S7. At this time, since no point is selected, a set of points (a0, b0) is selected. Further, the processor 1 superimposes the indicators Sind1 and Sind2 on the point (a0, b0) in the captured image Scpt on the frame memory. Through the above superimposition processing, an output image Sout for one frame as shown in FIG. 8 is generated on the frame memory.
[0031]
  Next, the processor 1 transfers the output image Sout on the frame memory to the display device 6 (step S9). The display device 6 displays the received image Sout on its own screen. As a result, as shown in FIG. 8, on the display device 6 this time, as shown in FIG. 8, a set of points (a0, b0) on the image representing the situation around the actual vehicle Vusr is left-side predicted trajectory. A combination of two indicators Sind1 and Sind2 indicating Pp1 and right predicted trajectory Pp2 is displayed.
[0032]
  Next, the processor 1 determines whether or not to end the processing of FIG. 5 (step S10). If it is determined that the processing does not end, the processor 1 generates a next output image Sout in the frame memory in step S1. Return to. Thereafter, steps S1 and S2 are executed, whereby a new captured image Scpt is stored in the frame memory. In the next step S3, if the processor 1 determines that the derivation timing T1 is not reached, the processor 1 determines whether or not the superimposition position change timing T2 of the indicators Sind1 and Sind2 has come (step S11). The change timing T2 is described in advance in the program PGa, and is a timing at which the processor 1 changes the overlapping positions of the indicators Sind1 and Sind2 at a rate of once every t3 seconds. If t3 is too small, the indicator Sind1 moves too quickly from the point a0 to the point a1, and the driver cannot follow the indicator Sind1 on the display device 6. From the above viewpoint, t3 is selected to be larger than t1 (for example, 0.05 seconds).
[0033]
  If the processor 1 determines that it is not the change timing T2 in step S11, the combination of the photographed image Scpt stored in step S2 and the point currently selected in the superimposed position data Dsp (currently, points (a0, b0)) Based on the above, an output image Sout for one frame is generated on the frame memory (step S12). That is, in the current output image Sout, the indicators Sind1 and Sind2 are superimposed on the point (a0, b0) of the captured image Scpt. Next, the processor 1 transfers the output image Sout on the frame memory to the display device 6 (step S13), and causes the display device 6 to display the output image Sout generated this time.
[0034]
  Next, when the processor 1 determines in step S10 that the process of FIG. 5 is not terminated, the processor 1 returns to step S1. Thereafter, steps S1 and S2 are executed, whereby a new captured image Scpt is stored in the frame memory. Further, if it is determined in step S3 that it is not the derivation timing T1, and if it is determined in step S11 that it is the change timing T2, the process proceeds to step S14. Then, the processor 1 selects, in the superposition position data Dsp in the working area 3, the earliest in the order from among a set of unselected points (step S14). If the previously selected combination is (a0, b0), (a1, b1)) is selected in this step S14.
[0035]
  Next, the processor 1 stores the output image Sout for one frame in the frame memory based on the photographed image Scpt and a set of points currently selected in the superimposed position data Dsp (currently, the points (a1, b1)). The above is generated (step S15). That is, the current output image Sout is obtained by superimposing the indicators Sind1 and Sind2 on the point (a1, b1) in the captured image Scpt on the frame memory, as shown in FIG. Next, the processor 1 transfers the output image Sout on the frame memory to the display device 6 (step S16), and causes the display device 6 to display the current output image Sout.
[0036]
  The above steps S1 to S16 are repeated until it is determined in step S10 that the processing of FIG. Accordingly, the indicators Sind1 and Sind2 are superimposed on the points a0 → a1,... → a (i-1) and points b0 → b1,... → b (i-1) calculated in step S9. Therefore, the indicators Sind1 and Sind2 are displayed on the screen of the display device 6 so as to move in the traveling direction of the actual vehicle Vusr along the left predicted trajectory Pp1 and the right predicted trajectory Pp2. Further, since the indicators Sind1 and Sind2 are displayed intermittently, the left predicted trajectory Pp1 and the right predicted trajectory Pp2 appear intermittently on the display device 6. As a result, the left predicted trajectory Pp1 and the right predicted trajectory Pp2 are emphasized more than before, and the driver can instantly grasp both on the output image Sout.
[0037]
  Further, every time the processor 1 receives the steering angle θ from the steering angle sensor 5 in accordance with the derivation timing T1, the processor 1 derives the left predicted trajectory Pp1 and the right predicted trajectory Pp2.TheTherefore, the display device 6 displays the accurate left predicted trajectory Pp1 and right predicted trajectory Pp2 following the driver's steering operation.
[0038]
  In the first embodiment, the change timing T2 may be variable. For example, if the superimposed positions of the indicators Sind1 and Sind2 are relatively close to the actual vehicle Vusr, the program PGa may be described so that the change timing T2 comes earlier. Thereby, the visibility of the left predicted trajectory Pp1 and the right predicted trajectory Pp2 is further improved.
[0039]
  Further, in the first embodiment, the distance Δd from two consecutive points aj to a (j + 1) is constant in the left prediction trajectory Pp1. Here, j is an integer from 0 to i-1. However, the distance Δd need not be constant. For example, if the point aj is relatively close to the actual vehicle Vusr, the program PGa may be written so that the distance Δd is set to a relatively small value and the point a (j + 1) is selected. Conversely, if the point aj is relatively close to the actual vehicle Vusr, the program PGa may be written so that the distance Δd is set to a relatively large value and the point a (j + 1) is selected. . Thus, the visibility of the left predicted trajectory Pp1 and the right predicted trajectory Pp2 is further improved.
[0040]
  FIG. 10 is a block diagram showing a hardware configuration of the rendering apparatus Urnd2 according to the second embodiment of the present invention. In FIG. 10, the drawing device Urnd 2 is composed of a processor 21, a program memory 22 and a working area 23. The program memory 22 is typically a ROM (Read Only Memory) and stores a program PGb that defines the processing procedure of the processor 21. The processor 21 generates an output image Sout indicating the predicted trajectory Pp of the actual vehicle Vusr (see FIG. 3) according to the above program PGb, as shown in FIG. Here, the predicted trajectory Pp is a trajectory followed by the left and right rear wheels of the actual vehicle Vusr, and is displayed only during a display time period Pdt described later.
[0041]
  The working area 23 is typically a RAM (Random Access Memory), and is used when the processor 21 executes the program PGb. The above drawing device Urnd2 is typically incorporated in the driving support device Uast2. The driving support device Uast2 is different from the driving support device Uast1 only in that the drawing device Urnd1 is replaced with the drawing device Urnd2. Other than that, there is no difference in configuration between the driving support apparatuses Uast1 and Uast2, and therefore, in FIG. 10, the same reference numerals are assigned to the components corresponding to FIG. 1, and the description thereof is omitted.
[0042]
  Next, the operation of the above driving assistance device Uast2 will be described. When the driver needs to support the driving support device Uast2, the processor 21 starts executing the program PGb in the program memory 22.
[0043]
  FIG. 12 is a flowchart showing the processing procedure of the processor 21 described in the program PGb. The flowchart of FIG. 12 includes several identical steps when compared to that of FIG. Therefore, in FIG. 12, the same step numbers are assigned to the steps corresponding to the steps in FIG.
[0044]
  First, the processor 21 derives the formula of the predicted trajectory Pp by executing steps 1 to S6. Thereafter, the processor 21 proceeds to step S21, and generates an output image Sout for one frame on the frame memory based on the captured image Scpt stored in step S2 and the predicted trajectory Pp derived in step S6. More specifically, the processor 21 draws the entire derived predicted trajectory Pp on the output image Sout to generate an output image Sout as shown in FIG.
[0045]
  Next, the processor 21 performs step S9 to transfer the output image Sout on the frame memory to the display device 6 for display. Thereafter, the processor 21 determines whether or not to end the processing of FIG. 12 (step S10). If it is determined that the processing does not end, the processor 21 proceeds to step S1 to create the next output image Sout in the frame memory. Return. Thereafter, steps S1 and S2 are executed, whereby a new captured image Scpt is stored in the frame memory. In the next step S3, when the processor 1 determines that the derivation timing T1 is not reached, the processor 1 determines whether or not it is the display time zone Pdt of the predicted trajectory Pp (step S22). The display time zone Pdt is described in advance in the program PGb, and in this embodiment is visited every t4 seconds. That is, the display and non-display of the predicted trajectory Pp are switched every t4 seconds. However, if t4 is too small, the driver cannot visually recognize whether the predicted trajectory Pp is displayed or not. From the above viewpoint, t4 is selected to be larger than t1 (for example, 0.1 second).
[0046]
  If it is the display time zone Pdt, the processor 21 proceeds to step S21 and generates an output image Sout (see FIG. 11) on which the predicted trajectory Pp is drawn on the frame memory. Next, the processor 21 performs step S9 to transfer the output image Sout on the frame memory to the display device 6 for display. Thereafter, the processor 21 determines whether or not to end the processing of FIG. 12 (step S10). If it is determined that the processing does not end, the processor 21 proceeds to step S1 to create the next output image Sout in the frame memory. Return. Thereafter, steps S1 and S2 are executed, whereby a new captured image Scpt is stored in the frame memory. Furthermore, if it is determined in step S3 that it is not the derivation timing T1, and if it is determined in step S22 that it is not the display time zone Pdt, the process proceeds to step S23. Then, the processor 21 transfers the captured image Scpt (see FIG. 4) stored in step S2 as it is to the display device 6 as an output image Sout (step S23). The display device 6 displays the received output image Sout.
[0047]
  The processor 21 repeats the processing up to step S23 until it is determined in step S10 that the processing of FIG. Thus, the predicted trajectory Pp is displayed only during the display time zone Pdt, and is not displayed during other time zones. Such switching between display and non-display is performed alternately, and the predicted trajectory Pp is displayed intermittently. Thus, since the predicted trajectory Pp is emphasized, the driver can easily view the predicted trajectory Pp on the output image Sout..
[0048]
  FIG. 13 is a block diagram showing a hardware configuration of the rendering apparatus Urnd3 according to the third embodiment of the present invention. In FIG. 13, the drawing device Urnd3 includes a processor 41, a program memory 42, and a working area 43. The program memory 42 is typically a ROM (Read Only Memory). The program memory 42 stores a program PGc that defines the processing procedure of the processor 1. In accordance with the above program PGc, the processor 41 generates an output image Sout in which the predicted travel area Rpt of the actual vehicle Vusr (see FIG. 3) is shown on the road surface Frd as shown in FIG. WhereMeasurementThe travel region Rpt is a region where the actual vehicle Vusr is predicted to move from now on, and more specifically, the left predicted trajectory Pp1 and the right predicted trajectory Pp2 described in the first embodiment. , A region surrounded by a line segment Llmt passing through the limit point Plmt.
[0049]
  The working area 43 is typically a RAM (Random Access Memory), and is used when the processor 41 executes the program PGc. The above drawing device Urnd3 is typically incorporated in the driving support device Uast3. The driving support device Uast3 is different from the driving support device Uast1 in that the drawing device Urnd1 replaces the drawing device Urnd3 and that the driving support device Uast3 further includes four active sensors 441 to 444 as an example of the distance measuring sensor in the claims. Is different. In addition to the above two points, there is no difference in configuration between the driving support devices Uast3 and Uast1, and therefore, in FIG. 13, the components corresponding to FIG. .
[0050]
  As shown in FIG. 15A, each of the active sensors 441 to 444 is embedded at the rear end of the actual vehicle Vusr and is preferably arranged so as to be aligned in the horizontal direction. The active sensors 441 to 444 arranged as described above emit ultrasonic waves or radio waves toward the rear of the actual vehicle Vusr and observe the reflected waves, as shown in FIG. The distances d1 to d4 to the nearest obstacle Vbst behind the actual vehicle Vusr are detected.
[0051]
  Next, the operation of the above driving assistance device Uast3 will be described. When the driver needs to be supported by the driving assistance device Uast3, the processor 41 starts executing the program PGc in the program memory 42.
[0052]
  FIG. 16 is a flowchart showing the processing procedure of the processor 41 described in the program PGc. In FIG. 16, the processor 41 generates a distance measurement instruction Imsr and transmits it to all the active sensors 441 to 444 (step S41). The distance measurement instruction Imsr is a signal for requesting all the active sensors 441 to 444 to detect the distances d1 to d4 and transmit them to the processor 41. Each of the active sensors 441 to 444 detects the above-mentioned distances d1 to d4 in response to the reception ranging instruction Imsr, and stores them in the working area 43 (step S42).
[0053]
  Next, based on the distances d1 to d4 obtained this time, the processor 41 calculates the coordinate values (x1, y1) to (x4, y4) of the four points P1 to P4 on the surface of the obstacle Vbst (step). S43). Hereinafter, the process of step S43 will be described in detail with reference to FIG. In FIG. 17, the actual vehicle Vusr, the obstacle Vbst, and the two-dimensional coordinate system are drawn. In the two-dimensional coordinate system, the Y axis connects the rotation centers of the left rear wheel Wr1 and the right rear wheel Wr2 of the actual vehicle Vusr. The X axis is a straight line parallel to the horizontal plane among the perpendicular bisectors connecting the rotation centers. As described above, since the active sensors 441 to 444 are fixed with respect to the actual vehicle Vusr, the positions A1 to A4 where the active sensors 441 to 443 emit ultrasonic waves and the like are known in the two-dimensional coordinate system. Coordinate values (xa1, ya1) to (xa4, ya4). Also, the angles φ1 to φ4 at which the active sensors 441 to 444 emit ultrasonic waves or the like when the distances d1 to d4 are obtained are also known. In this embodiment, the angles φ1 to φ4 are angles formed by the X axis and the outgoing wave, and the angle φ1 is representatively shown in FIG. From the above, the above-mentioned coordinate values (x1, y1) are (d1 · cos φ1 + xa1, d1 · sin φ1 + ya1), and the coordinate values (x2, y2) to (x4, y4) are (d2 · y4). cos φ2 + xa2, d2 · sin φ2 + ya2) to (d4 · cos φ4 + xa4, d4 · sin φ4 + ya4).
[0054]
  Next, based on the four points P1 to P4 on the obstacle Vbst calculated this time, the processor 41 calculates the coordinate value (xlmt, ylmt) of the corner Pcnr of the obstacle Vbst as an example of the limit point Plmt ( Step S44). Here, the limit point Plmt indicates a limit at which the actual vehicle Vusr can travel, and is assumed to hit the obstacle Vbst when traveling further. Hereinafter, the process of step S44 will be described in detail with reference to FIG. First, the processor 41 performs Hough transform on the above points P1 to P4 to derive curves C1 to C4 on the Hough space composed of the ρ axis and the θ axis. Here, the curves C1 to C4 are expressed by the following equations (1) to (4).
    ρ = x1 · cos θ + y1 · sin θ (1)
    ρ = x 2 · cos θ + y 2 · sin θ (2)
    ρ = x3 · cos θ + y3 · sin θ (3)
    ρ = x4 · cos θ + y4 · sin θ (4)
[0055]
  Next, the processor 41 calculates the coordinate values (ρ1, θ1) of the intersection Pc1 on the Hough space of the curves C1 and C2 from the above equations (1) and (2), and the above equations (2) to (4). Then, the coordinate values (ρ2, θ2) of the intersection Pc2 on the Hough space of the curves C2, C3 and C4 are calculated. Further, the processor 41 derives an expression representing the straight line P1 P2 from the intersection point Pc1. Here, the straight line P1 P2 is expressed by the following equation (5) on the two-dimensional coordinate system. Similarly, the straight line P2 P4 is expressed by the following equation (6).
    y = (− cos θ1 · x + ρ1) / sin θ1 (5)
    y = (− cos θ 2 · x + ρ 2) / sin θ 2 (6)
  From the above formulas (5) and (6), the processor 41 obtains the coordinate value of the intersection of the straight line P1 P2 and the straight line P2 P3 and sets it as the above-mentioned coordinate value (xlmt, ylmt).
[0056]
  Next, the processor 41 receives the current steering angle θ of the vehicle Vusr in the same manner as in steps S4 and S5 of FIG. 5 (steps S45 and S46).
[0057]
  Next, the processor 41 calculates the coordinate value (xcnt, ycnt) in the above-mentioned two-dimensional coordinate system of the turning center point Pcnt of the vehicle Vusr shown in FIG. 19 (step S47). Further, the processor 41 derives equations of circles Cr1 and Cr2 that pass through the rotation center points of the left rear wheel Wr1 and the right rear wheel Wr2 that the vehicle Vusr has, with the turning center point Pcnt as a center (step S48). Since the coordinate values xcnt and ycnt and the equations of the circles Cr1 and Cr2 can be easily calculated according to the well-known Ackermann model, the description of steps S47 and S48 is omitted here. Further, the circles Cr1 and Cr2 include the left predicted trajectory Pp1 and the right predicted trajectory Pp2 in the first embodiment.
[0058]
  Next, the processor 41 derives an expression of a straight line Llmt that passes through the coordinate values (xcnr, ycnr) obtained in step S44 and the coordinate values (xcnt, ycnt) obtained in step S47 (step S49). . The straight line Llmt is a straight line that defines a limit at which the vehicle Vusr can move without hitting the obstacle Vbst.
[0059]
  Next, the processor 41 generates a figure representing a region surrounded by the circles Cr1 and Cr2 obtained in step S48, the straight line Llmt obtained in step S49, and the line segment Lr12 as the predicted travel region Rpt ( Step S410). Here, the line segment Lr12 connects the rotation center points of the left rear wheel Wr1 and the right rear wheel Wr2.
[0060]
  Next, the processor 41 receives the captured image Scpt from the imaging device 4 in the same manner as steps S1 and S2 in FIG. 5 (steps S411 and S412). Further, the processor 41 generates an output image Sout for one frame on the frame memory based on the captured image Scpt stored in step S412 and the predicted travel region Rpt generated in step S410 (step S413). More specifically, the processor 41 transforms the derived predicted travel region Rpt into the one seen from the imaging device 4, draws it on the captured image Scpt, and generates an output image Sout as shown in FIG. Next, the processor 41 transfers the output image Sout on the frame memory to the display device 6 for display (step S414). The processor 41 repeats the above steps S41 to S414 until it is determined in step S415 that the processing of FIG. As described above, the predicted travel region Rpt extends in a band shape up to the limit point Plmt indicating the limit at which the vehicle Vusr can move, so the driver can determine how far the vehicle Vusr can be moved on the display device 6. It can be recognized instantly.
[0061]
  In the first to third embodiments described above, the imaging device 4 has been described as being embedded in the rear part of the vehicle Vusr, but may be embedded in the front part of the vehicle Vusr. In addition, the number of the imaging devices 4 may be determined according to the design requirements of the driving support devices Uast1 to Uast3, and may be any number.
[0062]
  In the first to third embodiments described above, the left predicted trajectory Pp1, the right predicted trajectory Pp2, the predicted trajectory Pp, and the predicted travel region Rpt are drawn on the captured image Scpt. However, the present invention is not limited to this, and the processors 1, 21, and 41 perform some image processing on the captured image Scpt, and the left-side predicted trajectory Pp1, the right-side predicted trajectory Pp2, the predicted trajectory Pp, and the predicted travel region are added to the image-processed captured image Scpt. Rpt may be drawn. A typical example of the image processing described above is processing for generating a surrounding image of the vehicle as viewed from a virtual viewpoint defined immediately above the vehicle Vusr from the captured image Scpt.
[0063]
  In the first to third embodiments described above, the processors 1, 21 and 41 transmit the imaging instruction Icpt to the imaging apparatus 4, and the captured image Scpt is stored in the frame memory in response to this. It was. However, the imaging device 4 may spontaneously generate the captured image Scpt and store it in the frame memory. Similarly, the steering angle sensor 5 may spontaneously detect the steering angle θ instead of responding to the detection instructions Idct from the processors 1, 21 and 41.
[0064]
  In the third embodiment described above, the four active sensors 441 to 444 are installed in the vehicle Vusr. However, the number of sensors may be one or more. However, in the case of a single unit, it is necessary to dynamically control the direction of the lens of the active sensor 44 to swing the angle φ of the outgoing wave within a wide range.
[0065]
  In the third embodiment described above, the active sensors 441 to 444 are used to measure the distances d1 to d4 to the obstacle Vbst. However, the present invention is not limited to this, and other distance measuring sensors, for example, passive sensors may be used. In order to configure an example of a passive sensor, at least two imaging devices directed to the rear of the vehicle Vusr are required. Each of these imaging devices captures an obstacle Vbst behind the vehicle Vusr. Furthermore, the processor 41 measures the distance to the obstacle Vbst shown in the plurality of captured images from the above imaging device based on the parallax (so-called stereo vision).
[0066]
  In the first to third embodiments described above, the programs PGa to PGc are stored in the drawing devices Urnd1 to Urnd3. However, the present invention is not limited to this, and the programs PGa to PGc may be distributed in a state where they are recorded on a recording medium typified by a CD-ROM, or may be distributed through a communication network typified by the Internet.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration of a rendering apparatus Urnd1 according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an output image Sout generated by the processor 1 of FIG. 1;
FIG. 3 is a diagram illustrating an installation position of the imaging device 4 in FIG. 1;
4 is a diagram illustrating a captured image Scpt generated by the imaging device 4 of FIG. 1;
FIG. 5 is a flowchart showing a processing procedure of the processor 1 of FIG. 1;
6 is a diagram showing a left predicted trajectory Pp1 and a right predicted trajectory Pp2 derived in step S6 of FIG.
FIG. 7 is a diagram showing superposition position data Dsp generated in step S7 of FIG.
8 is a diagram showing an output image Sout generated in step S8 of FIG.
9 is a diagram showing an output image Sout generated in step S15 of FIG.
FIG. 10 is a block diagram showing a hardware configuration of a drawing apparatus Urnd2 according to the second embodiment of the present invention.
11 is a diagram showing an output image Sout generated by the processor 21 of FIG.
12 is a flowchart showing a processing procedure of the processor 21 of FIG.
FIG. 13 is a block diagram showing a hardware configuration of a rendering apparatus Urnd3 according to a third embodiment of the present invention.
14 is a diagram showing an output image Sout generated by the processor 41 of FIG.
15 is a diagram showing the installation positions of the active sensors 441 to 444 in FIG.
16 is a flowchart showing a processing procedure of the processor 41 in FIG. 13;
FIG. 17 is a diagram for explaining the processing in step S43 in FIG. 16;
FIG. 18 is a diagram for explaining the process of step S44 of FIG. 16;
FIG. 19 is a diagram showing in detail the predicted travel area Rpt generated in step S410 of FIG.
FIG. 20 is a diagram illustrating an output image displayed on a conventional driving support device.
FIG. 21 is a diagram for explaining a problem that a conventional driving support apparatus has.
[Explanation of symbols]
Uast1 ~ Uast3 ... Driving assistance device
Urnd1 to Urnd3 ... Drawing device
1, 21, 41 ... Processor
2, 22, 42 ... Program memory
3, 23, 43 ... Working area
4 ... Imaging device
5 ... Steering angle sensor
6 ... Display device
441-444 ... Active sensor

Claims

車両の運転支援のために、当該車両の周囲を表す出力画像を作成する描画装置であって、
前記車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する取得部と、
前記取得部により得られた操舵角に基づいて、前記車両がこれから移動する予測軌跡を導出する導出部と、
前記導出部により導出された予測軌跡に重畳すべきインジケータを格納する格納部と、
前記車両に固定された撮像装置により取り込まれた撮影画像において、前記車両に近い側から遠い方に向かって順番にかつ間欠的に、前記格納部に格納されているインジケータを前記導出部が導出した予測軌跡に沿って重畳して、前記出力画像を生成する画像生成部とを備える、描画装置。A drawing device for creating an output image representing the surroundings of a vehicle for driving support of the vehicle,
An acquisition unit for acquiring a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle;
A derivation unit for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained by the acquisition unit;
A storage unit for storing an indicator to be superimposed on the predicted trajectory derived by the deriving unit;
In the captured image captured by the imaging device fixed to the vehicle, the derivation unit derives the indicator stored in the storage unit sequentially and intermittently from the side closer to the vehicle toward the far side. A drawing apparatus comprising: an image generation unit that generates the output image by superimposing along a predicted trajectory.

前記描画装置はさらに、前記導出部により導出された予測軌跡に基づいて、前記格納部に格納されているインジケータを、前記撮像装置により取り込まれた撮影画像のどこに重畳するかを示す重畳位置データを生成するデータ生成部を備え、The drawing device further includes superimposition position data indicating where the indicator stored in the storage unit is superimposed on the captured image captured by the imaging device based on the predicted trajectory derived by the deriving unit. A data generation unit for generating,
前記画像生成部は、前記データ生成部により生成された重畳位置データに基づいて、前記格納部に格納されているインジケータを、前記撮像装置により取り込まれた撮影画像に重畳する、請求項１に記載の描画装置。The said image generation part superimposes the indicator stored in the said storage part on the picked-up image captured by the said imaging device based on the superimposition position data produced | generated by the said data generation part. Drawing device.

前記画像生成部は、予め定められた時間帯では、前記撮影画像上に、前記予測軌跡を重畳し、他の時間帯では、当該予測軌跡を重畳しない、請求項１に記載の描画装置。 The drawing apparatus according to claim 1, wherein the image generation unit superimposes the predicted trajectory on the captured image in a predetermined time zone and does not superimpose the predicted trajectory in another time zone.

前記描画装置はさらに、前記導出部により導出された予測軌跡から、予め定められた距離の間隔を有する複数の点の座標を算出し、算出された各座標に、前記車両に近いものから順に番号を割り当て、さらに、割り当てた番号及び算出された座標から少なくとも構成される組みを複数個含む重畳位置データを生成するデータ生成部を備え、The drawing apparatus further calculates the coordinates of a plurality of points having a predetermined distance interval from the predicted trajectory derived by the deriving unit, and sequentially numbers the calculated coordinates from the closest to the vehicle. And a data generation unit that generates superimposition position data including a plurality of sets composed at least of the assigned number and the calculated coordinates,
前記画像生成部は、前記データ生成部により生成された重畳位置データに含まれる番号に従って座標を順番に選択し、前記格納部に格納されているインジケータを、前記撮像装置により取り込まれた撮影画像に順番に重畳する、請求項１に記載の描画装置。The image generation unit sequentially selects coordinates according to a number included in the superimposed position data generated by the data generation unit, and an indicator stored in the storage unit is added to the captured image captured by the imaging device. The drawing apparatus according to claim 1, wherein the drawing apparatus superimposes in order.

車両の運転支援のために、当該車両の周囲を表す出力画像を作成する描画装置であって、
前記車両に設置された測距センサから、当該車両の周囲に存在する障害物までの距離を取得する第１の取得部と、
前記第１の取得部により得られた距離に基づいて、前記車両が移動可能な限界点を導出する第１の導出部と、
前記車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第２の取得部と、
前記第２の取得部により得られた操舵角に基づいて、前記車両がこれから移動する予測軌跡を導出する第２の導出部と、
前記第１の導出部により導出された限界点と、前記第２の導出部により導出された予測軌跡とに基づいて、前記車両がこれから動くと予測される領域の形状を表す予測走行領域を生成する領域生成部と、
前記車両に固定された撮像装置により取り込まれた撮影画像に、前記領域生成部で生成された予測走行領域を重畳して、出力画像を生成する画像生成部とを備える、描画装置。A drawing device for creating an output image representing the surroundings of a vehicle for driving support of the vehicle,
A first acquisition unit that acquires a distance from a distance measurement sensor installed in the vehicle to an obstacle existing around the vehicle;
A first deriving unit for deriving a limit point at which the vehicle can move based on the distance obtained by the first obtaining unit;
A second acquisition unit that acquires a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle;
A second deriving unit for deriving a predicted trajectory from which the vehicle moves based on the steering angle obtained by the second obtaining unit;
Based on the limit point derived by the first deriving unit and the predicted trajectory derived by the second deriving unit, a predicted traveling area representing the shape of the area where the vehicle is predicted to move is generated. An area generator to perform,
A drawing apparatus comprising: an image generation unit that generates an output image by superimposing a predicted travel region generated by the region generation unit on a captured image captured by an imaging device fixed to the vehicle.

前記第１の導出部は、前記車両に備わる両方の車輪毎に予測軌跡を生成し、The first derivation unit generates a predicted trajectory for both wheels provided in the vehicle,
前記領域生成部は、前記第１の導出部により導出された限界点を通過する線分と、前記第２の導出部により導出された各予測軌跡とで囲まれる領域の形状を表す予測走行領域を生成する、請求項５に記載の描画装置。The region generation unit is a predicted travel region that represents a shape of a region surrounded by a line segment passing through the limit point derived by the first deriving unit and each predicted locus derived by the second deriving unit. The drawing apparatus according to claim 5, which generates

前記第１の取得部は、前記車両に備わる複数の測距センサのそれぞれEach of the first acquisition units includes a plurality of distance measuring sensors provided in the vehicle. から、当該車両の周囲に存在する障害物までの距離を取得し、To get the distance to the obstacle around the vehicle,
前記描画装置はさらに、前記第１の取得部により取得された距離に基づいて、前記障害物の表面上の複数の点を示す座標を算出する座標算出部を備え、The drawing apparatus further includes a coordinate calculation unit that calculates coordinates indicating a plurality of points on the surface of the obstacle based on the distance acquired by the first acquisition unit,
前記第１の導出部は、前記座標算出部により算出された各点の座標に対してハフ変換を行い、前記障害物の隅の座標を、前記限界点として導出する、請求項５に記載の描画装置。The first deriving unit according to claim 5, wherein the first deriving unit performs a Hough transform on the coordinates of each point calculated by the coordinate calculating unit, and derives the coordinates of the corner of the obstacle as the limit point. Drawing device.

車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成する方法であって、
前記車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第１の取得ステップと、
前記第１の取得ステップで得られた操舵角に基づいて、前記車両がこれから移動する予測軌跡を導出する導出ステップと、
前記導出ステップで導出された予測軌跡に重畳すべきインジケータを、前記描画装置に備わる記憶装置から取得する第２の取得ステップと、
前記車両に固定された撮像装置により取り込まれた撮影画像において、前記車両に近い側から遠い方に向かって順番にかつ間欠的に、前記第２の取得ステップで取得されたインジケータを前記導出ステップで導出された予測軌跡に沿って重畳して、前記出力画像を生成する画像生成ステップとを備える、画像生成方法。A method for generating an output image representing a periphery of a vehicle used in a drawing device that generates an output image for driving support of the vehicle,
A first acquisition step of acquiring a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle;
A derivation step for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained in the first acquisition step;
A second acquisition step of acquiring an indicator to be superimposed on the predicted trajectory derived in the derivation step from a storage device included in the drawing device;
In the captured image captured by the imaging device fixed to the vehicle, the indicator acquired in the second acquisition step is sequentially and intermittently from the side closer to the vehicle toward the far side in the derivation step. An image generation method comprising: an image generation step of generating the output image by superimposing along the derived predicted trajectory.

車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成する方法であって、
前記車両に設置された測距センサから、当該車両の周囲に存在する障害物までの距離を取得する第１の取得ステップと、
前記第１の取得ステップで得られた距離に基づいて、前記車両が移動可能な限界点を導出する第１の導出ステップと、
前記車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第２の取得ステップと、
前記第２の取得ステップで得られた操舵角に基づいて、前記車両がこれから移動する予測軌跡を導出する第２の導出ステップと、
前記第１の導出ステップで導出された限界点と、前記第２の導出ステップで導出された予測軌跡とに基づいて、前記車両がこれから動くと予測される領域の形状を表す予測走行領域を生成する領域生成ステップと、
前記車両に固定された撮像装置により取り込まれた撮影画像に、前記領域生成ステップで生成された予測走行領域を重畳して、出力画像を生成する画像生成ステップとを備える、画像生成方法。 A method for generating an output image representing a periphery of a vehicle used in a drawing device that generates an output image for driving support of the vehicle ,
A first obtaining step of obtaining a distance from a distance measuring sensor installed in the vehicle to an obstacle existing around the vehicle;
A first deriving step for deriving a limit point at which the vehicle is movable based on the distance obtained in the first obtaining step;
A second acquisition step of acquiring a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle;
A second derivation step for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained in the second acquisition step;
Based on the limit point derived in the first deriving step and the predicted trajectory derived in the second deriving step, a predicted traveling area representing the shape of the area where the vehicle is predicted to move is generated. A region generation step to be performed;
An image generation method comprising: an image generation step of generating an output image by superimposing the predicted travel region generated in the region generation step on a captured image captured by an imaging device fixed to the vehicle.

車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成するためのコンピュータプログラムであって、
前記車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第１の取得ステップと、
前記第１の取得ステップで得られた操舵角に基づいて、前記車両がこれから移動する予測軌跡を導出する導出ステップと、
前記導出ステップで導出された予測軌跡に重畳すべきインジケータを、前記描画装置に備わる記憶装置から取得する第２の取得ステップと、
前記車両に固定された撮像装置により取り込まれた撮影画像において、前記車両に近い側から遠い方に向かって順番にかつ間欠的に、前記第２の取得ステップで取得されたインジケータを前記導出ステップで導出された予測軌跡に沿って重畳して、前記出力画像を生成する画像生成ステップとを備える、コンピュータプログラム。A computer program for generating an output image used to generate an output image for driving support of a vehicle and representing the surroundings of the vehicle,
A first acquisition step of acquiring a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle;
A derivation step for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained in the first acquisition step;
A second acquisition step of acquiring an indicator to be superimposed on the predicted trajectory derived in the derivation step from a storage device included in the drawing device;
In the captured image captured by the imaging device fixed to the vehicle, the indicator acquired in the second acquisition step is sequentially and intermittently from the side closer to the vehicle toward the far side in the derivation step. A computer program comprising: an image generation step of generating the output image by superimposing along the derived predicted trajectory.

記憶媒体に格納される、請求項１０に記載のコンピュータプログラム。 The computer program according to claim 10 stored in a storage medium .

車両の運転支援のための出力画像を生成する描画装置において用いられ、当該車両の周囲を表す出力画像を生成するためのコンピュータプログラムであって、
前記車両に設置された測距センサから、当該車両の周囲に存在する障害物までの距離を取得する第１の取得ステップと、
前記第１の取得ステップで得られた距離に基づいて、前記車両が移動可能な限界点を導出する第１の導出ステップと、
前記車両に固定された操舵角センサから、当該車両の現在の操舵角を取得する第２の取得ステップと、
前記第２の取得ステップで得られた操舵角に基づいて、前記車両がこれから移動する予測軌跡を導出する第２の導出ステップと、
前記第１の導出ステップで導出された限界点と、前記第２の導出ステップで導出された予測軌跡とに基づいて、前記車両がこれから動くと予測される領域の形状を表す予測走行領域を生成する領域生成ステップと、
前記車両に固定された撮像装置により取り込まれた撮影画像に、前記領域生成ステップで生成された予測走行領域を重畳して、出力画像を生成する画像生成ステップとを備える、コンピュータプログラム。 A computer program for generating an output image used to generate an output image for driving support of a vehicle and representing the surroundings of the vehicle ,
A first obtaining step of obtaining a distance from a distance measuring sensor installed in the vehicle to an obstacle existing around the vehicle;
A first deriving step for deriving a limit point at which the vehicle is movable based on the distance obtained in the first obtaining step;
A second acquisition step of acquiring a current steering angle of the vehicle from a steering angle sensor fixed to the vehicle;
A second derivation step for deriving a predicted trajectory from which the vehicle will move based on the steering angle obtained in the second acquisition step;
Based on the limit point derived in the first deriving step and the predicted trajectory derived in the second deriving step, a predicted traveling area representing the shape of the area where the vehicle is predicted to move is generated. A region generation step to be performed;
The captured image captured by the fixed imaging device to the vehicle, by superimposing the predicted travel area generated by the area generation step, Bei El and an image generation step of generating an output image, the computer program.

記憶媒体に格納される、請求項１２に記載のコンピュータプログラム。 The computer program according to claim 12, stored in a storage medium .