JP5620472B2 - 車両の駐車に使用するためのカメラシステム - Google Patents

車両の駐車に使用するためのカメラシステム Download PDF

Info

Publication number
JP5620472B2
JP5620472B2 JP2012510887A JP2012510887A JP5620472B2 JP 5620472 B2 JP5620472 B2 JP 5620472B2 JP 2012510887 A JP2012510887 A JP 2012510887A JP 2012510887 A JP2012510887 A JP 2012510887A JP 5620472 B2 JP5620472 B2 JP 5620472B2
Authority
JP
Japan
Prior art keywords
image
vehicle
parking space
confirmation camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012510887A
Other languages
English (en)
Other versions
JP2012526707A (ja
Inventor
ベッカー,ジャン
キャメル,セーレン
ピッツァー,ベンジャミン
ドゥハドウェイ,チャールズ
Original Assignee
ロベルト ボッシュ ゲーエムベーハー
ロベルト ボッシュ ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロベルト ボッシュ ゲーエムベーハー, ロベルト ボッシュ ゲーエムベーハー filed Critical ロベルト ボッシュ ゲーエムベーハー
Publication of JP2012526707A publication Critical patent/JP2012526707A/ja
Application granted granted Critical
Publication of JP5620472B2 publication Critical patent/JP5620472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

1.発明の分野
本発明は、車両で使用するためのカメラシステムに関し、特に、車両の駐車の際に使用するためのカメラシステムに関する。
2.関連技術の詳細
日産は、車両環境の鳥瞰図を提供するために、車両の前部、後部、および両側部に取り付けられた4つの超広角・高解像度カメラを使用する「日産アラウンドビューモニター」と呼ばれるドライバー支援システムを開発した。それらの画像はすべて処理され、ダッシュボードに取り付けられたスクリーン上でリアルタイムに表示され、衝突するのを避けたい車両周囲の障害物の360度の視界をドライバーに与える。車をバックさせたり前進させたりすることで、前部または後部の視界を繰り返す。特に巧妙な縦列駐車の操作を行う際、ドライバーは左、前、右の視界を切り替えることができる。日産の「アラウンドビューモニター」の米国での最初の適用は、インフィニティEX35モデルにある。
マッピング(mapping)は、未知の環境でマップを構築するためにロボットと車両によって使用される技術である。これは、ロボットの相対的運動と各種センサーの識別に内在する不確実性のため、言葉の響きほどには単純なものではない。道路表面をマップ処理するためのシステムは、高性能のLIDAR、GPS、および、慣性計測装置(IMU)センサーを含む。システムは、道路表面の5センチメートルの解像度で地面の反射率の二次元表面画像を生成する。
他の既知のシステムは、航空機または人工衛星のいずれかに取り付けられたカメラを使用することによって、都市と田舎の地形の鳥瞰図を生成することに焦点を合わせている。最も一般的な手法は、プッシュブルームモザイク法(Pushbroom mosaicing)であり、これは、最終的なモザイク画の所望の視点がもともとの視点に近い用途に効果がある。
Googleの「ストリートビュー(Street View)」またはマイクロソフトの「ストリートサイド(Street Side)」のようないくつかの商用提供物は、都市景観の静的なマップを作成する。これらのシステムにおける焦点は、自動車の乗客または歩行者が同じ都市を移動しながら見るものと同様の都市の景色を提供するということである。任意のおよびすべての処置をオフラインで行うことができる場合、収めた画像と最終的な画像との差は小さい。
しばしばランドマークとも呼ばれる数少ない特徴を用いて、マップを生成する他のシステムは提案されてきた。特に、vSLAM(視覚的な同時位置決めマッピング)(visual simultaneous localization and mapping)のいくつかの試みが、特徴に基づいたマップを作るためにカメラシステムを使用する室内環境で主に展開され、実証されてきた。一般的に、これらの特徴ベースのマップは、自分自身または自分の車両の場所を特定しようとする人間は使うことができない。
自動車の前方確認カメラは、夜間視力支援、車線検出、車線逸脱警告、車線維持、および、交通標識検出を含む様々な用途で使用される。将来的には、そのようなカメラは上流階級向けの車両では標準的なものになる。後方に面したカメラは、バックするための視覚的な支援としてすでに用いられており、将来的にはバックする際の事故(backover)を回避するためにも必要となるかもしれない。
駐車支援への様々な方法が存在する。これらの方法は、ソナーがメインセンサーとして使用されるということが共通している。ソナーの利点は安いということである。ソナーの欠点は、ソナー測定が騒々しく不正確であるということで、それは時として誤ったシステム挙動につながる。既存のシステムは、物体と衝突する前に、ドライバーに対して視覚警告および/または可聴警告を出す。将来的なシステムは、操縦を操作する(すなわち、半自律駐車)または、ガス/ブレーキを加えて操縦する(すなわち、完全自律駐車)ことにより、ドライバーを支援する。
BMWはモーションステレオを使用して駐車を支援するためのカメラベースシステムを提示した。このシステムは駐車区域を検知するために追加的な側部に面したカメラを必要とする。
先行技術に開示も示唆もされていないのは、縦列駐車を支援するために頭上から見た図をドライバーに提供する際に、前方に面したカメラおよび/または後方に面したカメラを利用するための方法である。
本発明は、縦列駐車の間に車両のドライバーを支援するために、前方および/または後方に面したカメラを含むシステムを提供する。
本発明は、その1つの形状において、前方確認カメラおよび/または後方確認カメラを備える車両を提供することを含む、縦列駐車を支援するための方法を含む。カメラは、少なくとも1つの空いている駐車スペース、および、他の車両によって使われている複数の駐車スペースを含む駐車区域の画像を撮影するために使用される。撮影された画像のホモグラフィが生成される。ホモグラフィは頭上の視点から駐車区域の画像を評価するために使用される。空いている駐車スペースを含む頭上画像の一部は、車両の客室内のディスプレイスクリーンに表示される。
本発明は、その別の形状において、車両用の電子駐車支援構造を含む。その構造は、車両内に設けられる前方確認カメラおよび/または後方確認カメラを含む。プロセッサは少なくとも1台のカメラに連結される。プロセッサは駐車区域の第1の画像を受け取る。その画像はほぼ水平方向の視点からカメラで撮影される。プロセッサはその第1の画像を、ほぼ垂直な視点からの第2の画像へと変換する。第2の画像中の空いている駐車スペースが確認される。車両が空いている駐車スペースにほぼ隣接している場合、車両の画像(representation)は第2の画像に重ね合わされる。第2の画像中の空いている駐車スペースに対する車両の画像の位置は、空いている駐車スペースに対する車両の実際の位置を示すように常に更新される。ディスプレイスクリーンは車両の客室の中に設けられ、プロセッサに連結される。ディスプレイスクリーンは、重ね合わせた車両の画像を含む第2の画像を受け取って表示する。
本発明は、また別の形状において、前方確認カメラおよび/または後方確認カメラを備えた車両を提供することを含む、マップ情報を表示する方法を含む。カメラは周辺区域の画像を撮影するために使用される。撮影された画像のホモグラフィが作成される。ホモグラフィは頭上の視点から該区域の画像を評価するために使用される。車両が移動する際の頭上画像に対する車両の位置が測定される。頭上画像は車両の客室内のディスプレイスクリーンに表示される。表示された頭上画像は、車両のリアルタイムの画像を含む。頭上画像中の車両の画像の位置は、測定工程に基づいて実質的に継続的に更新される。
本発明の利点は、既存のシステムよりも必要とするセンサーが少なく、既知のシステムよりもかなり安いということである。具体的には、本発明は、前方確認カメラおよび/または後方確認カメラのみを利用する。
本発明の別の利点は、未来の車両には標準装備となるであろう装備を用いており、追加のハードウェアを必要としないということである。特に、前方確認および後方確認カメラは、未来の自動車では標準装備になるであろう。前方確認カメラは、夜間視力、車線検出、交通標識検出などに使用される。後方確認カメラは、典型的にはバックする際の事故を回避するために使用され、未来の自動車で必要とされる。バックする際の事故の回避に関しては、例えば、幹線道路交通***により与えられるガイダンスを参照のこと。したがって、本発明はソフトウェアを介してさらなる値の利益を提供し、既存のハードウェアのみを使用する。
本発明の駐車支援構造の1つの実施形態を含む、車両の概略的な平面図である。 図1の駐車支援構造の前方確認カメラによって撮影された実施例の画像である。 本発明の1つの実施形態に従って、ホモグラフィを使用した、推測される三次元の接地面上への図2の画像の投影である。 本発明の方法の1つの実施形態に由来するマッピングの一例である。 本発明の方法の別の実施形態に由来するマッピングの一例である。 重ね合わせた図1の車両の画像を用いた図4のマッピングである。 本発明の方法のさらに別の実施形態に由来するマッピングの一例である。 本発明の方法のさらに別の実施形態に由来するマッピングの一例である。 ドライバーの車両のタイヤが真っすぐな位置にある図8のマッピングの一例である。 最適な駐車経路に従うために、ドライバーがハンドルを左に切らなければならない地点における図8のマッピングの一例である。 縦列駐車を支援する本発明の1つの方法を示すフローチャートである。 マップ情報を表示するための本発明の1つの方法を示すフローチャートである。
対応する参照文字は、複数の図にわたって対応する部分を示している。本明細書で書かれる例示は、本発明の実施形態を例証しており、幾つかの形態では、以下に示される実施形態は、包括的となるよう意図されたものではなく、または、本発明の範囲を開示された正確な形態に制限するものとして解釈されるように意図されたものでもない。
本発明の上記および他の特徴および目的と、これらを成し遂げる方法がさらに明らかなものとなり、本発明そのものは、添付の図面と併せて、本発明の実施形態の以下の記載を参照することによって一層よく理解されるであろう。
ここで図面、特に図1を参照すると、前方確認カメラ(12)、後方確認カメラ(14)、プロセッサ(16)、ディスプレイ(18)、ステアリングセンサー(19)、および、オーディオスピーカー(20)を有する本発明の駐車支援構造(10)を含む車両の1つの実施形態が示される。前方確認カメラ(12)は、前方方向(13)を向いて、および、該方向に方向づけられるように、車両のグリル内に設置される。後方確認カメラ(14)は、後方方向(13)を向いて、および、該方向に方向づけられるように、車両のリアバンパー内に設置される。幾つかの実施形態では、駐車支援構造は、前方確認カメラ(12)と後方確認カメラ(14)の両方ではなく、1つだけを含む。
ディスプレイ(18)は、例えば、電子コンピュータースクリーンまたはモニターを含む。1つの実施形態では、スクリーンまたはモニターは、車両(自動車)のダッシュボードに取り付けられる。
プロセッサ(16)は、標準マイクロプロセッサの形態であり、メモリ(図示せず)を含む。プロセッサ(16)は、ディスプレイ(18)のスクリーンまたはモニターに表示されてスピーカー(20)から聞こえるように出力される情報または内容を制御する。
本発明は静的マッピングを利用する。カメラ(12)および(14)は、車両が移動すると絶えず周囲の画像を撮影する。ドライバーが駐車スペースを探している間に前方確認カメラ(12)によって撮影され、ディスプレイ(18)上に表示される典型的な画像が、図2に示される。この画像は、図らずも空いている駐車スペース(21)を含む。車両内でのカメラ(12)の相対位置を考慮すると、ホモグラフィ、または、「射影変換」は、画面と実際の接地面との間で計算される。ホモグラフィは、図2に示されるような各画像を、図3の投影されたカメラ画像で示されるような推測の三次元の接地面上に投影するために使用される。
高解像度で多数のフレームにわたってデータを集めるために、(22)で断片的に示される分離したグリッドは、接地面に合わせて該接地面上に重ねられる。1つの特定の実施形態では、各々のグリッドセルは、5cm×5cmであり、中心がその境界内のセルに投影される全てのピクセルを集める。グリッド自体は限られた高さおよび幅を有しており、カメラが景観を通過すると、グリッドは絶えずカメラに再度焦点を合わせる。
1つの実施形態では、各々のセルと、すべての画像からそのセルの位置で観察されたピクセル値のリンクリストとの間の関連性がメモリに格納される。予め決められた先の期間内に観察されたピクセル値はメモリに格納され、最も古いピクセル値は、最も直近に観察されたピクセル値とメモリ内で置き換えられる。画像の中心付近のセル(結果的にはグリッドの中心)の方が、いずれかの側のセルよりもはるかに多くの観察結果を集める。1つの実施形態で、画像の中心付近のセルは約700までの観察結果を集め、その一方で、左側周辺または右側周辺付近のセルは、わずか4または5つの観察結果しか集めない。
各々のグリッドセルの最終的な値は、いくつかの異なる方法のいずれかで計算され、これらのセルは観察された周囲の単一の鳥瞰図を形成するために組み合わされる。最も単純な凝集技術は、各セルにおける最も直近に観察された値を選択するものである。この技術に由来するマッピングの一例が図4で示されており、これは単一の前方に面するカメラから生成されたマップである。
他の実施形態では、観察された値の平均またはモードを用いることで、他の車両といった接地面の外(例えば、上方)に位置する障害物により引き起こされた歪曲が減少する。そのような歪曲を検出し、かつ、可能であれば、取り除くために、単一のセル内で集められた値の分散を用いることも可能である。図5は、車両(24)と(26)によって引き起こされた歪曲の少なくともいくつかが取り除かれた図4に類似するマップである。
ドライバーによって使用されるマップが図6で示されており、構造(10)が設置された車両の画像を上に重ね合わせた、または、重ね取りされた、図4のマッピングである。しかしながら、図5の歪曲が減少したバージョンに車両を重ね合わせることも可能である。重ね合わされた車両の画像が縮尺通りに描かれ、幾何学的にまたは位置的に正確であることによって、道路上の任意の車線または駐車標識に対する車両の現在位置および大きさの正確な推定値をドライバーに与える。
先に記載されたように、本発明は駐車支援に適用される。ドライバーが縦列駐車のための駐車スポットを探している間、システムは絶えず継続的に車両の周囲のマップを描く。マッピングと記載された物体の検出とを用いて、マップから駐車スポットの大きさを測定することが可能である。駐車スペースの測定された大きさは、ドライバーの車両の大きさと比較され、駐車スペースがドライバーの車両を収容するほど十分に大きいものであるかどうかについて、表示がドライバーに提供される。
システムは、駐車スペースが見つかったという視覚的および/または聴覚的信号をドライバーに提供し、さらに、駐車スペースの位置および大きさの視覚的および/または聴覚的信号をドライバーに提供する。駐車スペースの大きさは、車両の大きさと比較して示される。
1つの実施形態では、駐車スポットが利用可能であることをシステムがドライバーに知らせる前に、駐車スペースの測定されなければならない閾値面積(複数)をドライバーが提供する。閾値面積は、駐車スペースが車両より大きな距離の分として表現される。
別の実施形態では、システムは、車両が縦列駐車に成功したかつての駐車スペースの面積と、車両を駐車しようとして失敗したかつての駐車スペースの面積を記録に残す。その後、システムは、同様の大きさのスペースにかつて縦列駐車に成功した割合の表示をドライバーに提供する。ドライバーのなかには他のドライバーよりも縦列駐車に優れている者がいるため、システムは個々のドライバーによる以前の縦列駐車のそのような記録も維持する。システムは、現在認識されているスポットとほぼ同じ大きさのスペースに駐車した自分自身のこれまでの成功率を、個々のドライバーに提供する。
駐車スポットとその大きさは、 図7の破線によって示されるようにマップ上に表示される。特にこの実施形態では、駐車スポットとその面積は、ディスプレイ(18)上に設けられた長方形によって表わされる。駐車スポットに対する車両の位置もディスプレイ(18)上に表示される。
システムは、推奨された駐車技術に関する音声および/または視覚的な指示をドライバーに与える。例えば、システムは、ドライバーが車両のギアをバックに入れる前に、通りをどれだけ遠くまで進まなければならないのかを教えてくれる。縦列駐車のための最適な経路の提案は、ディスプレイ(18)上で視覚的に提供される。最適経路は、車両と、他の駐車車両などの障害物との間の最大隙間を有する駐車スペースに車両が入るような経路である。
最適経路に加えて、ディスプレイ(18)は、ステアリングセンサ(19)によって検知されるような、ハンドルおよび/またはタイヤの現在位置によって車両が通るであろう経路も同様に示す。ディスプレイ(18)は、車両の動作を絶えず辿って表示し、それによってドライバーにフィードバックを与える。システムは、バックギアで運転する際に、いつ、どの程度までハンドルを切るのかについてドライバーに指示を与えてもよい。例えば、図8の独創的なスクリーンディスプレイの例は、ステアリングセンサ(19)によって検知されるようなタイヤ(30a−b)のステアリング位置に基づいたドライバーの車両の(実線で示された)予想される経路(28)を示す。予想される経路(28)に沿った地点(32)では、ドライバーは、予想される経路(28)から分岐した、破線で示された最適経路(34)をたどるために、左に大きく切る必要がある。
図9では、ドライバーの車両の予想される経路(28)は、最適経路(34)と重なって一致する。しかしながら、1つの実施形態では、予想される経路(28)と最適経路は、二つの経路が重ならずまたは一致しない際には、別々にディスプレイ上に示される。一例として、図9のディスプレイスクリーンは、最適経路(34)と比較して真っすぐな位置にあるタイヤ(30a−b)の結果として生じる、直線的な予想される経路(28)を示す。予想される経路(28)から最適経路(34)が分岐するために、「右に大きく切る」というテキスト指令が図9に示されるようにスクリーンディスプレイ上に提供される。さらに、あるいは、代替的に、スピーカー(20)は、「右に大きく切る」ようにとの可聴音声指令を発する。右に切るようにとのこれらの指令は、図8に示すように、ドライバーが予想される経路(28)を最適経路(34)と一致させるために十分なほどハンドルを大きく右に切った際に止まる。
図10は、車両が地点(32)に到達した際のスクリーンディスプレイの一例を示す。「左に大きく切る」というテキスト指令は、車両が地点(32)に到達した際に示されるようにスクリーンディスプレイで提供される。さらに、あるいは、代替的に、スピーカー(20)は、「左に大きく切る」ようにとの可聴音声指令を発する。
歩行者が駐車ゾーンに入ってくると、可聴警告または視覚的な警告がドライバーに与えられる。歩行者の存在は、カメラ(12)、(14)のうちの1つによって、または、車両内ソナーシステム(図示せず)によって検知される。
縦列駐車を支援するための本発明の方法(1100)の実施形態が図11で示される。第1の工程(1102)では、車両には前方確認カメラおよび/または後方確認カメラが提供されている。例えば、図1に示される車両は、前方確認カメラ(12)および後方確認カメラ(14)を含む。
次の工程(1104)では、カメラは、少なくとも1つの空いている駐車スペース、および、他の車両によって占領された複数の駐車スペースを含む駐車区域の画像を撮影するために使用される。例えば、カメラによって撮影された図2の画像は、空いている駐車スペース(21)、および、車両(24)と(26)などの他の車両によって占領された他の駐車スペースを含む駐車区域である。
次に、工程(1106)では、撮影された画像のホモグラフィが作成される。すなわち、射影変換は、図2の画面と接地面との間で計算される。この文脈では、接地面は、駐車された車両が支持される地面の平面としてみなされる。
工程(1108)では、ホモグラフィは頭上の視点からの駐車区域の画像を推定するために使用される。例えば、ホモグラフィを用いて、図2の撮影した駐車区域の画像を接地面に変換し、それによって、図3の俯瞰図を評価する。
最終的な工程(1110)では、空いている駐車スペースを含む頭上画像の一部は、車両の客室内のディスプレイスクリーンに表示される。すなわち、図3の俯瞰図は、空いている駐車スペース(21)を認識し、かつ、図4乃至10に示される画像のいずれかを生成するためにさらに処理される。図4乃至10の各々は、空いている駐車スペース(21)を含み、図4乃至10のいずれかはディスプレイスクリーン(18)に表示される。
マップ情報を表示する本発明の方法(1200)の別の実施形態が図12で示される。第1の工程(1202)では、車両には前方確認カメラおよび/または後方確認カメラが提供される。例えば、図1に示される車両は前方確認カメラ(12)と後方確認カメラ(14)を含む。
次の工程(1204)では、カメラは周辺区域の画像を撮影するために使用される。例えば、カメラによって撮影される図2の画像は、ドライバーの車両を囲む駐車区域である。
次に、工程(1206)では、撮影された画像のホモグラフィが作成される。すなわち、射影変換は、図2の画面と接地面との間で計算される。この文脈では、接地面は、駐車された車が支持される地面の平面としてみなされる。
工程(1208)では、ホモグラフィは頭上の視点からの駐車区域の画像を評価するために使用される。例えば、ホモグラフィを用いて、図2の撮影した駐車区域の画像を接地面に変換し、それによって、図3の俯瞰図を評価する。
次の工程(1210)では、車両の位置は、車両が移動する際の頭上画像に対して測定される。頭上画像に対する車両の位置は、以下の様々な方法のいずれかで測定される:カメラによって目下撮影されている画像に基づいて現在の車両位置を計算すること、駐車されている車の位置を検出する、ドライバーの車両上のソナーまたはIDARなどの距離センサーを使用すること、および/または、(ドライバーの車両と空いている駐車スペースとの間の当初の距離がソナーに基づいて計算される、および/または、空いている駐車スペースの当初撮影された画像であると仮定すると、)俯瞰図における目下の区域がカメラの視野で最後に映ったものであったために、走行距離計とステアリングセンサーの出力に基づいてドライバーの車両が移動した距離と方向をたどること。
最終工程(1212)では、頭上画像は、車両の客室内のディスプレイスクリーン上に表示され、表示された頭上画像は車両のリアルタイム画像を含み、頭上画像内の車両の画像の位置は測定工程に基づいて実質的に常に更新される。すなわち、図6および8乃至10に示される頭上画像が、車両の客室内のディスプレイスクリーン(18)に表示される。1つの実施形態では、ディスプレイスクリーン(18)はダッシュボードに取り付けられる。図6および8乃至10の表示された頭上画像の各々は、ドライバーの車両のリアルタイム画像を含む。図6および8乃至10の頭上画像内の車両の画像の位置は、最新の入力データを使用して測定されるようなドライバーの車両の最新の実際位置に基づいて常に更新される。
本発明はドライバーが駐車操作を実行するのを支援するのに適用されるように本明細書では記載されている。しかしながら、当然のことながら、本発明は、すぐ近くの歩行者の正確な位置をドライバーに警告するか、または、ドライバーが歩行者に突っ込むのを自動的に防ぐなどといった他の用途にも適用されてもよい。
本発明は例示的な設計を有するとして記載されてきたが、本発明はこの開示の精神および範囲内でさらに修正されてもよい。したがって、本出願は、その一般的な原則を用いて、本発明の任意の変化、使用、または適応を包含するよう意図されている。

Claims (19)

  1. 車両の駐車を支援するための方法であって、
    前記方法は、
    前方確認カメラと後方確認カメラの少なくとも1つを車両に提供する工程と、
    少なくとも1つの空いている駐車スペースと他の車両によって占められている複数の駐車スペースを含む駐車区域の画像を撮影するためにカメラを使用する工程と、
    撮影した画像のホモグラフィを生成する工程と、
    頭上の視点から駐車区域の画像を推定するために前記ホモグラフィを使用する工程と、
    前記車両の客室内のディスプレイスクリーン上に、空いている駐車スペースを含む頭上画像の一部を表示する工程と、
    空いている駐車スペースを測定する工程を含み、当該測定する工程は前記撮影された画像及び/又は頭上画像において実行され、
    前記方法は、さらに
    前記工程で測定されたスペースと同じ大きさの空いている駐車スペースでの以前の縦列駐車の成功率の表示をユーザーに提供する工程
    を含んでなる
    ことを特徴とする方法。
  2. 頭上画像中の空いている駐車スペースを自動的に検出する工程をさらに含むことを特徴とする請求項1に記載の方法。
  3. 頭上画像中に車両の現在の位置の画像を提供する工程をさらに含むことを特徴とする請求項1に記載の方法。
  4. 頭上画像中の車両の現在の位置の画像が絶えず更新されることを特徴とする請求項3に記載の方法。
  5. 車両が空いている駐車スペースに入るために通る最適な経路を計算する工程と、
    前記最適な経路をディスプレイスクリーン上に表示する工程とを含むことを特徴とする請求項1に記載の方法。
  6. 車両用の電子駐車支援構造であって、
    前記構造は、
    車両に設けられた前方確認カメラと後方確認カメラの少なくとも1つと、
    少なくとも1つのカメラに連結されたプロセッサとを備え、
    前記プロセッサは、
    ほぼ水平の視点からカメラで撮影される、駐車区域の第1の画像を受け取るため、
    前記第1の画像を、ほぼ垂直な視点からの第2の画像に変換するため、
    前記第2の画像内の空いている駐車スペースを特定するため
    両が空いている駐車スペースにほぼ隣接している場合に、前記車両の画像を前記第2の画像に重ね合わせるために、
    前記第1の画像及び/又は前記第2の画像において実行して、空いている駐車スペースを測定するため、および
    第1の画像当該測定する工程は前記撮影された画像及び/又は頭上画像において実行され、
    前記測定された駐車スペースと同じ大きさの空いている駐車スペースでの以前の縦列駐車の成功率の表示をユーザーに提供するために
    構成され、
    前記第2の画像中の空いている駐車スペースに対する前記車両の画像の位置は、空いている駐車スペースに対する前記車両の実際の位置を示すように絶えず更新され、
    前記構造はさらに、
    前記車両の客室に設けられるとともに前記プロセッサに連結されるディスプレイスクリーンを備え、
    前記ディスプレイスクリーンは前記車両の重ね合わせた画像とともに第2の画像を受け取り表示するように構成されることを特徴とする構造。
  7. 前記プロセッサが、
    第1の画像のホモグラフィを生成するように、および、
    前記第1の画像を前記第2の画像に変換する際に前記ホモグラフィを使用するように、 構成されることを特徴とする請求項6に記載の構造。
  8. 前方確認カメラと後方確認カメラの少なくとも1つは前方確認カメラを備え、前記プロセッサは、夜間視力、車線検出、交通標識検出の少なくとも1つのために前方確認カメラを使用するように構成されることを特徴とする請求項6に記載の構造。
  9. 前方確認カメラと後方確認カメラの少なくとも1つは後方確認カメラを備え、前記プロセッサは、バックする際の事故を回避するために後方確認カメラを使用するように構成されることを特徴とする請求項6に記載の構造。
  10. オーディオスピーカーをさらに備え、
    前記プロセッサが、縦列駐車のための音声指令を含む音声信号を、前記オーディオスピーカーに送信するよう構成されることを特徴とする請求項6に記載の構造。
  11. 前記プロセッサに連結されたステアリングセンサーをさらに備え、
    前記ステアリングセンサーが
    車両のタイヤが操縦される方法を検知するため、および、
    前記方向の方向信号指標を前記プロセッサに送信するために、
    構成され、
    前記プロセッサは、
    前記方向信号に基づいて車両の予想される経路を計算するため、および、
    車両の計算された予想される経路の第2の画像中に指標を提供するために、
    構成されることを特徴とする請求項6に記載の構造。
  12. 前記プロセッサは
    予想される経路から分岐した最適な経路を計算するために、および、
    最適な経路の第2の画像中に指標を提供するために、
    構成されることを特徴とする請求項11に記載の構造。
  13. マップ情報を表示する方法であって、
    前記方法は、
    前方確認カメラと後方確認カメラの少なくとも1つを車両に提供する工程と、
    少なくとも1つの空いている駐車スペースと、他の車両によって占められている複数の駐車スペースを含む駐車区域の画像を撮影するために前記カメラを使用する工程と、
    頭上視点から前記領域の画像を推定するためにホモグラフィを使用する工程と、
    車両が移動する際の頭上の画像に対する車両の位置を測定する工程と、および、
    車両の客室内のディスプレイスクリーン上に前記頭上の画像を表示する工程
    空いている駐車スペースを測定する工程を含み、当該測定する工程は前記撮影された画像及び/又は頭上画像において実行され、
    前記方法は、さらに
    前記工程で測定されたスペースと同じ大きさの空いている駐車スペースでの以前の縦列駐車の成功率の表示をユーザーに提供する工程
    を含み、
    表示された頭上の画像は車両のリアルタイム画像を含み、頭上の画像中の車両の画像の位置は、測定工程に基づいて実質的に絶えることなく更新されることを特徴とする方法。
  14. 前記ホモグラフィをセルのほぼ同一のグリッドに分けるさらなる工程を含み、
    前記表示する工程は対応するセル中のピクセル値の平均、モード、および、相違に依存することを特徴とする請求項13に記載の方法。
  15. 前方確認カメラと後方確認カメラの少なくとも1つは、夜間視力、車線検出、交通標識検出の少なくとも1つのために使用される前方確認カメラを含むことを特徴とする請求項13に記載の方法。
  16. 前方確認カメラと後方確認カメラの少なくとも1つは、バックする際の事故を回避するために使用される後方確認カメラを含むことを特徴とする請求項13に記載の方法。
  17. 車両が空いている駐車スペースに入るために通る最適な経路を計算する工程と、
    前記最適な経路をディスプレイスクリーン上に表示する工程とをさらに含むことを特徴とする請求項16に記載の方法。
  18. 前記空いている駐車スペースの大きさを測定する工程と、
    前記空いている駐車スペースの大きさと、前記車両の大きさとを比較する工程と、
    前記比較する工程に基づいて、前記空いている駐車スペースが車両を駐車するために充分な大きさを有しているか否かの表示をユーザーに提供する工程をさらに含み、
    前記測定する工程は前記撮影された画像及び/又は頭上画像において実行されてなることを特徴とする請求項1に記載の方法。
  19. ユーザーから距離を受け取る工程をさらに含み、車両を駐車するのに充分大きい表示の提供のために、当該距離に基づく閾値面積から、空いている駐車スペースの測定された大きさが車両の大きさを超え、前記表示の提供が前記受け取る工程によって受け取られた距離に基づいてなる請求項18に記載の方法。
JP2012510887A 2009-05-11 2010-05-07 車両の駐車に使用するためのカメラシステム Active JP5620472B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/463,699 2009-05-11
US12/463,699 US8289189B2 (en) 2009-05-11 2009-05-11 Camera system for use in vehicle parking
PCT/US2010/034141 WO2010132314A2 (en) 2009-05-11 2010-05-07 Camera system for use in vehicle parking

Publications (2)

Publication Number Publication Date
JP2012526707A JP2012526707A (ja) 2012-11-01
JP5620472B2 true JP5620472B2 (ja) 2014-11-05

Family

ID=43062036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012510887A Active JP5620472B2 (ja) 2009-05-11 2010-05-07 車両の駐車に使用するためのカメラシステム

Country Status (5)

Country Link
US (1) US8289189B2 (ja)
EP (1) EP2429877B1 (ja)
JP (1) JP5620472B2 (ja)
CN (1) CN102458964B (ja)
WO (1) WO2010132314A2 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005030838A1 (de) * 2005-07-01 2007-01-04 Siemens Ag Nightvisionsystem
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
US20100328464A1 (en) * 2009-06-30 2010-12-30 Tech-Cast Mfg. Corp. Car-mount traffic condition surveillance device
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
US20120056995A1 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
US8766818B2 (en) 2010-11-09 2014-07-01 International Business Machines Corporation Smart spacing allocation
US20150197281A1 (en) * 2011-04-19 2015-07-16 Ford Global Technologies, Llc Trailer backup assist system with lane marker detection
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
CN103609101A (zh) * 2011-06-16 2014-02-26 爱信精机株式会社 车辆周边监视装置
KR20130019639A (ko) * 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
RU2562929C1 (ru) * 2011-09-22 2015-09-10 Ниссан Мотор Ко., Лтд. Устройство управления транспортного средства
US8996234B1 (en) 2011-10-11 2015-03-31 Lytx, Inc. Driver performance determination based on geolocation
US9298575B2 (en) 2011-10-12 2016-03-29 Lytx, Inc. Drive event capturing based on geolocation
US9418552B2 (en) 2011-12-14 2016-08-16 Hi-Park Solutions Ltd. Method and system for automatically locating vacant parking places
KR101478067B1 (ko) * 2012-03-21 2015-01-02 주식회사 만도 차량의 주차 조향 보조 시스템 및 그 제어방법
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
KR101877570B1 (ko) * 2012-04-04 2018-07-11 현대자동차주식회사 Av 영상 기반의 주차위치 설정 장치 및 그 방법
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
KR101401399B1 (ko) * 2012-10-12 2014-05-30 현대모비스 주식회사 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템
US9344683B1 (en) * 2012-11-28 2016-05-17 Lytx, Inc. Capturing driving risk based on vehicle state and automatic detection of a state of a location
US9165208B1 (en) * 2013-03-13 2015-10-20 Hrl Laboratories, Llc Robust ground-plane homography estimation using adaptive feature selection
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
CN103723194A (zh) * 2013-12-13 2014-04-16 浙江吉利控股集团有限公司 一种汽车倒车时轮胎位置监控装置及倒车辅助装置
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
JP6303784B2 (ja) * 2014-05-09 2018-04-04 日産自動車株式会社 駐車支援装置及び駐車支援方法
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
KR102227855B1 (ko) * 2015-01-22 2021-03-15 현대모비스 주식회사 주차 가이드 시스템 및 그 제어방법
US9725116B2 (en) 2015-03-27 2017-08-08 Ford Global Technologies, Llc Vehicle and vehicle parking system
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
IL240831A (en) 2015-08-25 2017-03-30 Elbit Systems Ltd Methods and systems for detecting a vehicle operator's deviation from the doctrine
WO2017068699A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車スペースの枠線の検出方法および装置
US10683035B2 (en) * 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
CN105355083A (zh) * 2015-12-14 2016-02-24 宁波裕兰信息科技有限公司 一种基于视觉的360度泊车辅助智能引导***
US10325502B2 (en) * 2016-02-10 2019-06-18 Ford Global Technologies, Llc Parallel parking assistant
KR102513745B1 (ko) * 2016-04-15 2023-03-24 주식회사 에이치엘클레무브 운전 지원 장치
US10368036B2 (en) * 2016-11-17 2019-07-30 Vivotek Inc. Pair of parking area sensing cameras, a parking area sensing method and a parking area sensing system
CN106740632A (zh) * 2016-11-28 2017-05-31 芜湖市吉安汽车电子销售有限公司 一种车载倒车影像***
KR101915165B1 (ko) * 2016-12-30 2018-11-06 현대자동차주식회사 자동 주차 시스템 및 자동 주차 방법
KR102046468B1 (ko) * 2017-07-26 2019-11-18 엘지전자 주식회사 차량용 사이드 미러
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
US10737725B2 (en) * 2017-09-27 2020-08-11 Gentex Corporation System and method for assisting parallel parking using orthogonal projection
CN108297794B (zh) * 2018-01-11 2022-11-18 阿尔派株式会社 停车支援装置及行驶预测线显示方法
CN108528441B (zh) * 2018-03-27 2020-02-07 广州汽车集团股份有限公司 泊车方法及装置
US10900857B2 (en) * 2018-06-06 2021-01-26 Ford Global Technologies, Llc Methods and systems for fluid leak determination
DE102018131106A1 (de) * 2018-12-06 2020-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines Parkbereichs für ein Fahrzeug durch separates Erkennen von Elementen einer Parkflächenmarkierung, Recheneinrichtung sowie Fahrassistenzsystem
US10713509B1 (en) 2019-01-24 2020-07-14 Ford Global Technologies, Llc Parking assist system with parking spot occupancy readout
US11301948B2 (en) 2019-04-01 2022-04-12 International Business Machines Corporation Parking continuity with unused duration between automated vehicles
CN113034963B (zh) * 2021-03-02 2022-08-02 英博超算(南京)科技有限公司 一种视觉车位跟踪***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2001213253A (ja) * 2000-01-31 2001-08-07 Equos Research Co Ltd 車両駐車操作補助装置
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP5182545B2 (ja) * 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
US20090187300A1 (en) * 2008-01-22 2009-07-23 David Wayne Everitt Integrated vehicle computer system
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车***的标定方法

Also Published As

Publication number Publication date
US20100283633A1 (en) 2010-11-11
US8289189B2 (en) 2012-10-16
WO2010132314A3 (en) 2011-10-06
CN102458964B (zh) 2015-01-28
EP2429877A2 (en) 2012-03-21
CN102458964A (zh) 2012-05-16
WO2010132314A2 (en) 2010-11-18
EP2429877B1 (en) 2020-03-11
JP2012526707A (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
JP5620472B2 (ja) 車両の駐車に使用するためのカメラシステム
JP5172314B2 (ja) ステレオカメラ装置
US9459113B2 (en) Visual guidance for vehicle navigation system
US8988525B2 (en) System and method for providing guidance information to a driver of a vehicle
JP4687160B2 (ja) 周辺監視装置
JP4782963B2 (ja) 駐車する車両の周辺状況を監視するための装置
JP4847051B2 (ja) 車両周囲監視方法およびシステム
US9862316B2 (en) Method and device for visualizing the surroundings of a vehicle
US20140240502A1 (en) Device for Assisting a Driver Driving a Vehicle or for Independently Driving a Vehicle
JP4719590B2 (ja) 車載周辺状況提示装置
EP1961613A2 (en) Driving support method and driving support device
JP2012071635A5 (ja)
JP6316161B2 (ja) 車載用画像処理装置
US10732420B2 (en) Head up display with symbols positioned to augment reality
JP5418249B2 (ja) 車両制御装置
US11601621B2 (en) Vehicular display system
CN110378836B (zh) 获取对象的3d信息的方法、***和设备
JP5169912B2 (ja) 駐車支援装置
JPH10283592A (ja) 車両用運転支援装置
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
JP2007142765A (ja) 車両周辺監視装置
JP4768499B2 (ja) 車載周辺他車検出装置
US11794809B1 (en) Vehicle and trailer wheel path collision detection and alert
JP4081548B2 (ja) 運転支援システム
JP2003348574A (ja) 車両用映像表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140918

R150 Certificate of patent or registration of utility model

Ref document number: 5620472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250