JP2014065342A - Parking support device, control method, and program - Google Patents
Parking support device, control method, and program Download PDFInfo
- Publication number
- JP2014065342A JP2014065342A JP2012210028A JP2012210028A JP2014065342A JP 2014065342 A JP2014065342 A JP 2014065342A JP 2012210028 A JP2012210028 A JP 2012210028A JP 2012210028 A JP2012210028 A JP 2012210028A JP 2014065342 A JP2014065342 A JP 2014065342A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- external environment
- area
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、駐車支援装置、制御方法、およびプログラムに関する。 Embodiments described herein relate generally to a parking assistance device, a control method, and a program.
従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術が提案されている。 2. Description of the Related Art Conventionally, as a technique for assisting parking of a vehicle, a technique has been proposed in which a plurality of cameras installed in a vehicle provide image data captured as a surrounding environment of the vehicle to a driver.
また、車両に備えられたソナーなどのセンサにより障害物を検出し、運転者に障害物が存在することを通知する技術が提案されている。 In addition, a technique has been proposed in which an obstacle is detected by a sensor such as a sonar provided in the vehicle and a driver is notified that an obstacle exists.
しかしながら、従来技術では、現在の車両の位置から障害物までの距離は認識できるが、車両の移動先の位置と障害物との間の位置関係を認識できないため、運転負担が大きい。 However, in the prior art, although the distance from the current position of the vehicle to the obstacle can be recognized, the positional relationship between the position of the moving destination of the vehicle and the obstacle cannot be recognized, so that the driving burden is large.
実施形態の駐車支援装置は、車両が移動可能な路面を含む外部の環境を撮像する撮像部と、前記車両から、前記外部の環境に存在する物体を検出する検出部と、前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出部により検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像部で撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示部と、を備える。当該構成により一例として、基準領域から物体までのマージンを確認できるので、操舵の負担を軽減できるという効果を奏する。 The parking assist device according to the embodiment includes an imaging unit that images an external environment including a road surface on which the vehicle can move, a detection unit that detects an object existing in the external environment from the vehicle, and the external environment. A margin area representing a margin area from a reference area serving as a reference for movement of the vehicle to the object detected by the detection unit is represented as a road surface in the external environment imaged by the imaging unit. And a display unit that synthesizes and displays the generated area. As an example, this configuration can confirm the margin from the reference region to the object, and thus has the effect of reducing the steering burden.
ここで、実施形態にかかる駐車支援装置において、前記表示部は、前記撮像部により撮像された前記外部の環境のうち、前記車両を駐車させるための区画線で示された駐車区画を、前記基準領域として表示すると好適である。当該構成により一例として、車両の駐車先となる駐車区画から物体までのマージンを認識できるので、操舵の負担を軽減できるという効果を奏する。 Here, in the parking support apparatus according to the embodiment, the display unit includes, as the reference, a parking lot indicated by a lane line for parking the vehicle, of the external environment imaged by the imaging unit. It is preferable to display as an area. As an example, this configuration makes it possible to recognize a margin from a parking section serving as a parking destination of a vehicle to an object, and thus has an effect of reducing a steering burden.
また、実施形態にかかる駐車支援装置において、前記車両の車輪の操舵角を取得する取得部と、前記表示部は、さらに、前記操舵角による前記車両の移動予想軌跡を、前記駐車区画に基づいて異ならせた表示態様で表示すると好適である。当該構成により一例として、当該車両の操舵角で移動した場合の移動予想軌跡が確認でき、移動予想軌跡に従って移動した際の駐車区画に対する自車両の周辺のスペースを確認できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assistance device according to the embodiment, the acquisition unit that acquires the steering angle of the wheel of the vehicle, and the display unit, further, based on the parking section, the predicted movement trajectory of the vehicle based on the steering angle. It is preferable to display in a different display mode. As an example of this configuration, the predicted movement trajectory when moving at the steering angle of the vehicle can be confirmed, and the space around the parking area when moving according to the predicted movement trajectory can be confirmed, reducing the steering burden There is an effect that can be done.
また、実施形態にかかる駐車支援装置において、前記車両の車輪の操舵角を取得する取得部と、前記表示部は、前記操舵角による前記車両の移動予想軌跡を、前記基準領域として表示すると好適である。当該構成により一例として、当該車両の操舵角で移動した場合の移動予想軌跡が確認でき、移動予想軌跡に従って移動した際の車両周辺の物体と自車両との間のスペース(マージン)を確認できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assist device according to the embodiment, it is preferable that the acquisition unit that acquires the steering angle of the wheel of the vehicle and the display unit display the predicted movement trajectory of the vehicle based on the steering angle as the reference region. is there. As an example of this configuration, the predicted movement trajectory when moving at the steering angle of the vehicle can be confirmed, and the space (margin) between the object around the vehicle and the host vehicle when moving according to the predicted movement trajectory can be confirmed. The steering load can be reduced.
また、実施形態にかかる駐車支援装置において、前記表示部は、複数の基準領域を表示し、表示部が表示した複数の基準領域から、前記車両の移動先となる領域の選択を受け付ける選択受付部をさらに備えると好適である。当該構成により一例として、車両を運転手が所望する基準領域を移動先として設定できるため、操舵の負担を軽減できるという効果を奏する。 In the parking support device according to the embodiment, the display unit displays a plurality of reference regions, and receives a selection of a region to be the destination of the vehicle from the plurality of reference regions displayed by the display unit. It is preferable to further include As an example, the configuration can set a reference area desired by the driver of the vehicle as a movement destination, and thus can reduce the steering burden.
また、実施形態にかかる駐車支援装置において、前記撮像部が、前記車両の側面部から側方向の外部の環境を撮像する、又は前記車両の後端部から後方向の外部の環境を撮像すると好適である。当該構成により一例として、撮像部により撮像された画像データで、外部の環境を容易に表示できるので、当該外部の環境を把握するのが容易となり、操舵の負担を軽減できるという効果を奏する。 Moreover, in the parking assistance apparatus according to the embodiment, it is preferable that the imaging unit images an external environment in the lateral direction from the side surface portion of the vehicle, or images an external environment in the backward direction from the rear end portion of the vehicle. It is. As an example, this configuration allows the external environment to be easily displayed with the image data captured by the imaging unit, so that the external environment can be easily grasped and the steering load can be reduced.
また、実施形態にかかる駐車支援装置において、前記表示部は、さらに、前記基準領域から前記物体までのマージンを表した数値を表示すると好適である。当該構成により一例として、数値でマージンを確認できるため、物体までの間隔を容易に把握できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assistance device according to the embodiment, it is preferable that the display unit further displays a numerical value representing a margin from the reference region to the object. As an example, the configuration allows the margin to be confirmed by a numerical value, so that the distance to the object can be easily grasped, and the effect of reducing the steering burden can be achieved.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記基準領域から前記物体までの距離に従って、前記マージン領域の表示態様を変更すると好適である。当該構成により一例として、距離を表示態様で確認できるため、物体までの間隔を容易に把握できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assist device according to the embodiment, it is preferable that the display unit changes a display mode of the margin area according to a distance from the reference area to the object. As an example with this configuration, the distance can be confirmed in a display mode, so that the distance to the object can be easily grasped, and the steering load can be reduced.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記距離に従って、前記マージン領域の色を変更する又は表示の点滅速度を変更すると好適である。当該構成により一例として、物体までの距離を視覚で確認できるため、操舵の負担を軽減できるという効果を奏する。 In the parking assistance apparatus according to the embodiment, it is preferable that the display unit changes a color of the margin area or changes a blinking speed of the display according to the distance. As an example, this configuration allows the distance to the object to be visually confirmed, thereby producing an effect of reducing the steering burden.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記撮像部が撮像した前記外部の環境に基づいて、前記車両を基準に俯瞰視点で外部の環境を表した俯瞰画像情報に対して、前記マージン領域を合成して表示すると好適である。当該構成により一例として、俯瞰的に基準領域と物体との位置関係を確認できるため、操舵の負担を軽減できるという効果を奏する。 Moreover, in the parking assistance device according to the embodiment, the display unit is based on the external environment imaged by the imaging unit, with respect to the overhead image information that represents the external environment from the overhead viewpoint with respect to the vehicle. It is preferable that the margin area is synthesized and displayed. As an example, this configuration allows the user to confirm the positional relationship between the reference region and the object from a bird's-eye view, thereby reducing the steering burden.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記俯瞰画像情報に対して、複数の基準領域を表示すると共に、前記基準領域毎に前記マージン領域を表示すると好適である。当該構成により一例として、複数の基準領域を表示することで、運転手が車両を駐車する位置を選択するのが容易となり、操舵の負担を軽減できるという効果を奏する。 In the parking assistance device according to the embodiment, it is preferable that the display unit displays a plurality of reference regions and displays the margin region for each reference region with respect to the overhead image information. As an example, the configuration displays a plurality of reference areas, which makes it easy for the driver to select a position where the vehicle is parked, and reduces the steering burden.
また、実施形態にかかる制御方法は、駐車支援装置で実行される制御方法であって、車両が移動可能な路面を含む外部の環境を撮像する撮像ステップと、前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、を含む。当該構成により一例として、基準領域から物体までのマージンを確認できるので、操舵の負担を軽減できるという効果を奏する。 In addition, the control method according to the embodiment is a control method executed by the parking assistance device, and an imaging step of imaging an external environment including a road surface on which the vehicle can move, and from the vehicle to the external environment. A detection step for detecting an existing object; and a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected by the detection step, And a display step of combining and displaying in an area represented as a road surface in the external environment imaged in the imaging step. As an example, this configuration can confirm the margin from the reference region to the object, and thus has the effect of reducing the steering burden.
また、実施形態にかかるプログラムは、車両が移動可能な路面を含む外部の環境を撮像する撮像ステップと、前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、を実行させる。当該構成により一例として、基準領域から物体までのマージンを確認できるので、操舵の負担を軽減できるという効果を奏する。 In addition, the program according to the embodiment includes an imaging step of imaging an external environment including a road surface on which the vehicle is movable, a detection step of detecting an object existing in the external environment from the vehicle, and the external environment And a margin area representing a margin area from the reference area, which is a reference for the movement of the vehicle, to the object detected in the detection step, as a road surface in the external environment imaged in the imaging step. And a display step of combining and displaying in the represented area. As an example, this configuration can confirm the margin from the reference region to the object, and thus has the effect of reducing the steering burden.
(第1の実施形態)
本実施形態では、車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
(First embodiment)
In the present embodiment, the
図1に示されるように、車体2は、乗員(図示されず)が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。本実施形態では、一例として、操舵部4は、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、加速操作部5は、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
As shown in FIG. 1, the vehicle body 2 constitutes a
また、車室2a内には、表示装置8(表示出力部)や、音声出力装置9(音声出力部)が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、一例として、スピーカである。また、本実施形態では、一例として、表示装置8は、透明な操作入力部10(例えば、タッチパネル等)で覆われている。乗員等は、操作入力部10を介して表示装置8の表示画面に表示される映像(画像)を視認することができる。また、乗員等は、表示装置8の表示画面に表示される映像(画像)に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力(指示入力)を実行することができる。また、本実施形態では、一例として、表示装置8や、音声出力装置9、操作入力部10等は、ダッシュボードの車幅方向(左右方向)の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部(図示されず)を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に音声出力装置(図示されず)を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置11は、ナビゲーションシステムやオーディオシステムと兼用されているが、駐車支援装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置9の他に、ブザー24(図3参照)等の音声出力部から、警報音等が出力されるように構成することができる。
Further, a display device 8 (display output unit) and a sound output device 9 (sound output unit) are provided in the
また、図1,2に示されるように、本実施形態では、一例として、車両1は、四輪車(四輪自動車)であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。さらに、本実施形態では、これら四つの車輪3は、いずれも操舵されうるように(転舵可能に)構成されている。具体的には、図3に示されるように、車両1は、前輪3Fを操舵する前輪操舵システム12と、後輪3Rを操舵する後輪操舵システム13とを有している。これら前輪操舵システム12および後輪操舵システム13は、駐車支援ECU14(electronic control unit)等によって電気的に制御されて、それぞれのアクチュエータ12a,13aを動作させる。前輪操舵システム12ならびに後輪操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。前輪操舵システム12ならびに後輪操舵システム13は、アクチュエータ12a,13aによって操舵部4にトルク(アシストトルク)を付加して操舵力を補ったり、対応する車輪3(前輪3Fまたは後輪3R)を操舵(自動操舵)したりする。アクチュエータ12a,13aは、一つの車輪3を操舵してもよいし、複数の車輪3を操舵してもよい。また、本実施形態では、一例として、二つの前輪3Fは、互いに同相(同位相、同転舵方向、同回動方向)で略平行に転舵され、二つの後輪3Rは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
As shown in FIGS. 1 and 2, in the present embodiment, as an example, the
また、本実施形態では、一例として、図2に示されるように、車両1(車体2)には、複数(本実施形態では、一例として四つ)の撮像部16(16a〜16d)が設けられている。撮像部16は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部16は、所定のフレームレートで画像データ(動画データ、フレームデータ)を出力することができる。撮像部16は、それぞれ、広角レンズを有し、水平方向には140°〜190°の範囲(視野角)を撮影することができる。また、撮像部16の光軸は下方(斜め下方)に向けて設定されている。よって、撮像部16は、車両1が移動可能な路面を含む車体2の周辺の外部の環境を撮影する。
In the present embodiment, as an example, as shown in FIG. 2, the vehicle 1 (the vehicle body 2) is provided with a plurality of (in the present embodiment, four as an example) imaging units 16 (16 a to 16 d). It has been. The
本実施形態では、一例として、撮像部16aは、車体2の前側(車両前後方向の前方側)の端部2c(平面視での端部)に位置され、フロントバンパー等に設けられている。撮像部16bは、車体2の左側(車幅方向の左側)の端部2dに位置され、左側のドアミラー2g(突出部)に設けられている。撮像部16cは、車体2の後側(車両前後方向の後方側)の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部16dは、車体2の右側(車幅方向の右側)の端部2fに位置され、右側のドアミラー2g(突出部)に設けられている。駐車支援ECU14は、複数の撮像部16で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1(車体2)を上方から見た仮想的な俯瞰画像(平面画像)を生成したりすることができる。
In the present embodiment, as an example, the
また、駐車支援ECU14は、撮像部16の画像から、車両1の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出(抽出)する。
Further, the parking assist
また、本実施形態では、一例として、図1,2に示されるように、車両1(車体2)には、複数(本実施形態では、一例として8つ)の測距部17(17a〜17d)と、長距離用測距部15(15a〜15d)と、が設けられている。測距部17及び長距離用測距部15は、例えば、超音波を発射してその反射波を捉えるソナー(ソナーセンサ、超音波探知器)である。駐車支援ECU14は、測距部17の検出結果により、車両1(車体2)の後方に位置された物体(障害物)の有無や距離を測定することができる。さらには、駐車支援ECU14は、長距離用測距部15の検出結果により、車両1(車体2)の側面の方向に位置された物体(障害物)の有無や距離を測定することができる。すなわち、測距部17、長距離用測距部15は、車両1から、外部の環境に存在する物体を検出する検出部の一例である。
In the present embodiment, as an example, as shown in FIGS. 1 and 2, the vehicle 1 (vehicle body 2) includes a plurality of (in the present embodiment, eight as an example) distance measuring units 17 (17 a to 17 d). ) And a long-distance ranging unit 15 (15a to 15d). The
また、本実施形態では、一例として、図3に示されるように、駐車支援システム100では、駐車支援ECU14や、モニタ装置11、前輪操舵システム12、後輪操舵システム13、測距部17等の他、ブレーキシステム18、舵角センサ19(角度センサ)、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、車内ネットワーク23(電気通信回線)を介して電気的に接続されている。車内ネットワーク23は、一例としては、CAN(controller area network)として構成されている。駐車支援ECU14は、車内ネットワーク23を通じて制御信号を送ることで、前輪操舵システム12や、後輪操舵システム13、ブレーキシステム18等を制御することができる。また、駐車支援ECU14は、車内ネットワーク23を介して、トルクセンサ12b、舵角センサ13b(後輪3R用)、長距離用測距部15、測距部17、ブレーキセンサ18b、舵角センサ19(前輪3F用)、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果、ならびに、操作入力部10等の指示信号(制御信号、操作信号、入力信号、データ)を受け取ることができる。
In the present embodiment, as an example, as shown in FIG. 3, in the
駐車支援ECU14は、一例として、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、駐車支援ECU14での演算処理のうち、主として、撮像部16で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの画像処理(一例としては合成等)等を実行する。また、音声制御部14eは、駐車支援ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、駐車支援ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されることができる。また、駐車支援ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、駐車支援ECU14とは別に設けられてもよい。
As an example, the parking assist
ブレーキシステム18は、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3(車両1)に制動力を与える。
The
舵角センサ19は、操舵部4(本実施形態では、一例としてステアリングホイール)の操舵量(回動角度)を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ13bは、後輪3Rの操舵量(回動角度)を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19,13bから取得して各種制御を実行する。なお、トルクセンサ12bは、運転者が操舵部4に与えるトルクを検出する。
The
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ECU14は、車輪速センサ22から取得したデータに基づいて車両1の移動量などを演算し、各種制御を実行する。車輪速センサ22は、ブレーキシステム18に設けられている場合もある。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。車輪速センサ22がブレーキシステム18に設けられている場合には、駐車支援ECU14は、ブレーキシステム18を介してデータを取得する。ブレーキセンサ18bは、ブレーキペダルの操作量を検出するセンサであり、駐車支援ECU14は、ブレーキシステム18を介して情報を取得する。駐車支援ECU14は、例えば、自動操舵中に制動操作部6が操作されたような場合に、自動操舵には適さない状況にあるとして自動操舵を中断したり中止したりすることができる。
The
シフトセンサ21は、一例としては、変速操作部7の可動部(レバーや、アーム、ボタン等)の位置を検出するセンサ(スイッチ)であり、変位センサなどを用いて構成される。例えば、駐車支援ECU14は、可動部がリバースにセットされた場合に支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
As an example, the
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定(変更)することができる。 The configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are merely examples, and can be set (changed) in various ways.
図4は、車両1が備える各種センサの検出可能な範囲を示した図である。図4に示すように、車両1の後端に設けられた撮像部16cにより範囲301の撮像が可能となる。そして、車両1が後退する際には、撮像部16cが撮像する画像データが、表示装置8に表示される。
FIG. 4 is a diagram showing a detectable range of various sensors included in the
また、車両1に備えられた測距部17(17a〜17d)により範囲311、312、313、314の範囲内の物体の検出が可能になると共に、長距離用測距部15(15a〜15d)により範囲302、303、304、305の範囲内の物体の検出が可能となる。そして、車両1が移動することで、長距離用測距部15(15a〜15d)及び測距部17(17a〜17d)が検出を行う範囲を移動し、車両1の周辺にある物体(例えば車両351、353、354、355、356、及び物体352)が検出される。そして、駐車支援ECU14は、これら検出された物体に基づいて、車両1を安全に案内するための駐車支援を行う。
In addition, the distance measuring unit 17 (17a to 17d) provided in the
図5は、駐車支援ECU14内に実現される駐車支援部400の構成を示すブロック図である。図5に示す駐車支援部400内の各構成は、図3の駐車支援ECU14として構成されたCPU14aが、ROM14b内に格納されたソフトウェアを実行することで実現される。また、ROM14bは、移動軌跡管理テーブル402を記憶している。
FIG. 5 is a block diagram showing a configuration of the
駐車支援部400は、ROM14b内に格納されたソフトウェアを実行することで、操作受付部401と、操舵角取得部403と、軌跡取得部404と、障害物検出部405と、軌跡表示切替部406と、俯瞰画像生成部407と、通常画像生成部408と、画像処理部409と、表示制御部410と、を実現する。
The
そして、本実施形態にかかる駐車支援部400は、車両1が移動して駐車を行う際に、検出した障害物と、車両1の移動の基準となる基準領域と、の間のマージンを表示することで、運転者の操舵による駐車を支援する。本実施形態は、車両1の移動の基準となる基準領域が、車両を駐車させるための駐車区画の場合について説明する。
And the
本実施形態にかかる駐車支援部400は、検出した障害物と、車両1の移動の基準となる基準領域(駐車区画)と、の間のマージン領域を表示する。例えば、駐車区画内に車両1を駐車させる場合でも、駐車区画外に存在する障害物と近接し、当該障害物と接触する可能性も存在する。そこで、本実施形態にかかる駐車支援部400が、車両1が駐車区画に移動させる前から、駐車区画と障害物との間のマージンとなる領域(以下、マージン領域とも称す)を表示することで、運転手は、障害物に近接しない位置を経由して、駐車区画内に車両1を駐車させることができる。なお、基準領域は、駐車区画に制限するものではなく、車両1を駐車する際に基準となる領域であればよい。
The
図6は、車両1を後進させて駐車区画510に駐車する際の環境を示した図である。図6は、車両1を後進させて駐車区画510に駐車する例を示している。図6に示す例では、移動予想軌跡501に従って、区画線502及び区画線503の間の駐車区画510に車両1を駐車させる例とする。
FIG. 6 is a diagram showing an environment when the
図6に示す例では、駐車支援部400が、撮像された画像データから、区画線502及び区画線503を認識したあと、区画線502及び区画線503の間の領域を駐車区画510として認識している例とする。さらには、測距部17及び長距離用測距部15により検出された物体により、駐車支援部400の障害物検出部405は、物体504及び車両505が接触する可能性のある障害物として検出している。
In the example illustrated in FIG. 6, the
このような場合、本実施形態にかかる駐車支援部400は、駐車区画510と物体504の間のマージン領域512と、駐車区画510と車両505との間のマージン領域511と、を表示する。これにより、運転手は、駐車区画510と障害物との間の余裕が、どの程度存在するか把握できるため、障害物との間のスペースを考慮した上で、駐車区画510内に車両1を駐車することができる。これにより、車両1が障害物に接触する可能性を低減する他、車両1と障害物との間に適切な間隔を開けることができるので、車両1に乗車している人の下車が容易になる。
In such a case, the
図5に戻り、操作受付部401は、操作入力部10等の指示信号(制御信号)を受け付ける。操作受付部401は、これら指示信号から、運転者からの操作を受け付けることができる。例えば、操作受付部401は、移動予想軌跡の表示の切り替えを示した指示信号等を受け付ける。
Returning to FIG. 5, the
移動軌跡管理テーブル402は、車両1が移動した場合の移動予想軌跡を管理するテーブルである。移動軌跡管理テーブル402は、操舵角に対応する移動予想軌跡を記憶している。本実施形態にかかる移動軌跡管理テーブル402が記憶している移動予想軌跡は、車両1の周囲を上方から俯瞰した場合の俯瞰画像データに重畳するための移動予想軌跡、及び撮像部16で撮像された通常画像データに重畳するための移動予想軌跡とする。
The movement trajectory management table 402 is a table for managing a predicted movement trajectory when the
操舵角取得部403は、舵角センサ19から前輪3Fの舵角と、舵角センサ13bから後輪3Rの舵角と、を取得する。
The steering
軌跡表示切替部406は、運転者からの切り替え操作に基づいて、表示制御部410により表示される移動予想軌跡を表示するか否かの切り替え制御を行う。軌跡表示切替部406は、当該切り替え制御に従って、軌跡取得部404から移動予想軌跡を取得するか否かを切り替える。
The trajectory
軌跡取得部404は、軌跡表示切替部406からの制御に従って、移動軌跡管理テーブル402から移動予想軌跡を取得する。本実施形態にかかる軌跡取得部404は、操舵角取得部403が取得した操舵角に対応する移動予想軌跡を、移動軌跡管理テーブル402から取得する。
The
障害物検出部405は、測距部17(17a〜17d)及び長距離用測距部15(15a〜15d)の検出結果に基づいて、車両1周辺に存在する物体、及び当該物体の位置を検出する。なお、物体の検出手法は、従来用いられている手法等を用いてもよいため、説明を省略する。
Based on the detection results of the distance measurement unit 17 (17a to 17d) and the long distance measurement unit 15 (15a to 15d), the
俯瞰画像生成部407は、撮像部16により撮像された車両1の外部の環境を表した画像データと、(図示しない)マッピングテーブルに記録されている変換情報と、に基づいて、車両1の周囲外部の環境を上方から俯瞰した場合の俯瞰画像データを生成し、画像処理部409に出力する。
The bird's-eye view
通常画像生成部408は、撮像部16により撮像された画像データに対して車両1の外部の環境を表すための調整を行い、通常画像データを生成した後、通常画像データを画像処理部409に出力する。
The normal
画像処理部409は、基準領域認識部421と、マージン長算出部422と、合成部423と、を備え、俯瞰画像生成部407により入力された俯瞰画像データ、又は通常画像生成部408により生成された通常画像データに対して、表示装置8に表示するための様々な情報(例えば、マージン領域等)を合成した後、合成された画像データを表示制御部410に出力する。
The
基準領域認識部421は、撮像部16により撮像された外部の環境を表す画像データから、当該外部の環境で車両1の移動の基準となる基準領域を認識する。本実施形態にかかる基準領域認識部421は、撮像された画像データにおいて、路面に描かれた区画線(例えば白線)を識別し、当該区画線で案内される駐車区画を、基準領域として認識する。
The reference area recognition unit 421 recognizes a reference area serving as a reference for movement of the
マージン長算出部422は、基準領域認識部421により認識された基準領域と、障害物検出部405により検出された物体と、の間の距離(マージンの長さ)を算出する。なお、本実施形態は、測距部17(17a〜17d)及び長距離用測距部15(15a〜15d)により検出された物体から、基準領域までの距離を、撮像部16により撮像された画像データに対する画像解析で導き出す。なお、本実施形態はこのような手法に制限するものではなく、検出された物体から基準領域までの距離を導き出す手法として、どのような手法を用いても良い。
The margin length calculation unit 422 calculates a distance (margin length) between the reference region recognized by the reference region recognition unit 421 and the object detected by the
合成部423は、マージン長算出部422により算出された基準領域と物体との間の距離に基づいて、認識された基準領域から、検出された障害物までのマージンとなる領域を表したマージン領域を、画像データに表された外部の環境のうち、路面として表された領域に合成する。また、本実施形態にかかる合成部423は、他の様々な情報(例えば、障害物の位置を認識するための面データ)も合成する。
The synthesizing
また、合成部423が合成するデータとして透過パターンを用いる。これにより、撮像した映像が隠れるのを抑止する。
Further, a transmission pattern is used as data to be synthesized by the
表示制御部410は、画像処理部409により合成された画像データを、表示装置8に表示する。なお、本実施形態では行っていないが、軌跡取得部404が取得した移動予想軌跡を、画像データに合成しても良い。
The display control unit 410 displays the image data combined by the
図7は、本実施形態にかかる表示装置8に表示された画像データの例を示した図である。図7に示す例では、車両1の後端に設けられた撮像部16cにより撮像された画像データに対して、様々な情報が合成されている。
FIG. 7 is a diagram illustrating an example of image data displayed on the
図7に示す画像データでは、車両505と、物体504と、が外部の環境に存在する障害物として検出されている。そこで、表示制御部410が表示する画像データでは、車両505の位置を認識するための平面602と、物体504の位置を認識するための平面601と、が合成されている。
In the image data shown in FIG. 7, the
その上で、表示制御部410が表示する画像データにおいて、駐車区画510から、物体504までのマージンを表したマージン領域512と、駐車区画510から、車両505までのマージンを表したマージン領域511と、が合成されている。
In addition, in the image data displayed by the display control unit 410, a
図7に示す様に、マージン領域511、512が表示されることで、駐車区画510から障害物までの幅が一目で視認することが可能となる。これにより、運転手は、駐車区画510に対して、左右のどちら側がより狭いか認識することができる。さらには、どちら側により注意を払わなければいけないのか把握できるので、障害物に接触する可能性を抑止できるほか、障害物との間を空けて駐車することが容易となり、車両1からの乗り降りが容易となる。
As shown in FIG. 7, by displaying the
次に、本実施の形態にかかる車両1の駐車支援部400における、外部の環境の表示制御について説明する。図8は、本実施の形態にかかる駐車支援部400における上述した処理の手順を示すフローチャートである。
Next, display control of the external environment in the
まず、障害物検出部405が、測距部17(17a〜17d)及び長距離用測距部15(15a〜15d)よりの検出結果に基づいて、車両1周辺に存在する物体、及び当該物体の位置を検出する(ステップS701)。
First, based on the detection results from the distance measurement unit 17 (17a to 17d) and the long distance measurement unit 15 (15a to 15d), the
次に、通常画像生成部408が、撮像部16により撮像された画像データに基づいて、通常画像データを生成する(ステップS702)。
Next, the normal
さらに、基準領域認識部421が、撮像部16により撮像された画像データに基づいて、外部の環境に存在する基準領域を認識する(ステップS703)。 Further, the reference area recognition unit 421 recognizes a reference area existing in the external environment based on the image data captured by the imaging unit 16 (step S703).
さらに、マージン長算出部422が、基準領域認識部421により認識された基準領域と、障害物検出部405により検出された物体と、の間の距離(マージンの長さ)を算出する(ステップS704)。 Further, the margin length calculation unit 422 calculates the distance (margin length) between the reference region recognized by the reference region recognition unit 421 and the object detected by the obstacle detection unit 405 (step S704). ).
合成部423は、マージンの長さに基づいて、画像データに表された外部の環境のうち、路面として表された領域に、マージンとなる領域を合成する(ステップS705)。
Based on the length of the margin, the
そして、表示制御部410は、マージン領域が示された画像データを表示する(ステップS706)。表示される画像データは、図7で示したため説明を省略する。 Then, the display control unit 410 displays the image data indicating the margin area (step S706). The displayed image data is shown in FIG.
上述した処理手順により表示される画像データでは、どの程度余裕があるのかグラフィカルに表示される。これにより、運転手が当該画像データを参照することで、基準領域(駐車区画)に対して左右のどちら側がより狭く、注意をしなければならないかを確認できる。さらに、運転手は、どちらをより注意すべきか認識できるので、操舵の負担を軽減できる。 In the image data displayed by the processing procedure described above, how much room is available is graphically displayed. As a result, the driver can check which side of the left and right sides is narrower than the reference area (parking section) and should be noted by referring to the image data. Furthermore, since the driver can recognize which one should be more careful, the burden of steering can be reduced.
(第1の実施形態の変形例1)
第1の実施形態では、マージンを領域としてのみ表示した例について説明した。しかしながら、第1の実施形態は、マージン領域のみ表示することに制限するものではない。そこで、第1の実施形態の変形例1は、マージン長算出部422が算出したマージンの距離も表示する例について説明する。
(
In the first embodiment, the example in which the margin is displayed only as a region has been described. However, the first embodiment is not limited to displaying only the margin area. Therefore, in the first modification of the first embodiment, an example in which the margin distance calculated by the margin length calculation unit 422 is also displayed will be described.
図9は、第1の実施形態の変形例1にかかる表示装置8に表示された画像データの例を示した図である。図9に示す例では、図7で示した情報に加えて、マージン領域毎に、駐車区画510と障害物との間の距離を示した数値801、802が表示される。なお、本変形例にかかる数値801、802は、マージン領域のうち、駐車区画510と障害物との間で最も近接した場所における距離を示したものとするが、平均値などの他の数値であっても良い。
FIG. 9 is a diagram illustrating an example of image data displayed on the
本変形例では、マージン領域毎に、基準領域と障害物との間の距離を数値として表示することで、運転手が、障害物までの余裕を定量的に把握することが可能となる。 In this modification, the distance between the reference area and the obstacle is displayed as a numerical value for each margin area, so that the driver can quantitatively grasp the margin to the obstacle.
(第1の実施形態の変形例2)
第1の実施形態の変形例2では、基準領域から障害物までのマージンの長さ(換言すれば、障害物までの余裕の度合い)に応じて、マージン領域の表示態様を変更する例について説明する。本実施形態では、表示態様として色を変更する例とする。
(Modification 2 of the first embodiment)
In the second modification of the first embodiment, an example in which the display mode of the margin area is changed according to the length of the margin from the reference area to the obstacle (in other words, the degree of margin to the obstacle) will be described. To do. In the present embodiment, the color is changed as the display mode.
図10は、第1の実施形態の変形例2にかかる合成部423がマージンの長さに応じて異ならせるマージン領域の表示色の例を示した表である。図10に示す様に、マージンの長さが小さいときは、警告として、マージン領域を赤色で表示し、マージンの長さが中程度のときは、注意喚起として、マージン領域を黄色で表示し、マージンの長さが大きいときは、通常どおりとして、マージン領域を緑色で表示する。このように変形例では、ユーザに対して喚起させたい内容と、色とを対応付けて管理しておく。
FIG. 10 is a table showing an example of the display color of the margin area that is changed according to the margin length by the combining
ところで、マージンの距離の基準は実施態様に応じて異ならせても良いが、例えば、0.1m以下の場合にマージン長さ‘小’、0.1mより大きく0.25mより小さい場合にマージン長さ‘中’、0.25m以上の場合にマージン長さ‘大’とする等が考えられる。 By the way, the reference of the margin distance may be varied depending on the embodiment. For example, the margin length is “small” when the distance is 0.1 m or less, and the margin length is larger than 0.1 m and smaller than 0.25 m. It is conceivable that the margin length is “large” when the length is “medium” or 0.25 m or more.
図11は、本変形例にかかる表示装置8に表示された画像データの例を示した図である。図11に示す例では、図10で示した画像データと比べて、障害物との距離に応じてマージン領域の表示色を異ならせている。本変形例では、マージン領域1001の表示色が赤であり、マージン領域1002の表示色が緑である。
FIG. 11 is a diagram illustrating an example of image data displayed on the
本変形例では、接触する危険性の高い領域について、表示態様を異ならせて表示することで、運転手は危険度合いを容易に視認することができる。また、色を異ならせることに制限するものではなく、領域の輪郭線の形状を異ならせても良い。 In this modified example, the driver can easily visually recognize the degree of danger by displaying the areas with high risk of contact with different display modes. Moreover, it does not restrict | limit to changing a color, You may change the shape of the outline of an area | region.
さらには、色を異ならせるのではなく、危険度合いに応じて、マージン領域を点滅させても良い。例えば、障害物までの距離が通常の場合、マージン領域を点滅させず、障害物までの距離について注意喚起が必要な場合に、マージン領域を点滅させる。当該点滅も距離が短くなるほど、点滅する速度を早めても良い。 Furthermore, instead of changing the color, the margin area may be blinked according to the degree of danger. For example, when the distance to the obstacle is normal, the margin area is not blinked, and the margin area is blinked when attention needs to be paid to the distance to the obstacle. The blinking speed may be increased as the distance becomes shorter.
本変形例では、障害物までの距離に応じてマージン領域の表示態様を異ならせることで、運転手は障害物までの危険度合いを容易に認識することができる。 In this modification, the driver can easily recognize the degree of danger to the obstacle by changing the display mode of the margin area according to the distance to the obstacle.
(第1の実施形態の変形例3)
一つのマージン領域の表示態様を場所毎に異ならせても良い。例えば、駐車の目的である駐車区画の隣の駐車区画に駐車している車が、駐車区画に対して少し斜め方向に駐車する場合もある。
(
The display mode of one margin area may be different for each place. For example, a car parked in a parking section adjacent to a parking section that is the purpose of parking may park in a slightly oblique direction with respect to the parking section.
第1の実施形態の変形例3では、マージン長算出部422により算出された駐車区画と障害物との間隔の距離の変化に応じて、合成部423が合成するマージン領域の色を異ならせる。これにより、例えば、表示制御部410は、駐車区画と障害物との間が所定以上空いている場合には当該マージン領域を緑色で表示し、当該間隔が狭まるについて緑、黄色から赤にグラデーションのように変化させて表示する。
In the third modification of the first embodiment, the color of the margin area synthesized by the
さらに、マージン領域の色が障害物との間隔により変化することで、運転手は駐車区画が奥になるほど障害物との間の余裕が少なくなる等を認識できるため、駐車区画を移動させる際に、安全性を確保することが容易となる。 Furthermore, since the color of the margin area changes according to the distance from the obstacle, the driver can recognize that the margin between the obstacle is reduced as the parking area becomes deeper. It is easy to ensure safety.
(第1の実施形態の変形例4)
上述した実施形態では、車両1の後端に設けられた撮像部16cにより撮像された画像データに対して、マージン領域等を合成する場合について説明した。しかしながら、マージン領域等を合成する画像データを、後端に設けられた撮像部16cで撮像された画像データに制限するものではない。そこで、第1の実施形態の変形例4では、車両1の側面部に設けられた撮像部16bで撮像する場合について説明する。
(
In the above-described embodiment, the case where the margin area and the like are combined with the image data captured by the
図12は、第1の実施形態の変形例4にかかる車両1の撮像部16bが撮像する領域1101を俯瞰的に示した図である。図12に示す様に側面部に設けられた撮像部16bで撮像を行う。これにより、領域1101内の外部の環境が撮像される。撮像された画像データから、区画線1111、1112で囲まれた駐車区画1120を認識する。さらに、長距離用測距部15b、15aで障害物の検出を行う。これにより、障害物1121と車両1122とが検出される。
FIG. 12 is an overhead view of a
そして、上述した実施形態及び変形例と同様の処理を行うことで、駐車支援部400の表示制御部410は、マージン領域1131、1132が示された画像データを表示できる。そして、運転手は、当該画像データを参照することで、駐車区画に駐車を開始する前である、駐車区画を横切るタイミングで、当該駐車区画がどの程度余裕があるか判断できる。当該駐車区画に容易に駐車できるか否かを判断できるため、駐車区画に駐車する際の運転負担を軽減できる。
And the display control part 410 of the
(第2の実施形態)
第1の実施形態及びその変形例では、基準領域が駐車区画の場合について説明した。しかしながら、駐車する際に基準となる領域は、駐車区画に限られない。そこで、本実施形態では、基準領域が、車両1の移動予想軌跡の場合について説明する。なお、駐車支援部400の構成は、第1の実施形態と同様として説明を省略する。
(Second Embodiment)
In 1st Embodiment and its modification, the case where the reference area was a parking area was demonstrated. However, the reference area when parking is not limited to the parking section. Therefore, in the present embodiment, a case where the reference region is a predicted movement locus of the
なお、駐車支援部400における、基準領域の駐車区画と移動予想軌跡との間の切り替えは、操作受付部401が受け付けた操作に応じて行われるものとする。
Note that switching between the parking area of the reference area and the predicted movement locus in the
本実施形態においては、操舵角取得部403が操舵角を取得し、軌跡取得部404が、取得した操舵角に対応する移動予想軌跡を、移動軌跡管理テーブル402から取得し、画像処理部409に出力する。
In the present embodiment, the steering
そして、基準領域認識部421が、軌跡取得部404が取得した移動予想軌跡に基づいて、撮像部16が撮像した外部の環境のうち、当該移動予想軌跡に対応する領域を、基準領域として認識する。
Then, based on the predicted movement trajectory acquired by the
そして、マージン長算出部422は、基準領域である移動予想軌跡と、障害物との間のマージンの長さを算出する。そして、合成部423が算出されたマージンの長さに基づいたマージン領域を、画像データに対して合成する。第2の実施形態にかかるマージン領域は、移動予想軌跡と障害物(例えば車両505、物体504)との間のマージンとなる領域とする。
Then, the margin length calculation unit 422 calculates the length of the margin between the predicted movement locus that is the reference region and the obstacle. Then, the margin area based on the calculated margin length is synthesized with the image data. The margin area according to the second embodiment is an area that becomes a margin between the predicted movement locus and an obstacle (for example, the
図13は、本実施形態にかかる表示装置8に表示された画像データの第1の例を示した図である。図13に示す例では、車両505と、物体504と、が外部の環境に存在する障害物として検出されている。その上で、移動予想軌跡1201から、物体504までのマージンを表したマージン領域1211と、移動予想軌跡1202から、車両505までのマージンを表したマージン領域1212と、が合成されている。
FIG. 13 is a diagram showing a first example of image data displayed on the
さらにマージンの長さを示した数値を表示しても良い。図13に示す例では、移動予想軌跡1201と物体504との間で最も近接している場所の距離を示す数値1221と、移動予想軌跡1202と車両505との間で最も近接している場所の距離を示す数値1222と、が表示されている。
Further, a numerical value indicating the length of the margin may be displayed. In the example shown in FIG. 13, a
本実施形態では、さらに、操舵角が切り替えられた場合に、当該操舵角に基づいて、表示される予想移動軌跡が切り替わると共に、表示されるマージン領域も切り替わる。 In the present embodiment, when the steering angle is switched, the displayed expected movement trajectory is switched based on the steering angle, and the displayed margin area is also switched.
図14は、本実施形態にかかる表示装置8に表示された画像データの第2の例を示した図である。図14に示す例は、図13に示す例から操舵量の切り替えが行われた後に、表示される画像データとする。
FIG. 14 is a diagram showing a second example of the image data displayed on the
図14に示す例では、操舵量の切り替えに応じて、移動予想軌跡1301、1302が、図13に示された移動予想軌跡1201、1202から変更されている。これに伴い、マージン領域1311、1312の表示も変更され、数値1321、1322も変更された。
In the example illustrated in FIG. 14, the predicted
図14に示す例では、移動予想軌跡1301、1302が変更されたことで、マージン領域1311における障害物の間の距離が短くなっている。これにより数値1321も警告表示を行うと共に、マージン領域1311の表示色も警告を示す赤色に変更されている。このように、操舵量の切り替えに応じて、表示態様を異ならせることで、ユーザに対して注意喚起を促すことができる。
In the example illustrated in FIG. 14, the distance between obstacles in the
表示されるマージン領域は、測距部15が障害物を検出可能な領域に基づいて定められる。例えば、車両1の後端から3mまでをマージン領域の表示可能な範囲とすることが考えられる。
The displayed margin area is determined based on an area where the distance measuring unit 15 can detect an obstacle. For example, it is conceivable that the margin area can be displayed from 3 m from the rear end of the
この場合、車両1が移動する毎に、駐車支援部400の表示制御部410が表示するマージン領域が更新される。例えば、車両1が駐車区画に移動するにつれて、障害物と駐車区画との間の距離が狭まる場合、表示制御部410が表示するマージン領域の色が切り替わることも考えられる。
In this case, every time the
(第3の実施形態)
第1の実施形態では基準領域が駐車区画の例であり、第2の実施形態では基準領域が移動予想軌跡の例について説明した。しかしながら、基準領域をいずれか一方に制限するものではなく、基準領域を駐車区画と移動予想軌跡とを組み合わせても良い。
(Third embodiment)
In the first embodiment, the reference area is an example of a parking section, and in the second embodiment, the reference area is an example of an expected movement trajectory. However, the reference area is not limited to either one, and the reference area may be a combination of a parking section and a predicted movement trajectory.
組み合わせ手法については、周知の手法を問わず、様々な手法を用いても良い。例えば、表示制御部410は、駐車区画として識別された領域と、移動予想軌跡とを、表示する。その際に、表示制御部410は、駐車区画に基づくマージン領域であり、且つ移動予想軌跡に基づくマージン領域である領域のみ表示する等が考えられる。または、表示制御部410は、駐車区画に基づくマージン領域と、移動予想軌跡に基づくマージン領域との積となる領域を表示してもよい。 As a combination method, various methods may be used regardless of a known method. For example, the display control unit 410 displays an area identified as a parking section and a predicted movement trajectory. At that time, the display control unit 410 may display only the margin area based on the parking area and the margin area based on the predicted movement locus. Or the display control part 410 may display the area | region used as the product of the margin area | region based on a parking area, and the margin area | region based on an estimated movement locus | trajectory.
他の態様としては、例えば、表示制御部410が、認識された駐車区画に基づくマージン領域を表示し、当該マージン領域に重なった移動予想軌跡の表示態様を異ならせて表示するなどが考えられる。例えば、通常の移動予想軌跡を緑色で表示し、マージン領域に重なっている移動予想軌跡を黄色又は赤色で表示するなどが考えられる。 As another mode, for example, the display control unit 410 may display a margin area based on the recognized parking area, and display the movement prediction trajectory overlapping the margin area with a different display mode. For example, a normal predicted movement trajectory may be displayed in green, and a predicted movement trajectory overlapping the margin area may be displayed in yellow or red.
本実施形態では、複数の基準領域を組み合わせて、マージン領域を表示することで、ユーザが障害物との間のマージンの識別が容易になり、運転負担を軽減できる。なお、組み合わせ態様は、上述した手法に制限するものではなく、他の態様を用いても良い。 In the present embodiment, by displaying a margin area by combining a plurality of reference areas, the user can easily identify a margin with an obstacle, and the driving burden can be reduced. The combination mode is not limited to the method described above, and other modes may be used.
(第4の実施形態)
上述した実施形態及び変形例では、通常画像生成部408が生成する画像データに対して、マージン領域を合成する例について説明した。しかしながら、マージン領域の合成対象を、通常画像生成部408が生成する通常画像データに制限するものではない。そこで、第4の実施形態では、俯瞰画像生成部407が生成する俯瞰画像データに対して、マージン領域を合成する例について説明する。なお、本実施形態では、基準領域が、駐車区画の例について説明するが、基準領域が、移動予想軌跡など他の領域であってもよい。
(Fourth embodiment)
In the embodiment and the modification described above, the example in which the margin area is combined with the image data generated by the normal
本実施形態では、俯瞰画像生成部407が、俯瞰画像データを生成する。一方で、障害物検出部405が、長距離用測距部15b、15aにより検出された物体に基づいて、車両1の側面方向における障害物を検出する。
In the present embodiment, the overhead
さらには、基準領域認識部421が、生成された俯瞰画像データから、基準領域を認識する。本実施形態にかかる基準領域認識部421は、俯瞰画像データに写っているガイドライン(例えば白線)に基づいて、駐車区画である駐車区画を認識する。 Furthermore, the reference area recognition unit 421 recognizes the reference area from the generated overhead image data. The reference area recognition unit 421 according to the present embodiment recognizes a parking lot that is a parking lot based on a guideline (for example, a white line) reflected in the overhead image data.
そして、マージン長算出部422が、認識された駐車区画と、障害物検出部405で検出された物体との間のマージンの長さを算出し、合成部423が、算出されたマージンの長さに基づいたマージン領域を、俯瞰画像データに合成する。
Then, the margin length calculation unit 422 calculates the length of the margin between the recognized parking section and the object detected by the
図15は、本実施形態にかかる表示装置8に表示された画像データの例を示した図である。図15に示す例は、俯瞰画像生成部407により生成された俯瞰画像データに対して、マージン領域が合成された例とする。図15に示す例では、説明を容易にするために、長距離用測距部15、及び測距部17で検出された物体の位置を‘×’で示している。
FIG. 15 is a diagram illustrating an example of image data displayed on the
図15に示す例では、基準領域認識部421により、駐車区画1401、1402が認識されている。このように、駐車支援部400は、複数の基準領域を認識することができる。
In the example illustrated in FIG. 15, the
さらに、障害物検出部405により、物体1411と車両1412、1413等が検出されている。これにより、表示制御部410は、物体1411及び駐車区画1402の間のマージン領域1421と、車両1412及び駐車区画1402の間のマージン領域1422と、車両1413及び駐車区画1401の間のマージン領域1423と、を表示する。
Further, the
また、操作受付部401が、複数の駐車区画から選択を受け付けてもよい。操作受付部401が、複数の駐車区画からいずれか一つの選択を受け付けた場合、表示制御部410が、選択を受け付けた駐車区画についてより詳細な物体検出を行い、より詳細なマージン領域を表示しても良い。
Moreover, the
(第4の実施形態の変形例1)
第4の実施形態では、俯瞰画像データを表示する際に、複数の駐車区画を表示する例について説明した。しかしながら、単に複数の駐車区画を表示することに制限するものではなく、複数の駐車区画から推奨する駐車区画を提示しても良い。そこで、第4の実施形態の変形例1にかかる駐車支援部400は、駐車区画毎にマージン領域を算出し、複数の駐車区画のうち、マージン領域が最も広い駐車区画を推奨領域として表示する。マージン領域の算出手法は、上述した実施形態と同様とする。そして、マージン長算出部422が、複数の駐車区画毎に、隣接するマージン領域の面積を算出し、最も隣接するマージン領域が広い駐車区画を、推奨の対象として特定する。
(
In the fourth embodiment, an example in which a plurality of parking sections are displayed when overhead image data is displayed has been described. However, it is not limited to simply displaying a plurality of parking sections, and a recommended parking section may be presented from a plurality of parking sections. Therefore, the
表示制御部410が、推奨する駐車区画を、他の駐車区画と表示態様が異なるように表示する。これにより、運転手は、マージンが広い駐車区画を認識できるため、車両1を駐車する際の運転負担を軽減できる。
The display control unit 410 displays the recommended parking section so that the display mode is different from other parking sections. Thereby, since the driver can recognize a parking section with a wide margin, the driving burden when parking the
(第4の実施形態の変形例2)
上述した実施形態及び変形例では、車両1を駐車区画等に駐車させる際に、手動で運転する運転手の運転負担を軽減する例について説明した。しかしながら、手動の運転することに制限するものではなく、車両1が自動で駐車区画まで移動する制御を行っても良い。そこで、第4の実施形態の変形例2では、駐車支援ECU14が車両1を自動で駐車区画に移動する制御を行う例について説明する。
(Modification 2 of the fourth embodiment)
In the embodiment and the modification described above, an example has been described in which the driver's driving burden is reduced when the
本変形例では、第4の実施形態と同様に、表示制御部410が、複数の駐車区画を表示する。その際に第4の実施形態と同様にマージン領域を表示する。 In the present modification, the display control unit 410 displays a plurality of parking sections as in the fourth embodiment. At that time, a margin area is displayed as in the fourth embodiment.
そして、操作受付部401が複数の駐車区画から、いずれか一つの選択を受け付ける。これにより、駐車支援ECU14が、選択を受け付けた駐車区画に、車両1を移動制御を行う。所望する領域まで車両1を移動制御する手法は、周知の手法を問わず、どのような手法を用いても良い。
And
当該移動制御を行うことで、当該駐車区画に余裕があるか否かを予め確認してから、運転手が所望する領域に車両1を移動制御できるため、運転負担を軽減すると共に、安全性の向上を図ることができる。
By performing the movement control, it is possible to control the movement of the
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
1…車両、400…駐車支援部、401…操作受付部、402…移動軌跡管理テーブル、403…操舵角取得部、404…軌跡取得部、405…障害物検出部、406…軌跡表示切替部、407…俯瞰画像生成部、408…通常画像生成部、409…画像処理部、410…表示制御部、421…基準領域認識部、422…マージン長算出部、423…合成部
DESCRIPTION OF
Claims (13)
前記車両から、前記外部の環境に存在する物体を検出する検出部と、
前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出部により検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像部で撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示部と、
を備える駐車支援装置。 An imaging unit that images an external environment including a road surface on which the vehicle is movable;
A detection unit for detecting an object existing in the external environment from the vehicle;
The external environment in which a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected by the detection unit is imaged by the imaging unit. A display unit that synthesizes and displays the area represented as the road surface,
A parking assistance device comprising:
請求項1に記載の駐車支援装置。 The display unit displays, as the reference region, a parking section indicated by a lane line for parking the vehicle in the external environment imaged by the imaging unit.
The parking assistance device according to claim 1.
前記表示部は、さらに、前記操舵角による前記車両の移動予想軌跡を、前記駐車区画に基づいて異ならせた表示態様で表示する、
請求項2に記載の駐車支援装置。 An acquisition unit for acquiring a steering angle of a wheel of the vehicle;
The display unit further displays a predicted movement trajectory of the vehicle based on the steering angle in a display mode that is varied based on the parking area.
The parking assistance device according to claim 2.
前記表示部は、前記操舵角による前記車両の移動予想軌跡を、前記基準領域として表示する、
請求項1に記載の駐車支援装置。 An acquisition unit for acquiring a steering angle of a wheel of the vehicle;
The display unit displays an expected movement trajectory of the vehicle according to the steering angle as the reference region;
The parking assistance device according to claim 1.
表示部が表示した複数の基準領域から、前記車両の移動先となる領域の選択を受け付ける選択受付部をさらに備える、
請求項1に記載の駐車支援装置。 The display unit displays a plurality of reference areas,
A selection receiving unit that receives a selection of a region to which the vehicle is to be moved from a plurality of reference regions displayed by the display unit;
The parking assistance device according to claim 1.
請求項1乃至5のいずれか一つに記載の駐車支援装置。 The imaging unit images the external environment in the lateral direction from the side surface of the vehicle, or images the external environment in the backward direction from the rear end of the vehicle,
The parking assistance device according to any one of claims 1 to 5.
請求項1乃至6のいずれか一つに記載の駐車支援装置。 The display unit further displays a numerical value representing a margin from the reference region to the object;
The parking assistance device according to any one of claims 1 to 6.
請求項1乃至6のいずれか一つに記載の駐車支援装置。 The display unit changes a display mode of the margin area according to a distance from the reference area to the object.
The parking assistance device according to any one of claims 1 to 6.
請求項8に記載の駐車支援装置。 The display unit changes the color of the margin area or changes the blinking speed of the display according to the distance.
The parking assistance device according to claim 8.
請求項1乃至9のいずれか一つに記載の駐車支援装置。 The display unit synthesizes and displays the margin area on the overhead image information representing the external environment from the overhead viewpoint based on the vehicle based on the external environment captured by the imaging unit.
The parking assistance device according to any one of claims 1 to 9.
請求項10に記載の駐車支援装置。 The display unit displays a plurality of reference areas for the overhead image information and displays the margin area for each of the reference areas.
The parking assistance device according to claim 10.
車両が移動可能な路面を含む外部の環境を撮像する撮像ステップと、
前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、
前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、
を含む制御方法。 A control method executed by a parking assistance device,
An imaging step of imaging an external environment including a road surface on which the vehicle is movable;
A detection step of detecting an object existing in the external environment from the vehicle;
The external environment in which a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected in the detection step is imaged in the imaging step. Display step of combining and displaying in the area represented as the road surface,
Control method.
前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、
前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、
を実行させるためのプログラム。 An imaging step of imaging an external environment including a road surface on which the vehicle is movable;
A detection step of detecting an object existing in the external environment from the vehicle;
The external environment in which a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected in the detection step is imaged in the imaging step. Display step of combining and displaying in the area represented as the road surface,
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012210028A JP5991112B2 (en) | 2012-09-24 | 2012-09-24 | Parking assistance device, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012210028A JP5991112B2 (en) | 2012-09-24 | 2012-09-24 | Parking assistance device, control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014065342A true JP2014065342A (en) | 2014-04-17 |
JP5991112B2 JP5991112B2 (en) | 2016-09-14 |
Family
ID=50742188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012210028A Expired - Fee Related JP5991112B2 (en) | 2012-09-24 | 2012-09-24 | Parking assistance device, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5991112B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132482A1 (en) | 2015-11-09 | 2017-05-11 | Lg Electronics Inc. | Apparatus for parking vehicle and vehicle |
KR20180060602A (en) * | 2016-11-29 | 2018-06-07 | 엘지전자 주식회사 | Autonomous Vehicle |
KR20180078982A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
KR20180078977A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
JP2019155967A (en) * | 2018-03-07 | 2019-09-19 | パナソニックIpマネジメント株式会社 | Display control device, vehicle surrounding display system, and computer program |
US10919574B2 (en) | 2015-11-10 | 2021-02-16 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US11393340B2 (en) | 2016-12-30 | 2022-07-19 | Hyundai Motor Company | Automatic parking system and automatic parking method |
WO2023179534A1 (en) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | Parking path planning method, display method and electronic device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000177512A (en) * | 1998-12-11 | 2000-06-27 | Fujitsu Ten Ltd | Parking assist device for vehicle |
JP2007290558A (en) * | 2006-04-25 | 2007-11-08 | Toyota Motor Corp | Parking support device and parking support method |
-
2012
- 2012-09-24 JP JP2012210028A patent/JP5991112B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000177512A (en) * | 1998-12-11 | 2000-06-27 | Fujitsu Ten Ltd | Parking assist device for vehicle |
JP2007290558A (en) * | 2006-04-25 | 2007-11-08 | Toyota Motor Corp | Parking support device and parking support method |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101850795B1 (en) * | 2015-11-09 | 2018-04-20 | 엘지전자 주식회사 | Apparatus for Parking and Vehicle |
US20170132482A1 (en) | 2015-11-09 | 2017-05-11 | Lg Electronics Inc. | Apparatus for parking vehicle and vehicle |
US10528829B2 (en) | 2015-11-09 | 2020-01-07 | Lg Electronics Inc. | Apparatus for parking vehicle and vehicle |
US10919574B2 (en) | 2015-11-10 | 2021-02-16 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US10457210B2 (en) | 2016-11-29 | 2019-10-29 | Lg Electronics Inc. | Autonomous vehicle |
KR20180060602A (en) * | 2016-11-29 | 2018-06-07 | 엘지전자 주식회사 | Autonomous Vehicle |
US10759343B2 (en) | 2016-11-29 | 2020-09-01 | Lg Electronics Inc. | Autonomous vehicle |
KR101982774B1 (en) * | 2016-11-29 | 2019-05-27 | 엘지전자 주식회사 | Autonomous Vehicle |
KR20180078977A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
US10449955B2 (en) | 2016-12-30 | 2019-10-22 | Hyundai Motor Company | Automatic parking system and automatic parking method |
KR101915164B1 (en) * | 2016-12-30 | 2019-01-07 | 현대자동차주식회사 | Automatically parking system and automatically parking method |
KR101915166B1 (en) * | 2016-12-30 | 2018-11-06 | 현대자동차주식회사 | Automatically parking system and automatically parking method |
KR20180078982A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
US11393340B2 (en) | 2016-12-30 | 2022-07-19 | Hyundai Motor Company | Automatic parking system and automatic parking method |
JP2019155967A (en) * | 2018-03-07 | 2019-09-19 | パナソニックIpマネジメント株式会社 | Display control device, vehicle surrounding display system, and computer program |
WO2023179534A1 (en) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | Parking path planning method, display method and electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP5991112B2 (en) | 2016-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3124360B1 (en) | Parking assistance device | |
JP6897340B2 (en) | Peripheral monitoring device | |
US9751562B2 (en) | Park exit assist system | |
JP5991112B2 (en) | Parking assistance device, control method, and program | |
JP5995931B2 (en) | Parking assistance device, parking assistance method, and control program | |
JP6062406B2 (en) | Parking assistance device and parking assistance method | |
US10150486B2 (en) | Driving assistance device and driving assistance system | |
JP6743593B2 (en) | Parking assistance device | |
JP2017033298A (en) | Parking support apparatus | |
JP6006765B2 (en) | Driving assistance device | |
JP2014069722A (en) | Parking support system, parking support method, and program | |
JP2012056428A (en) | Driving support device | |
JP2014004930A (en) | Parking support device, parking support method, and parking support program | |
WO2018198530A1 (en) | Parking assistance device | |
JP2018034659A (en) | Parking support device | |
JP7283514B2 (en) | display controller | |
JP2018158604A (en) | Driving control device | |
JP2014004931A (en) | Parking support device, parking support method, and parking support program | |
US20200140011A1 (en) | Parking assistance apparatus | |
JP2014004932A (en) | Parking support device, parking support method, and program | |
JP2017085410A (en) | Traveling assisting-device | |
JP6977318B2 (en) | Peripheral display device | |
JP2014069721A (en) | Periphery monitoring device, control method, and program | |
JP7130923B2 (en) | display controller | |
JP6953915B2 (en) | Peripheral monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5991112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |