JP2014065342A - Parking support device, control method, and program - Google Patents
Parking support device, control method, and program Download PDFInfo
- Publication number
- JP2014065342A JP2014065342A JP2012210028A JP2012210028A JP2014065342A JP 2014065342 A JP2014065342 A JP 2014065342A JP 2012210028 A JP2012210028 A JP 2012210028A JP 2012210028 A JP2012210028 A JP 2012210028A JP 2014065342 A JP2014065342 A JP 2014065342A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- external environment
- area
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、駐車支援装置、制御方法、およびプログラムに関する。 Embodiments described herein relate generally to a parking assistance device, a control method, and a program.
従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術が提案されている。 2. Description of the Related Art Conventionally, as a technique for assisting parking of a vehicle, a technique has been proposed in which a plurality of cameras installed in a vehicle provide image data captured as a surrounding environment of the vehicle to a driver.
また、車両に備えられたソナーなどのセンサにより障害物を検出し、運転者に障害物が存在することを通知する技術が提案されている。 In addition, a technique has been proposed in which an obstacle is detected by a sensor such as a sonar provided in the vehicle and a driver is notified that an obstacle exists.
しかしながら、従来技術では、現在の車両の位置から障害物までの距離は認識できるが、車両の移動先の位置と障害物との間の位置関係を認識できないため、運転負担が大きい。 However, in the prior art, although the distance from the current position of the vehicle to the obstacle can be recognized, the positional relationship between the position of the moving destination of the vehicle and the obstacle cannot be recognized, so that the driving burden is large.
実施形態の駐車支援装置は、車両が移動可能な路面を含む外部の環境を撮像する撮像部と、前記車両から、前記外部の環境に存在する物体を検出する検出部と、前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出部により検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像部で撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示部と、を備える。当該構成により一例として、基準領域から物体までのマージンを確認できるので、操舵の負担を軽減できるという効果を奏する。 The parking assist device according to the embodiment includes an imaging unit that images an external environment including a road surface on which the vehicle can move, a detection unit that detects an object existing in the external environment from the vehicle, and the external environment. A margin area representing a margin area from a reference area serving as a reference for movement of the vehicle to the object detected by the detection unit is represented as a road surface in the external environment imaged by the imaging unit. And a display unit that synthesizes and displays the generated area. As an example, this configuration can confirm the margin from the reference region to the object, and thus has the effect of reducing the steering burden.
ここで、実施形態にかかる駐車支援装置において、前記表示部は、前記撮像部により撮像された前記外部の環境のうち、前記車両を駐車させるための区画線で示された駐車区画を、前記基準領域として表示すると好適である。当該構成により一例として、車両の駐車先となる駐車区画から物体までのマージンを認識できるので、操舵の負担を軽減できるという効果を奏する。 Here, in the parking support apparatus according to the embodiment, the display unit includes, as the reference, a parking lot indicated by a lane line for parking the vehicle, of the external environment imaged by the imaging unit. It is preferable to display as an area. As an example, this configuration makes it possible to recognize a margin from a parking section serving as a parking destination of a vehicle to an object, and thus has an effect of reducing a steering burden.
また、実施形態にかかる駐車支援装置において、前記車両の車輪の操舵角を取得する取得部と、前記表示部は、さらに、前記操舵角による前記車両の移動予想軌跡を、前記駐車区画に基づいて異ならせた表示態様で表示すると好適である。当該構成により一例として、当該車両の操舵角で移動した場合の移動予想軌跡が確認でき、移動予想軌跡に従って移動した際の駐車区画に対する自車両の周辺のスペースを確認できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assistance device according to the embodiment, the acquisition unit that acquires the steering angle of the wheel of the vehicle, and the display unit, further, based on the parking section, the predicted movement trajectory of the vehicle based on the steering angle. It is preferable to display in a different display mode. As an example of this configuration, the predicted movement trajectory when moving at the steering angle of the vehicle can be confirmed, and the space around the parking area when moving according to the predicted movement trajectory can be confirmed, reducing the steering burden There is an effect that can be done.
また、実施形態にかかる駐車支援装置において、前記車両の車輪の操舵角を取得する取得部と、前記表示部は、前記操舵角による前記車両の移動予想軌跡を、前記基準領域として表示すると好適である。当該構成により一例として、当該車両の操舵角で移動した場合の移動予想軌跡が確認でき、移動予想軌跡に従って移動した際の車両周辺の物体と自車両との間のスペース（マージン）を確認できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assist device according to the embodiment, it is preferable that the acquisition unit that acquires the steering angle of the wheel of the vehicle and the display unit display the predicted movement trajectory of the vehicle based on the steering angle as the reference region. is there. As an example of this configuration, the predicted movement trajectory when moving at the steering angle of the vehicle can be confirmed, and the space (margin) between the object around the vehicle and the host vehicle when moving according to the predicted movement trajectory can be confirmed. The steering load can be reduced.
また、実施形態にかかる駐車支援装置において、前記表示部は、複数の基準領域を表示し、表示部が表示した複数の基準領域から、前記車両の移動先となる領域の選択を受け付ける選択受付部をさらに備えると好適である。当該構成により一例として、車両を運転手が所望する基準領域を移動先として設定できるため、操舵の負担を軽減できるという効果を奏する。 In the parking support device according to the embodiment, the display unit displays a plurality of reference regions, and receives a selection of a region to be the destination of the vehicle from the plurality of reference regions displayed by the display unit. It is preferable to further include As an example, the configuration can set a reference area desired by the driver of the vehicle as a movement destination, and thus can reduce the steering burden.
また、実施形態にかかる駐車支援装置において、前記撮像部が、前記車両の側面部から側方向の外部の環境を撮像する、又は前記車両の後端部から後方向の外部の環境を撮像すると好適である。当該構成により一例として、撮像部により撮像された画像データで、外部の環境を容易に表示できるので、当該外部の環境を把握するのが容易となり、操舵の負担を軽減できるという効果を奏する。 Moreover, in the parking assistance apparatus according to the embodiment, it is preferable that the imaging unit images an external environment in the lateral direction from the side surface portion of the vehicle, or images an external environment in the backward direction from the rear end portion of the vehicle. It is. As an example, this configuration allows the external environment to be easily displayed with the image data captured by the imaging unit, so that the external environment can be easily grasped and the steering load can be reduced.
また、実施形態にかかる駐車支援装置において、前記表示部は、さらに、前記基準領域から前記物体までのマージンを表した数値を表示すると好適である。当該構成により一例として、数値でマージンを確認できるため、物体までの間隔を容易に把握できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assistance device according to the embodiment, it is preferable that the display unit further displays a numerical value representing a margin from the reference region to the object. As an example, the configuration allows the margin to be confirmed by a numerical value, so that the distance to the object can be easily grasped, and the effect of reducing the steering burden can be achieved.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記基準領域から前記物体までの距離に従って、前記マージン領域の表示態様を変更すると好適である。当該構成により一例として、距離を表示態様で確認できるため、物体までの間隔を容易に把握できるので、操舵の負担を軽減できるという効果を奏する。 In the parking assist device according to the embodiment, it is preferable that the display unit changes a display mode of the margin area according to a distance from the reference area to the object. As an example with this configuration, the distance can be confirmed in a display mode, so that the distance to the object can be easily grasped, and the steering load can be reduced.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記距離に従って、前記マージン領域の色を変更する又は表示の点滅速度を変更すると好適である。当該構成により一例として、物体までの距離を視覚で確認できるため、操舵の負担を軽減できるという効果を奏する。 In the parking assistance apparatus according to the embodiment, it is preferable that the display unit changes a color of the margin area or changes a blinking speed of the display according to the distance. As an example, this configuration allows the distance to the object to be visually confirmed, thereby producing an effect of reducing the steering burden.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記撮像部が撮像した前記外部の環境に基づいて、前記車両を基準に俯瞰視点で外部の環境を表した俯瞰画像情報に対して、前記マージン領域を合成して表示すると好適である。当該構成により一例として、俯瞰的に基準領域と物体との位置関係を確認できるため、操舵の負担を軽減できるという効果を奏する。 Moreover, in the parking assistance device according to the embodiment, the display unit is based on the external environment imaged by the imaging unit, with respect to the overhead image information that represents the external environment from the overhead viewpoint with respect to the vehicle. It is preferable that the margin area is synthesized and displayed. As an example, this configuration allows the user to confirm the positional relationship between the reference region and the object from a bird's-eye view, thereby reducing the steering burden.
また、実施形態にかかる駐車支援装置において、前記表示部は、前記俯瞰画像情報に対して、複数の基準領域を表示すると共に、前記基準領域毎に前記マージン領域を表示すると好適である。当該構成により一例として、複数の基準領域を表示することで、運転手が車両を駐車する位置を選択するのが容易となり、操舵の負担を軽減できるという効果を奏する。 In the parking assistance device according to the embodiment, it is preferable that the display unit displays a plurality of reference regions and displays the margin region for each reference region with respect to the overhead image information. As an example, the configuration displays a plurality of reference areas, which makes it easy for the driver to select a position where the vehicle is parked, and reduces the steering burden.
また、実施形態にかかる制御方法は、駐車支援装置で実行される制御方法であって、車両が移動可能な路面を含む外部の環境を撮像する撮像ステップと、前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、を含む。当該構成により一例として、基準領域から物体までのマージンを確認できるので、操舵の負担を軽減できるという効果を奏する。 In addition, the control method according to the embodiment is a control method executed by the parking assistance device, and an imaging step of imaging an external environment including a road surface on which the vehicle can move, and from the vehicle to the external environment. A detection step for detecting an existing object; and a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected by the detection step, And a display step of combining and displaying in an area represented as a road surface in the external environment imaged in the imaging step. As an example, this configuration can confirm the margin from the reference region to the object, and thus has the effect of reducing the steering burden.
また、実施形態にかかるプログラムは、車両が移動可能な路面を含む外部の環境を撮像する撮像ステップと、前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、を実行させる。当該構成により一例として、基準領域から物体までのマージンを確認できるので、操舵の負担を軽減できるという効果を奏する。 In addition, the program according to the embodiment includes an imaging step of imaging an external environment including a road surface on which the vehicle is movable, a detection step of detecting an object existing in the external environment from the vehicle, and the external environment And a margin area representing a margin area from the reference area, which is a reference for the movement of the vehicle, to the object detected in the detection step, as a road surface in the external environment imaged in the imaging step. And a display step of combining and displaying in the represented area. As an example, this configuration can confirm the margin from the reference region to the object, and thus has the effect of reducing the steering burden.
（第１の実施形態）
本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
(First embodiment)
In the present embodiment, the
図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
As shown in FIG. 1, the vehicle body 2 constitutes a
また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、駐車支援装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。
Further, a display device 8 (display output unit) and a sound output device 9 (sound output unit) are provided in the
また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、駐車支援ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ，１３ａを動作させる。前輪操舵システム１２ならびに後輪操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。前輪操舵システム１２ならびに後輪操舵システム１３は、アクチュエータ１２ａ，１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ，１３ａは、一つの車輪３を操舵してもよいし、複数の車輪３を操舵してもよい。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
As shown in FIGS. 1 and 2, in the present embodiment, as an example, the
また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°〜１９０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。
In the present embodiment, as an example, as shown in FIG. 2, the vehicle 1 (the vehicle body 2) is provided with a plurality of (in the present embodiment, four as an example) imaging units 16 (16 a to 16 d). It has been. The
本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。駐車支援ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１（車体２）を上方から見た仮想的な俯瞰画像（平面画像）を生成したりすることができる。
In the present embodiment, as an example, the
また、駐車支援ＥＣＵ１４は、撮像部１６の画像から、車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）する。
Further, the parking assist
また、本実施形態では、一例として、図１，２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として８つ）の測距部１７（１７ａ〜１７ｄ）と、長距離用測距部１５（１５ａ〜１５ｄ）と、が設けられている。測距部１７及び長距離用測距部１５は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）である。駐車支援ＥＣＵ１４は、測距部１７の検出結果により、車両１（車体２）の後方に位置された物体（障害物）の有無や距離を測定することができる。さらには、駐車支援ＥＣＵ１４は、長距離用測距部１５の検出結果により、車両１（車体２）の側面の方向に位置された物体（障害物）の有無や距離を測定することができる。すなわち、測距部１７、長距離用測距部１５は、車両１から、外部の環境に存在する物体を検出する検出部の一例である。
In the present embodiment, as an example, as shown in FIGS. 1 and 2, the vehicle 1 (vehicle body 2) includes a plurality of (in the present embodiment, eight as an example) distance measuring units 17 (17 a to 17 d). ) And a long-distance ranging unit 15 (15a to 15d). The
また、本実施形態では、一例として、図３に示されるように、駐車支援システム１００では、駐車支援ＥＣＵ１４や、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３、測距部１７等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。駐車支援ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２や、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、駐車支援ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、舵角センサ１３ｂ（後輪３Ｒ用）、長距離用測距部１５、測距部１７、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
In the present embodiment, as an example, as shown in FIG. 3, in the
駐車支援ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、駐車支援ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、駐車支援ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、駐車支援ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、駐車支援ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、駐車支援ＥＣＵ１４とは別に設けられてもよい。
As an example, the parking assist
ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３（車両１）に制動力を与える。
The
舵角センサ１９は、操舵部４（本実施形態では、一例としてステアリングホイール）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ１３ｂは、後輪３Ｒの操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９，１３ｂから取得して各種制御を実行する。なお、トルクセンサ１２ｂは、運転者が操舵部４に与えるトルクを検出する。
The
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ＥＣＵ１４は、車輪速センサ２２から取得したデータに基づいて車両１の移動量などを演算し、各種制御を実行する。車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。車輪速センサ２２がブレーキシステム１８に設けられている場合には、駐車支援ＥＣＵ１４は、ブレーキシステム１８を介してデータを取得する。ブレーキセンサ１８ｂは、ブレーキペダルの操作量を検出するセンサであり、駐車支援ＥＣＵ１４は、ブレーキシステム１８を介して情報を取得する。駐車支援ＥＣＵ１４は、例えば、自動操舵中に制動操作部６が操作されたような場合に、自動操舵には適さない状況にあるとして自動操舵を中断したり中止したりすることができる。
The
シフトセンサ２１は、一例としては、変速操作部７の可動部（レバーや、アーム、ボタン等）の位置を検出するセンサ（スイッチ）であり、変位センサなどを用いて構成される。例えば、駐車支援ＥＣＵ１４は、可動部がリバースにセットされた場合に支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
As an example, the
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定（変更）することができる。 The configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are merely examples, and can be set (changed) in various ways.
図４は、車両１が備える各種センサの検出可能な範囲を示した図である。図４に示すように、車両１の後端に設けられた撮像部１６ｃにより範囲３０１の撮像が可能となる。そして、車両１が後退する際には、撮像部１６ｃが撮像する画像データが、表示装置８に表示される。
FIG. 4 is a diagram showing a detectable range of various sensors included in the
また、車両１に備えられた測距部１７（１７ａ〜１７ｄ）により範囲３１１、３１２、３１３、３１４の範囲内の物体の検出が可能になると共に、長距離用測距部１５（１５ａ〜１５ｄ）により範囲３０２、３０３、３０４、３０５の範囲内の物体の検出が可能となる。そして、車両１が移動することで、長距離用測距部１５（１５ａ〜１５ｄ）及び測距部１７（１７ａ〜１７ｄ）が検出を行う範囲を移動し、車両１の周辺にある物体（例えば車両３５１、３５３、３５４、３５５、３５６、及び物体３５２）が検出される。そして、駐車支援ＥＣＵ１４は、これら検出された物体に基づいて、車両１を安全に案内するための駐車支援を行う。
In addition, the distance measuring unit 17 (17a to 17d) provided in the
図５は、駐車支援ＥＣＵ１４内に実現される駐車支援部４００の構成を示すブロック図である。図５に示す駐車支援部４００内の各構成は、図３の駐車支援ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。また、ＲＯＭ１４ｂは、移動軌跡管理テーブル４０２を記憶している。
FIG. 5 is a block diagram showing a configuration of the
駐車支援部４００は、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで、操作受付部４０１と、操舵角取得部４０３と、軌跡取得部４０４と、障害物検出部４０５と、軌跡表示切替部４０６と、俯瞰画像生成部４０７と、通常画像生成部４０８と、画像処理部４０９と、表示制御部４１０と、を実現する。
The
そして、本実施形態にかかる駐車支援部４００は、車両１が移動して駐車を行う際に、検出した障害物と、車両１の移動の基準となる基準領域と、の間のマージンを表示することで、運転者の操舵による駐車を支援する。本実施形態は、車両１の移動の基準となる基準領域が、車両を駐車させるための駐車区画の場合について説明する。
And the
本実施形態にかかる駐車支援部４００は、検出した障害物と、車両１の移動の基準となる基準領域（駐車区画）と、の間のマージン領域を表示する。例えば、駐車区画内に車両１を駐車させる場合でも、駐車区画外に存在する障害物と近接し、当該障害物と接触する可能性も存在する。そこで、本実施形態にかかる駐車支援部４００が、車両１が駐車区画に移動させる前から、駐車区画と障害物との間のマージンとなる領域（以下、マージン領域とも称す）を表示することで、運転手は、障害物に近接しない位置を経由して、駐車区画内に車両１を駐車させることができる。なお、基準領域は、駐車区画に制限するものではなく、車両１を駐車する際に基準となる領域であればよい。
The
図６は、車両１を後進させて駐車区画５１０に駐車する際の環境を示した図である。図６は、車両１を後進させて駐車区画５１０に駐車する例を示している。図６に示す例では、移動予想軌跡５０１に従って、区画線５０２及び区画線５０３の間の駐車区画５１０に車両１を駐車させる例とする。
FIG. 6 is a diagram showing an environment when the
図６に示す例では、駐車支援部４００が、撮像された画像データから、区画線５０２及び区画線５０３を認識したあと、区画線５０２及び区画線５０３の間の領域を駐車区画５１０として認識している例とする。さらには、測距部１７及び長距離用測距部１５により検出された物体により、駐車支援部４００の障害物検出部４０５は、物体５０４及び車両５０５が接触する可能性のある障害物として検出している。
In the example illustrated in FIG. 6, the
このような場合、本実施形態にかかる駐車支援部４００は、駐車区画５１０と物体５０４の間のマージン領域５１２と、駐車区画５１０と車両５０５との間のマージン領域５１１と、を表示する。これにより、運転手は、駐車区画５１０と障害物との間の余裕が、どの程度存在するか把握できるため、障害物との間のスペースを考慮した上で、駐車区画５１０内に車両１を駐車することができる。これにより、車両１が障害物に接触する可能性を低減する他、車両１と障害物との間に適切な間隔を開けることができるので、車両１に乗車している人の下車が容易になる。
In such a case, the
図５に戻り、操作受付部４０１は、操作入力部１０等の指示信号（制御信号）を受け付ける。操作受付部４０１は、これら指示信号から、運転者からの操作を受け付けることができる。例えば、操作受付部４０１は、移動予想軌跡の表示の切り替えを示した指示信号等を受け付ける。
Returning to FIG. 5, the
移動軌跡管理テーブル４０２は、車両１が移動した場合の移動予想軌跡を管理するテーブルである。移動軌跡管理テーブル４０２は、操舵角に対応する移動予想軌跡を記憶している。本実施形態にかかる移動軌跡管理テーブル４０２が記憶している移動予想軌跡は、車両１の周囲を上方から俯瞰した場合の俯瞰画像データに重畳するための移動予想軌跡、及び撮像部１６で撮像された通常画像データに重畳するための移動予想軌跡とする。
The movement trajectory management table 402 is a table for managing a predicted movement trajectory when the
操舵角取得部４０３は、舵角センサ１９から前輪３Ｆの舵角と、舵角センサ１３ｂから後輪３Ｒの舵角と、を取得する。
The steering
軌跡表示切替部４０６は、運転者からの切り替え操作に基づいて、表示制御部４１０により表示される移動予想軌跡を表示するか否かの切り替え制御を行う。軌跡表示切替部４０６は、当該切り替え制御に従って、軌跡取得部４０４から移動予想軌跡を取得するか否かを切り替える。
The trajectory
軌跡取得部４０４は、軌跡表示切替部４０６からの制御に従って、移動軌跡管理テーブル４０２から移動予想軌跡を取得する。本実施形態にかかる軌跡取得部４０４は、操舵角取得部４０３が取得した操舵角に対応する移動予想軌跡を、移動軌跡管理テーブル４０２から取得する。
The
障害物検出部４０５は、測距部１７（１７ａ〜１７ｄ）及び長距離用測距部１５（１５ａ〜１５ｄ）の検出結果に基づいて、車両１周辺に存在する物体、及び当該物体の位置を検出する。なお、物体の検出手法は、従来用いられている手法等を用いてもよいため、説明を省略する。
Based on the detection results of the distance measurement unit 17 (17a to 17d) and the long distance measurement unit 15 (15a to 15d), the
俯瞰画像生成部４０７は、撮像部１６により撮像された車両１の外部の環境を表した画像データと、（図示しない）マッピングテーブルに記録されている変換情報と、に基づいて、車両１の周囲外部の環境を上方から俯瞰した場合の俯瞰画像データを生成し、画像処理部４０９に出力する。
The bird's-eye view
通常画像生成部４０８は、撮像部１６により撮像された画像データに対して車両１の外部の環境を表すための調整を行い、通常画像データを生成した後、通常画像データを画像処理部４０９に出力する。
The normal
画像処理部４０９は、基準領域認識部４２１と、マージン長算出部４２２と、合成部４２３と、を備え、俯瞰画像生成部４０７により入力された俯瞰画像データ、又は通常画像生成部４０８により生成された通常画像データに対して、表示装置８に表示するための様々な情報（例えば、マージン領域等）を合成した後、合成された画像データを表示制御部４１０に出力する。
The
基準領域認識部４２１は、撮像部１６により撮像された外部の環境を表す画像データから、当該外部の環境で車両１の移動の基準となる基準領域を認識する。本実施形態にかかる基準領域認識部４２１は、撮像された画像データにおいて、路面に描かれた区画線（例えば白線）を識別し、当該区画線で案内される駐車区画を、基準領域として認識する。
The reference area recognition unit 421 recognizes a reference area serving as a reference for movement of the
マージン長算出部４２２は、基準領域認識部４２１により認識された基準領域と、障害物検出部４０５により検出された物体と、の間の距離（マージンの長さ）を算出する。なお、本実施形態は、測距部１７（１７ａ〜１７ｄ）及び長距離用測距部１５（１５ａ〜１５ｄ）により検出された物体から、基準領域までの距離を、撮像部１６により撮像された画像データに対する画像解析で導き出す。なお、本実施形態はこのような手法に制限するものではなく、検出された物体から基準領域までの距離を導き出す手法として、どのような手法を用いても良い。
The margin length calculation unit 422 calculates a distance (margin length) between the reference region recognized by the reference region recognition unit 421 and the object detected by the
合成部４２３は、マージン長算出部４２２により算出された基準領域と物体との間の距離に基づいて、認識された基準領域から、検出された障害物までのマージンとなる領域を表したマージン領域を、画像データに表された外部の環境のうち、路面として表された領域に合成する。また、本実施形態にかかる合成部４２３は、他の様々な情報（例えば、障害物の位置を認識するための面データ）も合成する。
The synthesizing
また、合成部４２３が合成するデータとして透過パターンを用いる。これにより、撮像した映像が隠れるのを抑止する。
Further, a transmission pattern is used as data to be synthesized by the
表示制御部４１０は、画像処理部４０９により合成された画像データを、表示装置８に表示する。なお、本実施形態では行っていないが、軌跡取得部４０４が取得した移動予想軌跡を、画像データに合成しても良い。
The display control unit 410 displays the image data combined by the
図７は、本実施形態にかかる表示装置８に表示された画像データの例を示した図である。図７に示す例では、車両１の後端に設けられた撮像部１６ｃにより撮像された画像データに対して、様々な情報が合成されている。
FIG. 7 is a diagram illustrating an example of image data displayed on the
図７に示す画像データでは、車両５０５と、物体５０４と、が外部の環境に存在する障害物として検出されている。そこで、表示制御部４１０が表示する画像データでは、車両５０５の位置を認識するための平面６０２と、物体５０４の位置を認識するための平面６０１と、が合成されている。
In the image data shown in FIG. 7, the
その上で、表示制御部４１０が表示する画像データにおいて、駐車区画５１０から、物体５０４までのマージンを表したマージン領域５１２と、駐車区画５１０から、車両５０５までのマージンを表したマージン領域５１１と、が合成されている。
In addition, in the image data displayed by the display control unit 410, a
図７に示す様に、マージン領域５１１、５１２が表示されることで、駐車区画５１０から障害物までの幅が一目で視認することが可能となる。これにより、運転手は、駐車区画５１０に対して、左右のどちら側がより狭いか認識することができる。さらには、どちら側により注意を払わなければいけないのか把握できるので、障害物に接触する可能性を抑止できるほか、障害物との間を空けて駐車することが容易となり、車両１からの乗り降りが容易となる。
As shown in FIG. 7, by displaying the
次に、本実施の形態にかかる車両１の駐車支援部４００における、外部の環境の表示制御について説明する。図８は、本実施の形態にかかる駐車支援部４００における上述した処理の手順を示すフローチャートである。
Next, display control of the external environment in the
まず、障害物検出部４０５が、測距部１７（１７ａ〜１７ｄ）及び長距離用測距部１５（１５ａ〜１５ｄ）よりの検出結果に基づいて、車両１周辺に存在する物体、及び当該物体の位置を検出する（ステップＳ７０１）。
First, based on the detection results from the distance measurement unit 17 (17a to 17d) and the long distance measurement unit 15 (15a to 15d), the
次に、通常画像生成部４０８が、撮像部１６により撮像された画像データに基づいて、通常画像データを生成する（ステップＳ７０２）。
Next, the normal
さらに、基準領域認識部４２１が、撮像部１６により撮像された画像データに基づいて、外部の環境に存在する基準領域を認識する（ステップＳ７０３）。 Further, the reference area recognition unit 421 recognizes a reference area existing in the external environment based on the image data captured by the imaging unit 16 (step S703).
さらに、マージン長算出部４２２が、基準領域認識部４２１により認識された基準領域と、障害物検出部４０５により検出された物体と、の間の距離（マージンの長さ）を算出する（ステップＳ７０４）。 Further, the margin length calculation unit 422 calculates the distance (margin length) between the reference region recognized by the reference region recognition unit 421 and the object detected by the obstacle detection unit 405 (step S704). ).
合成部４２３は、マージンの長さに基づいて、画像データに表された外部の環境のうち、路面として表された領域に、マージンとなる領域を合成する（ステップＳ７０５）。
Based on the length of the margin, the
そして、表示制御部４１０は、マージン領域が示された画像データを表示する（ステップＳ７０６）。表示される画像データは、図７で示したため説明を省略する。 Then, the display control unit 410 displays the image data indicating the margin area (step S706). The displayed image data is shown in FIG.
上述した処理手順により表示される画像データでは、どの程度余裕があるのかグラフィカルに表示される。これにより、運転手が当該画像データを参照することで、基準領域（駐車区画）に対して左右のどちら側がより狭く、注意をしなければならないかを確認できる。さらに、運転手は、どちらをより注意すべきか認識できるので、操舵の負担を軽減できる。 In the image data displayed by the processing procedure described above, how much room is available is graphically displayed. As a result, the driver can check which side of the left and right sides is narrower than the reference area (parking section) and should be noted by referring to the image data. Furthermore, since the driver can recognize which one should be more careful, the burden of steering can be reduced.
（第１の実施形態の変形例１）
第１の実施形態では、マージンを領域としてのみ表示した例について説明した。しかしながら、第１の実施形態は、マージン領域のみ表示することに制限するものではない。そこで、第１の実施形態の変形例１は、マージン長算出部４２２が算出したマージンの距離も表示する例について説明する。
(
In the first embodiment, the example in which the margin is displayed only as a region has been described. However, the first embodiment is not limited to displaying only the margin area. Therefore, in the first modification of the first embodiment, an example in which the margin distance calculated by the margin length calculation unit 422 is also displayed will be described.
図９は、第１の実施形態の変形例１にかかる表示装置８に表示された画像データの例を示した図である。図９に示す例では、図７で示した情報に加えて、マージン領域毎に、駐車区画５１０と障害物との間の距離を示した数値８０１、８０２が表示される。なお、本変形例にかかる数値８０１、８０２は、マージン領域のうち、駐車区画５１０と障害物との間で最も近接した場所における距離を示したものとするが、平均値などの他の数値であっても良い。
FIG. 9 is a diagram illustrating an example of image data displayed on the
本変形例では、マージン領域毎に、基準領域と障害物との間の距離を数値として表示することで、運転手が、障害物までの余裕を定量的に把握することが可能となる。 In this modification, the distance between the reference area and the obstacle is displayed as a numerical value for each margin area, so that the driver can quantitatively grasp the margin to the obstacle.
（第１の実施形態の変形例２）
第１の実施形態の変形例２では、基準領域から障害物までのマージンの長さ（換言すれば、障害物までの余裕の度合い）に応じて、マージン領域の表示態様を変更する例について説明する。本実施形態では、表示態様として色を変更する例とする。
(Modification 2 of the first embodiment)
In the second modification of the first embodiment, an example in which the display mode of the margin area is changed according to the length of the margin from the reference area to the obstacle (in other words, the degree of margin to the obstacle) will be described. To do. In the present embodiment, the color is changed as the display mode.
図１０は、第１の実施形態の変形例２にかかる合成部４２３がマージンの長さに応じて異ならせるマージン領域の表示色の例を示した表である。図１０に示す様に、マージンの長さが小さいときは、警告として、マージン領域を赤色で表示し、マージンの長さが中程度のときは、注意喚起として、マージン領域を黄色で表示し、マージンの長さが大きいときは、通常どおりとして、マージン領域を緑色で表示する。このように変形例では、ユーザに対して喚起させたい内容と、色とを対応付けて管理しておく。
FIG. 10 is a table showing an example of the display color of the margin area that is changed according to the margin length by the combining
ところで、マージンの距離の基準は実施態様に応じて異ならせても良いが、例えば、０．１ｍ以下の場合にマージン長さ‘小’、０．１ｍより大きく０．２５ｍより小さい場合にマージン長さ‘中’、０．２５ｍ以上の場合にマージン長さ‘大’とする等が考えられる。 By the way, the reference of the margin distance may be varied depending on the embodiment. For example, the margin length is “small” when the distance is 0.1 m or less, and the margin length is larger than 0.1 m and smaller than 0.25 m. It is conceivable that the margin length is “large” when the length is “medium” or 0.25 m or more.
図１１は、本変形例にかかる表示装置８に表示された画像データの例を示した図である。図１１に示す例では、図１０で示した画像データと比べて、障害物との距離に応じてマージン領域の表示色を異ならせている。本変形例では、マージン領域１００１の表示色が赤であり、マージン領域１００２の表示色が緑である。
FIG. 11 is a diagram illustrating an example of image data displayed on the
本変形例では、接触する危険性の高い領域について、表示態様を異ならせて表示することで、運転手は危険度合いを容易に視認することができる。また、色を異ならせることに制限するものではなく、領域の輪郭線の形状を異ならせても良い。 In this modified example, the driver can easily visually recognize the degree of danger by displaying the areas with high risk of contact with different display modes. Moreover, it does not restrict | limit to changing a color, You may change the shape of the outline of an area | region.
さらには、色を異ならせるのではなく、危険度合いに応じて、マージン領域を点滅させても良い。例えば、障害物までの距離が通常の場合、マージン領域を点滅させず、障害物までの距離について注意喚起が必要な場合に、マージン領域を点滅させる。当該点滅も距離が短くなるほど、点滅する速度を早めても良い。 Furthermore, instead of changing the color, the margin area may be blinked according to the degree of danger. For example, when the distance to the obstacle is normal, the margin area is not blinked, and the margin area is blinked when attention needs to be paid to the distance to the obstacle. The blinking speed may be increased as the distance becomes shorter.
本変形例では、障害物までの距離に応じてマージン領域の表示態様を異ならせることで、運転手は障害物までの危険度合いを容易に認識することができる。 In this modification, the driver can easily recognize the degree of danger to the obstacle by changing the display mode of the margin area according to the distance to the obstacle.
（第１の実施形態の変形例３）
一つのマージン領域の表示態様を場所毎に異ならせても良い。例えば、駐車の目的である駐車区画の隣の駐車区画に駐車している車が、駐車区画に対して少し斜め方向に駐車する場合もある。
(
The display mode of one margin area may be different for each place. For example, a car parked in a parking section adjacent to a parking section that is the purpose of parking may park in a slightly oblique direction with respect to the parking section.
第１の実施形態の変形例３では、マージン長算出部４２２により算出された駐車区画と障害物との間隔の距離の変化に応じて、合成部４２３が合成するマージン領域の色を異ならせる。これにより、例えば、表示制御部４１０は、駐車区画と障害物との間が所定以上空いている場合には当該マージン領域を緑色で表示し、当該間隔が狭まるについて緑、黄色から赤にグラデーションのように変化させて表示する。
In the third modification of the first embodiment, the color of the margin area synthesized by the
さらに、マージン領域の色が障害物との間隔により変化することで、運転手は駐車区画が奥になるほど障害物との間の余裕が少なくなる等を認識できるため、駐車区画を移動させる際に、安全性を確保することが容易となる。 Furthermore, since the color of the margin area changes according to the distance from the obstacle, the driver can recognize that the margin between the obstacle is reduced as the parking area becomes deeper. It is easy to ensure safety.
（第１の実施形態の変形例４）
上述した実施形態では、車両１の後端に設けられた撮像部１６ｃにより撮像された画像データに対して、マージン領域等を合成する場合について説明した。しかしながら、マージン領域等を合成する画像データを、後端に設けられた撮像部１６ｃで撮像された画像データに制限するものではない。そこで、第１の実施形態の変形例４では、車両１の側面部に設けられた撮像部１６ｂで撮像する場合について説明する。
(
In the above-described embodiment, the case where the margin area and the like are combined with the image data captured by the
図１２は、第１の実施形態の変形例４にかかる車両１の撮像部１６ｂが撮像する領域１１０１を俯瞰的に示した図である。図１２に示す様に側面部に設けられた撮像部１６ｂで撮像を行う。これにより、領域１１０１内の外部の環境が撮像される。撮像された画像データから、区画線１１１１、１１１２で囲まれた駐車区画１１２０を認識する。さらに、長距離用測距部１５ｂ、１５ａで障害物の検出を行う。これにより、障害物１１２１と車両１１２２とが検出される。
FIG. 12 is an overhead view of a
そして、上述した実施形態及び変形例と同様の処理を行うことで、駐車支援部４００の表示制御部４１０は、マージン領域１１３１、１１３２が示された画像データを表示できる。そして、運転手は、当該画像データを参照することで、駐車区画に駐車を開始する前である、駐車区画を横切るタイミングで、当該駐車区画がどの程度余裕があるか判断できる。当該駐車区画に容易に駐車できるか否かを判断できるため、駐車区画に駐車する際の運転負担を軽減できる。
And the display control part 410 of the
（第２の実施形態）
第１の実施形態及びその変形例では、基準領域が駐車区画の場合について説明した。しかしながら、駐車する際に基準となる領域は、駐車区画に限られない。そこで、本実施形態では、基準領域が、車両１の移動予想軌跡の場合について説明する。なお、駐車支援部４００の構成は、第１の実施形態と同様として説明を省略する。
(Second Embodiment)
In 1st Embodiment and its modification, the case where the reference area was a parking area was demonstrated. However, the reference area when parking is not limited to the parking section. Therefore, in the present embodiment, a case where the reference region is a predicted movement locus of the
なお、駐車支援部４００における、基準領域の駐車区画と移動予想軌跡との間の切り替えは、操作受付部４０１が受け付けた操作に応じて行われるものとする。
Note that switching between the parking area of the reference area and the predicted movement locus in the
本実施形態においては、操舵角取得部４０３が操舵角を取得し、軌跡取得部４０４が、取得した操舵角に対応する移動予想軌跡を、移動軌跡管理テーブル４０２から取得し、画像処理部４０９に出力する。
In the present embodiment, the steering
そして、基準領域認識部４２１が、軌跡取得部４０４が取得した移動予想軌跡に基づいて、撮像部１６が撮像した外部の環境のうち、当該移動予想軌跡に対応する領域を、基準領域として認識する。
Then, based on the predicted movement trajectory acquired by the
そして、マージン長算出部４２２は、基準領域である移動予想軌跡と、障害物との間のマージンの長さを算出する。そして、合成部４２３が算出されたマージンの長さに基づいたマージン領域を、画像データに対して合成する。第２の実施形態にかかるマージン領域は、移動予想軌跡と障害物（例えば車両５０５、物体５０４）との間のマージンとなる領域とする。
Then, the margin length calculation unit 422 calculates the length of the margin between the predicted movement locus that is the reference region and the obstacle. Then, the margin area based on the calculated margin length is synthesized with the image data. The margin area according to the second embodiment is an area that becomes a margin between the predicted movement locus and an obstacle (for example, the
図１３は、本実施形態にかかる表示装置８に表示された画像データの第１の例を示した図である。図１３に示す例では、車両５０５と、物体５０４と、が外部の環境に存在する障害物として検出されている。その上で、移動予想軌跡１２０１から、物体５０４までのマージンを表したマージン領域１２１１と、移動予想軌跡１２０２から、車両５０５までのマージンを表したマージン領域１２１２と、が合成されている。
FIG. 13 is a diagram showing a first example of image data displayed on the
さらにマージンの長さを示した数値を表示しても良い。図１３に示す例では、移動予想軌跡１２０１と物体５０４との間で最も近接している場所の距離を示す数値１２２１と、移動予想軌跡１２０２と車両５０５との間で最も近接している場所の距離を示す数値１２２２と、が表示されている。
Further, a numerical value indicating the length of the margin may be displayed. In the example shown in FIG. 13, a
本実施形態では、さらに、操舵角が切り替えられた場合に、当該操舵角に基づいて、表示される予想移動軌跡が切り替わると共に、表示されるマージン領域も切り替わる。 In the present embodiment, when the steering angle is switched, the displayed expected movement trajectory is switched based on the steering angle, and the displayed margin area is also switched.
図１４は、本実施形態にかかる表示装置８に表示された画像データの第２の例を示した図である。図１４に示す例は、図１３に示す例から操舵量の切り替えが行われた後に、表示される画像データとする。
FIG. 14 is a diagram showing a second example of the image data displayed on the
図１４に示す例では、操舵量の切り替えに応じて、移動予想軌跡１３０１、１３０２が、図１３に示された移動予想軌跡１２０１、１２０２から変更されている。これに伴い、マージン領域１３１１、１３１２の表示も変更され、数値１３２１、１３２２も変更された。
In the example illustrated in FIG. 14, the predicted
図１４に示す例では、移動予想軌跡１３０１、１３０２が変更されたことで、マージン領域１３１１における障害物の間の距離が短くなっている。これにより数値１３２１も警告表示を行うと共に、マージン領域１３１１の表示色も警告を示す赤色に変更されている。このように、操舵量の切り替えに応じて、表示態様を異ならせることで、ユーザに対して注意喚起を促すことができる。
In the example illustrated in FIG. 14, the distance between obstacles in the
表示されるマージン領域は、測距部１５が障害物を検出可能な領域に基づいて定められる。例えば、車両１の後端から３ｍまでをマージン領域の表示可能な範囲とすることが考えられる。
The displayed margin area is determined based on an area where the distance measuring unit 15 can detect an obstacle. For example, it is conceivable that the margin area can be displayed from 3 m from the rear end of the
この場合、車両１が移動する毎に、駐車支援部４００の表示制御部４１０が表示するマージン領域が更新される。例えば、車両１が駐車区画に移動するにつれて、障害物と駐車区画との間の距離が狭まる場合、表示制御部４１０が表示するマージン領域の色が切り替わることも考えられる。
In this case, every time the
（第３の実施形態）
第１の実施形態では基準領域が駐車区画の例であり、第２の実施形態では基準領域が移動予想軌跡の例について説明した。しかしながら、基準領域をいずれか一方に制限するものではなく、基準領域を駐車区画と移動予想軌跡とを組み合わせても良い。
(Third embodiment)
In the first embodiment, the reference area is an example of a parking section, and in the second embodiment, the reference area is an example of an expected movement trajectory. However, the reference area is not limited to either one, and the reference area may be a combination of a parking section and a predicted movement trajectory.
組み合わせ手法については、周知の手法を問わず、様々な手法を用いても良い。例えば、表示制御部４１０は、駐車区画として識別された領域と、移動予想軌跡とを、表示する。その際に、表示制御部４１０は、駐車区画に基づくマージン領域であり、且つ移動予想軌跡に基づくマージン領域である領域のみ表示する等が考えられる。または、表示制御部４１０は、駐車区画に基づくマージン領域と、移動予想軌跡に基づくマージン領域との積となる領域を表示してもよい。 As a combination method, various methods may be used regardless of a known method. For example, the display control unit 410 displays an area identified as a parking section and a predicted movement trajectory. At that time, the display control unit 410 may display only the margin area based on the parking area and the margin area based on the predicted movement locus. Or the display control part 410 may display the area | region used as the product of the margin area | region based on a parking area, and the margin area | region based on an estimated movement locus | trajectory.
他の態様としては、例えば、表示制御部４１０が、認識された駐車区画に基づくマージン領域を表示し、当該マージン領域に重なった移動予想軌跡の表示態様を異ならせて表示するなどが考えられる。例えば、通常の移動予想軌跡を緑色で表示し、マージン領域に重なっている移動予想軌跡を黄色又は赤色で表示するなどが考えられる。 As another mode, for example, the display control unit 410 may display a margin area based on the recognized parking area, and display the movement prediction trajectory overlapping the margin area with a different display mode. For example, a normal predicted movement trajectory may be displayed in green, and a predicted movement trajectory overlapping the margin area may be displayed in yellow or red.
本実施形態では、複数の基準領域を組み合わせて、マージン領域を表示することで、ユーザが障害物との間のマージンの識別が容易になり、運転負担を軽減できる。なお、組み合わせ態様は、上述した手法に制限するものではなく、他の態様を用いても良い。 In the present embodiment, by displaying a margin area by combining a plurality of reference areas, the user can easily identify a margin with an obstacle, and the driving burden can be reduced. The combination mode is not limited to the method described above, and other modes may be used.
（第４の実施形態）
上述した実施形態及び変形例では、通常画像生成部４０８が生成する画像データに対して、マージン領域を合成する例について説明した。しかしながら、マージン領域の合成対象を、通常画像生成部４０８が生成する通常画像データに制限するものではない。そこで、第４の実施形態では、俯瞰画像生成部４０７が生成する俯瞰画像データに対して、マージン領域を合成する例について説明する。なお、本実施形態では、基準領域が、駐車区画の例について説明するが、基準領域が、移動予想軌跡など他の領域であってもよい。
(Fourth embodiment)
In the embodiment and the modification described above, the example in which the margin area is combined with the image data generated by the normal
本実施形態では、俯瞰画像生成部４０７が、俯瞰画像データを生成する。一方で、障害物検出部４０５が、長距離用測距部１５ｂ、１５ａにより検出された物体に基づいて、車両１の側面方向における障害物を検出する。
In the present embodiment, the overhead
さらには、基準領域認識部４２１が、生成された俯瞰画像データから、基準領域を認識する。本実施形態にかかる基準領域認識部４２１は、俯瞰画像データに写っているガイドライン（例えば白線）に基づいて、駐車区画である駐車区画を認識する。 Furthermore, the reference area recognition unit 421 recognizes the reference area from the generated overhead image data. The reference area recognition unit 421 according to the present embodiment recognizes a parking lot that is a parking lot based on a guideline (for example, a white line) reflected in the overhead image data.
そして、マージン長算出部４２２が、認識された駐車区画と、障害物検出部４０５で検出された物体との間のマージンの長さを算出し、合成部４２３が、算出されたマージンの長さに基づいたマージン領域を、俯瞰画像データに合成する。
Then, the margin length calculation unit 422 calculates the length of the margin between the recognized parking section and the object detected by the
図１５は、本実施形態にかかる表示装置８に表示された画像データの例を示した図である。図１５に示す例は、俯瞰画像生成部４０７により生成された俯瞰画像データに対して、マージン領域が合成された例とする。図１５に示す例では、説明を容易にするために、長距離用測距部１５、及び測距部１７で検出された物体の位置を‘×’で示している。
FIG. 15 is a diagram illustrating an example of image data displayed on the
図１５に示す例では、基準領域認識部４２１により、駐車区画１４０１、１４０２が認識されている。このように、駐車支援部４００は、複数の基準領域を認識することができる。
In the example illustrated in FIG. 15, the
さらに、障害物検出部４０５により、物体１４１１と車両１４１２、１４１３等が検出されている。これにより、表示制御部４１０は、物体１４１１及び駐車区画１４０２の間のマージン領域１４２１と、車両１４１２及び駐車区画１４０２の間のマージン領域１４２２と、車両１４１３及び駐車区画１４０１の間のマージン領域１４２３と、を表示する。
Further, the
また、操作受付部４０１が、複数の駐車区画から選択を受け付けてもよい。操作受付部４０１が、複数の駐車区画からいずれか一つの選択を受け付けた場合、表示制御部４１０が、選択を受け付けた駐車区画についてより詳細な物体検出を行い、より詳細なマージン領域を表示しても良い。
Moreover, the
（第４の実施形態の変形例１）
第４の実施形態では、俯瞰画像データを表示する際に、複数の駐車区画を表示する例について説明した。しかしながら、単に複数の駐車区画を表示することに制限するものではなく、複数の駐車区画から推奨する駐車区画を提示しても良い。そこで、第４の実施形態の変形例１にかかる駐車支援部４００は、駐車区画毎にマージン領域を算出し、複数の駐車区画のうち、マージン領域が最も広い駐車区画を推奨領域として表示する。マージン領域の算出手法は、上述した実施形態と同様とする。そして、マージン長算出部４２２が、複数の駐車区画毎に、隣接するマージン領域の面積を算出し、最も隣接するマージン領域が広い駐車区画を、推奨の対象として特定する。
(
In the fourth embodiment, an example in which a plurality of parking sections are displayed when overhead image data is displayed has been described. However, it is not limited to simply displaying a plurality of parking sections, and a recommended parking section may be presented from a plurality of parking sections. Therefore, the
表示制御部４１０が、推奨する駐車区画を、他の駐車区画と表示態様が異なるように表示する。これにより、運転手は、マージンが広い駐車区画を認識できるため、車両１を駐車する際の運転負担を軽減できる。
The display control unit 410 displays the recommended parking section so that the display mode is different from other parking sections. Thereby, since the driver can recognize a parking section with a wide margin, the driving burden when parking the
（第４の実施形態の変形例２）
上述した実施形態及び変形例では、車両１を駐車区画等に駐車させる際に、手動で運転する運転手の運転負担を軽減する例について説明した。しかしながら、手動の運転することに制限するものではなく、車両１が自動で駐車区画まで移動する制御を行っても良い。そこで、第４の実施形態の変形例２では、駐車支援ＥＣＵ１４が車両１を自動で駐車区画に移動する制御を行う例について説明する。
(Modification 2 of the fourth embodiment)
In the embodiment and the modification described above, an example has been described in which the driver's driving burden is reduced when the
本変形例では、第４の実施形態と同様に、表示制御部４１０が、複数の駐車区画を表示する。その際に第４の実施形態と同様にマージン領域を表示する。 In the present modification, the display control unit 410 displays a plurality of parking sections as in the fourth embodiment. At that time, a margin area is displayed as in the fourth embodiment.
そして、操作受付部４０１が複数の駐車区画から、いずれか一つの選択を受け付ける。これにより、駐車支援ＥＣＵ１４が、選択を受け付けた駐車区画に、車両１を移動制御を行う。所望する領域まで車両１を移動制御する手法は、周知の手法を問わず、どのような手法を用いても良い。
And
当該移動制御を行うことで、当該駐車区画に余裕があるか否かを予め確認してから、運転手が所望する領域に車両１を移動制御できるため、運転負担を軽減すると共に、安全性の向上を図ることができる。
By performing the movement control, it is possible to control the movement of the
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１…車両、４００…駐車支援部、４０１…操作受付部、４０２…移動軌跡管理テーブル、４０３…操舵角取得部、４０４…軌跡取得部、４０５…障害物検出部、４０６…軌跡表示切替部、４０７…俯瞰画像生成部、４０８…通常画像生成部、４０９…画像処理部、４１０…表示制御部、４２１…基準領域認識部、４２２…マージン長算出部、４２３…合成部
DESCRIPTION OF
Claims (13)
前記車両から、前記外部の環境に存在する物体を検出する検出部と、
前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出部により検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像部で撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示部と、
を備える駐車支援装置。 An imaging unit that images an external environment including a road surface on which the vehicle is movable;
A detection unit for detecting an object existing in the external environment from the vehicle;
The external environment in which a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected by the detection unit is imaged by the imaging unit. A display unit that synthesizes and displays the area represented as the road surface,
A parking assistance device comprising:
請求項１に記載の駐車支援装置。 The display unit displays, as the reference region, a parking section indicated by a lane line for parking the vehicle in the external environment imaged by the imaging unit.
The parking assistance device according to claim 1.
前記表示部は、さらに、前記操舵角による前記車両の移動予想軌跡を、前記駐車区画に基づいて異ならせた表示態様で表示する、
請求項２に記載の駐車支援装置。 An acquisition unit for acquiring a steering angle of a wheel of the vehicle;
The display unit further displays a predicted movement trajectory of the vehicle based on the steering angle in a display mode that is varied based on the parking area.
The parking assistance device according to claim 2.
前記表示部は、前記操舵角による前記車両の移動予想軌跡を、前記基準領域として表示する、
請求項１に記載の駐車支援装置。 An acquisition unit for acquiring a steering angle of a wheel of the vehicle;
The display unit displays an expected movement trajectory of the vehicle according to the steering angle as the reference region;
The parking assistance device according to claim 1.
表示部が表示した複数の基準領域から、前記車両の移動先となる領域の選択を受け付ける選択受付部をさらに備える、
請求項１に記載の駐車支援装置。 The display unit displays a plurality of reference areas,
A selection receiving unit that receives a selection of a region to which the vehicle is to be moved from a plurality of reference regions displayed by the display unit;
The parking assistance device according to claim 1.
請求項１乃至５のいずれか一つに記載の駐車支援装置。 The imaging unit images the external environment in the lateral direction from the side surface of the vehicle, or images the external environment in the backward direction from the rear end of the vehicle,
The parking assistance device according to any one of claims 1 to 5.
請求項１乃至６のいずれか一つに記載の駐車支援装置。 The display unit further displays a numerical value representing a margin from the reference region to the object;
The parking assistance device according to any one of claims 1 to 6.
請求項１乃至６のいずれか一つに記載の駐車支援装置。 The display unit changes a display mode of the margin area according to a distance from the reference area to the object.
The parking assistance device according to any one of claims 1 to 6.
請求項８に記載の駐車支援装置。 The display unit changes the color of the margin area or changes the blinking speed of the display according to the distance.
The parking assistance device according to claim 8.
請求項１乃至９のいずれか一つに記載の駐車支援装置。 The display unit synthesizes and displays the margin area on the overhead image information representing the external environment from the overhead viewpoint based on the vehicle based on the external environment captured by the imaging unit.
The parking assistance device according to any one of claims 1 to 9.
請求項１０に記載の駐車支援装置。 The display unit displays a plurality of reference areas for the overhead image information and displays the margin area for each of the reference areas.
The parking assistance device according to claim 10.
車両が移動可能な路面を含む外部の環境を撮像する撮像ステップと、
前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、
前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、
を含む制御方法。 A control method executed by a parking assistance device,
An imaging step of imaging an external environment including a road surface on which the vehicle is movable;
A detection step of detecting an object existing in the external environment from the vehicle;
The external environment in which a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected in the detection step is imaged in the imaging step. Display step of combining and displaying in the area represented as the road surface,
Control method.
前記車両から、前記外部の環境に存在する物体を検出する検出ステップと、
前記外部の環境で前記車両の移動の基準となる基準領域から、前記検出ステップにより検出された前記物体までのマージンとなる領域を表したマージン領域を、前記撮像ステップで撮像された前記外部の環境のうち路面として表された領域に合成して表示する表示ステップと、
を実行させるためのプログラム。 An imaging step of imaging an external environment including a road surface on which the vehicle is movable;
A detection step of detecting an object existing in the external environment from the vehicle;
The external environment in which a margin area representing a margin area from a reference area serving as a reference for movement of the vehicle in the external environment to the object detected in the detection step is imaged in the imaging step. Display step of combining and displaying in the area represented as the road surface,
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012210028A JP5991112B2 (en) | 2012-09-24 | 2012-09-24 | Parking assistance device, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012210028A JP5991112B2 (en) | 2012-09-24 | 2012-09-24 | Parking assistance device, control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014065342A true JP2014065342A (en) | 2014-04-17 |
| JP5991112B2 JP5991112B2 (en) | 2016-09-14 |
Family
ID=50742188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012210028A Expired - Fee Related JP5991112B2 (en) | 2012-09-24 | 2012-09-24 | Parking assistance device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5991112B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170132482A1 (en) | 2015-11-09 | 2017-05-11 | Lg Electronics Inc. | Apparatus for parking vehicle and vehicle |
| KR20180060602A (en) * | 2016-11-29 | 2018-06-07 | 엘지전자 주식회사 | Autonomous Vehicle |
| KR20180078982A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
| KR20180078977A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
| JP2019155967A (en) * | 2018-03-07 | 2019-09-19 | パナソニックＩｐマネジメント株式会社 | Display control device, vehicle surrounding display system, and computer program |
| US10919574B2 (en) | 2015-11-10 | 2021-02-16 | Hyundai Motor Company | Automatic parking system and automatic parking method |
| US11393340B2 (en) | 2016-12-30 | 2022-07-19 | Hyundai Motor Company | Automatic parking system and automatic parking method |
| WO2023179534A1 (en) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | Parking path planning method, display method and electronic device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000177512A (en) * | 1998-12-11 | 2000-06-27 | Fujitsu Ten Ltd | Parking assist device for vehicle |
| JP2007290558A (en) * | 2006-04-25 | 2007-11-08 | Toyota Motor Corp | Parking support device and parking support method |
-
2012
- 2012-09-24 JP JP2012210028A patent/JP5991112B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000177512A (en) * | 1998-12-11 | 2000-06-27 | Fujitsu Ten Ltd | Parking assist device for vehicle |
| JP2007290558A (en) * | 2006-04-25 | 2007-11-08 | Toyota Motor Corp | Parking support device and parking support method |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101850795B1 (en) * | 2015-11-09 | 2018-04-20 | 엘지전자 주식회사 | Apparatus for Parking and Vehicle |
| US20170132482A1 (en) | 2015-11-09 | 2017-05-11 | Lg Electronics Inc. | Apparatus for parking vehicle and vehicle |
| US10528829B2 (en) | 2015-11-09 | 2020-01-07 | Lg Electronics Inc. | Apparatus for parking vehicle and vehicle |
| US10919574B2 (en) | 2015-11-10 | 2021-02-16 | Hyundai Motor Company | Automatic parking system and automatic parking method |
| US10457210B2 (en) | 2016-11-29 | 2019-10-29 | Lg Electronics Inc. | Autonomous vehicle |
| KR20180060602A (en) * | 2016-11-29 | 2018-06-07 | 엘지전자 주식회사 | Autonomous Vehicle |
| US10759343B2 (en) | 2016-11-29 | 2020-09-01 | Lg Electronics Inc. | Autonomous vehicle |
| KR101982774B1 (en) * | 2016-11-29 | 2019-05-27 | 엘지전자 주식회사 | Autonomous Vehicle |
| KR20180078977A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
| US10449955B2 (en) | 2016-12-30 | 2019-10-22 | Hyundai Motor Company | Automatic parking system and automatic parking method |
| KR101915164B1 (en) * | 2016-12-30 | 2019-01-07 | 현대자동차주식회사 | Automatically parking system and automatically parking method |
| KR101915166B1 (en) * | 2016-12-30 | 2018-11-06 | 현대자동차주식회사 | Automatically parking system and automatically parking method |
| KR20180078982A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Automatically parking system and automatically parking method |
| US11393340B2 (en) | 2016-12-30 | 2022-07-19 | Hyundai Motor Company | Automatic parking system and automatic parking method |
| JP2019155967A (en) * | 2018-03-07 | 2019-09-19 | パナソニックＩｐマネジメント株式会社 | Display control device, vehicle surrounding display system, and computer program |
| WO2023179534A1 (en) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | Parking path planning method, display method and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5991112B2 (en) | 2016-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3124360B1 (en) | Parking assistance device | |
| JP6897340B2 (en) | Peripheral monitoring device | |
| US9751562B2 (en) | Park exit assist system | |
| JP5991112B2 (en) | Parking assistance device, control method, and program | |
| JP5995931B2 (en) | Parking assistance device, parking assistance method, and control program | |
| JP6062406B2 (en) | Parking assistance device and parking assistance method | |
| US10150486B2 (en) | Driving assistance device and driving assistance system | |
| JP6743593B2 (en) | Parking assistance device | |
| JP2017033298A (en) | Parking support apparatus | |
| JP6006765B2 (en) | Driving assistance device | |
| JP2014069722A (en) | Parking support system, parking support method, and program | |
| JP2012056428A (en) | Driving support device | |
| JP2014004930A (en) | Parking support device, parking support method, and parking support program | |
| WO2018198530A1 (en) | Parking assistance device | |
| JP2018034659A (en) | Parking support device | |
| JP7283514B2 (en) | display controller | |
| JP2018158604A (en) | Driving control device | |
| JP2014004931A (en) | Parking support device, parking support method, and parking support program | |
| US20200140011A1 (en) | Parking assistance apparatus | |
| JP2014004932A (en) | Parking support device, parking support method, and program | |
| JP2017085410A (en) | Traveling assisting-device | |
| JP6977318B2 (en) | Peripheral display device | |
| JP2014069721A (en) | Periphery monitoring device, control method, and program | |
| JP7130923B2 (en) | display controller | |
| JP6953915B2 (en) | Peripheral monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5991112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |