JP5906999B2 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
JP5906999B2
JP5906999B2 JP2012185561A JP2012185561A JP5906999B2 JP 5906999 B2 JP5906999 B2 JP 5906999B2 JP 2012185561 A JP2012185561 A JP 2012185561A JP 2012185561 A JP2012185561 A JP 2012185561A JP 5906999 B2 JP5906999 B2 JP 5906999B2
Authority
JP
Japan
Prior art keywords
obstacle
parking
vehicle
parking space
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012185561A
Other languages
English (en)
Other versions
JP2014043140A (ja
Inventor
大塚 秀樹
秀樹 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012185561A priority Critical patent/JP5906999B2/ja
Publication of JP2014043140A publication Critical patent/JP2014043140A/ja
Application granted granted Critical
Publication of JP5906999B2 publication Critical patent/JP5906999B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、駐車支援装置に関するものである。
従来、車両を後退させて駐車空間に並列駐車させる操作を支援する技術が知られている。例えば、特許文献1には、駐車空間に隣接する2台の駐車車両のうちの、駐車プロセスの開始時に車両に最も近接している駐車車両に沿って、予め定められた距離だけ隔てて車両が配置されるように、目標とする駐車位置を決定し、その駐車位置への駐車を支援する駐車プロセス支援装置が開示されている。
また、特許文献2には、自車が後退を開始する前の前進時に超音波センサで検知した、駐車空間を挟む2台の駐車車両間の中心位置Xposを基準に最終駐車予定領域(つまり、目標とする駐車位置)を設定する駐車支援装置が開示されている。
詳しくは、特許文献2に開示の駐車支援装置では、超音波センサで検知した2台の駐車車両の距離データをもとに、自車の進行方向における各駐車車両の中心位置Xmin1,Xmin2を決定する。そして、決定した各駐車車両の中心位置Xmin1,Xmin2から2台の駐車車両間の駐車空間の中心位置Xposを算出し、この中心位置Xposが中心になるように目標とする駐車位置を設定する。
特表2011−524298号公報 特許第4461920号公報
しかしながら、特許文献1の駐車プロセス支援装置では、L字型のコーナー部分等の隅部の駐車空間のように、隣接する各駐車車両の駐車方向が大きく異なる場合に、本来の駐車枠の向きとは大きく異なる駐車方向の駐車車両に沿って駐車するように支援が行われる場合があった。よって、本来の駐車枠から大きく傾いて駐車してしまい、運転者が所望する側の駐車車両に沿った向きに駐車することが困難であった。
また、特許文献2の運転者支援装置でも、運転者が所望する側の駐車車両に沿った向きに駐車することが困難であった。詳しくは、特許文献2の運転者支援装置では、L字型のコーナー部分等の隅部の駐車空間のように、隣接する各駐車車両の駐車方向が大きく異なる場合にも、駐車空間の中心位置Xposが中心になるように車両を駐車させる支援が行われることになる。よって、本来の駐車枠の向きが一方の駐車車両に沿った向きである場合に、本来の駐車枠から大きく傾いた方向に駐車するように支援が行われ、運転者が所望する側の駐車車両に沿った向きに駐車することが困難であった。
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、自車を後退させて障害物に隣接する駐車空間に並列駐車させる駐車支援を行う場合に、より簡便に運転者の所望する側の障害物に沿った向きに駐車することを可能にする駐車支援装置を提供することにある。
車支援装置に係る第1の発明は、車両に搭載され、車両の通過する経路の側方に存在する障害物の位置を検知する側方障害物検知手段(1、S1)と、側方障害物検知手段で検知した障害物の位置をもとに、当該障害物に隣接する、経路の側方の駐車空間を検出する駐車空間検出手段(1、S2)と、駐車空間検出手段で検出した駐車空間に車両を駐車させる際の目標駐車位置を決定する目標駐車位置決定手段(1、S7)と、車両を後退させて目標駐車位置に並列駐車させる車両走行を支援する支援手段(1、S9、S12、S13)とを備える駐車支援装置(1)であって、駐車空間検出手段で検出した駐車空間の両側に隣接して障害物が存在していた場合に、この各障害物のいずれかを選択するユーザの操作入力を受け付ける選択受け付け手段(1、S5)と、選択受け付け手段で受け付けた操作入力によって選択された障害物の当該選択を確定させる選択確定手段(1)とを備え、目標駐車位置決定手段は、選択確定手段で選択が確定した障害物の駐車空間に接する面である駐車空間対向面に沿った駐車角度となるように目標駐車位置を決定することを特徴としている。
駐車支援装置に係る第2の発明は、車両に搭載され、車両の通過する経路の側方に存在する障害物の位置を検知する側方障害物検知手段(1、S1)と、側方障害物検知手段で検知した障害物の位置をもとに、当該障害物に隣接する、経路の側方の駐車空間を検出する駐車空間検出手段(1、S2)と、駐車空間検出手段で検出した駐車空間に車両を駐車させる際の目標駐車位置を決定する目標駐車位置決定手段(1、S7)と、車両を後退させて目標駐車位置に並列駐車させる車両走行を支援する支援手段(1、S9、S12、S13)とを備える駐車支援装置(1)であって、駐車空間検出手段で検出した駐車空間の両側に隣接して障害物が存在していた場合に、この各障害物のいずれかを選択するユーザの操作入力を受け付ける選択受け付け手段(1、S5)と、選択受け付け手段で受け付けた操作入力によって選択された障害物の当該選択を確定させる選択確定手段(1)と、駐車空間検出手段で検出した駐車空間の両側に隣接して障害物が存在していた場合に、各障害物の経路側に向いた面である経路対向面の傾きを決定する傾き決定手段(1、S4)と、傾き決定手段で決定した各障害物の経路対向面の傾きの差が所定値以上か否かを判定する傾き差判定手段(1、S4)とを備え、選択受け付け手段は、駐車空間検出手段で検出した駐車空間の両側に隣接して障害物が存在していた場合であって、且つ、傾き差判定手段で各障害物の経路対向面の傾きの差が所定値以上と判定した場合に、この各障害物のいずれかを選択するユーザの操作入力を受け付け、目標駐車位置決定手段は、選択確定手段で選択が確定した障害物の駐車空間に接する面である駐車空間対向面に沿った駐車角度となるように目標駐車位置を決定することを特徴としている。
これによれば、駐車空間の両側に隣接して障害物が存在していた場合に、この各障害物のいずれかを選択するユーザの操作入力によって選択され、選択が確定された障害物の駐車空間対向面に沿った駐車角度となるように目標駐車位置を決定するので、ユーザが選択した障害物に沿った向きに駐車することが可能になる。従って、自車を後退させて障害物に隣接する駐車空間に並列駐車させる駐車支援を行う場合に、より簡便に運転者の所望する側の障害物に沿った向きに駐車することが可能になる。
駐車支援システム100の概略的な構成を示すブロック図である。 前部測距センサ2を用いた、駐車空間に隣接した障害物及び駐車空間の検出態様の一例について説明するための模式図である。 駐車支援ECU1での後退駐車支援関連処理のフローの一例を示すフローチャートである。 後方画像に重畳表示される予想軌跡線の一例を説明するための模式図である。 簡略画像の一例を示す模式図である。 本実施形態の構成による効果の説明をするための模式図である。 変形例1の構成による効果の説明をするための模式図である。
以下、本発明の実施形態について図面を用いて説明する。図1に示す駐車支援システム100は、駐車支援ECU1、前部測距センサ2、後部測距センサ3、後方カメラ4、舵角センサ5、車輪速センサ6、表示装置7、及び音声出力装置8を含んでいる。
例えば、駐車支援ECU1と前部測距センサ2、後部測距センサ3、後方カメラ4、舵角センサ5、車輪速センサ6、表示装置7、及び音声出力装置8とは、CAN(controller areanetwork)などの通信プロトコルに準拠した車内LANで各々接続されている構成とすればよい。なお、駐車支援システム100を搭載している車両を以降では自車と呼ぶ。
前部測距センサ2及び後部測距センサ3は、探査波を送信し、障害物で反射されるその探査波の反射波を受信することで障害物までの距離を検知するために用いられるセンサである。前部測距センサ2及び後部測距センサ3は、探査波を送信し、その探査波の反射波を受信するセンサであればよく、音波を用いるものであっても、光波を用いるものであっても、電波を用いるものであってもよい。例えば、前部測距センサ2及び後部測距センサ3としては、超音波センサ、レーザレーダ、ミリ波レーダ等のセンサを用いることができる。なお、本実施形態では、超音波センサを用いる場合を例に挙げて説明を行う。
前部測距センサ2は、指向性の中心線が自車の車軸方向から自車前方に傾くように、例えば自車の前部バンパの左右側面に1つずつ配置される。前部測距センサ2の指向性の中心線は、自車の車軸方向から例えば20°程度まで自車前方に傾いて配置されていてもよい。これにより、前部測距センサ2からは、少し前方寄りの側方に向けて探査波が送信される。以降では、自車左側の前部測距センサ2を前部測距センサ2a、自車右側の前部測距センサ2を前部測距センサ2bとする。
なお、前部測距センサ2は、自車の前部バンパの左右側面に1つずつ配置される構成に限らず、自車の前部バンパの前方に向いた面にも例えば2つずつ配置されるなど、さらに多く配置される構成としてもよい。
後部測距センサ3は、指向性の中心線が自車の車軸方向から自車後方に傾くように、例えば自車の後部バンパの左右側面に1つずつ配置される。後部測距センサ3の指向性の中心線は、自車の車軸方向から例えば20°程度まで自車後方に傾いて配置されていてもよい。これにより、後部測距センサ3からは、少し後方寄りの側方に向けて探査波が送信される。以降では、自車左側の後部測距センサ3を後部測距センサ3a、自車右側の後部測距センサ3を後部測距センサ3bとする。
なお、後部測距センサ3は、自車の後部バンパの左右側面に1つずつ配置される構成に限らず、自車の後部バンパの後方に向いた面にも、指向性の中心線が自車の前進方向を向くように例えば2つずつ配置されるなど、さらに多く配置される構成としてもよい。また、後部測距センサ3は、自車の後部バンパの左右側面に、指向性の中心線が自車の車軸方向を向くものが配置される構成としてもよい。
前部測距センサ2及び後部測距センサ3の指向性は、想定されている車速範囲での使用において送受波を良好に行うことができる程度の広さがありさえすれば、より狭い方が好ましい。
ここで、前部測距センサ2を用いた、駐車空間に隣接した駐車車両や壁や街路樹等の障害物及び駐車空間の検出態様の一例についての説明を行う。ここでは、便宜上、自車の左側に障害物に挟まれた駐車空間が存在する場合を例に挙げて説明を行う。以降では、図2の例をもとに説明を続けるものとする。
図2中のAが自車を示しており、黒塗りの矢印が自車Aの進行方向を示しており、B1が自車Aの前進時の進行方向に対して奥側の障害物、B2が手前側の障害物を示している。また、図2中のCが障害物B1と障害物B2とに挟まれた駐車空間を示している。
自車Aは、自車Aの左側に配置された前部測距センサ2aから自車Aの少し前方寄りの左側方に向けて探査波を逐次送信しながら障害物B2、駐車空間C、障害物B1の側方を通過しつつ、障害物B2、障害物B1からの反射波が得られる場合には、これを逐次受信することになる。
そして、障害物B2、障害物B1のいずれからも十分に反射波を得ることができ、障害物B2、障害物B1のいずれも検知できる場合には、自車Aが走行しながら前部測距センサ2aで逐次受信した反射波をもとにして、これら障害物B2、障害物B1に隣接する駐車空間Cを、駐車支援ECU1が検出する。
後方カメラ4は、自車Aの例えば後部バンパよりも上方に設置され、自車後方に所定角範囲で広がる領域を撮像するものである。後方カメラ4は、光軸が車体後部の路面を向くように設置される。例えば後方カメラ4としては、CCDカメラを用いる構成とすればよい。後方カメラ4が撮像した自車後方周辺の画像(以下、後方画像)は、駐車支援ECU1に供給される。よって、駐車支援ECU1が請求項の後方画像取得手段に相当する。
舵角センサ5は、自車Aのステアリングの操舵角を検出するセンサであり、自車Aが直進状態で走行するときの操舵角を中立位置(0度)とし、その中立位置からの回転角度を操舵角として出力する。なお、この操舵角は、中立位置から右回転する場合には正(+)の符号を付して出力され、中立位置から左回転する場合には負(−)の符号を付して出力される。また、車輪速センサ6は、各転動輪の回転速度から自車Aの速度を検出するセンサである。
表示装置7は、駐車支援ECU1の指示に従ってテキストや画像を表示する。例えば表示装置7は、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。また、表示装置7としては、例えば、車載ナビゲーション装置に設けられたディスプレイを利用する構成としてもよいし、車載ナビゲーション装置のディスプレイとは別に、インストゥルメントパネル等に設けたディスプレイを用いる構成としてもよい。
音声出力装置8は、スピーカ等から構成され、駐車支援ECU1の指示に従って音声を出力する。なお、音声出力装置8としては、例えば、車載ナビゲーション装置に設けられた音声出力装置を利用する構成としてもよい。
駐車支援ECU1は、主にマイクロコンピュータとして構成され、何れも周知のCPU、ROM・RAM・EEPROM等のメモリ、I/O、及びこれらを接続するバスによって構成される。駐車支援ECU1は、前部測距センサ2、後部測距センサ3、後方カメラ4、舵角センサ5、車輪速センサ6から入力された各種情報に基づき、ROMに記憶された各種の制御プログラムを実行する。例えば、駐車支援ECU1は、自車を後退させて駐車空間Cへ並列駐車させるための車両走行の支援に関する処理(以下、後退駐車支援関連処理)等の各種の処理を実行する。駐車支援ECU1が請求項の駐車支援装置に相当する。
ここで、図3のフローチャートを用いて、駐車支援ECU1での後退駐車支援関連処理についての説明を行う。本フローは、駐車支援ECU1が所定の開始トリガを検出したときに開始される。開始トリガとしては、例えば図示しない駐車支援開始スイッチをオンにする操作入力などが挙げられる。
まず、ステップS1では、障害物位置検知処理を行って、ステップS2に移る。障害物位置検知処理では、障害物B2、駐車空間C、障害物B1の横を前進しながら通過する際に、前部測距センサ2aから逐次得られる障害物B1、障害物B2までの距離を逐次(例えば100msecごと)取得する。
そして、取得した障害物までの距離を時系列に記憶した距離データ系列(点列)から、障害物B1、障害物B2の輪郭形状を特定することで、障害物の位置を検知する。よって、このステップS1の処理が請求項の側方障害物検知手段に相当する。ここで、距離データ系列から特定される障害物B1、障害物B2の輪郭形状は、自車Aの通過した経路側に向いた面の、地上面を基準とした平面座標系における輪郭形状である。
一例としては、特開2008−21039号公報に開示されているのと同様の公知の方法によって、距離データ系列(点列)を楕円もしくは放物線により近似した上で障害物B1、障害物B2の輪郭形状を特定する。障害物の位置は、上記平面座標系における障害物の輪郭形状の位置としてもよいし、この輪郭形状から推測される障害物の一部の位置としてもよい。
ステップS2では、駐車空間検出処理を行って、ステップS3に移る。駐車空間検出処理では、特定した障害物B1、障害物B2の輪郭形状から、障害物B1と障害物B2とに挟まれる駐車空間Cを検出する。よって、このステップS2の処理が請求項の駐車空間検出手段に相当する。
また、駐車空間検出処理では、自車Aの通過した経路方向においてお互いに対向する障害物B1・B2の各端部間の距離を求めることで、駐車空間Cの大きさを決定する。ここで言うところの駐車空間Cの大きさとは、自車Aの通過した経路方向における駐車空間Cの長さを示している。
ステップS3では、自車Aが駐車可能な駐車空間Cであるか否かを判定する。自車Aが駐車可能な駐車空間Cであるか否かは、駐車空間Cの大きさと自車Aの寸法とに基づいて判定する。ここで言うところの駐車空間Cの大きさとは、自車Aの通過した経路方向における駐車空間Cの長さとする。また、自車Aの寸法は、駐車支援ECU1の例えばEEPROM等の不揮発性メモリに予め記憶されているものとすればよい。
そして、自車Aが駐車可能と判定した場合(ステップS3でYES)には、ステップS4に移る。また、自車Aが駐車可能でないと判定した場合(ステップS3でNO)には、ステップS1に戻り、障害物B1・B2よりも自車Aの進行方向に対してさらに奥側に存在する障害物の検出を行ってフローを繰り返す。
ステップS4では、選択要否判定処理を行う。選択要否判定処理では、駐車の基準とする障害物の選択が必要か否かを判定する。一例としては、選択要否判定処理では、ステップS1の障害物位置検知処理で特定した障害物B1・B2の輪郭形状のうちの、前述の経路側に向いた面(以下、経路対向面)の傾きを決定する。よって、このステップS4の処理が請求項の傾き決定手段に相当する。傾きは、例えば経路対向面を直線近似して算出する構成としてもよいし、経路対向面の端部にあたる2点を結んだ線分から算出する構成としてもよい。
各障害物B1・B2の経路対向面の傾きを決定した後は、各障害物B1・B2の経路対向面の傾きの差を求め、この差が所定値以上か否かを判定する。そして、差が所定値以上であった場合には、選択要と判定し、差が所定値未満であった場合には、選択不要と判定する構成とすればよい。ここで言うところの所定値とは、一方の障害物の向きに沿って駐車させると駐車枠から大きく傾いてしまうと言える程度の値であって、任意に設定可能な値であるものとする。よって、このステップS4の処理が請求項の傾き差判定手段に相当する。
これによれば、駐車空間Cに隣接する各障害物B1・B2の傾きが大きく異なっている場合のように、一方の障害物の向きに沿って駐車させると駐車枠から大きく傾いてしまうおそれがある場合に限り、どちらの障害物に沿って駐車させるのかをユーザに選択させることが可能になる。また、駐車空間Cに隣接する各障害物B1・B2の傾きの差が小さい場合のように、一方の障害物の向きに沿って駐車させても駐車枠から大きく傾いてしまう可能性が低い場合には、どちらの障害物に沿って駐車させるのかのユーザによる選択を要しないので、ユーザの手間を軽減させることも可能になる。
ステップS5では、選択受け付け処理を行って、ステップS6に移る。選択受け付け処理では、駐車空間Cに隣接する各障害物B1・B2のいずれかを選択するユーザの操作入力を受け付ける。よって、このステップS5の処理が請求項の選択受け付け手段に相当する。
一例としては、選択受け付け処理では、自車Aの操舵角に応じて定まる自車Aの予想軌跡線を、各障害物B1・B2の位置のいずれかに寄せるステアリング操作を、各障害物B1・B2のいずれかを選択するユーザの操作入力として受け付ける構成(以下、ステア操作で選択する構成)とすればよい。
この場合、駐車支援ECU1は、後方カメラ4で撮像した自車Aの後方画像に、自車Aの予想軌跡線を重畳させて表示装置7に表示させる構成とすることが好ましい。よって、駐車支援ECU1が請求項の表示制御手段に相当する。なお、予想軌跡線については、舵角センサ5から得られる操舵角や車輪速センサ6から得られる車速に基づいて、公知の方法によって算出する構成とすればよい。
また、ステア操作で選択する構成においては、各障害物B1・B2のうち、自車Aの予想軌跡線との最短距離がより短い障害物を選択中とし、必ずいずれかの障害物が選択される構成とすればよい。他にも、自車Aの予想軌跡線との最短距離が所定値以下となった障害物を選択中とし、いずれの障害物でもない中立位置も選択可能な構成としてもよい。ここで言うところの所定値とは、任意に設定可能な値である。自車Aの予想軌跡線と障害物との距離は、予想軌跡線と障害物の位置とを前述の平面座標系において示すことで算出可能にする。
さらに、ステア操作で選択する構成においては、各障害物B1・B2のいずれが選択されているかに応じて、後方画像に重畳して表示装置7に表示させる予想軌跡線の色、太さ、形状(実線か破線かなど)等を変化させることが好ましい(図4参照)。一例としては、中立位置の選択中から障害物B1の選択中に切り替わった場合に予想軌跡線の色、太さ、形状を変化させる一方、中立位置の選択中から障害物B2の選択中に切り替わった場合に、予想軌跡線を障害物B2の選択中の場合と異なった色、太さ、形状に変化させる構成とすればよい。
また、選択受け付け処理では、車両の左右のウインカースイッチに対するユーザの操作入力を、各障害物B1・B2のいずれかを選択するユーザの操作入力として受け付ける構成(以下、ウインカー操作で選択する構成)としてもよい。この場合も、駐車支援ECU1は、後方カメラ4で撮像した後方画像を表示装置7に表示させる構成とすることが好ましい。
ウインカー操作で選択する構成においては、右ウインカースイッチがオンになった信号を検知した場合に、駐車空間Cに自車Aが後退して進入したと仮定した場合の自車Aの右側に位置することになる障害物B2を選択中とする構成とすればよい。また、左ウインカースイッチがオンになった信号を検知した場合に、駐車空間Cに自車Aが後退して進入したと仮定した場合の自車Aの左側に位置することになる障害物B1を選択中とする構成とすればよい。
なお、車両の左右のウインカースイッチに対するユーザの操作入力を、各障害物B1・B2のいずれかを選択するユーザの操作入力として受け付ける構成を示したが、必ずしもこれに限らない。ウインカースイッチ以外の、車両の左右両側に各々設けられている車載の電装品の左右を指定して動作させるための操作スイッチに対するユーザの操作入力を、各障害物B1・B2のいずれかを選択するユーザの操作入力として受け付ける構成としてもよい。以降で説明するウインカー操作で選択する構成についても同様であるものとする。
例えば、左右のウィンドウについてのパワーウインドウスイッチ、左右のドアミラーについてのミラー選択スイッチ等を利用する構成としてもよい。他にも、自車に対する左右方向を指定するための専用スイッチが設けられている場合には、この専用スイッチを利用する構成としてもよい。
また、選択受け付け処理では、後方カメラ4で撮像した自車Aの後方画像中の位置を指定するための操作スイッチによる後方画像中の位置に対するユーザの操作入力を、各障害物B1・B2のいずれかを選択するユーザの操作入力として受け付ける構成(以下、後方画像から選択する構成)とすればよい。後方画像は表示装置7に表示させる構成とする。
後方画像から選択する構成においては、例えば表示装置7と一体になったタッチスイッチによって、後方画像中の障害物B1の表示位置に対するユーザの操作入力を検知した場合に、障害物B1を選択中とする構成とすればよい。また、上記タッチスイッチによって、後方画像中の障害物B2の表示位置に対するユーザの操作入力を検知した場合に、障害物B2を選択中とする構成とすればよい。
この場合、駐車支援ECU1は、ステップS1の障害物位置検知処理で検知した障害物B1・B2の位置と、後方画像中の位置との対応付けを行うことによって、上記構成を実現すればよい。障害物位置検知処理で検知した障害物B1・B2の位置と、後方画像中の位置との対応付けは、公知の鳥瞰変換の技術を利用することで行う構成とすればよい。
また、ステア操作で選択する構成、ウインカー操作で選択する構成、及び後方画像から選択する構成において、駐車支援ECU1は、選択中の障害物に対して強調表示やマークで示す表示を行わせることが好ましい。強調表示としては、障害物を枠で囲ったり、色付きの枠で囲ったり、反転表示させたりする例が挙げられる。また、マークで示す表示としては、障害物を指し示す矢印のマークを表示させたりする例が挙げられる。
他にも、選択受け付け処理では、駐車空間Cと障害物B1・B2との位置関係を、駐車空間Cを示すアイコン(図5中のC)と障害物B1・B2を示すアイコン(図5中のB1・B2)とを用いて表した画像(以下、簡略画像)を表示装置7に表示させる構成としてもよい。図5の例では、後退前の自車Aは「どちらを基準にするか選択して下さい」とのテキスト表示のある画面の下部側に位置するものとする。
そして、簡略画像中の障害物B1・B2を示すアイコンを指定するための操作スイッチによる簡略画像中の障害物B1・B2を示すアイコンを指定する操作入力を、各障害物B1・B2のいずれかを選択するユーザの操作入力として受け付ける構成(以下、アイコンから選択する構成)としてもよい。
なお、後方画像は表示装置7に表示させない構成としてもよいし、表示装置7とは別の表示装置に表示させたり、表示装置7の画面を分割して簡略画像とは別領域に表示させたりする構成としてもよい。
また、駐車支援ECU1は、障害物位置検知処理で特定した障害物B1・B2の輪郭形状、及び駐車空間検出処理で検出した駐車空間Cの大きさをもとに、前述の平面座標系における障害物B1・B2及び駐車空間Cの位置を、簡略画像のピクセル座標上の位置に変換して簡略画像を生成する。
障害物B1・B2の輪郭形状のうち、障害物位置検知処理で特定でなかった部分については障害物が略矩形であると仮定して推定する構成とすればよい。障害物B1・B2を示すアイコンの傾き量は、障害物位置検知処理で特定した障害物B1・B2の輪郭形状の傾き量を反映させるものとする。
アイコンから選択する構成においては、例えば表示装置7と一体になったタッチスイッチによって、簡略画像中の障害物B1を示すアイコンの表示位置に対するユーザの操作入力を検知した場合に、障害物B1を選択中とする構成とすればよい。また、上記タッチスイッチによって、後方画像中の障害物B2を示すアイコンの表示位置に対するユーザの操作入力を検知した場合に、障害物B2を選択中とする構成とすればよい。
また、アイコンから選択する構成において、駐車支援ECU1は、選択中の障害物を示すアイコンに対して強調表示やマークで示す表示を行わせることが好ましい。強調表示としては、障害物を示すアイコンを枠で囲ったり、色を変えたり、反転表示させたりする例が挙げられる。また、マークで示す表示としては、障害物のアイコンを指し示す矢印のマークを表示させたりする例が挙げられる。
ステップS6では、選択受け付け処理で受け付けた選択が確定した場合(ステップS6でYES)には、ステップS7に移る。一方、選択が確定していない場合(ステップS6でNO)には、ステップS5に戻ってフローを繰り返す。
選択の確定は、ステア操作で選択する構成においては、操舵角の変化が所定時間以上なかった場合や選択を確定するための図示しない操作スイッチ(以下、確定専用スイッチ)の操作入力を検知した場合に駐車支援ECU1が行う構成とすればよい。また、ウインカー操作で選択する構成、後方画像から選択する構成、及びアイコンから選択する構成の場合は、確定専用スイッチの操作入力を検知した場合に駐車支援ECU1が行う構成としてもよいし、選択された時点で駐車支援ECU1が選択を確定する構成としてもよい。よって、駐車支援ECU1が請求項の選択確定手段に相当する。
ステップS7では、目標駐車位置算出処理を行って、ステップS8に移る。目標駐車位置算出処理では、駐車空間検出処理で検出した駐車空間Cに自車Aを駐車する際の目標駐車位置を設定する。よって、このステップS7の処理が請求項の目標駐車位置決定手段に相当する。目標駐車位置は、目標とする駐車位置(以下、目標位置)及び目標とする駐車角度(以下、目標角度)のうちの少なくとも目標角度であるものとする。
ステップS4で選択不要と判定した場合の目標位置については、例えば障害物B1と障害物B2との中間に自車Aが位置するように設定したり、自車Aの前進時の進行方向に対して手前側の障害物の縁部から当該進行方向に一定距離(例えば60cm)だけ離間した位置に設定したりする構成とすればよい。また、ステップS4で選択不要と判定した場合の目標角度については、例えば自車Aの前進時に通過した経路のうちの駐車空間Cを通過した際の経路に直行する方向に平行になるように設定したり、自車Aの前進時の進行方向に対して手前側の障害物の駐車空間Cに接する面(以下、駐車空間対向面)に沿った角度になるように設定したりする構成とすればよい。
一方、ステップS4で選択要と判定した場合の目標位置については、ユーザに選択された障害物に幅寄せするように設定する構成とすればよい。一例としては、駐車空間Cに後退して進入したと仮定した場合の自車Aから左右の各障害物B1・B2までの距離のうち、選択された障害物までの距離の方が所定距離以上短くなるように目標位置を設定する構成とすればよい。他にも、選択された障害物から、予め設定されている最低限のクリアランスといった所定距離だけ離間した位置に目標位置を設定する構成としてもよい。
また、ステップS4で選択要と判定した場合の目標角度については、ユーザに選択された障害物に倣った向きとなるように設定する構成とすればよい。一例としては、選択された障害物の駐車空間対向面に沿った駐車角度となるように目標角度を設定する構成とすればよい。
障害物B1・B2の駐車空間対向面の位置(傾きも含む)については、障害物位置検知処理で駐車空間対向面の輪郭形状の一部でも得られた場合には、この輪郭形状から求める構成とすればよい。また、駐車空間対向面の輪郭形状が十分な長さだけ得られなかった場合でも、障害物B1・B2の経路対向面から推定する構成とすればよい。
ステップS8では、駐車経路算出処理を行って、ステップS9に移る。駐車経路算出処理では、自車Aの現在位置に基づいて後退開始位置を設定し、目標駐車位置に駐車するための駐車経路を決定する。駐車経路の決定方法については、特開2003−34206号公報や特開2009−83806号公報に開示されているように公知であるので、詳細については省略する。
ステップS9では、駐車支援処理を開始して、ステップS10に移る。駐車支援処理では、駐車経路算出処理で算出された駐車経路に沿って自車Aが走行するように操舵支援や自動操舵を行う。よって、このステップS9の処理が請求項の支援手段に相当する。操舵支援としては、ステアリングの操舵タイミングや操舵量の案内音声を音声出力装置8から出力する構成としてもよい。
ステップS10では、自車Aが後退を開始したことを検知した場合(ステップS10でYES)には、ステップS11に移る。一方、自車Aが後退を開始したことを検知していない場合(ステップS10でNO)には、ステップS10のフローを繰り返す。自車Aが後退を開始したことは、シフト位置が後退位置となったことを示す信号が図示しないシフトポジションセンサから得られたことをもとに駐車支援ECU1が検知する構成とすればよい。
ステップS11では、後側方障害物検知処理を行って、ステップS12に移る。後側方障害物検知処理では、後退して駐車空間Cに進入する際に、後部測距センサ3a・3bから逐次得られる自車Aの左右に位置することになる障害物B1・B2までの距離を逐次(例えば100msecごと)取得する。そして、取得した障害物B1・B2までの距離をそれぞれ時系列に記憶する。後側方障害物検知処理では、一定数の距離データ系列(点列)をメモリに記憶した後に、ステップS12に移る構成とすればよい。
ステップS12では、補正処理を行って、ステップS13に移る。補正処理では、ステップS1の障害物位置検知処理で検知した障害物B1・B2の位置とステップS11の後側方障害物検知処理で検知した障害物B1・B2の位置とのずれ分だけ目標駐車位置(つまり、目標位置や目標角度)を補正する。また、目標駐車位置の補正に応じて駐車経路も算出し直す。また、複数回の後退と前進との繰り返し運転である切り返しが必要となる場合には、この切り返しを行う駐車経路を算出し直すものとする。
ステップS13では、補正後支援処理を開始して、ステップS14に移る。補正後支援処理では、算出し直された駐車経路に沿って自車Aが走行するように操舵支援や自動操舵を行う。よって、ステップS12〜ステップS13の処理も請求項の支援手段に相当する。
ステップS14では、自車Aが駐車を完了したことを検知した場合(ステップS14でYES)には、フローを終了する。自車Aが駐車を完了したことは、例えばシフト位置が駐車位置となったことを示す信号が図示しないシフトポジションセンサから得られたことをもとに駐車支援ECU1が検知する構成とすればよい。一方、自車Aが駐車を完了したことを検知していない場合(ステップS14でNO)には、ステップS11に戻ってフローを繰り返す。
以上の構成によれば、駐車空間Cの両側に隣接する障害物B1・B2が存在する場合に、ユーザが選択した障害物に倣って自車Aを駐車空間Cに駐車させることが可能になる。
ここで、本実施形態の構成における作用効果について、具体的に図6を用いて説明を行う。図6のE1が障害物B1について特定される輪郭形状、E2が障害物B2について特定される輪郭形状を示している。また、実線の矢印が自車Aを本来の駐車枠に駐車させる進行方向、破線の矢印が自車Aを本来の駐車枠から外れて駐車させる進行方向を示している。
駐車空間Cの両側の各障害物B1・B2の傾きが大きく異なっており(図6のE1、E2参照)、一方の障害物の向きに沿って駐車させると本来の駐車枠から大きく傾いてしまう場合(図6の破線の矢印参照)にも、本来の駐車枠に沿った障害物をユーザが選択することで、本来の駐車枠に駐車させることが可能になる(図6の実線の矢印参照)。
なお、ステップS11〜ステップS13の処理を省略し、ステップS7の目標駐車位置算出処理で算出した目標駐車位置の補正を行わない構成としてもよい。
また、ステップS4の選択要否判定処理を行わず、自車Aが駐車可能な駐車空間Cが検出された場合には、障害物の選択を要する構成(以下、変形例1)としてもよい。これによれば、駐車空間Cに隣接する各障害物B1・B2の傾きの差が小さい場合であっても、一方の障害物の車両対抗面の輪郭形状(図7のE1参照)が傾いて特定されやすい場合に、この障害物に倣って駐車されないようにユーザが障害物を選択することが可能になる。
一方の障害物の車両対抗面の輪郭形状が傾いて特定されやすい場合としては、一方の障害物が街路樹(図7のB1、B3参照)等の凹凸が大きいものであったり、付帯物が存在していたりする場合が挙げられる。
さらに、駐車支援ECU1では、駐車空間Cの両側に隣接する障害物B1・B2のいずれも選択しない、中立位置を選択した状態で選択が確定された場合に、目標駐車位置を駐車空間Cの中間に設定する構成としてもよい。一例としては、目標位置については、障害物B1と障害物B2との中間に自車Aが位置するように設定する構成とすればよい。また、目標角度については、自車Aの前進時に通過した経路のうちの駐車空間Cを通過した際の経路に直行する方向に平行になるように設定したり、障害物B1・B2の車両対抗面の傾きの平均値となるように設定したりする構成とすればよい。
なお、中立位置を選択した状態とは、ステア操作で選択する構成においては、前述した通りであって、後方画像から選択する構成、及びアイコンから選択する構成の場合は、障害物B1・B2の間の領域、つまり、駐車空間が選択されている状態に相当する。
前述の実施形態では、ステア操作で選択する構成やウインカー操作で選択する構成において、後方カメラ4で撮像した後方画像を表示装置7に表示させる構成を示したが、必ずしもこれに限らず、後方カメラ4を利用しない構成としてもよい。この場合には、例えば選択中の障害物が自車に対して左右どちらの障害物であるか等の選択中の障害物を知らせる旨の情報や選択の結果を知らせる旨の情報を、表示装置7でのテキスト表示や音声出力装置8からの音声出力によってユーザに報知する構成とすればよい。
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 駐車支援ECU(駐車支援装置、選択確定手段)、S1 側方障害物検知手段、S2 駐車空間検出手段、S5 選択受け付け手段、S7 目標駐車位置決定手段、S9・S12・S13 支援手段

Claims (13)

  1. 車両に搭載され、
    前記車両の通過する経路の側方に存在する障害物の位置を検知する側方障害物検知手段(1、S1)と、
    前記側方障害物検知手段で検知した障害物の位置をもとに、当該障害物に隣接する、前記経路の側方の駐車空間を検出する駐車空間検出手段(1、S2)と、
    前記駐車空間検出手段で検出した駐車空間に前記車両を駐車させる際の目標駐車位置を決定する目標駐車位置決定手段(1、S7)と、
    前記車両を後退させて前記目標駐車位置に並列駐車させる車両走行を支援する支援手段(1、S9、S12、S13)とを備える駐車支援装置(1)であって、
    前記駐車空間検出手段で検出した駐車空間の両側に隣接して前記障害物が存在していた場合に、この各障害物のいずれかを選択するユーザの操作入力を受け付ける選択受け付け手段(1、S5)と、
    前記選択受け付け手段で受け付けた操作入力によって選択された前記障害物の当該選択を確定させる選択確定手段(1)とを備え、
    前記目標駐車位置決定手段は、前記選択確定手段で選択が確定した障害物の前記駐車空間に接する面である駐車空間対向面に沿った駐車角度となるように目標駐車位置を決定することを特徴とする駐車支援装置。
  2. 車両に搭載され、
    前記車両の通過する経路の側方に存在する障害物の位置を検知する側方障害物検知手段(1、S1)と、
    前記側方障害物検知手段で検知した障害物の位置をもとに、当該障害物に隣接する、前記経路の側方の駐車空間を検出する駐車空間検出手段(1、S2)と、
    前記駐車空間検出手段で検出した駐車空間に前記車両を駐車させる際の目標駐車位置を決定する目標駐車位置決定手段(1、S7)と、
    前記車両を後退させて前記目標駐車位置に並列駐車させる車両走行を支援する支援手段(1、S9、S12、S13)とを備える駐車支援装置(1)であって、
    前記駐車空間検出手段で検出した駐車空間の両側に隣接して前記障害物が存在していた場合に、この各障害物のいずれかを選択するユーザの操作入力を受け付ける選択受け付け手段(1、S5)と、
    前記選択受け付け手段で受け付けた操作入力によって選択された前記障害物の当該選択を確定させる選択確定手段(1)と
    前記駐車空間検出手段で検出した駐車空間の両側に隣接して前記障害物が存在していた場合に、各障害物の前記経路側に向いた面である経路対向面の傾きを決定する傾き決定手段(1、S4)と、
    前記傾き決定手段で決定した各障害物の前記経路対向面の傾きの差が所定値以上か否かを判定する傾き差判定手段(1、S4)とを備え、
    前記選択受け付け手段は、前記駐車空間検出手段で検出した駐車空間の両側に隣接して前記障害物が存在していた場合であって、且つ、前記傾き差判定手段で各障害物の前記経路対向面の傾きの差が所定値以上と判定した場合に、この各障害物のいずれかを選択するユーザの操作入力を受け付け、
    前記目標駐車位置決定手段は、前記選択確定手段で選択が確定した障害物の前記駐車空間に接する面である駐車空間対向面に沿った駐車角度となるように目標駐車位置を決定することを特徴とする駐車支援装置。
  3. 請求項1又は2において、
    前記目標駐車位置決定手段は、前記駐車空間対向面に沿った駐車角度となるように目標駐車位置を決定するとともに、前記駐車空間対向面に幅寄せするように目標駐車位置を決定することを特徴とする駐車支援装置。
  4. 請求項1〜3のいずれか1項において、
    前記選択受け付け手段は、前記車両の操舵角に応じて定まる前記車両の予想軌跡線を、前記各障害物の位置のいずれかに寄せるステアリング操作を、前記各障害物のいずれかを選択するユーザの操作入力として受け付けることを特徴とする駐車支援装置。
  5. 請求項4において、
    前記選択確定手段は、前記車両の操舵角が所定時間以上変化しなくなった場合に、前記障害物の選択を確定させることを特徴とする駐車支援装置。
  6. 請求項4又は5において、
    前記車両の後方を撮像する後方カメラ(4)で撮像した後方画像を取得する後方画像取得手段(1)と、
    前記予想軌跡線を、前記後方画像取得手段で取得した後方画像に重畳して表示装置(7)に表示させる表示制御手段(1)とを備えることを特徴とする駐車支援装置。
  7. 請求項6において、
    前記表示制御手段は、前記選択受け付け手段で前記各障害物のいずれが選択されているかに応じて、前記後方画像に重畳して前記表示装置に表示させる前記予想軌跡線の色、太さ、及び形状の少なくともいずれかを変化させることを特徴とする駐車支援装置。
  8. 請求項1〜3のいずれか1項において、
    前記選択受け付け手段は、前記車両の左右両側に各々設けられている車載の電装品の左右を指定して動作させるための操作スイッチに対するユーザの操作入力を、前記各障害物のいずれかを選択するユーザの操作入力として受け付けることを特徴とする駐車支援装置。
  9. 請求項8において、
    前記車両の後方を撮像する後方カメラ(4)で撮像した後方画像を取得する後方画像取得手段(1)と、
    前記後方画像取得手段で取得した後方画像を表示装置(7)に表示させる表示制御手段(1)とを備えることを特徴とする駐車支援装置。
  10. 請求項1〜3のいずれか1項において、
    前記車両の後方を撮像する後方カメラ(4)で撮像した後方画像を取得する後方画像取得手段(1)と、
    前記後方画像取得手段で取得した後方画像を表示装置(7)に表示させる表示制御手段(1)と、
    前記側方障害物検知手段で検知した前記障害物の位置と、前記後方画像取得手段で取得した後方画像中の位置とを対応付ける対応付け手段(1)とを備え、
    前記選択受け付け手段は、前記対応付け手段で対応付けた位置関係をもとに、前記後方画像中の位置を指定するための操作スイッチによる前記後方画像中の位置に対するユーザの操作入力を、前記各障害物のいずれかを選択するユーザの操作入力として受け付けることを特徴とする駐車支援装置。
  11. 請求項6、9、及び10のいずれか1項において、
    前記表示制御手段は、前記後方画像取得手段で取得した後方画像中の、前記選択受け付け手段で選択を受け付け中の前記障害物に対して強調表示及びマークで示す表示の少なくともいずれかを行わせることを特徴とする駐車支援装置。
  12. 請求項1〜3のいずれか1項において、
    前記駐車空間検出手段で検出した駐車空間の両側に隣接して前記障害物が存在していた場合に、当該駐車空間と当該障害物との位置関係を、当該駐車空間を示すアイコンと当該障害物を示すアイコンとを用いて表した画像である簡略画像を表示装置(7)に表示させる表示制御手段(1)を備え、
    前記選択受け付け手段は、前記簡略画像中の前記障害物を示すアイコンを指定するための操作スイッチによる前記簡略画像中の前記障害物を示すアイコンを指定する操作入力を、前記各障害物のいずれかを選択するユーザの操作入力として受け付けることを特徴とする駐車支援装置。
  13. 請求項12において、
    前記表示制御手段は、前記簡略画像中の、前記選択受け付け手段で選択を受け付け中の前記障害物を示すアイコンに対して強調表示及びマークで示す表示の少なくともいずれかを行わせることを特徴とする駐車支援装置。
JP2012185561A 2012-08-24 2012-08-24 駐車支援装置 Active JP5906999B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012185561A JP5906999B2 (ja) 2012-08-24 2012-08-24 駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012185561A JP5906999B2 (ja) 2012-08-24 2012-08-24 駐車支援装置

Publications (2)

Publication Number Publication Date
JP2014043140A JP2014043140A (ja) 2014-03-13
JP5906999B2 true JP5906999B2 (ja) 2016-04-20

Family

ID=50394750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012185561A Active JP5906999B2 (ja) 2012-08-24 2012-08-24 駐車支援装置

Country Status (1)

Country Link
JP (1) JP5906999B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6562709B2 (ja) * 2015-05-14 2019-08-21 株式会社デンソーテン 駐車支援装置および駐車支援方法
DE102015213172A1 (de) * 2015-07-14 2017-01-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz
JP6573795B2 (ja) 2015-07-31 2019-09-11 アイシン精機株式会社 駐車支援装置、方法及びプログラム
KR102513745B1 (ko) * 2016-04-15 2023-03-24 주식회사 에이치엘클레무브 운전 지원 장치
KR20170133743A (ko) 2016-05-26 2017-12-06 현대자동차주식회사 사용자 입력 기반 차량 제어 시스템 및 그 방법
KR102005944B1 (ko) 2016-10-19 2019-08-01 주식회사 만도 주차 보조 시스템 및 그 제어 방법
KR102601170B1 (ko) * 2016-12-16 2023-11-10 현대자동차주식회사 테일게이트 충돌 방지 시스템 및 방법
KR102496660B1 (ko) * 2018-08-28 2023-02-06 현대자동차주식회사 차량 주차 제어 장치, 그를 포함한 시스템 및 그 방법
JP6982053B2 (ja) * 2019-12-13 2021-12-17 本田技研工業株式会社 駐車支援システム
JP7467202B2 (ja) * 2020-03-31 2024-04-15 本田技研工業株式会社 駐車支援システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4465773B2 (ja) * 2000-01-19 2010-05-19 株式会社エクォス・リサーチ 駐車補助装置および駐車補助プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3991731B2 (ja) * 2002-03-14 2007-10-17 日産自動車株式会社 車両用駐車方向設定装置
JP4635017B2 (ja) * 2007-02-22 2011-02-16 アイシン精機株式会社 駐車支援装置
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
JP5440867B2 (ja) * 2010-06-18 2014-03-12 アイシン精機株式会社 駐車支援装置

Also Published As

Publication number Publication date
JP2014043140A (ja) 2014-03-13

Similar Documents

Publication Publication Date Title
JP5906999B2 (ja) 駐車支援装置
EP3650285B1 (en) Parking assistance method and parking assistance device
JP4179285B2 (ja) 駐車支援装置
JP5212748B2 (ja) 駐車支援装置
US9475492B2 (en) Parking assist device
EP2055536A1 (en) Parking support device
JP5549235B2 (ja) 運転支援装置
KR20130028774A (ko) 주차 지원 장치 및 방법
JP5446139B2 (ja) 駐車支援装置及び駐車支援方法
JP5471141B2 (ja) 駐車支援装置及び駐車支援方法
JP2008201178A (ja) 駐車支援装置
KR102145747B1 (ko) 주차 지원 방법 및 주차 지원 장치
JP2006193011A (ja) 駐車支援装置
JP5257138B2 (ja) 駐車支援装置及び駐車支援方法
JP5811965B2 (ja) 駐車支援装置
JP4816512B2 (ja) 運転支援装置
JP6917330B2 (ja) 駐車支援装置
JP5971197B2 (ja) 駐車支援装置
JP5786775B2 (ja) 駐車支援装置
JP5786821B2 (ja) 駐車支援装置
JP4645542B2 (ja) 駐車空間検出装置
WO2017135191A1 (ja) 駐車支援方法
JP5880858B2 (ja) 駐車支援装置
JP4957589B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP5929684B2 (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160307

R151 Written notification of patent or utility model registration

Ref document number: 5906999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250