JP2022055774A - 駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム - Google Patents

駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム Download PDF

Info

Publication number
JP2022055774A
JP2022055774A JP2020163393A JP2020163393A JP2022055774A JP 2022055774 A JP2022055774 A JP 2022055774A JP 2020163393 A JP2020163393 A JP 2020163393A JP 2020163393 A JP2020163393 A JP 2020163393A JP 2022055774 A JP2022055774 A JP 2022055774A
Authority
JP
Japan
Prior art keywords
obstacle
extension direction
lane marking
vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020163393A
Other languages
English (en)
Inventor
裕介 清川
Yusuke Kiyokawa
規夫 今井
Norio Imai
拓也 中川
Takuya Nakagawa
雄樹 水瀬
Takeki Mizuse
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Toyota Motor Corp
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Aisin Corp filed Critical Toyota Motor Corp
Priority to JP2020163393A priority Critical patent/JP2022055774A/ja
Priority to CN202111128147.5A priority patent/CN114312756A/zh
Priority to DE102021124948.1A priority patent/DE102021124948A1/de
Publication of JP2022055774A publication Critical patent/JP2022055774A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/12Conjoint control of vehicle sub-units of different type or different function including control of differentials
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】障害物の形状の推定精度を向上させる。【解決手段】駐車支援システムは、超音波の反射を利用して移動体から障害物までの距離を示す距離情報を取得する測距部と、駐車領域を示す区画線を検出する検出部と、区画線が検出されない場合に、距離情報と予め定められた方向とに基づき障害物の延長方向を推定し、区画線が検出された場合に、距離情報と区画線とに基づき障害物の延長方向を推定する推定部と、推定部により推定された延長方向に基づき移動体の移動経路を生成する生成部とを備える。【選択図】図3

Description

本発明は、駐車支援システム、駐車支援装置、駐車支援方法、及びプログラムに関する。
車両を駐車領域に駐車させる際の車両の動作を支援する駐車支援システムにおいて、車両の周辺に存在する障害物を検出する手段として、超音波の反射波を利用して車両から障害物までの距離を測定する超音波センサが利用される場合がある。
特許第6479130号公報
駐車支援を行う際には、目標とする駐車領域の周辺に存在する障害物(例えば隣接する駐車領域に駐車されている他車両等)の形状を推定する必要がある。特に、障害物の延長方向(例えば他車両の側面部に沿った方向等)を正確に推定することは、制御の信頼性や効率性を向上させる上で重要である。しかし、超音波センサ等の検出可能範囲が比較的狭いセンサを用いる場合、自車両から遠く離れた部分の形状を正確に推定することは困難である。
そこで、本発明の課題の一つは、障害物の形状の推定精度を向上させることができる駐車支援システム、駐車支援装置、駐車支援方法、及びプログラムを提供することである。
本発明の一形態は、超音波の反射を利用して移動体から障害物までの距離を示す距離情報を取得する測距部と、駐車領域を示す区画線を検出する検出部と、区画線が検出されない場合に、距離情報と予め定められた方向とに基づき障害物の延長方向を推定し、区画線が検出された場合に、距離情報と区画線とに基づき障害物の延長方向を推定する推定部と、推定部により推定された延長方向に基づき移動体の移動経路を生成する生成部と、を備える駐車支援システムである。
上記構成によれば、検出部により区画線が検出された場合には、区画線に基づき障害物の延長方向が推定される。これにより、超音波を利用して障害物を検出する場合であっても、障害物の延長方向の推定精度を向上させることができ、駐車支援制御の信頼性及び効率性を向上させることができる。
また、上記駐車支援システムは、区画線が検出された場合に、区画線に基づき推定された延長方向に基づき、移動体が駐車領域へ侵入する際に通行可能な間口距離を算出する算出部を更に備えてもよい。
これにより、間口距離を正確に算出でき、駐車支援制御の信頼性及び効率性を向上させることができる。
また、上記駐車支援システムは、距離情報に基づき複数の障害物が検出され、且つ区画線が検出された場合に、区画線に基づき複数の障害物を1つの障害物に統合するための処理を行う統合部を更に備えてもよい。
これにより、障害物の認識精度を向上させることができ、駐車支援制御の信頼性及び効率性を向上させることができる。
また、本発明の他の形態は、超音波の反射を利用して取得された、移動体から障害物までの距離を示す距離情報に基づき、移動体を駐車領域に駐車させる際の移動体の移動を支援するための処理を行う駐車支援装置であって、駐車領域を示す区画線が検出されない場合に、距離情報と予め定められた方向とに基づき障害物の延長方向を推定し、区画線が検出された場合に、距離情報と区画線とに基づき延長方向を推定する推定部と、推定部により推定された延長方向に基づき移動体の移動経路を生成する生成部と、を備えるものである。
また、本発明の他の形態は、超音波の反射を利用して移動体から障害物までの距離を示す距離情報を取得する工程と、駐車領域を示す区画線を検出する工程と、区画線が検出されない場合に、距離情報と予め定められた方向とに基づき障害物の延長方向を推定する工程と、区画線が検出された場合に、距離情報と区画線とに基づき延長方向を推定する工程と、推定された延長方向に基づき移動体の移動経路を生成する工程と、を備える駐車支援方法である。
また、本発明の他の形態は、超音波の反射を利用して取得された移動体から障害物までの距離を示す距離情報に基づき、移動体が駐車領域に駐車する際の移動体の移動を支援するための処理を行うコンピュータに、駐車領域を示す区画線が検出されない場合に、距離情報と予め定められた方向とに基づき障害物の延長方向を推定する処理と、区画線が検出された場合に、距離情報と区画線とに基づき延長方向を推定する処理と、推定された延長方向に基づき移動体の移動経路を生成する処理と、を実行させるものである。
図1は、実施形態に係る駐車支援システムが搭載される車両の構成を示す平面図である。 図2は、実施形態に係る駐車支援システムの構成を示すブロック図である。 図3は、実施形態に係る駐車支援システムの機能構成を示すブロック図である。 図4は、実施形態に係る駐車支援システムが利用される駐車場の一例を示す図である。 図5は、実施形態において区画線が検出された場合に推定される延長方向を示す図である。 図6は、実施形態において区画線が検出されなかった場合に推定される延長方向を示す図である。 図7は、実施形態に係る駐車支援システムにおける処理を示すフローチャートである。 図8は、実施形態に係る間口距離の算出方法を示す図である。 図9は、実施形態に係る間口距離算出部における処理を示すフローチャートである。 図10は、実施形態において車両が駐車領域を通過する際に超音波センサが検出可能な検出領域の一例を示す図である。 図11は、実施形態において車両が駐車領域に侵入する際に超音波センサが検出可能な検出領域の一例を示す図である。 図12は、実施形態において1つの障害物が2つの障害物として認識された状態の一例を示す図である。 図13は、実施形態において区画線が検出された場合に複数の認識オブジェクトを1つの認識オブジェクトに統合する処理を示す図である。 図14は、実施形態に係る障害物統合部における処理を示すフローチャートである。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
図1は、実施形態に係る駐車支援システムが搭載される車両10の構成を示す平面図である。
車両10は、移動体の一例である。車両10は、例えば、内燃機関を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。車両10は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。車両10における車輪13の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図1に示すように、車両10は、車体12と、4個の車輪13と、1又は複数(本実施形態では4個)の撮像装置14a,14b,14c,14dと、1又は複数(本実施形態では8個)の超音波センサ16a,16b,16c,16d,16e,16f,16g,16h,16i,16j,16k,16lとを備える。撮像装置14a,14b,14c,14dを区別する必要がない場合、撮像装置14と記載する。超音波センサ16a,16b,16c,16d,16e,16f,16g,16h,16i,16j,16k,16lを区別する必要がない場合、超音波センサ16と記載する。
車体12は、乗員が乗車する車室を構成する。車体12は、車輪13、撮像装置14、超音波センサ16等を収容又は保持する。
4個の車輪13は、車体12の前後左右に設けられている。例えば、前側の2個の車輪13は、転舵輪として機能して、後側の2個の車輪13は、駆動輪として機能する。
撮像装置14は、例えば、CCD(Charge Coupled Device)、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像装置14は、所定のフレームレートで生成される複数のフレーム画像を含む動画、又は静止画のデータを撮像データとして出力する。撮像装置14のそれぞれは、広角レンズ又は魚眼レンズを有し、例えば、水平方向の140°~190°の範囲を撮影することができる。撮像装置14の光軸は、斜め下方に向けて設定されている。従って、撮像装置14は、周辺の路面を含む車両10の周辺を撮像した撮像データを出力する。
撮像装置14は、車体12の外周部に設けられている。例えば、撮像装置14aは、車体12の前端部の左右方向の中央部(例えば、フロントグリル)に設けられている。撮像装置14aは、車両10の前方の周辺を撮像した撮像画像を生成する。撮像装置14bは、車体12の後端部の左右方向の中央部(例えば、バックドアスイッチ周辺)に設けられている。撮像装置14bは、車両10の後方の周辺を撮像した撮像画像を生成する。撮像装置14cは、車体12の左端部の前後方向の中央部(例えば、左側のサイドミラー12a)に設けられている。撮像装置14cは、車両10の左方の周辺を撮像した撮像画像を生成する。撮像装置14dは、車体12の右端部の前後方向の中央部(例えば、右側のサイドミラー12b)に設けられている。撮像装置14dは、車両10の右方の周辺を撮像した撮像画像を生成する。
超音波センサ16は、例えば、車両10の外周部に設けられ、超音波を検出波として送信し、車両10の周辺に存在する物体(障害物)により反射された反射波を受信する超音波センサ(ソナー)である。超音波センサ16は、車両10から車両10の周辺に存在する障害物までの距離を示す距離情報を取得(生成)する。例えば、超音波センサ16は、検出波を送信してから反射波を受信するまでの時間(TOF:Time Of Flight)を、障害物の存否、距離、位置、動き等を特定するための距離情報として取得する。
超音波センサ16a,16b,16c,16dは、サイドソナーとも呼ばれ、車両10の左右の側部に設けられている。超音波センサ16e,16fは、コーナーソナーとも呼ばれ、超音波センサ16a,16b,16c,16dよりも車両10の後部(例えば、車両10のコーナー近傍)に設けられ、超音波センサ16a,16b,16c,16dよりも後方(例えば、後方の外側)に向けられている。超音波センサ16g,16hは、コーナーソナーとも呼ばれ、超音波センサ16a,16b,16c,16dよりも車両10の前部(例えば、車両10のコーナー近傍)に設けられ、超音波センサ16a,16b,16c,16dよりも前方(例えば、前方の外側)に向けられている。超音波センサ16i,16jは、リアソナーとも呼ばれ、車両10の後端部に設けられている。超音波センサ16k,16lは、フロントソナーとも呼ばれ、車両10の前端部に設けられている。
超音波センサ16aは、車両10の左側面の前側の位置に設けられている。超音波センサ16aは、左方向に向けられている。超音波センサ16aは、車両10の前側の左側方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16bは、車両10の左側面の後側の位置に設けられている。超音波センサ16bは、左方向に向けられている。超音波センサ16bは、車両10の後側の左側方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16cは、車両10の右側面の前側の位置に設けられている。超音波センサ16cは、右方向に向けられている。超音波センサ16cは、車両10の前側の右側方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16dは、車両10の右側面の後側の位置に設けられている。超音波センサ16dは、右方向に向けられている。超音波センサ16dは、車両10の後側の右側方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16eは、車両10の後端部の左側の位置に設けられている。超音波センサ16eは、左後方に向けられている。超音波センサ16eは、車両10の左後方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16fは、車両10の後端部の右側の位置に設けられている。超音波センサ16fは、右後方に向けられている。超音波センサ16fは、車両10の右後方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16gは、車両10の前端部の左側の位置に設けられている。超音波センサ16gは、左前方に向けられている。超音波センサ16gは、車両10の左前方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16hは、車両10の前端部の右側の位置に設けられている。超音波センサ16hは、右前方に向けられている。超音波センサ16hは、車両10の右前方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16i,16jは、車両10の後端部において超音波センサ16e,16fの間で互いに左右方向に間隔を空けて設けられている。超音波センサ16i,16jは、後方に向けられている。超音波センサ16i,16jは、車両10の後方の検出領域に存在する障害物に関する距離情報を取得する。
超音波センサ16k,16lは、車両10の前端部において超音波センサ16g,16hの間で互いに左右方向に間隔を空けて設けられている。超音波センサ16k,16lは、前方に向けられている。超音波センサ16k,16lは、車両10の前方の検出領域に存在する障害物に関する距離情報を取得する。
図2は、実施形態に係る駐車支援システム20の構成を示すブロック図である。
駐車支援システム20は、車両10に搭載され、車両10を所定の駐車領域に駐車させる際の車両10の移動を自動運転(一部自動運転を含む)の実行により支援する。
図2に示すように、駐車支援システム20は、撮像装置14と、超音波センサ16と、制動システム22と、加速システム24と、操舵システム26と、変速システム28と、車速センサ30と、モニタ装置32と、駐車支援装置34と、車内ネットワーク36とを備える。
制動システム22は、車両10の減速を制御する。制動システム22は、制動部40と、制動制御部42と、制動部センサ44とを有する。
制動部40は、例えば、ブレーキ、ブレーキペダル等を含み、車両10を減速させるための装置である。
制動制御部42は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサを有するマイクロコンピュータ等のコンピュータである。制動制御部42は、駐車支援装置34からの指示に基づき制動部40を制御し、車両10の減速を制御する。
制動部センサ44は、例えば、位置センサであって、制動部40がブレーキペダルの場合、制動部40の位置を検出する。制動部センサ44は、検出した制動部40の位置を車内ネットワーク36に出力する。
加速システム24は、車両10の加速を制御する。加速システム24は、加速部46と、加速制御部48と、加速部センサ50とを有する。
加速部46は、例えば、アクセルペダル等を含み、車両10を加速させるための装置である。
加速制御部48は、例えば、CPU等のハードウェアプロセッサを有するマイクロコンピュータ等のコンピュータである。加速制御部48は、駐車支援装置34からの指示に基づき加速部46を制御し、車両10の加速を制御する。
加速部センサ50は、例えば、位置センサであって、加速部46がアクセルペダルの場合、加速部46の位置を検出する。加速部センサ50は、検出した加速部46の位置を車内ネットワーク36に出力する。
操舵システム26は、車両10の進行方向を制御する。操舵システム26は、操舵部52と、操舵制御部54と、操舵部センサ56とを有する。
操舵部52は、例えば、ハンドル(ステアリングホイール)等を含み、車両10の転舵輪を転舵させて、車両10の進行方向を操舵する装置である。
操舵制御部54は、例えば、CPU等のハードウェアプロセッサを有するマイクロコンピュータ等のコンピュータである。操舵制御部54は、駐車支援装置34からの指示に基づき操舵部52を制御し、車両10の進行方向を制御する。
操舵部センサ56は、第3検出部の一例であって、例えば、ホール素子等を含む角度センサであって、操舵部52の回転角である操舵角を検出する。操舵部センサ56は、検出した操舵部52の操舵角を車内ネットワーク36に出力する。
変速システム28は、車両10の変速比を制御する。変速システム28は、変速部58と、変速制御部60と、変速部センサ62とを有する。
変速部58は、例えば、シフトレバー等を含み、車両10の変速比を変更させる装置である。
変速制御部60は、例えば、CPU等のハードウェアプロセッサを有するマイクロコンピュータ等のコンピュータである。変速制御部60は、駐車支援装置34からの指示に基づき変速部58を制御し、車両10の変速比を制御する。
変速部センサ62は、例えば、位置センサであって、変速部58がシフトレバーの場合、変速部58の位置を検出する。変速部センサ62は、検出した変速部58の位置を車内ネットワーク36に出力する。
車速センサ30は、例えば、車両10の車輪13の近傍に設けられたホール素子を有し、車輪13の回転量又は単位時間当たりの回転数を検出するセンサである。車速センサ30は、検出した回転量又は回転数を示す車輪速パルス数を、車速を算出するためのセンサ値として、車内ネットワーク36へ出力する。駐車支援装置34は、車速センサ30から取得したセンサ値に基づき車両10の速度(車速)、移動量等を算出することができる。
モニタ装置32は、車両10の車室内のダッシュボード等に設けられている。モニタ装置32は、表示部64と、音声出力部66と、操作入力部68とを有する。
表示部64は、駐車支援装置34が送信した画像データに基づき画像を表示する。表示部64は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部64は、例えば、自動運転と手動運転との切り替えを指示する操作指示を受け付ける画像を表示する。
音声出力部66は、駐車支援装置34が送信した音声データに基づいて音声を出力する。音声出力部66は、例えば、スピーカである。音声出力部66は、例えば、自動運転と手動運転との切り替えを指示する操作指示に関する音声を出力する。
操作入力部68は、乗員の入力を受け付ける。操作入力部68は、例えば、タッチパネルである。操作入力部68は、表示部64の表示画面に設けられている。操作入力部68は、表示部64が表示する画像を透過可能に構成されている。これにより、操作入力部68は、表示部64の表示画面に表示される画像を乗員に視認させることができる。操作入力部68は、表示部64の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、駐車支援装置34へ送信する。なお、操作入力部68は、タッチパネルに限らず、押しボタン式等のハードスイッチであってもよい。
駐車支援装置34は、ECU(Electronic Control Unit)等のマイクロコンピュータを含むコンピュータであり、車両10の駐車支援を行なう。
駐車支援装置34は、CPU34aと、ROM(Read Only Memory)34bと、RAM(Random Access Memory)34cと、表示制御部34dと、音声制御部34eと、SSD(Solid State Drive)34fとを備える。CPU34a、ROM34b及びRAM34cは、同一パッケージ内に集積されていてもよい。
CPU34aは、ハードウェアプロセッサの一例であって、ROM34b等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理及び制御を実行する。CPU34aは、例えば、車両10の自動運転による駐車支援を実行する。
ROM34bは、プログラム、プログラムの実行に必要なパラメータ等を記憶する。RAM34cは、CPU34aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部34dは、駐車支援装置34での演算処理のうち、主として、撮像装置14で得られた画像の画像処理、表示部64に表示させる表示用の画像のデータ変換等を実行する。音声制御部34eは、駐車支援装置34での演算処理のうち、主として、音声出力部66に出力させる音声の処理を実行する。SSD34fは、書き換え可能な不揮発性の記憶装置であって、駐車支援装置34の電源がオフされた場合にあってもデータを維持する。
車内ネットワーク36は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)等を含む。車内ネットワーク36は、加速システム24と、制動システム22と、操舵システム26と、変速システム28と、超音波センサ16と、車速センサ30と、モニタ装置32の操作入力部68と、駐車支援装置34とを互いに情報を送受信可能に接続する。
図3は、実施形態に係る駐車支援システム20の機能構成を示すブロック図である。
駐車支援システム20は、測距部101、区画線検出部102(検出部)、延長方向推定部103(推定部)、移動経路生成部104(生成部)、及び走行制御部105を備える。
測距部101は、超音波の反射を利用して車両10から障害物までの距離を示す距離情報を取得する。測距部101は、超音波センサ16、駐車支援装置34、プログラム等の協働により構成される。
区画線検出部102は、駐車領域を示す区画線を検出する。区画線検出部102は、撮像装置14、駐車支援装置34、プログラム等の協働により構成される。区画線検出部102は、撮像装置14により取得された撮像画像に対する画像認識処理により車両10の周辺に存在する区画線を検出する。なお、区画線を検出する方法はこれに限定されるものではなく、例えば、撮像装置14に替えてLIDAR(Light Detection And Ranging)センサ、ミリ波レーダ等により取得される情報に基づき区画線を検出することも可能である。
延長方向推定部103は、測距部101により取得された距離情報と区画線検出部102により取得された区画線情報とに基づき、車両10の周辺に存在する障害物、特に、目標とする駐車領域の近辺に存在する障害物の延長方向を推定する。延長方向とは、障害物の形状的特徴の一部を示すものであり、障害物の比較的長い部分が延長する方向である。延長方向は、例えば障害物が車両である場合、車両の側面部分に沿った方向である。区画線情報には、区画線検出部102により検出された区画線の位置、形状等が含まれる。延長方向推定部103は、駐車支援装置34、プログラム等の協働により構成される。
本実施形態に係る延長方向推定部103は、区画線が検出されない場合、測距部101により取得された距離情報と、予め定められた方向(例えば車両10の車幅方向等)とに基づき、延長方向を推定する。また、延長方向推定部103は、区画線検出部102により区画線が検出された場合、距離情報と区画線とに基づき、延長方向を推定する。
移動経路生成部104は、延長方向推定部103により推定された障害物の延長方向に基づき、車両10の移動経路を生成する。移動経路生成部104は、駐車支援装置34、プログラム等の協働により構成される。
本実施形態に係る移動経路生成部104は、間口距離算出部111及び障害物統合部112を含む。
間口距離算出部111は、区画線検出部102により区画線が検出された場合に、当該区画線に基づき推定された障害物の延長方向に基づき、車両10が駐車領域へ侵入する際に通行可能な間口距離を算出する。
障害物統合部112は、測距部101により取得された距離情報に基づき複数の障害物が検出され、且つ区画線検出部102により区画線が検出された場合に、当該区画線に基づき複数の障害物を1つの障害物に統合するための処理を行う。
移動経路生成部104は、間口距離算出部111による算出結果及び障害物統合部112による処理結果に基づき、車両10の移動経路を生成する。
走行制御部105は、移動経路生成部104により生成された移動経路に基づき、車両10を自動走行させるための処理を行う。走行制御部105は、駐車支援装置34、制動システム22、加速システム24、操舵システム26、及び変速システム28、プログラム等の協働により構成される。
図4は、実施形態に係る駐車支援システム20が利用される駐車場の一例を示す図である。
図4に例示する駐車場は、複数の駐車領域201が斜め(階段状)に配列されたものである。各駐車領域201は、区画線211により区画されている。本例においては、車両10(自車両)が駐車しようとしている駐車領域201に隣接する駐車領域に他車両200A,200Bが駐車されており、これらの他車両200A,200Bが障害物となる。図4においては、車両10が進行方向Dfに低速度で進行して目標とする駐車領域201を一度通過し、その後後退入庫する状況が示されている。このような状況においては、車両10の進行方向Dfと他車両200A,200Bの延長方向Eとが直交しない。
車両10が駐車領域201を通過する際に、超音波センサ16(本例では超音波センサ16c,16d)により車両10から他車両200A,200Bまでの距離を示す距離情報を取得すると共に、撮像装置14(本例では撮像装置14d)により駐車領域201の周辺の撮像データ(撮像画像)を取得する。そして、撮像画像から区画線211が検出(認識)された場合には、距離情報と区画線211とに基づき他車両200A,200Bの延長方向Eが推定される。一方、区画線211が検出されなかった場合には、距離情報と予め定められた方向とに基づき延長方向Eが推定される。
図5は、実施形態において区画線211が検出された場合に推定される延長方向Eを示す図である。
図5において、超音波センサ16により他車両200Aの4か所の端部P1~P4が検出され、撮像装置14による撮像画像から区画線211が検出された場合が示されている。このような場合、延長方向推定部103(図3参照)は、距離情報から求められる端部P1~P4の位置と、区画線211に関する区画線情報とに基づき、他車両200Aの延長方向Eを推定する。具体的には、目標とする駐車領域201に最も近い他車両200Aの端部(本例では端部P1)を通る延長方向Eを、区画線211の延長方向Esと平行になるように設定する。なお、上記においては他車両200Aについてのみ説明したが、他車両200Bについても同様である。このような推定方法によれば、図4に示すように複数の駐車領域201が斜めに配列された特殊な駐車場においても、他車両200A,200Bの延長方向Eを正確に推定できる。
図6は、実施形態において区画線211が検出されなかった場合に推定される延長方向Eを示す図である。
図6において、超音波センサ16により他車両200Aの4か所の端部P1~P4が検出され、撮像装置14による撮像画像から区画線211が検出されなかった場合が示されている。このような場合、延長方向推定部103は、距離情報から求められる端部P1~P4の位置と、予め定められた方向である車幅方向Wとに基づき、他車両200Aの延長方向Eを推定する。具体的には、目標とする駐車領域201に最も近い他車両200Aの端部(本例では端部P1)を通る延長方向Eを、車幅方向Wと平行になるように設定する。なお、上記においては他車両200Aについてのみ説明したが、他車両200Bについても同様である。このような推定方法によると、図4に示すような特殊な構造の駐車場においては他車両200A,200Bの延長方向の推定精度が低くなるが、進行方向Dfと延長方向Eとが直角をなす通常の構造の駐車場においては、実質上十分な精度で延長方向Eを推定できる。
図7は、実施形態に係る駐車支援システム20における処理を示すフローチャートである。
測距部101が距離情報を取得すると(S101)、延長方向推定部103は、区画線検出部102により区画線211が検出されたか否かを判定する(S102)。区画線211が検出された場合(S102:Yes)、延長方向推定部103は、障害物(他車両200A,200B)の延長方向Eを距離情報と区画線211とに基づき推定する(S103)。一方、区画線211が検出されなかった場合(S102:No)、延長方向推定部103は、障害物の延長方向Eを距離情報と車幅方向Wとに基づき推定する(S104)。
移動経路生成部104は、上記のように推定された延長方向Eに基づき車両10の移動経路を生成し(S105)、走行制御部105は、生成された移動経路に従い車両10を制御する(S106)。
また、移動経路生成部104は、上述したように、間口距離算出部111による算出結果と障害物統合部112による処理結果とに基づき移動経路を生成する。
図8は、実施形態に係る間口距離Deの算出方法を示す図である。
間口距離Deは、車両10が目標とする駐車領域201へ侵入する際に通行可能な領域の広さを示すものである。図8に示すように、間口距離Deは、区画線211が検出された場合には、当該区画線211に基づき推定された延長方向Eに基づき算出される。これにより、図4に示すような特殊な構造の駐車場であっても、間口距離Deを正確に算出できる。
図9は、実施形態に係る間口距離算出部111における処理を示すフローチャートである。
間口距離算出部111は、区画線検出部102により区画線211が検出されたか否かを判定する(S201)。区画線211が検出された場合(S201:Yes)、間口距離算出部111は、区画線211に基づく延長方向E(図5及び図8参照)に基づき、間口距離Deを算出する(S202)。一方、区画線211が検出されなかった場合(S201:No)、間口距離算出部111は、車幅方向Wに基づく障害物の延長方向E(図6参照)に基づき、間口距離Deを算出する(S203)。ステップS203の処理によると、図4に示すような特殊な構造の駐車場においては間口距離Deの算出精度が低くなるが、通常の並列構造(進行方向Dfと延長方向Eとが直角をなす構造)等を有する駐車場においては、実質上十分な精度で延長方向を推定できる。
以下に、図10~図13を参照し、複数の障害物を統合する処理について説明する。
図10は、実施形態において車両10が駐車領域201を通過する際に超音波センサ16が検出可能な検出領域A1の一例を示す図である。図11は、実施形態において車両10が駐車領域201に侵入する際に超音波センサ16が検出可能な検出領域A2の一例を示す図である。
図10に示すタイミングにおいては、超音波センサ16(本例では超音波センサ16c,16d)の検出領域A1は、他車両200Aの前端部分となる。図11に示すタイミングにおいては、超音波センサ16の検出領域A2は、他車両200Aの車両10側の側面部分となる。このように、車両10の移動に伴い、超音波センサ16の検出領域A1,A2が変化する。
図12は、実施形態において1つの障害物が2つの障害物として認識された状態の一例を示す図である。
図12において、図10に示す検出領域A1に対応する認識オブジェクトR1と、図11に示す検出領域A2に対応する認識オブジェクトR2とが示されている。このように、車両10の移動に伴い超音波センサ16の検出領域A1,A2が変化すると、取得される距離情報に連続性が認められず、1つの障害物(本例では他車両200A)が複数の障害物として認識される場合がある。
図13は、実施形態において区画線211が検出された場合に複数の認識オブジェクトR1,R2を1つの認識オブジェクトRに統合する処理を示す図である。
区画線211が検出された場合には、図13に示すように、所定領域S内に存在する複数の認識オブジェクトR1,R2は、区画線211に基づき1つの認識オブジェクトRに統合される。所定領域Sは、使用状況等に応じて適宜設定されるべきものであるが、例えば、一般的な車両の大きさを基準として定められる領域等であり得る。本実施形態では、超音波センサ16により取得された障害物の部分のうち車両10に最も近い近接部分Pnを通り区画線211の延長方向Esに平行な延長方向Eを基準として、複数の認識オブジェクトR1,R2を1つの認識オブジェクトRに統合する。これにより、図4に示すような特殊な構造の駐車場であっても、障害物の形状を正確に推定できる。
図14は、実施形態に係る障害物統合部112における処理を示すフローチャートである。
障害物統合部112は、所定領域S内に複数の障害物(認識オブジェクトR1,R2)が認識されたか否かを判定する(S301)。複数の障害物が認識されなかった場合(S301:No)、本フローは終了する。複数の障害物が認識された場合(S301:Yes)、障害物統合部112は、区画線検出部102により区画線211が検出されたか否かを判定する(S302)。
区画線211が検出された場合(S302:Yes)、障害物統合部112は、区画線211に基づき複数の障害物(認識オブジェクトR1,R2)を1つの障害物(認識オブジェクトR)に統合する(S303)。一方、区画線211が検出されなかった場合(S302:No)、障害物統合部112は、車幅方向W(図6参照)に基づき複数の障害物(認識オブジェクトR1,R2)を1つの障害物(認識オブジェクトR)に統合する(S304)。ステップS304の処理によると、図4に示すような特殊な構造の駐車場においては障害物の形状の推定精度が低くなるが、通常の並列構造(進行方向Dfと延長方向Eとが直角をなす構造)等を有する駐車場においては、実質上十分な精度で障害物の形状を推定できる。
上述したような各種処理を駐車支援装置34に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されてもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、プログラムを、インターネット等のネットワーク経由で提供又は配布するようにしてもよい。
上記実施形態によれば、超音波を利用して障害物を検出する場合や、特殊な構造の駐車場内であっても、障害物の形状の推定精度を向上させることができ、駐車支援制御の信頼性及び効率性を向上させることができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…車両(移動体)、12…車体、13…車輪、14(14a~14d)…撮像装置、16(16a~16l)…超音波センサ、20…駐車支援システム、34…駐車支援装置、101…測距部、102…区画線検出部(検出部)、103…延長方向推定部(推定部)、104…移動経路生成部(生成部)、105…走行制御部、111…間口距離算出部(算出部)、112…障害物統合部(統合部)、200A,200B…他車両(障害物)、201…駐車領域、211…区画線、A1,A2…検出領域、Df…進行方向、E…(障害物の)延長方向、Es…(区画線の)延長方向、P1~P8…端部、R,R1,R2…認識オブジェクト、S…所定領域、W…車幅方向

Claims (6)

  1. 超音波の反射を利用して移動体から障害物までの距離を示す距離情報を取得する測距部と、
    駐車領域を示す区画線を検出する検出部と、
    前記区画線が検出されない場合に、前記距離情報と予め定められた方向とに基づき前記障害物の延長方向を推定し、前記区画線が検出された場合に、前記距離情報と前記区画線とに基づき前記障害物の延長方向を推定する推定部と、
    前記推定部により推定された前記延長方向に基づき前記移動体の移動経路を生成する生成部と、
    を備える駐車支援システム。
  2. 前記区画線が検出された場合に、前記区画線に基づき推定された前記延長方向に基づき、前記移動体が前記駐車領域へ侵入する際に通行可能な間口距離を算出する算出部、
    を更に備える請求項1に記載の駐車支援システム。
  3. 前記距離情報に基づき複数の障害物が検出され、且つ前記区画線が検出された場合に、前記区画線に基づき前記複数の障害物を1つの障害物に統合するための処理を行う統合部、
    を更に備える請求項1又は2に記載の駐車支援システム。
  4. 超音波の反射を利用して取得された、移動体から障害物までの距離を示す距離情報に基づき、前記移動体を駐車領域に駐車させる際の前記移動体の移動を支援するための処理を行う駐車支援装置であって、
    前記駐車領域を示す区画線が検出されない場合に、前記距離情報と予め定められた方向とに基づき前記障害物の延長方向を推定し、前記区画線が検出された場合に、前記距離情報と前記区画線とに基づき前記障害物の延長方向を推定する推定部と、
    前記推定部により推定された前記延長方向に基づき前記移動体の移動経路を生成する生成部と、
    を備える駐車支援装置。
  5. 超音波の反射を利用して移動体から障害物までの距離を示す距離情報を取得する工程と、
    駐車領域を示す区画線を検出する工程と、
    前記区画線が検出されない場合に、前記距離情報と予め定められた方向とに基づき前記障害物の延長方向を推定する工程と、
    前記区画線が検出された場合に、前記距離情報と前記区画線とに基づき前記障害物の延長方向を推定する工程と、
    推定された前記延長方向に基づき前記移動体の移動経路を生成する工程と、
    を含む駐車支援方法。
  6. 超音波の反射を利用して取得された移動体から障害物までの距離を示す距離情報に基づき、前記移動体が駐車領域に駐車する際の前記移動体の移動を支援するための処理を行うコンピュータに、
    前記駐車領域を示す区画線が検出されない場合に、前記距離情報と予め定められた方向とに基づき前記障害物の延長方向を推定する処理と、
    前記区画線が検出された場合に、前記距離情報と前記区画線とに基づき前記障害物の延長方向を推定する処理と、
    推定された前記延長方向に基づき前記移動体の移動経路を生成する処理と、
    を実行させるプログラム。
JP2020163393A 2020-09-29 2020-09-29 駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム Pending JP2022055774A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020163393A JP2022055774A (ja) 2020-09-29 2020-09-29 駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム
CN202111128147.5A CN114312756A (zh) 2020-09-29 2021-09-26 停车辅助***、停车辅助装置、停车辅助方法以及记录介质
DE102021124948.1A DE102021124948A1 (de) 2020-09-29 2021-09-27 Einparkhilfesystem, einparkhilfevorrichtung, einparkhilfeverfahren und aufzeichnungsmedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020163393A JP2022055774A (ja) 2020-09-29 2020-09-29 駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022055774A true JP2022055774A (ja) 2022-04-08

Family

ID=80624696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020163393A Pending JP2022055774A (ja) 2020-09-29 2020-09-29 駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP2022055774A (ja)
CN (1) CN114312756A (ja)
DE (1) DE102021124948A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022204256A1 (de) 2022-04-29 2023-11-02 Robert Bosch Gesellschaft mit beschränkter Haftung Fahrassistenzsystem zur Unterstützung eines Einparkvorgangs eines Fahrzeuges

Also Published As

Publication number Publication date
CN114312756A (zh) 2022-04-12
DE102021124948A1 (de) 2022-03-31

Similar Documents

Publication Publication Date Title
JP6547495B2 (ja) 駐車支援装置
JP6096156B2 (ja) 駐車支援装置
US9738276B2 (en) Parking assist system
US9751562B2 (en) Park exit assist system
US9604638B2 (en) Parking assist system
JP6275006B2 (ja) 駐車支援装置
US10150486B2 (en) Driving assistance device and driving assistance system
JP6878196B2 (ja) 位置推定装置
JP2016084094A (ja) 駐車支援装置
CN113466873A (zh) 障碍物检测装置以及驾驶辅助***
JP2022023870A (ja) 表示制御装置
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP2022055774A (ja) 駐車支援システム、駐車支援装置、駐車支援方法、及びプログラム
JP2021062738A (ja) 駐車支援装置、駐車支援方法およびプログラム
JP7329409B2 (ja) 駐車支援装置、駐車支援方法、およびプログラム
JP7400338B2 (ja) 駐車支援装置
JP2022055835A (ja) 駐車支援システム、駐車支援方法、及びプログラム
JP6227514B2 (ja) 駐車支援装置
JP2014069721A (ja) 周辺監視装置、制御方法、及びプログラム
JP7130923B2 (ja) 表示制御装置
JP2020083184A (ja) 駐車支援装置およびプログラム
JP2022056186A (ja) 駐車支援システム、駐車支援方法、及びプログラム
JP2018203089A (ja) 飛び跳ね防止装置
JP6730885B2 (ja) 出庫支援装置
JP2023051395A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240514