JP7323356B2 - 駐車支援装置及び駐車支援方法 - Google Patents

駐車支援装置及び駐車支援方法 Download PDF

Info

Publication number
JP7323356B2
JP7323356B2 JP2019122117A JP2019122117A JP7323356B2 JP 7323356 B2 JP7323356 B2 JP 7323356B2 JP 2019122117 A JP2019122117 A JP 2019122117A JP 2019122117 A JP2019122117 A JP 2019122117A JP 7323356 B2 JP7323356 B2 JP 7323356B2
Authority
JP
Japan
Prior art keywords
parking
obstacle
temporary
frame
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019122117A
Other languages
English (en)
Other versions
JP2021008177A (ja
Inventor
利尚 桑原
貴之 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2019122117A priority Critical patent/JP7323356B2/ja
Priority to US16/865,456 priority patent/US11326898B2/en
Priority to CN202010573152.6A priority patent/CN112141084A/zh
Priority to EP20182347.3A priority patent/EP3756950A1/en
Publication of JP2021008177A publication Critical patent/JP2021008177A/ja
Application granted granted Critical
Publication of JP7323356B2 publication Critical patent/JP7323356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Description

本発明は、駐車支援装置及び駐車支援方法に関する。
従来、運転者の駐車操作を支援する駐車支援装置が知られている。例えば、特許文献1は、後部測距センサが射出した探査波の反射波の強度に基づいて、自車両に隣接する駐車車両の駐車空間前側の車輪及び駐車空間奥側の車輪の位置を検出し、検出した駐車空間奥側の車輪の位置に基づいて、自車両の駐車位置を決定し、決定した駐車位置に自車両を駐車させるための支援を行う駐車支援装置を開示する。
特開2014-76696号公報
しかしながら、駐車場には、柱や消火栓等の障害物が設置されている場合があり、隣接する駐車車両の位置に合わせて駐車することが好ましい駐車とはならない場合がある。また、駐車区画に車輪止めが設置されている場合、タイヤが車輪止めに強く衝突すると、乗員に不快感を与えてしまう場合がある。
本発明は上記事情に鑑みてなされたものであり、駐車環境に対応して、駐車区画内の好適な位置に車両を駐車させることを目的とする。
発明の駐車支援装置は、車両の周囲に存在する障害物の位置を示す障害物マップであって、前記車両に搭載されたセンサの検出結果に基づき、前記障害物の位置に対応する前記障害物マップ上の位置に、前記障害物が存在することを示すデータを記録した前記障害物マップを生成するマップ生成部と、前記マップ生成部が生成した前記障害物マップを複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数し、計数した前記複数の領域の各々のデータ数に基づいて車輪止めの位置を検出する車輪止め検出部と、前記車輪止め検出部が検出した前記車輪止めの位置に基づき、前記車両を駐車させる駐車位置を設定する駐車位置設定部と、前記車両の周囲を撮像した画像を取得する画像取得部と、前記画像取得部が取得した画像から駐車区画を示す駐車区画線を検出し、検出した前記駐車区画線のうち、前記駐車区画の長手方向に延伸する第1駐車区画線を特定する区画線検出部と、前記区画線検出部が検出した前記駐車区画線に基づき、前記車両を駐車させる仮駐車枠を設定する仮駐車枠設定部と、を備え、前記車輪止め検出部は、前記区画線検出部が特定した前記第1駐車区画線の延伸方向に直交する方向に、前記障害物マップを複数の領域に分割し、前記仮駐車枠設定部が設定した前記仮駐車枠のうち、前記駐車区画の短手方向に延伸する枠線の位置に基づいて前記障害物マップの一部の領域に前記車輪止めを検出する検出範囲を設定し、設定した前記検出範囲を前記複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数して前記車輪止めの位置を検出する、ことを特徴とする。
記駐車支援装置において、前記仮駐車枠設定部は、前記第1駐車区画線の長手方向の両端部を検出した場合、検出した前記両端部のうち前記車両との距離が遠い側の第1端部を基準にして前記仮駐車枠を設定し、前記第1端部を検出できなかった場合、前記車両との距離が近い側の第2端部を基準にして前記仮駐車枠を設定することを特徴とする。
記駐車支援装置において、前記仮駐車枠設定部は、前記車輪止め検出部が前記車輪止めを検出した場合、検出された前記車輪止めの位置に基づいて前記仮駐車枠の位置を補正し、前記駐車位置設定部は、補正した前記仮駐車枠に基づいて前記駐車位置を設定することを特徴とする。
記駐車支援装置において、前記画像取得部が取得した画像、及び前記センサの検出結果の少なくとも一方に基づき、前記障害物を検出する障害物検出部を備え、前記仮駐車枠設定部は、設定した前記仮駐車枠の外であって、前記仮駐車枠との距離が設定距離以下の範囲に障害物が検出された場合、検出された前記障害物との距離が前記設定距離より大きくなるように前記仮駐車枠の位置を補正し、前記駐車位置設定部は、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする。
本発明の駐車支援方法は、駐車支援装置の駐車支援方法であって、前記駐車支援装置が備えるプロセッサが、車両の周囲に存在する障害物の位置を示す障害物マップであって、前記車両に搭載されたセンサの検出結果に基づき、前記障害物の位置に対応する前記障害物マップ上の位置に、前記障害物が存在することを示すデータを記録した前記障害物マップを生成するマップ生成ステップと、前記マップ生成ステップにより生成された前記障害物マップを複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数し、計数した前記複数の領域の各々のデータ数に基づいて車輪止めの位置を検出する車輪止め検出ステップと、前記車輪止め検出ステップにより検出された前記車輪止めの位置に基づき、前記車両を駐車させる駐車位置を設定する駐車位置設定ステップと、前記車両の周囲を撮像した画像を取得する画像取得ステップと、前記画像取得ステップにより取得した画像から駐車区画を示す駐車区画線を検出し、検出した前記駐車区画線のうち、前記駐車区画の長手方向に延伸する第1駐車区画線を特定する区画線検出ステップと、前記区画線検出ステップが検出した前記駐車区画線に基づき、前記車両を駐車させる仮駐車枠を設定する仮駐車枠設定ステップと、を実行し、前記車輪止め検出ステップは、前記区画線検出ステップにより特定した前記第1駐車区画線の延伸方向に直交する方向に、前記障害物マップを複数の領域に分割し、前記仮駐車枠設定ステップにより設定された前記仮駐車枠のうち、前記駐車区画の短手方向に延伸する枠線の位置に基づいて前記障害物マップの一部の領域に前記車輪止めを検出する検出範囲を設定し、設定した前記検出範囲を前記複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数して前記車輪止めの位置を検出する、ことを特徴とする。
上記駐車支援方法において、前記仮駐車枠設定ステップは、前記第1駐車区画線の長手方向の両端部を検出した場合、検出した前記両端部のうち前記車両との距離が遠い側の第1端部を基準にして前記仮駐車枠を設定し、前記第1端部を検出できなかった場合、前記車両との距離が近い側の第2端部を基準にして前記仮駐車枠を設定する、ことを特徴とする。
上記駐車支援方法において、前記仮駐車枠設定ステップは、前記車輪止め検出ステップにより前記車輪止めが検出された場合、検出された前記車輪止めの位置に基づいて前記仮駐車枠の位置を補正し、前記駐車位置設定ステップは、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする。
上記駐車支援方法において、前記画像取得ステップにより取得した画像、及び前記センサの検出結果の少なくとも一方に基づき、前記障害物を検出する障害物検出ステップを有し、前記仮駐車枠設定ステップは、設定した前記仮駐車枠の外であって、前記仮駐車枠との距離が設定距離以下の範囲に障害物が検出された場合、検出された前記障害物との距離が前記設定距離より大きくなるように前記仮駐車枠の位置を補正し、前記駐車位置設定ステップは、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする。
本発明によれば、駐車環境に対応して、駐車区画内の好適な位置に車両を駐車させることができる。
駐車支援装置の構成を示す図である。 撮像部の配置を示す図である。 駐車区画を示す図である。 仮駐車枠の設定例を示す図である。 仮駐車枠の設定例を示す図である。 仮駐車枠の設定例を示す図である。 障害物マップの一例を示す図である。 検出範囲の設定方法を説明するための図である。 ヒストグラムを示す図である。 ヒストグラムを示す図である。 ヒストグラムを示す図である。 ヒストグラムを示す図である。 駐車支援装置の動作を示すフローチャートである。
以下、添付図面を参照しながら本発明の実施形態について説明する。
図1は、駐車支援装置100の構成を示す図であり、この駐車支援装置100を搭載した車両が備える装置を示す図である。以下では、駐車支援装置100が搭載された車両を「自車両1」と表記し、自車両1以外の車両を他車両と表記する。自車両1は、運転者の運転操作による走行が可能な車両であり、また、運転者が運転操作を行うことなく、コンピュータ制御による自動運転によって走行が可能な車両である。自車両1は、例えばエンジン駆動の四輪車両や、モーター駆動式の電動車両、モーター及びエンジンを搭載したハイブリット車両等の車両であり、四輪車両以外の車両であってもよい。
自車両1は、ソナー10と、撮像部30と、ナビゲーション装置50と、車両制御ユニット70と、駐車支援装置100とを備える。ソナー10、撮像部30、ナビゲーション装置50、車両制御ユニット70及び駐車支援装置100は、CAN(Controller Area Network)バス5によりデータ通信可能に接続される。
ソナー10は、例えば、超音波ソナーによって構成される。ソナー10は、本発明の「センサ」に相当する。ソナー10は、自車両1に複数設けられている。例えば、ソナー10は、自車両1の右前部、左前部、右後部及び左後部にそれぞれ設けられる。各ソナー10は、自車両1周囲の所定の角度範囲へ向けて超音波を発し、発した超音波が障害物310で反射した反射波を受信するまでの時間差から、他車両を含む障害物310との距離及び方位を検出する。ソナー10は、検出結果を駐車支援装置100に出力する。
撮像部30は、フロントカメラ31、左サイドカメラ33、右サイドカメラ35及びリアカメラ37を備える。フロントカメラ31、左サイドカメラ33、右サイドカメラ35及びリアカメラ37は、それぞれCCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)等のイメージセンサと、イメージセンサの受光状態から撮像画像を生成するデータ処理回路とを備える。フロントカメラ31、左サイドカメラ33、右サイドカメラ35及びリアカメラ37は、これらの4台のカメラにより自車両1を中心に360°の範囲を撮像可能となるように画角が調整されている。フロントカメラ31、左サイドカメラ33、右サイドカメラ35及びリアカメラ37は、各々の撮像範囲を所定のフレームレートで撮像して撮像画像を生成する。
図2は、撮像部30の配置を示す図である。
フロントカメラ31は、例えば、フロントグリル等の先端部や、車室内のバックミラー裏面等に取り付けられ、所定のフレームレートで路面を含む自車両1の前方を撮像する。自車両1の前方とは、運転者席に着座した運転者から見てフロントグラスに向かう方向をいう。
右サイドカメラ35は、例えば、右ドミラーに取り付けられ、所定のフレームレートで、路面を含む自車両1の右側面を撮像する。左サイドカメラ33は、例えば、左ドラミラーに取り付けられ、所定のフレームレートで路面を含む自車両1の左側面を撮像する。
リアカメラ37は、例えば、リアゲートの開放レバーや、リアスポイラー等に取り付けられ、所定のフレームレートで路面を含む自車両1の後方を撮像する。自車両1の後方とは、自車両1の前方とは逆方向であって、運転者席に着座した運転者から見てリアガラスに向かう方向である。
撮像部30が備えるカメラの台数や配置は一例であり、任意に変更可能である。すなわち、自車両1を中心に360°の範囲を撮像可能であれば、自車両1に設けられるカメラの台数は、更に多くてもよく、また、少なくてもよい。
ナビゲーション装置50は、GPS(Global Positioning System)衛星からの測位信号を受信し、受信した測位信号に基づいて自車両1の絶対位置(緯度及び経度)を算出する。また、ナビゲーション装置50は、自車両1の搭乗者により目的地が入力されると、交通情報等を考慮して現在位置と目的地とを結ぶ最適な誘導経路を探索する。また、ナビゲーション装置50は、ディスプレイを含む表示部55を備え、ナビゲーション装置50が探索した誘導経路や、乗員への案内を表示部55に表示させる。
車両制御ユニット70は、自車両1が駐車場内を走行する場合、エンジンやステアリング、ブレーキ及びトランスミッション等の駆動機構を制御して、駐車支援装置100により算出された駐車位置に自車両1を移動させる。このとき、車両制御ユニット70は、ソナー10の検出結果や、撮像部30の撮像画像に基づいて障害物310を検出し、検出した障害物310との衝突を回避する。
また、車両制御ユニット70は、自車両1が一般道を自動運転により走行する場合、衝突防止制御に加え、定速走行制御、追従走行制御、レーンキープ制御、車線逸脱防止制御、追い越し制御等の自動運転制御を実行する。
駐車支援装置100は、駐車場内において、ソナー10の検出結果や、撮像部30の撮像画像に基づいて自車両1が駐車可能な駐車区画200を検出する。また、駐車支援装置100は、自車両1を駐車させる駐車区画200内の駐車位置を設定する。
次に、駐車支援装置100について説明する。
駐車支援装置100は、制御部110を備える。制御部110は、メモリ130と、プロセッサ150とを備えるコンピュータ装置であるECU(Electronic Control Unit)により構成される。
メモリ130は、制御プログラム131やパラメータを記憶する不揮発性の記憶領域と、プロセッサ150の演算領域として利用される揮発性の記憶領域とを備える。不揮発性の記憶領域は、例えば、ROM(read only memory)やフラッシュメモリによって構成され、揮発性の記憶領域は、例えば、RAM(Random access memory)によって構成される。
プロセッサ150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)により構成される演算処理装置である。プロセッサ150は、制御プログラム131を実行して駐車支援装置100の各部を制御する。プロセッサ150は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、プロセッサ150は、メモリ130の一部又は全部や、その他の回路と統合されたSoC(System on Chip)により構成してもよい。また、プロセッサ150は、プログラムを実行するCPUと、所定の演算処理を実行するDSP(Digital Signal Processor)との組み合せにより構成してもよい。さらに、プロセッサ150の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
制御部110は、機能ブロックとして、画像取得部151、区画線検出部152、仮駐車枠設定部153、障害物検出部154、マップ生成部155、車輪止め検出部156、駐車位置設定部157及び駐車経路算出部158を備える。これらの機能ブロックは、プロセッサ150が制御プログラム131に記述された命令セットを実行してデータの演算や制御を行うことにより実現される機能をブロックにより示したものである。
画像取得部151は、撮像部30が生成した撮像画像を取得する。画像取得部151は、撮像部30により所定のフレームレートで撮像される撮像画像を取得し、取得した撮像画像をメモリ130に一時的に記憶させる。
図3は、駐車区画200を示す図である。
図3は、ソナー10の検出結果や、撮像部30の撮像画像から、他車両が駐車していない駐車区画200を検出し、駐車区画200から所定距離以内に自動運転により近づいた状態を示す。また、図3は、制御部110が駐車区画200に駐車することを決定し、自車両1の後部側(リア側)を決定した駐車区画200側に向けた状態である。
区画線検出部152は、メモリ130に記憶されたリアカメラ37の撮像画像を取得する。区画線検出部152が取得するリアカメラ37の撮像画像は、自車両1の後部側を駐車区画200側に向けた状態において撮像された画像である。区画線検出部152は、取得した撮像画像を解析して、駐車区画線210を検出する。
一般的に、駐車場は、路面がアスファルトであって、駐車区画線210には白色や黄色等の目立つ色合いが用いられる。従って、駐車場の路面の表面と、駐車区画線210との間には輝度差が生じる。この輝度差に基づく輝度の変化量が一定範囲内の量になるため、輝度の変化量が一定範囲のエッジを抽出することにより駐車区画線210を検出できる。撮像画像から駐車区画線210を検出する方法は、輝度差に基づいて検出する方法に限定されず、公知のいずれの方法を用いて検出してもよい。例えば、区画線検出部152は、撮像画像に対してパターンマッチング等の画像処理を行ってエッジ抽出処理を行い、駐車区画線210を検出してもよい。
区画線検出部152が検出する駐車区画線210には、第1駐車区画線210Aと、第2駐車区画線210Bとが含まれる。第1駐車区画線210Aは、駐車区画200の長手方向に延伸する区画線であり、第2駐車区画線210Bは、駐車区画200の短手方向に延伸する区画線である。
区画線検出部152は、駐車区画線210を検出すると、検出した駐車区画線210が第1駐車区画線210Aであるのか、第2駐車区画線210Bであるのかを判定する。
例えば、区画線検出部152は、検出した駐車区画線210の長さを予め設定された基準長さと比較して、検出した駐車区画線210が第1駐車区画線210Aであるのか、第2駐車区画線210Bであるのかを判定する。区画線検出部152は、駐車区画線210の長さが基準長さより長い場合、検出した駐車区画線210を第1駐車区画線210Aと判定する。また、区画線検出部152は、駐車区画線210の長さが基準長さより短い場合、検出した駐車区画線210を第2駐車区画線210Bと判定する。
1つの駐車区画200を区画する駐車区画線210には、通常、第1駐車区画線210Aが2本含まれる。このため、区画線検出部152は、第1駐車区画線210Aが1本検出された場合、駐車区画200を区画するもう一本の第1駐車区画線210Aを撮像画像から検出する。
また、区画線検出部152が撮像画像から検出する第1駐車区画線210Aは、第1駐車区画線210Aの全体が検出される場合もあれば、第1駐車区画線210Aの一部が検出される場合もある。つまり、撮像画像に第1駐車区画線210Aの全体が写っていない場合、区画線検出部152が検出する第1駐車区画線210Aも、第1駐車区画線210Aの全体ではなく一部となる。
仮駐車枠設定部153は、第1仮駐車枠230A、第2仮駐車枠230B、第3仮駐車枠230C及び第4仮駐車枠230Dの少なくとも1つを算出する。以下、第1仮駐車枠230A、第2仮駐車枠230B、第3仮駐車枠230C及び第4仮駐車枠230Dを総称する場合、「仮駐車枠230」と表記する。仮駐車枠230は、仮の駐車枠である。
仮駐車枠設定部153は、まず、区画線検出部152が検出した第1駐車区画線210Aの長手方向の端部に基づいて、第1仮駐車枠230A又は第2仮駐車枠230Bを算出する。図3に示すように、自車両1が後部側を駐車区画200側に向けた状態において、第1駐車区画線210Aの長手方向の端部のうち、自車両1との距離が遠い側の端部を第1端部221といい、自車両1との距離が近い側の端部を第2端部222という。
仮駐車枠設定部153は、区画線検出部152が撮像画像から第1駐車区画線210Aの第1端部221を検出できなった場合、つまり、第2端部222だけを検出し、第1端部221を検出できなかった場合、第2端部222を基準とする第1仮駐車枠230Aを算出する。リアカメラ37を含む撮像部30の撮像範囲には限りがあり、駐車区画200の全体を撮像できない場合がある。このため、仮駐車枠設定部153は、第1端部221を撮像画像から検出できなかった場合、第2端部222を基準とする第1仮駐車枠230Aを算出する。
図4は、第1仮駐車枠230Aを示す図である。
仮駐車枠設定部153は、第1仮駐車枠230Aの自車両1側の端部が、2本の第1駐車区画線210Aの第2端部222同士をつなぐ線分225に一致するように、第1仮駐車枠230Aを算出する。第1仮駐車枠230Aの長手方向及び短手方向のサイズは、メモリ130が予め記憶する自車両1の縦方向及び横方向のサイズに基づいて設定される。
図5は、第2仮駐車枠230Bの設定例を示す図である。
仮駐車枠設定部153は、区画線検出部152が撮像画像から第1駐車区画線210Aの両端部、すなわち、第1端部221及び第2端部222を検出した場合、第1端部221を基準にして第2仮駐車枠230Bを算出する。仮駐車枠設定部153は、第2仮駐車枠230Bの自車両1側の端部とは反対側の端部が、2本の第1駐車区画線210Aの第1端部221同士を結ぶ線分227に一致するように、第2仮駐車枠230Bを算出する。また、第2仮駐車枠230Bの長手方向及び短手方向のサイズも、メモリ130が予め記憶する自車両1の縦方向及び横方向のサイズに基づいて設定される。
ここで、障害物検出部154について説明する。
障害物検出部154は、撮像部30の撮像画像や、ソナー10の検出結果に基づき、駐車区画200の外であって、駐車区画200の周囲に存在する障害物310を検出する。具体的には、障害物検出部154は、駐車区画200の外側に位置する立体駐車場の壁や柱、消火栓等の障害物310を検出する。
障害物検出部154は、仮駐車枠設定部153が設定した第1仮駐車枠230A又は第2仮駐車枠230Bの外であって、第1仮駐車枠230A又は第2仮駐車枠230Bとの距離が設定距離R1以下の範囲に障害物310があるか否かを撮像部30の撮像画像や、ソナー10の検出結果に基づいて判定する。設定距離R1は、例えば、自車両1のリアゲートを開いた場合に、リアゲートが障害物310に接触する距離に設定される。
図6は、第3仮駐車枠230Cを示す図である。
障害物検出部154により障害物310が検出された場合に、仮駐車枠設定部153が設定する第3仮駐車枠230Cについて説明する。仮駐車枠設定部153は、障害物検出部154により障害物310が検出された場合、第3仮駐車枠230Cを算出する。仮駐車枠設定部153は、検出された障害物310との距離が、設定距離R1より値の大きい距離R2となるように第3仮駐車枠230Cを算出する。障害物310との距離が、設定距離R1より大きくなるように第3仮駐車枠230Cを算出するのは、自車両1を駐車区画200に駐車させたときに、リアゲートを開いて荷物が取り出せるようにするためのである。図6には、障害物310との距離が、距離R2となるように第3仮駐車枠230Cの位置を算出した例を示す。
図7は、障害物マップ300の一例を示す図である。また、図8は、検出範囲250の設定方法を示す図である。図7に示す障害物マップ300は、メモリ130の記憶領域に生成され、検出範囲250は、障害物マップ300上に設定される。
マップ生成部155には、ソナー10の検出結果が入力される。マップ生成部155は、ソナー10の検出結果に基づいて図7に示す障害物マップ300を生成する。
まず、マップ生成部155は、仮駐車枠設定部153が算出した仮駐車枠230に基づいて検出範囲250を設定する。検出範囲250は、障害物310を検出する対象となる領域である。マップ生成部155は、仮駐車枠設定部153により複数の仮駐車枠230が算出された場合、仮駐車枠230のいずれか1つを選択し、選択した仮駐車枠230に基づいて検出範囲250を設定する。
検出範囲250の設定方法について図8を参照しながら説明する。
矩形の仮駐車枠230は、上枠231、下枠232、左枠233及び右枠234の4つの枠により構成される。マップ生成部155は、仮駐車枠230の上枠231、左枠233及び右枠234を基準にして検出範囲250を設定する。
左枠233及び右枠234は、第1駐車区画線210Aに平行な枠であり、左枠233は自車両1A側から見て仮駐車枠230の左側の枠であり、右枠234は自車両1A側から見て仮駐車枠230の右側の枠である。また、上枠231及び下枠232は、第1駐車区画線210Aに直交する方向の枠であって、下枠232は自車両1に近い側の枠であり、上枠231は自車両1から遠い側の枠である。
マップ生成部155は、上枠231から距離Uの位置に、検出範囲250の上辺251及び下辺252を設定する。上辺251は、上枠231に対して、自車両1から離れる方向に設定される。また、下辺252は、上枠231に対して、自車両1に近づく方向に設定される。
また、マップ生成部155は、左枠233から距離Vの位置に、検出範囲250の左辺253を設定し、右枠234から距離Vの位置に、検出範囲250の右辺254を設定する。左辺253は、左枠233の外側に、左枠233から距離Vの位置に設定され、右辺254は、右枠234の外側に、右枠234から距離Vの位置に設定される。
図7に示す障害物マップ300には、検出範囲250と、検出範囲250内で検出された障害物310とを示す。障害物マップ300には、自車両1を原点とし、自車両1の前後方向をY軸、左右方向をX軸とする座標系が設定される。マップ生成部155は、ソナーの検出結果に基づいて障害物マップ300にデータを記録する。
マップ生成部155は、ソナー10により障害物310が検出されると、検出された自車両1と障害物310との位置関係(距離及び方位)に基づき、障害物マップ300にデータを記録する。詳細には、マップ生成部155は、検出された障害物310の位置に対応する障害物マップ300の位置に、障害物310が存在することを示すデータを記録する。障害物マップ300の位置とは、具体的には、障害物マップ300の位置に対応するメモリ130の記憶素子の位置である。本実施形態では、障害物マップ300の該当記憶素子のデータの値を、「0」から「1」に書き替える。図7では、黒ベタの領域が、障害物310の位置に対応する記憶素子であることを示している。また、値が「0」から「1」に書き替えられる障害物マップ300の記憶素子は、検出された障害物310の形状に対応している。
車輪止め検出部156は、マップ生成部155が生成した障害物マップ300に基づいて、駐車区画200内に設けられた車輪止め330を検出する。
車輪止め330等の高さが低い障害物310を、撮像部30の撮像画像や、ソナー10により検出する場合、自車両1の振動の影響によって、位置の検出精度が低下する場合がある。また、駐車区画200には、時間貸し駐車場のフラップ板等が設置されている場合もあり、フラップ板と、車輪止め330とを誤って検出してしまう場合もある。このため、車輪止め検出部156は、障害物マップ300に基づきヒストグラムを作成し、作成したヒストグラムに基づいて車輪止め330を検出する。
図9~図12は、ヒストグラムを示す図である。
車輪止め検出部156は、マップ生成部155が設定した検出範囲250をN(Nは任意の自然数)個の領域に分割する。図7には、検出範囲250を第1分割領域261、第2分割領域262、第3分割領域263及び第4分割領域264の4つの領域に分割した場合を示す。車輪止め330は、図3に示すように、駐車区画200の短手方向に平行に設けられる。このため、車輪止め検出部156は、区画線検出部152が検出した第1駐車区画線210Aに直交する方向に、検出範囲250を複数に分割する。
車輪止め検出部156は、検出範囲250をN個の分割領域に分割すると、値が「1」のデータが記録された記憶素子の数を分割領域ごとに計数してヒストグラムを作成する。車輪止め検出部156は、作成したヒストグラムに基づいて車輪止め330の位置を検出する。図9~図12に示すヒストグラム351~354の横軸は座標であり、縦軸はカウント数である。
図9に示すヒストグラム351は、第1分割領域261~第4分割領域264のすべての領域でカウント数がしきい値より大きくなった場合を示している。この場合、車輪止め検出部156は、原点(自車両)からの距離が最も近い、第1分割領域261を車輪止め330の位置として検出する。
また、図10に示すヒストグラム352は、第3分割領域263において、値が「1」のデータを記憶した素子の数がしきい値より大きくなっている。車輪止め検出部156は、図10に示す形状のヒストグラム352を生成した場合、カウント数がしきい値より大きい第3分割領域263の位置を、車輪止め330の位置として判定する。
また、図11に示すヒストグラム353は、カウント数がしきい値より大きい分割領域が存在せず、また、カウント数がしきい値より大幅に小さい。この場合、車輪止め検出部156は、駐車区画200の路面を障害物310として検出したと判定し、検出範囲250に車輪止め330は含まれていないと判定する。
また、図12に示すヒストグラム354は、カウント数がしきい値より大きい分割領域と、カウント数がしきい値より小さい分割領域とが混在している。この場合、車輪止め検出部156は、検出範囲250に車輪止め330は含まれないと判定する。
仮駐車枠設定部153は、車輪止め検出部156により車輪止め330が検出された場合、自車両1の後輪が車輪止め330に接する位置を第4仮駐車枠230Dとして算出する。
駐車位置設定部157は、仮駐車枠設定部153が複数の仮駐車枠230を算出した場合、複数の仮駐車枠230のいずれか1つを選択し、選択した仮駐車枠230に基づいて自車両1を駐車させる駐車位置を設定する。
例えば、障害物検出部154により障害物310が検出されず、車輪止め検出部156により車輪止め330が検出されなかった場合、仮駐車枠設定部153により第1仮駐車枠230A又は第2仮駐車枠230Bが算出される。駐車位置設定部157は、仮駐車枠設定部153が算出した第1仮駐車枠230A又は第2仮駐車枠230Bに基づき、自車両1を駐車させる駐車位置を設定する。
また、障害物検出部154により障害物310が検出され、車輪止め検出部156により車輪止め330が検出されなかった場合、仮駐車枠設定部153により第1仮駐車枠230A又は第2仮駐車枠230Bと、第3仮駐車枠230Cとが算出される。この場合、駐車位置設定部157は、第1仮駐車枠230A又は第2仮駐車枠230Bと、第3仮駐車枠230Cとのうち、自車両1からの距離が最も近い仮駐車枠230を選択する。駐車位置設定部157は、選択した仮駐車枠230に基づいて、自車両1を駐車させる駐車位置を設定する。自車両1との距離が遠いほうの仮駐車枠230を選択した場合、自車両1が障害物310に衝突したり、自車両1の車輪が車輪止め330に強く衝突したりする可能性がある。このため、駐車位置設定部157は、自車両1からの距離が最も近い仮駐車枠230を選択する。
また、障害物検出部154により障害物310が検出されず、車輪止め検出部156により車輪止め330が検出された場合、仮駐車枠設定部153により第1仮駐車枠230A又は第2仮駐車枠230Bと、第4仮駐車枠230Dとが算出される。この場合も、駐車位置設定部157は、第1仮駐車枠230A又は第2仮駐車枠230Bと、第4仮駐車枠230Dとのうち、自車両1との距離が最も近い仮駐車枠230を選択する。駐車位置設定部157は、選択した仮駐車枠230に基づいて、自車両1を駐車させる駐車位置を設定する。駐車位置設定部157が自車両1との距離が最も近い仮駐車枠230を選択する理由は、上述の理由と同様である。
また、障害物検出部154により障害物310が検出され、車輪止め検出部156により車輪止め330が検出された場合、仮駐車枠設定部153により第1仮駐車枠230A又は第2仮駐車枠230Bと、第3仮駐車枠230Cと、第4仮駐車枠230Dとが算出される。この場合、駐車位置設定部157は、第1仮駐車枠230A又は第2仮駐車枠230Bと、第3仮駐車枠230Cと、第4仮駐車枠230Dとのうち、自車両1との距離が最も近い仮駐車枠230を選択する。駐車位置設定部157は、選択した仮駐車枠230に基づいて、自車両1を駐車させる駐車位置を設定する。駐車位置設定部157が自車両1との距離が最も近い仮駐車枠230を選択する理由は、上述の理由と同様である。
また、上述した説明では、障害物検出部154が障害物310を検出した場合には仮駐車枠設定部153が第3仮駐車枠230Cを算出し、車輪止め検出部156が車輪止め330を検出した場合には仮駐車枠設定部153が第4仮駐車枠230Dを算出した。
これ以外の動作として、仮駐車枠設定部153が障害物検出部154及び車輪止め検出部156の検出結果に基づいて、第3仮駐車枠230C及び第4仮駐車枠230Dのいずれか一方を算出してもよい。この場合、第3仮駐車枠230Cと、第4仮駐車枠230Dとの間に優先度を設定してもよい。例えば、第4仮駐車枠230Dの優先度を、第3仮駐車枠230Cより高く設定してもよい。この優先度は、車輪止め330が、障害物310との距離を考慮して設置されているという前提に基づいて設定される。仮駐車枠設定部153は、障害物検出部154が障害物310を検出し、車輪止め検出部156が車輪止め330を検出した場合や、障害物検出部154が障害物310を検出できずに、車輪止め検出部156が車輪止め330を検出した場合には、最も優先度の高い第4仮駐車枠230Dを算出する。また、仮駐車枠設定部153は、障害物検出部154が障害物310を検出し、車輪止め検出部156が車輪止め330を検出できなかった場合、優先度が次に高い第3仮駐車枠230Cを算出する。
また、第4仮駐車枠230D及び第3仮駐車枠230Cの優先度を、第1仮駐車枠230A及び第2仮駐車枠230Bの優先度より高く設定してもよい。第3仮駐車枠230Cと第4仮駐車枠230Dとの間には、優先度は設定しない。同様に、第1仮駐車枠230Aと第2仮駐車枠230Bとの間にも優先度は設定しない。
この場合、仮駐車枠設定部153は、障害物検出部154が障害物310を検出した場合、算出済みの第1仮駐車枠230A又は第2仮駐車枠230Bの位置を補正して第3仮駐車枠230Cを算出する。優先度の低い第1仮駐車枠230A又は第2仮駐車枠230Bは使用されないため、第1仮駐車枠230A又は第2仮駐車枠230Bの位置を補正して第3仮駐車枠230Cを算出してもよい。また、仮駐車枠設定部153は、車輪止め検出部156が車輪止め330を検出した場合、算出済みの第1仮駐車枠230A又は第2仮駐車枠230Bの位置を補正して第4仮駐車枠230Dを算出する。そして、仮駐車枠設定部153は、第3仮駐車枠230C及び第4仮駐車枠230Dを算出した場合、第3仮駐車枠230Cと第4仮駐車枠230Dとの位置を比較して、自車両1との距離が近いほうの仮駐車枠230を選択する。
駐車経路算出部158は、現在位置から駐車位置設定部157が設定した駐車位置まで自車両1を移動させる経路である駐車経路を算出する。駐車経路算出部158は、算出した駐車経路を車両制御ユニット70に出力する。車両制御ユニット70は、自車両1が入力された駐車経路に沿って走行するようにエンジンやステアリング、ブレーキ及びトランスミッション等の駆動機構を制御する。
また、制御部110は、撮像部30の撮像画像に、駐車経路算出部158が算出した駐車経路や、駐車位置設定部157が設定した駐車位置を重畳して表示画像を生成し、生成した表示画像をナビゲーション装置50に出力する。ナビゲーション装置50は、入力された表示画像を表示部55に表示させる。また、制御部110は、駐車区画200の全体がリアカメラ37により撮像されるようになったタイミング、例えば、リアカメラ37の撮像画像から車輪止め330や、第1駐車区画線210Aの第1端部221が検出されたタイミングで表示画像を生成し、生成した表示画像をナビゲーション装置50に出力してもよい。また、車輪止め検出部156により車輪止め330が検出された場合、制御部110は、車輪止め330を検出したことを通知する案内をナビゲーション装置50の表示部55に表示させてもよい。
また、他の駐車位置の候補を表示するように指示する操作を、ナビゲーション装置50の操作部(不図示)により受け付けた場合、駐車位置設定部157は、仮駐車枠設定部153により算出済みの他の仮駐車枠230であって、未選択の仮駐車枠230に基づいて駐車位置を設定する。駐車経路算出部158は、設定された駐車位置までの駐車経路を算出する。そして、制御部110は、撮像部30の撮像画像に、駐車経路や駐車位置が重畳された表示画像を生成し、生成した表示画像をナビゲーション装置50に出力してもよい。
図13は、駐車支援装置100の動作を示すフローチャートである。
図13に示すフローチャートを参照しながら駐車支援装置100の動作を説明する。
まず、制御部110は、自車両1が駐車場内に入場したか否かを判定する(ステップS1)。
例えば、制御部110は、ナビゲーション装置50から入力される信号に基づいて自車両1が駐車場内に入場したか否かを判定する。制御部110は、自車両1が駐車場内に入場していない場合(ステップS1/NO)、処理を実行せずに、自車両1が駐車場内に入場したと判定されるまで待機する。
また、制御部110は、自車両1が駐車場内に入場した場合(ステップS1/YES)、リアカメラ37の撮像画像をメモリ130から取得する(ステップS2)。ステップS2は、本発明の「画像取得ステップ」に相当する。制御部110は、取得したリアカメラ37の撮像画像を解析して第1駐車区画線210Aを検出する(ステップS3)。ステップS3は、本発明の「区画線検出ステップ」に相当する。本実施形態では、リアカメラ37の撮像画像から第1駐車区画線210Aを検出する場合について説明するが、フロントカメラ31や左サイドカメラ33、右サイドカメラ35の撮像画像から第1駐車区画線210Aを検出してもよい。制御部110は、撮像画像から駐車区画線210を検出し、検出した駐車区画線210の長さを予め設定された基準長さと比較して、検出した駐車区画線210が第1駐車区画線210Aであるか、第2駐車区画線210Bであるかを判定する。制御部110は、撮像画像から第1駐車区画線210Aを検出できなかった場合(ステップS3/NO)、ステップS2に戻り、次の撮像画像をメモリ130から取得する。次の撮像画像とは、所定のフレームレートで撮像を行うリアカメラ37の撮像画像のうち、撮像順が後の撮像画像である。
また、制御部110は、撮像画像から第1駐車区画線210Aを検出した場合(ステップS3/YES)、検出した第1駐車区画線210Aの両端部を検出したか否かを判定する(ステップS4)。制御部110は、第1駐車区画線210Aの両端部、すなわち、第1駐車区画線210Aの第1端部221を検出できなかった場合(ステップS4/NO)、第2端部222を基準にして第1仮駐車枠230Aを設定する(ステップS5)。また、制御部110は、第1駐車区画線210Aの両端部を検出した場合(ステップS4/YES)、第1端部221を基準にして第2仮駐車枠230Bを設定する(ステップS6)。ステップS5及びS6は、本発明の「仮駐車枠設定ステップ」に相当する。
次に、制御部110は、駐車区画200の短手方向における第1仮駐車枠230A又は第2仮駐車枠230Bの位置を変更する(ステップS7)。具体的には、制御部110は、第1仮駐車枠230A又は第2仮駐車枠230Bの短手方向の中心と、駐車区画200の短手方向の中心とが一致し、第1仮駐車枠230A又は第2仮駐車枠230Bの長手方向と、駐車区画200の長手方向とが平行になるように第1仮駐車枠230A又は第2仮駐車枠230Bの位置を変更する。
次に、制御部110は、ソナー10の検出結果、及び撮像部30の撮像画像を取得する(ステップS8)。制御部110は、取得したソナー10の検出結果、及び撮像画像に基づき、障害物310があるか否かを判定する(ステップS9)。具体的には、制御部110は、ステップS5で算出した第1仮駐車枠230A、又はステップS6で算出した第2仮駐車枠230Bの外であって、第1仮駐車枠230A又は第2仮駐車枠230Bとの距離が設定距離R1以下の範囲に障害物310があるか否かを判定する(ステップS9)。ステップS9は、本発明の「障害物検出ステップ」に相当する。
制御部110は、設定距離R1以内に障害物310を検出できなかった場合(ステップS9/NO)、ステップS11の処理に移行する。また、制御部110は、設定距離R1以内に障害物310を検出した場合(ステップS9/YES)、検出した障害物310との距離が、設定距離R1より値が大きい距離R2となるように第3仮駐車枠230Cを算出する(ステップS10)。ステップS10は、本発明の「仮駐車枠設定ステップ」に相当する。
次に、制御部110は、検出範囲250を設定する(ステップS11)。制御部110は、図8を参照して説明したように、仮駐車枠230の上枠231、左枠233及び右枠234を基準にして検出範囲250を設定する。
次に、制御部110は、設定した検出範囲250で障害物310を検出して障害物マップ300を生成する(ステップS12)。具体的には、制御部110は、ソナー10の検出結果により検出範囲250内に障害物310が検出されると、検出された障害物310の位置に対応する障害物マップ300の記憶素子に記録されたデータの値を「0」から「1」に書き替える。ステップS12は、本発明の「マップ生成ステップ」に相当する。
制御部110は、障害物マップ300を生成すると、検出範囲250を第1分割領域261、第2分割領域262、第3分割領域263及び第4分割領域264の4つの分割領域に分割する(ステップS13)。制御部110は、分割した第1分割領域261~第4分割領域264の各々について、値が「1」に書き替えられた素子の数をカウントし、第1分割領域261~第4分割領域264の領域ごとの素子数を示すヒストグラムを作成する(ステップS14)。
次に、制御部110は、作成したヒストグラムの形状に基づいて、車輪止め330の有無を判定する(ステップS15)。また、制御部110は、車輪止め330があると判定した場合には、その車輪止め330の位置を判定する(ステップS15)。ステップS15は、本発明の「車輪止め検出ステップ」に相当する。制御部110は、車輪止め330を検出できなかった場合(ステップS16/NO)、ステップS18の判定に移行する。また、制御部110は、車輪止め330を検出した場合(ステップS16/YES)、車輪止め330の位置に基づいて第4仮駐車枠230Dを算出する(ステップS17)。ステップS17は、本発明の「仮駐車枠設定ステップ」に相当する。
次に、制御部110は、仮駐車枠230を複数算出したか否かを判定する(ステップS18)。制御部110は、仮駐車枠230を複数算出した場合(ステップS18/YES)、複数算出した仮駐車枠230のいずれか1つを選択する(ステップS19)。例えば、制御部110は、自車両1との距離が最も近い仮駐車枠230を選択する。
制御部110は、仮駐車枠230を選択すると(ステップS19)、又は仮駐車枠230の算出数が1つであった場合(ステップS18/NO)、仮駐車枠230に基づいて駐車位置を設定する(ステップS20)。ステップS20は、本発明の「駐車位置設定ステップ」に相当する。
次に、制御部110は、自車両1を現在位置から駐車位置に移動させる駐車経路を算出する(ステップS21)。制御部110は、算出した駐車経路を示す情報を車両制御ユニット70に出力する(ステップS22)。車両制御ユニット70は、駐車支援装置100から入力される駐車枠に自車両1が駐車するように、エンジンやステアリング、ブレーキ及びトランスミッション等の駆動機構を制御する。
以上説明したように本実施形態の駐車支援装置100は、マップ生成部155、車輪止め検出部156及び駐車位置設定部157を備える。
マップ生成部155は、自車両1に搭載されたソナー10の検出結果に基づき、自車両1の周囲に存在する障害物の位置を示す障害物マップ300を生成し、障害物が存在することを示すデータを障害物マップ300に記録する。
車輪止め検出部156は、マップ生成部155が生成した障害物マップ300を複数の領域に分割して分割した複数の領域のデータ数をそれぞれ計数し、計数した複数の領域の各々のデータ数に基づいて車輪止めの位置を検出する。
駐車位置設定部157は、車輪止め検出部156が検出した車輪止め330の位置に基づき、自車両1を駐車させる駐車位置を設定する。
車輪止め330等の高さが低い障害物310は、自車両1自体の振動の影響を大きく受け、ソナー10による位置の検出精度が低くなる場合がある。また、ソナー10による検出により車輪止め330以外のものを誤って検出してしまう場合もある。そこで、ソナー10の検出結果が記録された障害物マップ300を複数の領域に分割し、分割した各領域におけるデータ数の分布に基づいて車輪止め330の位置を検出する。これにより、振動や誤検知の影響によらず、車輪止め330の位置を精度よく検出することができる。このため、検出した車輪止め330の位置に基づいて駐車位置を設定することで、駐車区画200内の好適な位置に自車両1を駐車させることができる。
また、駐車支援装置100は、画像取得部151と、区画線検出部152とを備える。
画像取得部151は、撮像部30が撮像した撮像画像を取得する。
区画線検出部152は、画像取得部151が取得した撮像画像から駐車区画200を示す駐車区画線210を検出し、検出した駐車区画線210のうち、駐車区画200の長手方向に延伸する第1駐車区画線210Aを特定する。
車輪止め検出部156は、区画線検出部152が特定した第1駐車区画線210Aの延伸方向に直交する方向に、障害物マップ300を複数の領域に分割する。
一般的に、車輪止め330は、駐車区画200の短手方向に平行に設置される。このため、第1駐車区画線210Aの延伸方向に直交する方向に障害物マップ300を複数の領域に分割し、分割した各領域におけるデータ数の分布に基づいて車輪止め330の位置を検出する。これにより、分割した複数の領域のうち、車輪止め330が存在する確率が高い領域を特定することが可能となり、車輪止め330の検出精度を高めることができる。
また、駐車支援装置100は、区画線検出部152が検出した駐車区画線210に基づき、自車両1を駐車させる仮駐車枠230を設定する仮駐車枠設定部153を備える。
車輪止め検出部156は、仮駐車枠設定部153が設定した仮駐車枠230のうち、駐車区画200の短手方向に延伸する上枠231の位置に基づいて障害物マップ300の領域の一部に車輪止めを検出する検出範囲250を設定する。車輪止め検出部156は、設定した検出範囲250を複数の領域に分割し、分割した複数の領域のデータ数をそれぞれ計数して車輪止め330の位置を検出する。
例えば、フラップ板は、駐車区画200の長手方向の中央付近に設置され、車輪止め330は、駐車区画200の長手方向の端部に設置される。このため、仮駐車枠設定部153が設定した仮駐車枠230のうち、駐車区画200の短手方向に延伸する上枠231の位置を基準にして検出範囲250を設定することで、車輪止め330が存在する確率の高い領域に検出範囲250を設定することができる。また、フラップ板が存在する領域を検出範囲250から除外することができるので、車輪止め330の検出精度を高めることができる。
仮駐車枠設定部153は、第1駐車区画線210Aの長手方向の両端部が検出された場合、検出された両端部のうち自車両1との距離が遠い側の第1端部221を基準にして第2仮駐車枠230Bを設定する。また、仮駐車枠設定部153は、第1端部221が検出されなかった場合、自車両1との距離が近い側の第2端部222を基準にして第1仮駐車枠230Aを設定する。
従って、撮像部30の撮像画像から第1駐車区画線210Aの第1端部221が検出できない場合であっても、仮駐車枠230を設定することが可能になる。
また、仮駐車枠設定部153は、車輪止め検出部156が車輪止め330を検出した場合、検出された車輪止めの330位置に基づいて仮駐車枠230の位置を補正する。
また、駐車位置設定部157は、補正した仮駐車枠230に基づいて駐車位置を設定する。
従って、車輪止め検出部156が車輪止め330を検出したか否かにより仮駐車枠230の位置を変更することができる。変更した仮駐車枠230に基づいて駐車位置を設定するので、駐車区画200内の好適な位置に自車両1を駐車させることができる。
また、画像取得部151が取得した撮像画像、及びソナー10の検出結果の少なくとも一方に基づき、障害物310を検出する障害物検出部154を備える。
仮駐車枠設定部153は、設定した仮駐車枠230の外であって、仮駐車枠230との距離が設定距離R1以下の障害物310が検出された場合、検出された障害物310との距離が設定距離R1より大きくなるように仮駐車枠230の位置を補正する。
従って、障害物検出部154が障害物310を検出したか否かにより仮駐車枠230の位置を変更することができる。変更した仮駐車枠230に基づいて駐車位置を設定するので、駐車区画200内の好適な位置に自車両1を駐車させることができる。
上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び、応用が可能である。
例えば、図1には、センサに対応する装置としてソナー10を例示したが、センサはソナーに限定されない。センサは、例えば、ミリ波レーダ、LIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)であってもよい。
また、図1は、本願発明を理解容易にするために、駐車支援装置100の構成を主な処理内容に応じて分類して示した概略図であり、駐車支援装置100の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、本発明の駐車支援方法を、コンピュータを用いて実現する場合、このコンピュータに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD(Hard Disk Drive)、CD-ROM(Compact Disk Read Only Memory)、DVD、Blu-ray(登録商標) Disc、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、駐車支援装置100が備えるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。
また、例えば、図13に示すフローチャートの処理単位は、駐車支援装置100の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。駐車支援装置100の処理は、処理内容に応じて、さらに多くの処理単位に分割してもよい。また、駐車支援装置100の処理は、1つの処理単位がさらに多くの処理を含むように分割してもよい。
車両
5 CANバス
10 ソナー
30 撮像部
31 フロントカメラ
33 左サイドカメラ
35 右サイドカメラ
37 リアカメラ
50 ナビゲーション装置
70 車両制御ユニット
100 駐車支援装置
110 制御部
130 メモリ
131 制御プログラム
150 プロセッサ
151 画像取得部
152 区画線検出部
153 仮駐車枠設定部
154 障害物検出部
155 マップ生成部
156 車輪止め検出部
157 駐車位置設定部
158 駐車経路算出部
200 駐車区画
210 駐車区画線
210A 第1駐車区画線
210B 第2駐車区画線
221 第1端部
222 第2端部
230 駐車枠
250 検出範囲
261 第1分割領域
262 第2分割領域
263 第3分割領域
264 第4分割領域
300 障害物マップ
310 障害物

Claims (8)

  1. 車両の周囲に存在する障害物の位置を示す障害物マップであって、前記車両に搭載されたセンサの検出結果に基づき、前記障害物の位置に対応する前記障害物マップ上の位置に、前記障害物が存在することを示すデータを記録した前記障害物マップを生成するマップ生成部と、
    前記マップ生成部が生成した前記障害物マップを複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数し、計数した前記複数の領域の各々のデータ数に基づいて車輪止めの位置を検出する車輪止め検出部と、
    前記車輪止め検出部が検出した前記車輪止めの位置に基づき、前記車両を駐車させる駐車位置を設定する駐車位置設定部と、
    前記車両の周囲を撮像した画像を取得する画像取得部と、
    前記画像取得部が取得した画像から駐車区画を示す駐車区画線を検出し、検出した前記駐車区画線のうち、前記駐車区画の長手方向に延伸する第1駐車区画線を特定する区画線検出部と、
    前記区画線検出部が検出した前記駐車区画線に基づき、前記車両を駐車させる仮駐車枠を設定する仮駐車枠設定部と、を備え、
    前記車輪止め検出部は、
    前記区画線検出部が特定した前記第1駐車区画線の延伸方向に直交する方向に、前記障害物マップを複数の領域に分割し、
    前記仮駐車枠設定部が設定した前記仮駐車枠のうち、前記駐車区画の短手方向に延伸する枠線の位置に基づいて前記障害物マップの一部の領域に前記車輪止めを検出する検出範囲を設定し、設定した前記検出範囲を前記複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数して前記車輪止めの位置を検出する、ことを特徴とする駐車支援装置。
  2. 前記仮駐車枠設定部は、前記第1駐車区画線の長手方向の両端部を検出した場合、検出した前記両端部のうち前記車両との距離が遠い側の第1端部を基準にして前記仮駐車枠を設定し、
    前記第1端部を検出できなかった場合、前記車両との距離が近い側の第2端部を基準にして前記仮駐車枠を設定する、ことを特徴とする請求項記載の駐車支援装置。
  3. 前記仮駐車枠設定部は、前記車輪止め検出部が前記車輪止めを検出した場合、検出された前記車輪止めの位置に基づいて前記仮駐車枠の位置を補正し、
    前記駐車位置設定部は、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする請求項記載の駐車支援装置。
  4. 前記画像取得部が取得した画像、及び前記センサの検出結果の少なくとも一方に基づき、前記障害物を検出する障害物検出部を備え、
    前記仮駐車枠設定部は、設定した前記仮駐車枠の外であって、前記仮駐車枠との距離が設定距離以下の範囲に障害物が検出された場合、検出された前記障害物との距離が前記設定距離より大きくなるように前記仮駐車枠の位置を補正し、
    前記駐車位置設定部は、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする請求項記載の駐車支援装置。
  5. 駐車支援装置の駐車支援方法であって、前記駐車支援装置が備えるプロセッサが、
    車両の周囲に存在する障害物の位置を示す障害物マップであって、前記車両に搭載されたセンサの検出結果に基づき、前記障害物の位置に対応する前記障害物マップ上の位置に、前記障害物が存在することを示すデータを記録した前記障害物マップを生成するマップ生成ステップと、
    前記マップ生成ステップにより生成された前記障害物マップを複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数し、計数した前記複数の領域の各々のデータ数に基づいて車輪止めの位置を検出する車輪止め検出ステップと、
    前記車輪止め検出ステップにより検出された前記車輪止めの位置に基づき、前記車両を駐車させる駐車位置を設定する駐車位置設定ステップと、
    前記車両の周囲を撮像した画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得した画像から駐車区画を示す駐車区画線を検出し、検出した前記駐車区画線のうち、前記駐車区画の長手方向に延伸する第1駐車区画線を特定する区画線検出ステップと、
    前記区画線検出ステップが検出した前記駐車区画線に基づき、前記車両を駐車させる仮駐車枠を設定する仮駐車枠設定ステップと、実行し、
    前記車輪止め検出ステップは、
    前記区画線検出ステップにより特定した前記第1駐車区画線の延伸方向に直交する方向に、前記障害物マップを複数の領域に分割し、
    前記仮駐車枠設定ステップにより設定された前記仮駐車枠のうち、前記駐車区画の短手方向に延伸する枠線の位置に基づいて前記障害物マップの一部の領域に前記車輪止めを検出する検出範囲を設定し、設定した前記検出範囲を前記複数の領域に分割し、分割した前記複数の領域のデータ数をそれぞれ計数して前記車輪止めの位置を検出する、ことを特徴とする駐車支援方法。
  6. 前記仮駐車枠設定ステップは、前記第1駐車区画線の長手方向の両端部を検出した場合、検出した前記両端部のうち前記車両との距離が遠い側の第1端部を基準にして前記仮駐車枠を設定し、
    前記第1端部を検出できなかった場合、前記車両との距離が近い側の第2端部を基準にして前記仮駐車枠を設定する、ことを特徴とする請求項記載の駐車支援方法。
  7. 前記仮駐車枠設定ステップは、前記車輪止め検出ステップにより記車輪止めが検出された場合、検出された前記車輪止めの位置に基づいて前記仮駐車枠の位置を補正し、
    前記駐車位置設定ステップは、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする請求項記載の駐車支援方法。
  8. 前記画像取得ステップにより取得した画像、及び前記センサの検出結果の少なくとも一方に基づき、前記障害物を検出する障害物検出ステップを有し、
    前記仮駐車枠設定ステップは、設定した前記仮駐車枠の外であって、前記仮駐車枠との距離が設定距離以下の範囲に障害物が検出された場合、検出された前記障害物との距離が前記設定距離より大きくなるように前記仮駐車枠の位置を補正し、
    前記駐車位置設定ステップは、補正した前記仮駐車枠に基づいて前記駐車位置を設定する、ことを特徴とする請求項記載の駐車支援方法。
JP2019122117A 2019-06-28 2019-06-28 駐車支援装置及び駐車支援方法 Active JP7323356B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019122117A JP7323356B2 (ja) 2019-06-28 2019-06-28 駐車支援装置及び駐車支援方法
US16/865,456 US11326898B2 (en) 2019-06-28 2020-05-04 Parking assist apparatus and parking assist method
CN202010573152.6A CN112141084A (zh) 2019-06-28 2020-06-22 停车支援装置及停车支援方法
EP20182347.3A EP3756950A1 (en) 2019-06-28 2020-06-25 Parking assist apparatus and parking assist method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019122117A JP7323356B2 (ja) 2019-06-28 2019-06-28 駐車支援装置及び駐車支援方法

Publications (2)

Publication Number Publication Date
JP2021008177A JP2021008177A (ja) 2021-01-28
JP7323356B2 true JP7323356B2 (ja) 2023-08-08

Family

ID=71170333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019122117A Active JP7323356B2 (ja) 2019-06-28 2019-06-28 駐車支援装置及び駐車支援方法

Country Status (4)

Country Link
US (1) US11326898B2 (ja)
EP (1) EP3756950A1 (ja)
JP (1) JP7323356B2 (ja)
CN (1) CN112141084A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114664096B (zh) * 2022-03-24 2023-04-28 北京四象网讯科技有限公司 停车场的监控视频处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123012A (ja) 2008-11-21 2010-06-03 Suzuki Motor Corp 輪止検出装置及び後方画像表示装置

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561479B2 (ja) * 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4561512B2 (ja) * 2005-07-22 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4432929B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP5169912B2 (ja) * 2009-03-04 2013-03-27 株式会社デンソー 駐車支援装置
JP2010264945A (ja) * 2009-05-18 2010-11-25 Panasonic Corp 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP5617396B2 (ja) * 2010-07-13 2014-11-05 株式会社デンソー 運転支援装置
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
JP5315362B2 (ja) * 2011-01-19 2013-10-16 株式会社ゼンリン 規制情報解析システム
US8761510B2 (en) * 2011-11-19 2014-06-24 Nec Laboratories America, Inc. Object-centric spatial pooling for image classification
JP5802279B2 (ja) * 2011-11-22 2015-10-28 株式会社日立製作所 自律移動システム
KR101305959B1 (ko) * 2011-12-27 2013-09-12 전자부품연구원 템플릿을 이용한 영상 기반 상황 인식 방법 및 이를 위한 장치
US9569675B2 (en) * 2012-07-27 2017-02-14 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
EP2879382B1 (en) * 2012-07-27 2021-10-13 Nissan Motor Co., Ltd. Three-dimensional object detection device and foreign object detection device
FR2994550B1 (fr) * 2012-08-14 2015-07-17 Renault Sa Strategie de parking automatique en creneau
JP5983276B2 (ja) 2012-10-09 2016-08-31 株式会社デンソー 駐車支援装置
JP6094266B2 (ja) * 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
KR101426468B1 (ko) * 2013-05-07 2014-08-05 현대모비스 주식회사 Avm 상에서의 차량의 주차 안내 방법
KR20150022436A (ko) * 2013-08-23 2015-03-04 주식회사 만도 주차 제어 장치, 방법 및 시스템
KR101511992B1 (ko) * 2013-09-06 2015-04-14 현대모비스(주) 조향 휠 제어 방법 및 이를 위한 위한 시스템
KR102131450B1 (ko) * 2013-10-16 2020-07-09 현대모비스 주식회사 주차 보조 장치 및 그 동작 방법
JP6299185B2 (ja) * 2013-11-29 2018-03-28 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP6303453B2 (ja) * 2013-12-02 2018-04-04 株式会社デンソー 駐車支援装置
KR101498976B1 (ko) * 2013-12-19 2015-03-05 현대모비스(주) 차량용 주차지원시스템 및 주차지원방법
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6275006B2 (ja) * 2014-09-12 2018-02-07 アイシン精機株式会社 駐車支援装置
EP3053809B1 (en) * 2015-02-09 2018-04-11 Application Solutions (Electronics and Vision) Limited Parking assistance system
US9916508B2 (en) * 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
JP6496619B2 (ja) * 2015-06-22 2019-04-03 クラリオン株式会社 車両用駐車支援装置
DE102015214743A1 (de) 2015-08-03 2017-02-09 Audi Ag Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
JP6514624B2 (ja) * 2015-11-02 2019-05-15 クラリオン株式会社 障害物検知装置
FR3044800B1 (fr) * 2015-12-07 2018-08-17 Valeo Schalter Und Sensoren Gmbh Dispositif et procede d'assistance a la conduite
EP3392109B1 (en) * 2015-12-17 2020-04-15 Nissan Motor Co., Ltd. Parking support method and device
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
JP2017223461A (ja) * 2016-06-13 2017-12-21 パナソニックIpマネジメント株式会社 レーダ装置および検出方法
JP6614107B2 (ja) * 2016-11-18 2019-12-04 株式会社デンソー 地図データ提供システム
JP2018090108A (ja) * 2016-12-05 2018-06-14 株式会社デンソーテン 駐車支援装置及び駐車支援方法
WO2018159019A1 (ja) * 2017-02-28 2018-09-07 株式会社Jvcケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6700216B2 (ja) * 2017-05-09 2020-05-27 株式会社デンソー 駐車空間検出装置
JP2019012309A (ja) * 2017-06-29 2019-01-24 株式会社デンソーテン 駐車枠検出装置及び駐車枠検出方法
RU2741680C1 (ru) * 2017-07-07 2021-01-28 Ниссан Мотор Ко., Лтд. Способ помощи парковки для устройства управления парковкой и устройство управления парковкой
JP6859906B2 (ja) * 2017-09-06 2021-04-14 トヨタ自動車株式会社 駐車支援装置
DE112019000049T5 (de) * 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
US11137256B2 (en) * 2018-06-29 2021-10-05 Robert Bosch Gmbh Parking area map refinement using occupancy behavior anomaly detector
US10984659B2 (en) * 2018-09-13 2021-04-20 Volvo Car Corporation Vehicle parking availability map systems and methods
JP7065410B2 (ja) * 2018-09-28 2022-05-12 パナソニックIpマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法
US10748033B2 (en) * 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123012A (ja) 2008-11-21 2010-06-03 Suzuki Motor Corp 輪止検出装置及び後方画像表示装置

Also Published As

Publication number Publication date
US11326898B2 (en) 2022-05-10
EP3756950A1 (en) 2020-12-30
CN112141084A (zh) 2020-12-29
US20200408560A1 (en) 2020-12-31
JP2021008177A (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
US10453344B2 (en) Information processing apparatus and non-transitory recording medium
CN111674389B (zh) 停车支援装置及停车支援方法
CN111028534B (zh) 一种泊车位检测方法及装置
US12012095B2 (en) Vehicle and method of controlling the same
US20200130683A1 (en) Collision prediction apparatus and collision prediction method
CN108475471B (zh) 车辆判定装置、车辆判定方法和计算机可读的记录介质
US20210316734A1 (en) Vehicle travel assistance apparatus
CN113297881A (zh) 一种目标检测方法及相关装置
CN114728657A (zh) 车辆控制方法及车辆控制装置
JP7377822B2 (ja) 運転支援方法及び運転支援装置
EP3771620B1 (en) Parking assistance device and control method of parking assistance device
JP7323356B2 (ja) 駐車支援装置及び駐車支援方法
US20230219565A1 (en) Vehicle and method of controlling the same
CN110736991B (zh) 车辆雷达控制装置和方法
JP2008185554A (ja) 車両用経路案内装置
KR20210071454A (ko) 차량 및 제어방법
US11361199B2 (en) Traveling environment recognition apparatus
US11900694B2 (en) Parking assist system
US20240034315A1 (en) Vehicle traveling control apparatus
US20240190419A1 (en) Apparatus and Method for Controlling Vehicle
JP2022181771A (ja) 車両検知装置、車両検知方法および車両検知プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R150 Certificate of patent or registration of utility model

Ref document number: 7323356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150