JP7408430B2 - 緊急車両待避制御装置及び緊急車両待避制御方法 - Google Patents

緊急車両待避制御装置及び緊急車両待避制御方法 Download PDF

Info

Publication number
JP7408430B2
JP7408430B2 JP2020021161A JP2020021161A JP7408430B2 JP 7408430 B2 JP7408430 B2 JP 7408430B2 JP 2020021161 A JP2020021161 A JP 2020021161A JP 2020021161 A JP2020021161 A JP 2020021161A JP 7408430 B2 JP7408430 B2 JP 7408430B2
Authority
JP
Japan
Prior art keywords
vehicle
emergency vehicle
emergency
recognition unit
evacuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021161A
Other languages
English (en)
Other versions
JP2021128399A (ja
Inventor
正彦 朝倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020021161A priority Critical patent/JP7408430B2/ja
Publication of JP2021128399A publication Critical patent/JP2021128399A/ja
Application granted granted Critical
Publication of JP7408430B2 publication Critical patent/JP7408430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、緊急車両を認識した場合には、自車両を待避させるように待避制御を行う緊急車両待避制御装置及び緊急車両待避制御方法に関する。
下記特許文献1には、音の反射物体の存在を考慮して緊急車両が位置する方向を認識する緊急車両報知システムが開示されている。
特開2015-022453号公報
しかしながら、より高精度に緊急車両の位置を認識できる技術について十分な検討がなされていなかった。
本発明の目的は、より高精度に緊急車両の位置を認識できる緊急車両待避制御装置及び緊急車両待避制御方法を提供することにある。
本発明の第1の態様の緊急車両待避制御装置は、第1の方法で取得された情報、及び、第2の方法で取得された情報に基づき緊急車両を認識する緊急車両認識部と、自車両周辺の他車両を認識する他車両認識部と、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御部と、を有する、緊急車両待避制御装置であって、前記緊急車両認識部は、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、前記緊急車両を認識する。
本発明の第2の態様の緊急車両待避制御装方法は、自車両周辺の他車両を認識する他車両認識ステップと、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、緊急車両を認識する緊急車両認識ステップと、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御ステップと、を有する。
本発明によれば、より高精度に緊急車両の位置を認識できる緊急車両待避制御装置及び緊急車両待避制御方法を提供することができる。
車両を示す模式図である。 車両のブロック図である。 待避制御処理の流れを示すフローチャートである。
〔第1実施形態〕
図1は、本実施形態の車両10を示す模式図である。本実施形態の車両10は、エンジン自動車、ハイブリッド自動車、電気自動車等であり特に限定されない。車両10は、自動運転自動車であって、所定の条件が成立する場合には、乗員の運転操作なしに自動的に運転が行われる。車両10は、本発明の自車両に相当する。
車両10は、車両10の外の音を集音するマイク12a~12dを有している。マイク12aは、主に車両10に対して左前方からの音を集音する。マイク12bは、主に車両10に対して右前方からの音を集音する。マイク12cは、主に車両10に対して左後方からの音を集音する。マイク12dは、主に車両10に対して右後方からの音を集音する。
車両10は、車両10の外を撮影するカメラ14a~14dを有している。カメラ14aは、主に車両10の前方を撮影する。カメラ14bは、主に車両10の左側方を撮影する。カメラ14cは、主に車両10の後方を撮影する。カメラ14dは、主に車両10の右側方を撮影する。車両10は、カメラ14a~14dに加えて、車両10と物体との距離に応じた情報を取得するレーダ、LiDAR、超音波センサ、赤外線センサ等を有していてもよい。
図2は、本実施形態の車両10のブロック図である。車両10は、前述のマイク12a~12d、カメラ14a~14dの他に、通信モジュール16、全球測位衛星システム(以下、GNSS)モジュール18、地図データベース20、駆動制御装置22、制動制御装置24、操舵制御装置26、ディスプレイ28、スピーカ30及び車両制御装置32を有している。
通信モジュール16は、無線通信を行うモジュールであって、他車両と直接通信を行う車車間通信、又は、地上に設置されたサーバや基地局との通信に用いられる。GNSSモジュール18は、車両10の位置情報を取得する。地図データベース20は、地図情報を記憶している。
駆動制御装置22は、車両10の図示しないエンジン、駆動モータ等の駆動装置により発生させる駆動力を制御する。制動制御装置24は、車両10の図示しない液圧ブレーキ、回生ブレーキ等の制動装置による制動力を制御する。操舵制御装置26は、車両10の図示しない操舵輪の操舵量を制御する。
ディスプレイ28は、車両10の乗員に映像等により情報を提供する。スピーカ30は、車両10の乗員に音声等により情報を提供する。
車両制御装置32は、演算処理装置34及びストレージ36を有している。車両制御装置32は、本発明の緊急車両待避制御装置に相当する。演算処理装置34は、図示しないCPU等のプロセッサ、RAM、ROM等の記録媒体を有している。ストレージ36は、非一時的な有形のコンピュータ可読記録媒体である。
演算処理装置34は、緊急車両認識部38、他車両認識部40、走行制御部42及び待避制御部44を有している。
緊急車両認識部38は、カメラ14a~14dにより取得された画像情報、又は、マイク12a~12dにより取得された音情報に基づき緊急車両を認識する。緊急車両認識部38は、カメラ14a~14dにより取得された画像情報から緊急車両の画像が取得された場合に緊急車両の存在を認識する。また、緊急車両認識部38は、マイク12a~12dにより取得された音情報から緊急車両のサイレンが取得された場合に緊急車両の存在を認識する。
他車両認識部40は、車両10の周囲の他車両と通信モジュール16を介して車車間通信を行い、車両10の周囲の他車両の存在を認識する。他車両認識部40は、地上のサーバと通信モジュール16を介して通信を行い渋滞情報を取得し、渋滞情報に基づいて車両10の周囲の他車両の存在を認識するようにしてもよい。
走行制御部42は、駆動制御装置22、制動制御装置24及び操舵制御装置26を介して、車両10を設定された目的地に向かって走行させるように自動運転を行う走行制御を実施する。
待避制御部44は、緊急車両認識部38により緊急車両の存在が認識された場合には、走行制御を中断し、待避制御を実施する。待避制御では、駆動制御装置22、制動制御装置24及び操舵制御装置26を介して、車両10が待避動作を取るように自動運転が行われる。待避動作とは、例えば、車両10を道路の端に移動させるとともに停止させる動作である。また、待避動作とは、例えば、交差点において車両10の走行車線の信号が青信号(交差点内への進入を許可する信号)であっても、車両10を交差点の手前で停止させる動作である。
緊急車両認識部38、他車両認識部40、走行制御部42及び待避制御部44は、ストレージ36に記憶されているプログラムがプロセッサにおいて実行されることにより実現される。
[待避制御処理]
図3は、演算処理装置34において実行される待避制御処理の流れを示すフローチャートである。
ステップS1において、緊急車両認識部38は、他車両認識部40が認識した他車両の情報に基づき、車両10に対して所定距離未満の範囲に位置する他車両の台数を取得して、ステップS2へ移行する。他車両認識部40が、渋滞情報に基づき車両10の周囲の他車両の存在を認識する場合には、緊急車両認識部38は、車両10が走行中の道路の車線数等に基づいて、車両10に対して所定距離未満の範囲に位置する他車両の台数を推定するようにしてもよい。
ステップS2において、緊急車両認識部38は、車両10に対して所定距離未満の範囲に位置する他車両の台数が所定台数未満であるか否かを判定する。他車両の台数が所定台数未満である場合にはステップS3へ移行し、他車両の台数が所定台数以上である場合にはステップS4へ移行する。
ステップS3において、緊急車両認識部38は、カメラ14a~14dから画像情報を取得して、ステップS5へ移行する。
ステップS4において、緊急車両認識部38は、マイク12a~12dから音情報を取得して、ステップS5へ移行する。
ステップS5において、緊急車両認識部38は、取得した画像情報又は音情報に基づき緊急車両の存在を認識したか否かを判定する。緊急車両の存在を認識した場合にはステップS6へ移行し、緊急車両の存在を認識しない場合には待避制御処理を終了する。
ステップS6において、緊急車両認識部38は、音情報に基づいて緊急車両の存在を認識したか否かを判定する。音情報に基づいて緊急車両の存在を認識した場合にはステップS7へ移行し、画像情報に基づいて緊急車両の存在を認識した場合にはステップS9へ移行する。
ステップS7において、緊急車両認識部38は、車両10に対して緊急車両が位置する方向を取得して、ステップS8へ移行する。緊急車両が位置する方向は、各マイク12a~12dにより集音された緊急車両のサイレンの音量に基づいて取得することができる。
ステップS8において、緊急車両認識部38は、カメラ14a~14dのうち、車両10に対して緊急車両が位置する方向を撮影する1台の画像情報に基づく緊急車両の認識精度を高精度化して、ステップS9へ移行する。
緊急車両の認識精度の高精度化は、例えば、カメラ14a~14dのうち、車両10に対して緊急車両が位置する方向を撮影する1台が撮影する画像に対して緊急車両の認識処理を行うようにすることで実現される。カメラ14a~14dのそれぞれが撮影した画像に対して緊急車両の認識処理が行われるのに比べて、カメラ14a~14dのうち1台が撮影した画像に対して緊急車両の認識処理が行われる方が、認識処理の回数を増やすことができるため、緊急車両の認識精度を高精度化することができる。
また、緊急車両の認識精度の高精度化は、例えば、カメラ14a~14dが撮影した画像に対する緊急車両の認識処理を、高精度なものに変更することで実現してもよい。さらに、緊急車両の認識精度の高精度化は、例えば、カメラ14a~14dの設定を変更し、カメラ14a~14dが撮影する画像を、高画質なものに変更することで実現してもよい。またさらに、緊急車両の認識精度を高精度化は、例えば、カメラ14a~14dでズーム撮影することにより、カメラ14a~14dの撮影範囲内の画像を高画質なものに変更することで実現してもよい。また、カメラ14a~14dのそれぞれが、複数のカメラから成る場合、緊急車両の認識精度の高精度化は、例えば、高画質画像を撮影できるカメラが撮影した画像に対して緊急車両の認識処理を行うようにすることで実現される。
ステップS9において、走行制御部42は走行制御を中断し、待避制御部44は待避制御を行う。緊急車両が車両10から遠ざかり、緊急車両認識部38によって緊急車両が認識されなくなると、待避制御を終了し、走行制御に復帰する。
[作用効果]
車両10の周囲に他車両が密集している場合には、緊急車両が車両10の近くに存在しても、カメラ14a~14dにより緊急車両の画像が取得できない。そのため、緊急車両認識部38は、カメラ14a~14dが撮影した画像情報に基づいて、緊急車両の存在を認識することができない。
そこで、本実施形態では、車両10に対して所定距離未満の範囲に位置する他車両の台数が所定台数以上であるときには、緊急車両認識部38は、マイク12a~12dにより集音された音情報に基づき緊急車両を認識する。また、車両10に対して所定距離以下の範囲に位置する他車両の台数が所定台数未満であるときには、緊急車両認識部38は、カメラ14a~14dにより撮影された画像情報に基づき緊急車両を認識する。これにより、車両10の周囲の他車両の台数に応じて、緊急車両を認識するために用いられる情報の取得方法を適切に選択することができる。そのため、緊急車両の認識精度を向上させることができる。
また、緊急車両認識部38がマイク12a~12dにより集音された音情報に基づき緊急車両を認識した場合には、車両10に対して緊急車両が位置する方向を撮影するカメラ14a~14dの画像情報に基づく緊急車両の認識精度を高精度化する。これにより、カメラ14a~14dの撮影範囲に緊急車両が入ったときに、画像情報に基づく緊急車両の認識を高速で行うことができる。
〔第2実施形態〕
本実施形態の車両10の構成は、第1実施形態の車両10の構成と同じであるが、本実施形態の待避制御部44により行われる待避制御の内容が、第1実施形態の待避制御部44により行われる待避制御の内容と相違する。
第1実施形態では、待避制御部44は、車両10に待避動作を取らせるように自動運転を行う待避制御を実施する。これに対して、本実施形態では、待避制御部44は、待避制御として、車両10の乗員に車両10の待避動作を促す報知を行う映像等を表示させるようにディスプレイ28を制御する。また、本実施形態では、待避制御部44は、待避制御として、車両10の乗員に車両10の待避動作を促す報知を行う音声等を出力するようにスピーカ30を制御する。
報知が行われた後に、走行制御部42による走行制御を終了し、車両10の乗員による手動運転に切り替えられるようにしてもよい。また、本実施形態の待避制御部44は、自動運転機能を有しない車両10にも適用することができる。
〔実施形態から得られる技術的思想〕
上記実施形態から把握しうる技術的思想について、以下に記載する。
第1の方法で取得された情報、及び、第2の方法で取得された情報に基づき緊急車両を認識する緊急車両認識部(38)と、自車両(10)周辺の他車両を認識する他車両認識部(40)と、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御部(44)と、を有する、緊急車両待避制御装置(32)であって、前記緊急車両認識部は、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、前記緊急車両を認識する。
上記の緊急車両待避制御装置であって、前記第1の方法は、前記自車両の外部を撮影するカメラ(14a~14d)により画像情報を取得する方法であり、前記第2の方法は、前記自車両の外部の音を集音するマイク(12a~12d)により音情報を取得する方法であり、前記自車両に対して所定距離以下の範囲に位置する前記他車両の台数が所定台数未満であるときには、前記緊急車両認識部は、前記第1の方法で取得された画像情報に基づき前記緊急車両を認識してもよい。
上記の緊急車両待避制御装置であって、前記第1の方法は、前記自車両の外部を撮影するカメラにより画像情報を取得する方法であり、前記第2の方法は、前記自車両の外部の音を集音するマイクにより音情報を取得する方法であり、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数が所定台数以上であるときには、前記緊急車両認識部は、前記第2の方法で取得された音情報に基づき前記緊急車両を認識してもよい。
上記の緊急車両待避制御装置であって、前記緊急車両認識部は、前記第2の方法により取得された情報に基づき、前記自車両に対して前記緊急車両が位置する方向を推定し、推定された前記緊急車両が位置する方向を撮影した画像情報を使用し前記緊急車両の認識精度を高精度に認識できるように設定してもよい。
緊急車両待避制御方法は、自車両周辺の他車両を認識する他車両認識ステップと、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、緊急車両を認識する緊急車両認識ステップと、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御ステップと、を有する。
10…車両(自車両) 12a~12d…マイク
14a~14d…カメラ 32…車両制御装置(緊急車両待避制御装置)
38…緊急車両認識部 40…他車両認識部
44…待避制御部

Claims (4)

  1. 自車両の外部を撮影するカメラにより取得された画像情報、及び、前記自車両の外部の音を集音するマイクにより取得された音情報に基づき緊急車両を認識する緊急車両認識部と、
    自車両周辺の他車両を認識する他車両認識部と、
    前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御部と、
    を有する、緊急車両待避制御装置であって、
    前記自車両に対して所定距離以下の範囲に位置する前記他車両の台数が所定台数未満であるときには、前記緊急車両認識部は、前記画像報を用いて前記緊急車両を認識し、
    前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数が所定台数以上であるときには、前記緊急車両認識部は、前記音情報を用いて前記緊急車両を認識する、緊急車両待避制御装置。
  2. 第1の方法で取得された情報、及び、第2の方法で取得された情報に基づき緊急車両を認識する緊急車両認識部と、
    自車両周辺の他車両を認識する他車両認識部と、
    前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御部と、
    を有する、緊急車両待避制御装置であって、
    前記第1の方法は、前記自車両の外部を撮影するカメラにより画像情報を取得する方法であり、
    前記第2の方法は、前記自車両の外部の音を集音するマイクにより音情報を取得する方法であり、
    前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数が所定台数以上であるときには、前記緊急車両認識部は、前記音情報を用いて前記緊急車両を認識し、
    前記緊急車両認識部は、前記音情報に基づき、前記自車両に対して前記緊急車両が位置する方向を推定し、推定された前記緊急車両が位置する方向を撮影した前記画像情報を使用し前記緊急車両の認識精度を高精度に認識できるように設定する、緊急車両待避制御装置。
  3. 車両制御装置の他車両認識部が自車両周辺の他車両を認識する他車両認識ステップと、
    前記自車両に対して所定距離以下の範囲に位置する前記他車両の台数が所定台数未満であるときには、前記車両制御装置の緊急車両認識部が、前記自車両の外部を撮影するカメラにより取得された画像情報を用いて緊急車両を認識し、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数が所定台数以上であるときには、前記緊急車両認識部が、前記自車両の外部の音を集音するマイクにより取得された音情報を用いて前記緊急車両を認識する緊急車両認識ステップと、
    前記緊急車両認識部が前記緊急車両を認識した場合には、前記車両制御装置の待避制御部が、前記自車両を待避させるように待避制御を行う待避制御ステップと、
    を有する、緊急車両待避制御方法。
  4. 車両制御装置の他車両認識部が自車両周辺の他車両を認識する他車両認識ステップと、
    前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数が所定台数以上であるときには、前記車両制御装置の緊急車両認識部が、前記自車両の外部の音を集音するマイクにより取得された音情報に基づき緊急車両を認識し、前記音情報に基づき、前記自車両に対して前記緊急車両が位置する方向を推定し、推定された前記緊急車両が位置する方向を撮影した画像情報を使用し前記緊急車両の認識精度を高精度に認識できるように設定する緊急車両認識ステップと、
    前記緊急車両認識部が前記緊急車両を認識した場合には、前記車両制御装置の待避制御部が、前記自車両を待避させるように待避制御を行う待避制御ステップと、
    を有する、緊急車両待避制御方法。
JP2020021161A 2020-02-12 2020-02-12 緊急車両待避制御装置及び緊急車両待避制御方法 Active JP7408430B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020021161A JP7408430B2 (ja) 2020-02-12 2020-02-12 緊急車両待避制御装置及び緊急車両待避制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021161A JP7408430B2 (ja) 2020-02-12 2020-02-12 緊急車両待避制御装置及び緊急車両待避制御方法

Publications (2)

Publication Number Publication Date
JP2021128399A JP2021128399A (ja) 2021-09-02
JP7408430B2 true JP7408430B2 (ja) 2024-01-05

Family

ID=77488556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021161A Active JP7408430B2 (ja) 2020-02-12 2020-02-12 緊急車両待避制御装置及び緊急車両待避制御方法

Country Status (1)

Country Link
JP (1) JP7408430B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170910A1 (ja) * 2022-03-11 2023-09-14 日立Astemo株式会社 外界認識装置、および、外界認識方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015022453A (ja) 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
JP2019156144A (ja) 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015022453A (ja) 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
JP2019156144A (ja) 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Also Published As

Publication number Publication date
JP2021128399A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、***作车辆及记录程序的记录介质
JP7047767B2 (ja) 画像処理装置と画像処理方法
US10704957B2 (en) Imaging device and imaging method
JP6816768B2 (ja) 画像処理装置と画像処理方法
JP6816769B2 (ja) 画像処理装置と画像処理方法
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP7408430B2 (ja) 緊急車両待避制御装置及び緊急車両待避制御方法
JP7055827B2 (ja) 緊急車両待避制御装置及び緊急車両待避制御方法
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2024024148A1 (ja) 車載監視装置、情報処理装置および車載監視システム
US20210245741A1 (en) Emergency vehicle avoidance control apparatus and emergency vehicle avoidance control method
JP2021018636A (ja) 車両遠隔指示システム
KR20200002515A (ko) 영상을 이용한 사고 유무 판단 방법 및 장치
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
JP7351761B2 (ja) 緊急車両推定装置及び緊急車両推定方法
JP2022026858A (ja) 外界認識システム、および、外界認識方法
JP7408429B2 (ja) 緊急車両待避制御装置及び緊急車両待避制御方法
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022123419A (ja) 情報記録装置、情報記録方法、およびプログラム
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
JP2022123421A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231220

R150 Certificate of patent or registration of utility model

Ref document number: 7408430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150