JP7213279B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP7213279B2
JP7213279B2 JP2021015843A JP2021015843A JP7213279B2 JP 7213279 B2 JP7213279 B2 JP 7213279B2 JP 2021015843 A JP2021015843 A JP 2021015843A JP 2021015843 A JP2021015843 A JP 2021015843A JP 7213279 B2 JP7213279 B2 JP 7213279B2
Authority
JP
Japan
Prior art keywords
vehicle
peripheral information
unit
vehicle detection
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021015843A
Other languages
English (en)
Other versions
JP2022118965A (ja
Inventor
誠 片山
宏和 徳島
修 伊藤
英男 門脇
宏樹 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021015843A priority Critical patent/JP7213279B2/ja
Priority to DE102022101435.5A priority patent/DE102022101435A1/de
Priority to US17/583,200 priority patent/US11772676B2/en
Priority to CN202210100358.6A priority patent/CN114919596A/zh
Publication of JP2022118965A publication Critical patent/JP2022118965A/ja
Application granted granted Critical
Publication of JP7213279B2 publication Critical patent/JP7213279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292Fail-safe or redundant systems, e.g. limp-home or backup systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、運転支援装置に関する。
従来、ミリ波レーダ等のセンサを用いて自車両の後方及び側方を走行する他の車両を検出し、自車両の運転者へ報知する機能が知られている(例えば、特許文献1参照)。
特開2015-130098号公報
しかし、渋滞等によってセンサが他の車両に塞がれる又は自車両のセンサと他の車両のセンサとが一時的に干渉する場合、センサを用いて他の車両の存在を検出する機能は、正常に動作せず、自車両の運転者へ適切な報知ができない可能性がある。
そこで、本発明は、他の車両の存在を検出する機能が一時的に使用できない場合であっても、他の車両の存在を運転者に報知することができる運転支援装置を提供すること目的とする。
本開示の一態様に係る運転支援装置(例えば、後述の運転支援装置11)は、車両(例えば、後述の車両1)の周囲の周辺情報を取得する周辺情報取得部(例えば、後述の周辺情報取得部40)と、前記車両の周囲の撮像画像を取得する撮像画像取得部(例えば、後述のカメラ41)と、前記周辺情報に基づいて前記車両の後方又は側方に存在する他の車両(例えば、後述の他の車両100a~100e)を検出する第1車両検出部(例えば、後述の第1車両検出部201)と、前記第1車両検出部により前記他の車両を検出した場合、前記他の車両の存在を前記車両の運転者に報知する報知制御部(例えば、後述の報知制御部202)と、前記周辺情報に基づいて、前記第1車両検出部により前記他の車両を検出する車両検出機能が正常に動作しているか否かを判定する動作判定部(例えば、後述の動作判定部203)と、前記車両検出機能が正常に動作しないと判定された場合、前記撮像画像に基づいて、前記車両の後方又は側方に存在する前記他の車両を検出する第2車両検出部(例えば、後述の第2車両検出部204)と、を備え、前記報知制御部は、前記第2車両検出部により前記他の車両を検出した場合、前記他の車両の存在を前記車両の運転者に報知する。
また、前記動作判定部は、前記周辺情報及び前記撮像画像に基づいて、前記第1車両検出部の前記他の車両を検出する前記車両検出機能が正常に動作しているか否かを判定する。
また、前記周辺情報取得部は、ミリ波レーダ(例えば、後述のミリ波レーダ43)又はLiDAR(Light Detection and Ranging)(例えば、後述のLiDAR42)を含む。
本発明によれば、他の車両の存在を検出する機能が一時的に使用できない場合であっても、他の車両の存在を運転者に報知することができる運転支援装置を提供することができる。
本実施形態に係る車両の使用状況の一例を示す図である。 本実施形態に係る車両の構成を示すブロック図である。 本実施形態に係る運転支援装置の機能構成を示す図である。 本実施形態に係る運転支援装置の処理を示すフローチャートである。
以下、図面を参照し、本発明の運転支援装置の実施形態について説明する。図1は、本実施形態に係る車両1の使用状況の一例を示す図である。図1に示すように、車両1は、例えば、四輪の乗用車であり、道路Aを走行している。道路Aにおいて、他の車両100a~100eは、車両1の周辺を走行している。
車両1は、車両1の後方及び側方を走行する他の車両を、ミリ波レーダ等によって検出し、検出した他の車両の存在を車両1の運転者へ報知する機能(Blind Spot Information(BSI)機能)を有している。
しかし、渋滞発生時には、車両1と他の車両100a~100eとの車間距離が狭くなるため、車両1のミリ波レーダ等は、他の車両100a~100eによって塞がれる又は他の車両100a~100eのレーダと一時的に干渉する可能性がある。そのような場合、車両1は、他の車両100a~100eの存在を検出する機能を適切に動作できない。本実施形態に係る車両1は、以下に示すように、上記のような状況であっても他の車両の存在を検出する機能を適切に動作させるための機能を有する。
図2は、本実施形態に係る車両1の構成を示すブロック図である。図2は、車両1の概略を平面図と側面図とを組み合わせて示している。車両1は、一例としてセダンタイプの四輪の乗用車である。
車両1は、制御装置2を備える。制御装置2は、車内ネットワークにより通信可能に接続された複数のECU(自動運転ECU20~停止制御ECU29)を含む。各ECUは、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインターフェース等を含むコンピュータとして機能する。記憶デバイス、プロセッサが実行するプログラムやプロセッサが処理に使用するデータ等を格納される。各ECUは、プロセッサ、記憶デバイス及びインターフェース等を複数備えていてもよい。
以下、各自動運転ECU20~停止制御ECU29の機能等について説明する。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態に示すECUよりも細分化する又は統合することが可能である。
自動運転ECU20は、車両1の自動運転に関する制御を実行する。自動運転においては、車両1の操舵と、加減速の少なくともいずれか一方を自動制御する。
操舵ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は、操舵操作をアシストする又は前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転の場合、操舵ECU21は、自動運転ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。
走行支援ECU22及び23は、車両の周囲状況を検知するカメラ41、LIDAR42及びミリ波レーダ43の制御及び検知結果の情報処理を行う。カメラ41は、車両1の前方、側方及び後方を撮像する。本実施形態の場合、カメラ41は、車両1の前部に2つ設けられ、更に側部及び後部に1つずつ設けられる。走行支援ECU22及び23は、カメラ41が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線(白線等)を抽出可能である。
LIDAR42は、Light Detection and Ranging(LIDAR)であり、車両1の周囲の物標を検知し、物標との距離を測距する。本実施形態の場合、LIDAR42は、5つ設けられており、車両1の前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。
ミリ波レーダ43は、車両1の周囲の物標を検知し、物標との距離を測距する。本実施形態の場合、ミリ波レーダ43は、5つ設けられており、車両1の前部中央に1つ、前部各隅部に1つずつ、後部各隅部に1つずつ設けられている。
走行支援ECU22は、車両1の前部の一方のカメラ41と、各LIDAR42の制御及び検知結果の情報処理を行う。走行支援ECU23は、車両1の前部の他方のカメラ41と、各ミリ波レーダ43の制御及び検知結果の情報処理を行う。車両1の周囲状況を検知するECUを二組備えたことで、検知結果の信頼性を向上でき、また、カメラ41、LIDAR42及びミリ波レーダ43といった種類の異なる検知ユニットを備えたことで、車両1の周辺環境の解析を多面的に行うことができる。
位置認識ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御及び検知結果又は通信結果の情報処理を行う。ジャイロセンサ5は、車両1の回転運動を検知する。位置認識ECU24は、ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。
GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報、交通情報等を提供するサーバと無線通信を行い、これらの情報を取得する。位置認識ECU24は、記憶デバイスに構築された地図情報のデータベース24aにアクセス可能であり、位置認識ECU24は、現在地から目的地へのルート探索等を行う。
通信制御ECU25は、車車間通信用の通信装置25aを備える。通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。
駆動制御ECU26は、パワープラント6を制御する。パワープラント6は、車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。駆動制御ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7Dにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御する。そして、駆動制御ECU26は、車速センサ7Cが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両1の運転状態が自動運転の場合、駆動制御ECU26は、自動運転ECU20からの指示に対応してパワープラント6を自動制御し、車両1の加減速を制御する。
車外報知制御ECU27は、方向指示器8(ウィンカー)を含む灯火器(ヘッドライト、テールライト等)を制御する。図1の例の場合、方向指示器8は、車両1の前部、ドアミラー及び後部に設けられている。
車内報知制御ECU28は、入出力装置9の制御を行う。入出力装置9は、運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。入出力装置9は、音声出力装置91と、表示装置92と、入力装置93と、を有する。
音声出力装置91は、運転者に対して音声により情報を報知する。
表示装置92は、運転者に対して画像の表示により情報を報知する。表示装置92は、例えば運転席正面に配置され、インストルメントパネル等を構成する。なお、入出力装置9は、音声の出力及び画像の表示を例示したが、振動や光により情報を報知してもよい。
また、入出力装置9は、音声、表示、振動又は光のうちの複数を組み合わせて情報を報知してもよい。更に、入出力装置9は、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。
入力装置93は、運転者が操作可能な位置に配置され、車両1に対する指示を行うスイッチ群であるが、音声入力装置を含んでもよい。
停止制御ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)等を制御する。ブレーキ装置10は、例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速又は停止させる。
停止制御ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7Eにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、停止制御ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速及び停止を制御する。ブレーキ装置10やパーキングブレーキは、車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、当該パーキングロック機構が、車両1の停止状態を維持するために作動することもできる。
車両1は、車内の状態を検出する車内検出センサ50を更に備える。ここでは、車内検出センサ50として、撮像部としてのカメラや、重量センサ、温度検知センサ等により構成され、その種類は特に限定するものではない。なお、車内検出センサ50は、車両1に設けられた座席ごとに設けられてもよいし、車内全体を俯瞰及び監視可能なように単一の構成にて設けられてもよい。
以下、本実施形態に係る運転支援装置11の処理について説明する。
図3は、本実施形態に係る運転支援装置11の機能構成を示す図である。図3に示すように、運転支援装置11は、上述した車両1の構成要素によって実現される。すなわち、運転支援装置11は、制御装置2と、音声出力装置91と、表示装置92と、周辺情報取得部40と、カメラ(撮像画像取得部)41と、を備える。
制御装置2は、第1車両検出部201と、報知制御部202と、動作判定部203と、第2車両検出部204と、を備える。周辺情報取得部40は、上述したLIDAR42と、ミリ波レーダ43と、を備える。
周辺情報取得部40は、電磁波を用いて車両1の周辺情報を取得する。例えば、周辺情報取得部40は、運転者の視界が届きにくい車両1の後方又は側方における周辺情報を取得する。周辺情報は、例えば、LIDAR42又はミリ波レーダ43によって取得される車両1の周辺のデータである。カメラ41は、上述したように、車両1の周囲の画像を撮像し、撮像画像を取得する。
第1車両検出部201は、周辺情報取得部40によって取得された周辺情報に基づいて、車両1の後方又は側方に存在する他の車両を検出する。
報知制御部202は、第1車両検出部201により他の車両を検出した場合、他の車両の存在を車両1の運転者に報知する。具体的には、報知制御部202は、他の車両の存在を示す情報を表示装置92に表示することによって、車両1の運転者に報知する。また、報知制御部202は、他の車両の存在を示す音声を音声出力装置91から出力することによって、車両1の運転者に報知してもよい。
このように本実施形態に係る車両1は、第1車両検出部201及び報知制御部202によって、車両1の後方及び側方を走行する他の車両を検出し、検出した他の車両の存在を車両1の運転者へ報知する機能(BSI機能)を実現する。
動作判定部203は、周辺情報取得部40によって取得された周辺情報に基づいて、第1車両検出部201により他の車両を検出する車両検出機能が正常に動作しているか否かを判定する。
例えば、渋滞発生時に周辺情報取得部40のLIDAR42又はミリ波レーダ43は、他の車両100a~100eによって塞がれる又は他の車両100a~100eのレーダと一時的に干渉する場合がある。
このような場合、周辺情報取得部40のLIDAR42又はミリ波レーダ43は、電波の送信及び受信を適切に行うことができない。そのため、周辺情報取得部40は、周辺情報を正常に取得することができない。よって、動作判定部203は、周辺情報取得部40が、周辺情報を正常に取得できない場合、車両検出機能が正常に動作していないと判定する。また、動作判定部203は、周辺情報を正常に取得できた場合、車両検出機能が正常に動作していると判定する。
また、動作判定部203は、周辺情報及び撮像画像に基づいて、第1車両検出部201の他の車両を検出する車両検出機能が正常に動作しているか否かを判定してもよい。例えば、周辺情報取得部40のLIDAR42又はミリ波レーダ43は、汚れ、降雪等によって電波が出にくくなっている場合がある。
このような場合、周辺情報取得部40は、周辺情報を正常に取得できない。また、カメラ41によって撮像された撮像画像は、車両1の周辺情報取得部40の周辺に汚れ、降雪等が付着したことを示す画像を含む。
よって、動作判定部203は、周辺情報取得部40が、周辺情報を正常に取得できず、かつ、撮像画像が、周辺情報取得部40の周辺に汚れ等が付着したことを示す画像を含む場合、車両検出機能が正常に動作していないと判定する。
第2車両検出部204は、車両検出機能が正常に動作しないと判定された場合、カメラ41によって撮像された撮像画像に基づいて、車両1の後方又は側方に存在する他の車両を検出する。そして、報知制御部202は、第2車両検出部204により他の車両を検出した場合、他の車両の存在を車両1の運転者に報知する。他の車両の存在を報知する態様は、上述したように音声出力装置91及び表示装置92等を用いることができる。
なお、第2車両検出部204は、車両検出機能が正常に動作しないと判定された場合以外にも、カメラ41によって撮像された撮像画像に基づいて、車両1の後方又は側方に存在する他の車両を検出してもよい。そして、報知制御部202は、第2車両検出部204により他の車両を検出した場合、撮像画像を表示装置92に表示することによって、他の車両の存在を車両1の運転者に報知する。これにより、運転支援装置11は、サイドミラーに代えて、車両1の後方又は側方に存在する他の車両等を運転者に報知することができる。
図4は、本実施形態に係る運転支援装置11の処理を示すフローチャートである。
ステップS1において、周辺情報取得部40は、車両1の周辺情報を取得する。
ステップS2において、カメラ41は、車両1の周囲の撮像画像を取得する。
ステップS3において、動作判定部203は、周辺情報取得部40によって取得された周辺情報に基づいて、第1車両検出部201により他の車両を検出する車両検出機能が正常に動作しているか否かを判定する。車両検出機能が正常に動作している場合(YES)、処理は、ステップS4へ移る。一方、車両検出機能が正常に動作していない場合(NO)、処理は、ステップS6へ移る。
ステップS4において、第1車両検出部201は、ステップS1において周辺情報取得部40によって取得された周辺情報に基づいて、車両1の後方又は側方に存在する他の車両を検出する。
ステップS5において、報知制御部202は、第1車両検出部201により他の車両を検出した場合、他の車両の存在を車両1の運転者に報知する。
ステップS6において、第2車両検出部204は、カメラ41によって撮像された撮像画像に基づいて、車両1の後方又は側方に存在する他の車両を検出する。
ステップS7において、報知制御部202は、第2車両検出部204により他の車両を検出した場合、他の車両の存在を車両1の運転者に報知する。
本実施形態によれば、例えば、以下の効果が奏される。
本実施形態に係る運転支援装置11は、車両1の周囲の周辺情報を取得する周辺情報取得部40と、車両1の周囲の撮像画像を取得するカメラ41と、周辺情報に基づいて車両1の後方又は側方に存在する他の車両を検出する第1車両検出部201と、第1車両検出部201により他の車両を検出した場合、他の車両の存在を車両1の運転者に報知する報知制御部202と、周辺情報に基づいて、第1車両検出部201により他の車両を検出する車両検出機能が正常に動作しているか否かを判定する動作判定部203と、車両検出機能が正常に動作しないと判定された場合、撮像画像に基づいて、車両1の後方又は側方に存在する他の車両を検出する第2車両検出部204と、を備え、報知制御部202は、第2車両検出部204により他の車両を検出した場合、他の車両の存在を車両1の運転者に報知する。
これにより、運転支援装置11は、周辺情報取得部40を用いて他の車両の存在を検出する機能が一時的に使用できない場合であっても、カメラ41による撮像画像を用いて他の車両の存在を運転者に報知することができる。
また、動作判定部203は、周辺情報及び撮像画像に基づいて、第1車両検出部201の他の車両を検出する車両検出機能が正常に動作しているか否かを判定する。これにより、運転支援装置11は、周辺情報と共に、撮像画像を用いて、車両検出機能が正常に動作しているか否かを判定するため、より正確に車両検出機能の動作を判定することができる。
また、運転支援装置11の周辺情報取得部40は、LIDAR42又はミリ波レーダ43を含む。これにより、運転支援装置11は、LIDAR42又はミリ波レーダ43を用いて、車両1の後方及び側方を走行する他の車両を検出し、検出した他の車両の存在を車両1の運転者へ報知する機能を実現することができる。
以上、本発明の実施形態について説明したが、上記の運転支援装置11は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の運転支援装置11により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
以上、本発明の一実施形態について説明したが、本発明はこれに限らない。本発明の趣旨の範囲内で、細部の構成を適宜変更してもよい。
1 車両
11 運転支援装置
40 周辺情報取得部
41 カメラ
201 第1車両検出部
202 報知制御部
203 動作判定部
204 第2車両検出部

Claims (3)

  1. 車両の周囲の周辺情報を取得する周辺情報取得部と、
    前記車両の周囲の撮像画像を取得する撮像画像取得部と、
    前記周辺情報に基づいて前記車両の後方又は側方に存在する他の車両を検出する第1車両検出部と、
    前記第1車両検出部により前記他の車両を検出した場合、前記他の車両の存在を前記車両の運転者に報知する報知制御部と、
    前記周辺情報取得部が前記他の車両によって塞がれる又は前記他の車両の周辺情報取得装置と一時的に干渉することによって前記周辺情報を正常に取得できない場合、前記第1車両検出部により前記他の車両を検出する車両検出機能が正常に動作してないと判定し、前記周辺情報を正常に取得できた場合、前記車両検出機能が正常に動作していると判定する動作判定部と、
    前記車両検出機能が正常に動作しないと判定された場合、前記撮像画像に基づいて、前記車両の後方又は側方に存在する前記他の車両を検出する第2車両検出部と、を備え、
    前記報知制御部は、前記第2車両検出部により前記他の車両を検出した場合、前記他の車両の存在を示す情報を表示装置に表示する又は前記他の車両の存在を示す音声を音声出力装置から出力することによって、前記他の車両の存在を前記車両の運転者に報知する、
    運転支援装置。
  2. 前記動作判定部は、前記周辺情報及び前記撮像画像に基づいて、前記第1車両検出部の前記他の車両を検出する前記車両検出機能が正常に動作しているか否かを判定する、請求項1に記載の運転支援装置。
  3. 前記周辺情報取得部は、ミリ波レーダ又はLiDAR(Light Detection and Ranging)を含む、請求項1又は2に記載の運転支援装置。
JP2021015843A 2021-02-03 2021-02-03 運転支援装置 Active JP7213279B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021015843A JP7213279B2 (ja) 2021-02-03 2021-02-03 運転支援装置
DE102022101435.5A DE102022101435A1 (de) 2021-02-03 2022-01-21 Fahrunterstützungsvorrichtung
US17/583,200 US11772676B2 (en) 2021-02-03 2022-01-25 Driving support device
CN202210100358.6A CN114919596A (zh) 2021-02-03 2022-01-27 驾驶辅助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021015843A JP7213279B2 (ja) 2021-02-03 2021-02-03 運転支援装置

Publications (2)

Publication Number Publication Date
JP2022118965A JP2022118965A (ja) 2022-08-16
JP7213279B2 true JP7213279B2 (ja) 2023-01-26

Family

ID=82402779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021015843A Active JP7213279B2 (ja) 2021-02-03 2021-02-03 運転支援装置

Country Status (4)

Country Link
US (1) US11772676B2 (ja)
JP (1) JP7213279B2 (ja)
CN (1) CN114919596A (ja)
DE (1) DE102022101435A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015148899A (ja) 2014-02-05 2015-08-20 トヨタ自動車株式会社 衝突回避制御装置
US20150304649A1 (en) 2012-12-10 2015-10-22 Robert Bosch Gmbh Device for monitoring a vehicle environment
JP2017165296A (ja) 2016-03-17 2017-09-21 株式会社日立製作所 自動運転制御システム
JP2018146342A (ja) 2017-03-03 2018-09-20 株式会社Soken 付着検知装置
JP2020104547A (ja) 2018-12-26 2020-07-09 株式会社日立製作所 外界センサの故障検出装置、及び、外界センサの故障検出方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3244797B2 (ja) * 1992-09-08 2002-01-07 富士通株式会社 自己故障検知機能付自動車衝突防止レーダ
JP4507976B2 (ja) * 2005-05-11 2010-07-21 トヨタ自動車株式会社 車両用走行制御装置
JP2007072641A (ja) * 2005-09-06 2007-03-22 Equos Research Co Ltd 危険車両検出装置
JP2008250486A (ja) * 2007-03-29 2008-10-16 Nippon Soken Inc 運転支援装置およびプログラム
EP2260322A1 (en) * 2008-03-31 2010-12-15 Valeo Radar Systems, Inc. Automotive radar sensor blockage detection apparatus and method
US9126594B2 (en) * 2012-03-30 2015-09-08 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus
JP6003462B2 (ja) * 2012-09-24 2016-10-05 トヨタ自動車株式会社 走行音を用いた車両検出装置
DE102013206707A1 (de) 2013-04-15 2014-10-16 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
JP6413240B2 (ja) 2014-01-08 2018-10-31 株式会社デンソー 車両制御装置および車両
JP2015162068A (ja) * 2014-02-27 2015-09-07 株式会社デンソー 運転支援装置
DE102015220355A1 (de) 2015-10-20 2017-04-20 Robert Bosch Gmbh Substitution von Sensormessdaten
US10507827B2 (en) * 2017-01-11 2019-12-17 Denso International America, Inc. Vehicle backup assistance system
JP6652091B2 (ja) * 2017-03-10 2020-02-19 オムロン株式会社 運転制御動作支援装置、運転制御動作支援方法及び運転制御動作支援プログラム
KR101947473B1 (ko) * 2017-05-29 2019-04-29 국민대학교산학협력단 후방 차량을 고려한 안전 운전 지원 장치 및 방법
DE102017006260A1 (de) 2017-07-01 2018-01-04 Daimler Ag Verfahren zum Bestimmen von Detektionseigenschaften wenigstens eines Umgebungssensors in einem Fahrzeug und Fahrzeug, eingerichtet zur Durchführung eines solchen Verfahrens
JP6944308B2 (ja) * 2017-08-18 2021-10-06 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御システム、および制御方法
JP6662828B2 (ja) * 2017-09-08 2020-03-11 本田技研工業株式会社 運転支援システム、運転支援装置および運転支援方法
JP6989347B2 (ja) * 2017-10-27 2022-01-05 日本電気通信システム株式会社 車両状態判定装置、車両状態判定システム、車両状態判定方法、及び、車両状態判定プログラム
JP7018330B2 (ja) * 2018-02-15 2022-02-10 本田技研工業株式会社 車両制御装置
JP2019172208A (ja) * 2018-03-29 2019-10-10 パナソニックIpマネジメント株式会社 運転支援装置、自動運転車両、運転支援方法、及び、運転支援プログラム
WO2019193715A1 (ja) * 2018-04-05 2019-10-10 三菱電機株式会社 運転支援装置
JP7059786B2 (ja) * 2018-05-08 2022-04-26 トヨタ自動車株式会社 車外報知装置
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
JP7221669B2 (ja) * 2018-12-04 2023-02-14 株式会社デンソー 駐車支援装置
JP7099357B2 (ja) * 2019-02-20 2022-07-12 トヨタ自動車株式会社 運転支援装置
JP2020152198A (ja) * 2019-03-19 2020-09-24 本田技研工業株式会社 車両制御システム、車両制御方法、及びプログラム
US11603110B2 (en) * 2019-04-18 2023-03-14 Kyndryl, Inc. Addressing vehicle sensor abnormalities
US11340335B2 (en) * 2019-04-22 2022-05-24 Byton North America Corporation Multiple LIDAR processing methods and systems
KR20200142139A (ko) * 2019-06-11 2020-12-22 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
KR102097148B1 (ko) * 2019-08-07 2020-04-03 (주)피엘티 고장 감지 기능을 구비한 차량 과속 경보 장치
JP6838124B2 (ja) * 2019-11-29 2021-03-03 株式会社日立製作所 自動運転制御システム
US11702044B2 (en) * 2020-12-07 2023-07-18 Ford Global Technologies, Llc Vehicle sensor cleaning and cooling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304649A1 (en) 2012-12-10 2015-10-22 Robert Bosch Gmbh Device for monitoring a vehicle environment
JP2015148899A (ja) 2014-02-05 2015-08-20 トヨタ自動車株式会社 衝突回避制御装置
JP2017165296A (ja) 2016-03-17 2017-09-21 株式会社日立製作所 自動運転制御システム
JP2018146342A (ja) 2017-03-03 2018-09-20 株式会社Soken 付着検知装置
JP2020104547A (ja) 2018-12-26 2020-07-09 株式会社日立製作所 外界センサの故障検出装置、及び、外界センサの故障検出方法

Also Published As

Publication number Publication date
JP2022118965A (ja) 2022-08-16
DE102022101435A1 (de) 2022-08-04
US20220242437A1 (en) 2022-08-04
US11772676B2 (en) 2023-10-03
CN114919596A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
JP7156988B2 (ja) 走行制御装置、走行制御方法、およびプログラム
US11787399B2 (en) Vehicle and control apparatus thereof
JP7411706B2 (ja) 運転支援装置
JP7180364B2 (ja) 車両制御装置、車両、及び車両制御方法
US20210300373A1 (en) Vehicle control device, vehicle, vehicle control method, and storage medium
US20210300307A1 (en) Vehicle and control apparatus thereof
US20200384992A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP7213279B2 (ja) 運転支援装置
US20210284157A1 (en) Vehicle following traveling system, vehicle control apparatus, vehicle, and control method
JP7028905B2 (ja) 車両及びその制御装置
JP7138133B2 (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
CN115140062A (zh) 驾驶辅助装置
JP7227284B2 (ja) 運転支援装置
JP7282115B2 (ja) 運転支援装置
JP2022120561A (ja) 運転支援装置
JP7100608B2 (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP2022154276A (ja) 自己診断装置
US20230249716A1 (en) Vehicle, control device and control method therefor
US20230311865A1 (en) Control device
US20240017694A1 (en) Driving assistance device, driving assistance method, vehicle, and storage medium
JP2022121119A (ja) 運転支援装置
JP6596047B2 (ja) 車両制御装置、車両、及び方法
JP2022123474A (ja) 運転支援装置
CN115123279A (zh) 驾驶辅助装置
CN116729367A (zh) 车辆的驾驶辅助***以及驾驶辅助外部装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230116

R150 Certificate of patent or registration of utility model

Ref document number: 7213279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150