JP7380614B2 - 自動運転システム、自動運転方法、及び自動運転プログラム - Google Patents

自動運転システム、自動運転方法、及び自動運転プログラム Download PDF

Info

Publication number
JP7380614B2
JP7380614B2 JP2021029263A JP2021029263A JP7380614B2 JP 7380614 B2 JP7380614 B2 JP 7380614B2 JP 2021029263 A JP2021029263 A JP 2021029263A JP 2021029263 A JP2021029263 A JP 2021029263A JP 7380614 B2 JP7380614 B2 JP 7380614B2
Authority
JP
Japan
Prior art keywords
obstacle
automatic driving
distribution
recognition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021029263A
Other languages
English (en)
Other versions
JP2022130209A5 (ja
JP2022130209A (ja
Inventor
秀明 三澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2021029263A priority Critical patent/JP7380614B2/ja
Priority to PCT/JP2022/006780 priority patent/WO2022181502A1/ja
Publication of JP2022130209A publication Critical patent/JP2022130209A/ja
Publication of JP2022130209A5 publication Critical patent/JP2022130209A5/ja
Priority to US18/455,489 priority patent/US20230401870A1/en
Application granted granted Critical
Publication of JP7380614B2 publication Critical patent/JP7380614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本開示は、自動運転システム、自動運転方法、及び自動運転プログラムに関する。
自動運転システムでは、自動運転車両が走行する路面側に設置されたカメラから、自動運転車両を含む所定領域を撮影した画像データを取得し、取得した画像データに基づいて、自動運転走行中に、歩行者、駐車車両等の障害物を認識することが行われる。
例えば、特許文献１には、自動運転走行する際に、路面側に設置されたカメラから得られた画像データに基づいて、制御対象車両を障害物として誤認識することを抑制する走行支援制御装置が記載されている。この走行支援制御装置は、自動運転走行が可能な制御対象車両を含む所定領域を撮像して画像情報を取得する、制御対象車両以外に配置された少なくとも１つのカメラと、カメラにより取得された画像情報に基づき、所定領域内での制御対象車両の自動運転走行を支援する走行支援部と、カメラにより取得された画像情報に基づき、制御対象車両の位置を把握する位置把握部と、位置把握部により把握された制御対象車両の位置に基づき、カメラにより取得された画像情報から少なくとも制御対象車両領域を除外する制御対象車両領域除外部と、を備える。この走行支援部は、制御対象車両領域除外部により制御対象車両領域が除外された所定領域内での障害物を認識しながら制御対象車両の自動運転走行の支援を行う。
特開２０１６－５７６７７号公報
ところで、上記特許文献１に記載の技術では、障害物の認識精度が低下してくると、障害物の誤認識（つまり、実際には障害物ではないのに障害物として誤って認識してしまう。）が発生する場合がある。障害物の誤認識が発生すると、自動運転車両は、例えば、障害物の手前で停止する、障害物を回避する、等の行動をとらなくてはならず、走行に支障が出る。
本開示は、自動運転車両の外部環境における特定の場所に設置された撮影装置の画像データに基づく障害物の誤認識を抑制することができる自動運転システム、自動運転方法、及び自動運転プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１態様に係る自動運転システムは、自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部と、前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部と、前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部と、を備えている。
本開示の第２態様に係る自動運転方法は、自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識し、過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成し、前記作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する。
本開示の第３態様に係る自動運転プログラムは、コンピュータを、自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部、前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部、及び、前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部、として機能させる。
開示の技術によれば、自動運転車両の外部環境における特定の場所に設置された撮影装置の画像データに基づく障害物の誤認識を抑制することができる、という効果を有する。
第１の実施形態に係る自動運転システムの構成の一例を示す図である。 第１の実施形態に係るインフラカメラ及び自動運転制御装置の機能的な構成の一例を示すブロック図である。 実施形態に係る滞留時間分布作成処理の説明に供する図である。 第１の実施形態に係る誤認識判定処理の説明に供する図である。 第１の実施形態に係る特徴量分布作成フェーズ、異常検出フェーズ、及びデータ収集・学習フェーズの説明に供する図である。 第１の実施形態に係る自動運転プログラムによる特徴量分布作成処理の流れの一例を示すフローチャートである。 第１の実施形態に係る自動運転プログラムによる異常検出処理及びデータ収集・学習処理の流れの一例を示すフローチャートである。 第２の実施形態に係るインフラカメラ、自動運転制御装置、及び車載装置の機能的な構成の一例を示すブロック図である。 第２の実施形態に係る誤認識判定処理の説明に供する図である。 第２の実施形態に係る自動運転プログラムによる特徴量分布作成処理の流れの一例を示すフローチャートである。 第２の実施形態に係る自動運転プログラムによる異常検出処理及び車両通知処理の流れの一例を示すフローチャートである。 第３の実施形態に係るインフラカメラ及び自動運転制御装置の機能的な構成の一例を示すブロック図である。 第４の実施形態に係るインフラカメラ、自動運転制御装置、及び車載装置の機能的な構成の一例を示すブロック図である。
以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。
[第１の実施形態]
図１は、第１の実施形態に係る自動運転システム１００の構成の一例を示す図である。
図１に示すように、本実施形態に係る自動運転システム１００は、自動運転車両に搭載された車載装置１０と、自動運転支援センタに設けられた自動運転制御装置２０と、自動運転車両の外部環境における特定の場所に設置されたカメラ（以下、「インフラカメラ」という。）３０と、を備えている。ここでいう特定の場所は、例えば、道路等の公共の場所を含む。インフラカメラ３０は、道路の周辺にある電柱、街灯等の設備を利用して設置されてもよい。
自動運転制御装置２０は、自動運転支援センタによる管理対象領域内の自動運転車両に対して遠隔支援を行う。なお、本実施形態では、自動運転車両として自家用の乗用車を例示して説明するが、例えば、トラック、バス、タクシー等の他の車両に適用してもよい。また、自動運転車両は、車両の制御や非常時に車両の制御を代替するために乗車する有人の場合も含む。さらに、車両の操舵の一部が自動で行われる車両も含む。
車載装置１０及び自動運転制御装置２０は、ネットワークＮを介して通信可能に接続されている。ネットワークＮには、一例として、インターネット、ＷＡＮ（Wide Area Network）等が適用される。また、インフラカメラ３０及び自動運転制御装置２０は、ネットワークＮを介して通信可能に接続されている。また、インフラカメラ３０及びインフラカメラ３０の周辺を走行する自動運転車両の車載装置１０は、ネットワークＮを介して通信可能に接続される。
自動運転車両は、所定の条件下において運転者の操作によらず自動走行が可能な車両である。自動運転車両は、走行中に路上駐車、渋滞、工事等の何らかの事象が発生すると、追い越し又は待機という動作を行う。自動運転車両は、異常発生時等のように状況に応じて自動運転支援センタによって走行支援が行われる。
車載装置１０は、住所又は緯度経度等の目的地の情報に基づいて、目的地までの走行ルートを含む走行計画を生成する機能、及び、自車両の自動運転を制御する機能を備えている。車載装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、表示部１３と、記憶部１４と、センサ群１５と、カメラ１６と、通信部１７と、を備えている。
ＣＰＵ１１は、プロセッサの一例である。ここでいうプロセッサとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。メモリ１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。
表示部１３には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１３は、タッチパネルを一体的に有していてもよい。
記憶部１４には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、自動運転の制御を行うための制御プログラム（図示省略）が記憶されている。
センサ群１５は、自車両の周囲の状況を把握するための各種のセンサにより構成されている。センサ群１５は、車両外部の所定範囲に探査波を送信するミリ波レーダと、少なくとも車両前方の所定範囲をスキャンするＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）と、を含んでいる。また、センサ群１５には、自車両に搭載されるＧＮＳＳ（Global Navigation Satellite System）受信機が含まれていてもよい。このＧＮＳＳ受信機により、自車両の現在位置及び現在時刻等の情報が取得される。
カメラ１６は、自車両の所定方向の所定範囲を撮影する。具体的に、カメラ１６は、自車両の全周囲に設けられており、自車両の全周囲領域を撮影する。カメラ１６は、１台でもよいが、より多くの情報を得るために複数個所に複数台設けられていてもよい。
通信部１７は、インターネット、ＷＡＮ等のネットワークＮに接続し、自動運転制御装置２０と通信を行うための通信インターフェースである。
なお、車載装置１０は、自動運転に必要な走行装置（図示省略）と接続されており、この走行装置を制御することで自動運転を行う。この走行装置には、一例として、電動パワーステアリング、電子制御ブレーキ、電子制御スロットル等が含まれる。
車載装置１０は、自車両の走行計画に従って自動運転するように自車両の駆動、操舵、及び制動を制御することで自動運転を行う。なお、自動運転の方法自体には、様々な公知の方法が存在し、本実施形態では特に限定されるものではない。
また、インフラカメラ３０は、撮影装置の一例である。インフラカメラ３０は、例えば、自動運転車両が走行する道路側に設けられており、自動運転車両が走行する道路を含む所定領域を監視するカメラとして機能する。インフラカメラ３０は、ＣＰＵ３１と、メモリ３２と、通信部３３と、記憶部３４と、センサ群３５と、カメラ３６と、を備えている。
ＣＰＵ３１は、プロセッサの一例である。ここでいうプロセッサとは、上述したように、広義的なプロセッサを指し、汎用的なプロセッサや、専用のプロセッサを含むものである。メモリ３２は、ＲＯＭ、ＲＡＭ等により構成されている。
通信部３３は、インターネット、ＷＡＮ等のネットワークＮに接続し、自動運転制御装置２０と通信を行うための通信インターフェースである。
記憶部３４には、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部３４には、インフラカメラ３０の動作の制御を行うための制御プログラム（図示省略）が記憶されている。
センサ群３５は、インフラカメラ３０の周囲の状況を把握するための各種のセンサにより構成されている。センサ群３５は、例えば、少なくともカメラ前方の所定範囲をスキャンするＬＩＤＡＲ等を含んでいる。
カメラ３６は、自動運転車両が走行する道路を含む所定領域を撮影して時系列の画像データ（動画像データ）を取得するカメラである。カメラ３６は、１台でもよいし、複数台設けられていてもよい。
一方、自動運転制御装置２０は、自動運転車両の車載装置１０と定期的に通信することにより自動運転車両の車両状態を監視する。また、自動運転制御装置２０は、インフラカメラ３０と定期的に通信することにより障害物の状態を監視する。自動運転制御装置２０には、一例として、サーバコンピュータ、パーソナルコンピュータ（ＰＣ：Personal Computer）等の汎用的なコンピュータ装置が適用される。自動運転制御装置２０は、ＣＰＵ２１と、メモリ２２と、操作部２３と、表示部２４と、記憶部２５と、通信部２６と、を備えている。
ＣＰＵ２１は、プロセッサの一例である。ここでいうプロセッサとは、上述したように、広義的なプロセッサを指し、汎用的なプロセッサや、専用のプロセッサを含むものである。メモリ２２は、ＲＯＭ、ＲＡＭ等により構成されている。
操作部２３は、自動運転制御装置２０への操作入力を受け付けるためのインターフェースとして構成されている。表示部２４には、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ等が用いられる。表示部２４は、タッチパネルを一体的に有していてもよい。
記憶部２５には、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部２５には、本実施形態に係る自動運転プログラム２５Ａが記憶されている。自動運転プログラム２５Ａは、例えば、自動運転制御装置２０に予めインストールされていてもよい。自動運転プログラム２５Ａは、不揮発性の非遷移的（non-transitory）記録媒体に記憶して、又はネットワークＮを介して配布して、自動運転制御装置２０に適宜インストールすることで実現してもよい。なお、不揮発性の非遷移的記録媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。
通信部２６は、インターネット、ＷＡＮ等のネットワークＮに接続し、車載装置１０及びインフラカメラ３０の各々と通信を行うための通信インターフェースである。
ところで、上述したように、障害物の認識精度が低下してくると、障害物の誤認識が発生し、自動運転車両の走行に支障が出る場合がある。
このため、本実施形態に係るインフラカメラ３０のＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図２に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０のＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図２に示す各部として機能する。
図２は、第１の実施形態に係るインフラカメラ３０及び自動運転制御装置２０の機能的な構成の一例を示すブロック図である。
本実施形態では、インフラカメラ３０に認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布が用いられる。
図２に示すように、本実施形態に係るインフラカメラ３０のＣＰＵ３１は、動作制御部３１Ａ、認識部３１Ｂ、データ送信部３１Ｃ、及びデータ受信部３１Ｄとして機能する。
動作制御部３１Ａは、センサ群３５及びカメラ３６の各々の動作を制御する。動作制御部３１Ａは、センサ群３５から取得された時系列のセンサデータを記憶部３４に蓄積し、カメラ３６によって撮影して得られた時系列の画像データを記憶部３４に蓄積する。
認識部３１Ｂは、カメラ３６によって撮影して得られた時系列の画像データ、又は、画像データ及びセンサデータから、障害物を認識する。なお、画像データは、上述したように、自動運転車両が走行する道路を含む所定領域を撮影して得られたものである。障害物とは、例えば、駐車車両、歩行者等である。障害物の認識には、例えば、機械学習により得られた認識モデルが用いられる。認識モデルは記憶部３４に格納されている。機械学習の手法は、特に限定されるものではないが、例えば、ニューラルネットワーク、ランダムフォレスト、サポートベクタマシン等が挙げられる。認識部３１Ｂは、障害物の認識結果を記憶部３４に蓄積する。障害物の認識結果には、例えば、認識ＩＤ（Identification）、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。種別は、障害物の種別を表し、例えば、駐車車両、歩行者等として表される。トラッキング継続時間は、グリッド内でインフラカメラ３０が障害物を認識してから認識が途切れるまでの時間、つまり、障害物の滞留時間を表す。なお、グリッドには、例えば、公知の技術であるジオハッシュ（geohash）、ノード等が用いられる。
データ送信部３１Ｃは、認識部３１Ｂによる障害物の認識結果を自動運転制御装置２０に通信部３３を介して送信する制御を行う。また、データ送信部３１Ｃは、認識部３１Ｂによる障害物の認識結果を、当該障害物の周辺を走行する自動運転車両に通信部３３を介して送信する制御を行う。
データ受信部３１Ｄは、自動運転制御装置２０によって再学習された認識モデルを、通信部３３を介して受信する制御を行う。
また、図２に示すように、本実施形態に係る自動運転制御装置２０のＣＰＵ２１は、認識結果収集部２１Ａ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｃ、詳細データ収集部２１Ｄ、オペレータ提示部２１Ｅ、認識モデル学習部２１Ｆ、及び認識モデル配信部２１Ｇとして機能する。
認識結果収集部２１Ａは、インフラカメラ３０から障害物の認識結果を定期的に収集し、収集した認識結果をデータ・モデル蓄積データベース（以下、「データ・モデル蓄積ＤＢ」という。）２５Ｂに蓄積する。なお、このデータ・モデル蓄積ＤＢ２５Ｂは、一例として、記憶部２５に記憶されているが、外部の記憶装置に記憶されていてもよい。
特徴量分布作成部２１Ｂは、データ・モデル蓄積ＤＢ２５Ｂに蓄積された認識結果に基づいて、過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する。特徴量分布は、例えば、障害物が滞留した時間の分布を表す滞留時間分布、障害物が移動した速度の分布を表す移動速度分布、及び、障害物が移動した距離の分布を表す移動距離分布の少なくとも１つとされる。なお、障害物の移動距離は、認識結果に含まれる、障害物のグリッド内の座標から算出される。また、特徴量分布は、障害物の座標の分布、方向の分布、及び、誤認識の判定結果に対してオペレータが入力した異常の要因（ラベル）の分布の少なくとも１つであってもよい。特徴量分布作成部２１Ｂは、作成部の一例である。
ここで、図３を参照して、特徴量分布の一例である滞留時間分布を作成する場合について具体的に説明する。
図３は、本実施形態に係る滞留時間分布作成処理の説明に供する図である。
図３に示すように、インフラカメラ３０は、自動運転車両が走行する道路４１を含む所定領域を連続的あるいは定期的に撮影して時系列の画像データを取得し、取得した画像データから障害物４０（図３の例では歩行者）を認識する。
認識結果収集部２１Ａは、上述したように、インフラカメラ３０から障害物の滞留時間を定期的に収集する。そして、認識結果収集部２１Ａは、収集した滞留時間をグリッドで区切られた場所（場所ＩＤ）毎に種別と滞留時間を特定可能なようにデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
特徴量分布作成部２１Ｂは、データ・モデル蓄積ＤＢ２５Ｂに蓄積された滞留時間に基づいて、グリッドで区切られた場所（場所ＩＤ）毎に種別毎の滞留時間を集計し、種別毎の滞留時間の代表値を算出する。グリッドには、上述したように、例えば、ジオハッシュが用いられる。図３の例では、場所ＩＤの各々について障害物の種別（ここでは歩行者、駐車車両）毎の滞留時間の分布を示している。横軸は時間ｔ、縦軸は障害物の数（頻度ｆ）であり、時間帯毎に発生する障害物の数がヒストグラムとして示されている。なお、ヒストグラムを作成する場合、ｂｉｎ数、幅は、グリッドに依らず一律ではなく、グリッド毎に決定される。ｂｉｎ数、幅を決定する方法は、例えば、スタージェスの公式を用いて決定してもよいし、グリッド毎に蓄積したデータの分布から決定してもよい。
滞留時間の代表値には、一例として、平均、最大値、最小値、分散等が用いられる。特徴量分布作成部２１Ｂは、グリッド内でトラッキング継続時間として表される滞留時間に基づいて代表値ｘｄを算出する。分布作成時の代表値としては、障害物の移動速度、障害物の移動距離を同様に集計して、それぞれの代表値を算出してもよい。このようにして得られた代表値を並べたものを、下記に示すように、特徴ベクトルｘとして表現する。但し、Ｔは転置行列を示す。
ｘ＝（ｘ１、ｘ２、ｘ３、・・・、ｘｄ）Ｔ
誤認識判定部２１Ｃは、特徴量分布作成部２１Ｂにより作成された特徴量分布と、評価対象として認識された障害物の特徴量分布とを比較し、評価対象として認識された障害物の誤認識を判定する。なお、特徴量分布を作成する場合に、特定の期間、例えば、過去１ヶ月間の分布との比較とすると１サンプルとなるが、１週間単位で１ヶ月分、すなわち５週（＝５サンプル）、あるいは、日単位で１週間分、すなわち７日（＝７サンプル）として作成してもよい。具体的に、誤認識判定部２１Ｃは、特徴量分布作成部２１Ｂにより作成された滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つと、評価対象として認識された障害物の滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つとを比較し、評価対象として認識された障害物の誤認識を判定する。この比較は、滞留時間分布の統計分析から得られる代表値、移動速度分布の統計分析から得られる代表値、及び、移動距離分布の統計分析から得られる代表値の少なくとも１つを基準として実行される。誤認識判定部２１Ｃは、判定部の一例である。なお、単位時間あたりの障害物の数を誤認識の指標としてもよい。つまり、その場所では通常起こりえない数の障害物が発生している場合に、誤認識と判定してもよい。
ここで、図４を参照して、複数の特徴量の一例として滞留時間、移動速度、及び移動距離を用いて障害物の誤認識を判定する場合について説明する。
図４は、第１の実施形態に係る誤認識判定処理の説明に供する図である。
誤認識判定部２１Ｃは、過去の認識結果からグリッド別に作成した特徴量分布（滞留時間分布、移動速度分布、及び移動距離分布）の代表値の特徴ベクトルと、評価対象の認識結果から作成した特徴量分布の代表値の特徴ベクトルとを比較し、類似度を算出する。評価対象の認識結果は、例えば、１日の終わりにバッチ処理して抽出すればよい。評価対象の認識結果は、Ｎ時間（単位時間）毎に定期的にバッチ処理を実行してもよい。類似度を算出する方法としては、一例として、図４に示すユークリッド距離が用いられる。この場合、ユークリッド距離が短いほど、類似度が高くなる。過去の認識結果の集合と、評価対象の認識結果との間の類似度を算出し、障害物の誤認識を判定する。例えば、予め異常のない（誤認識のない）集合間で作成した類似度の平均距離を閾値として設定し、それを超えたものを誤認識（異常）と判定する。
なお、類似度を算出する方法は、上記ユークリッド距離に限定されるものではない。例えば、ｋ近傍法、ＭＭＤ（Maximum Mean Discrepancy）、ＫＬ距離等を用いて比較してもよい。例えば、ｋ近傍法は、データの分布が複雑でも適切に評価できる等の特徴がある。ＭＭＤは、他の分布間距離尺度と比べ、任意の分布形状を考慮できる、計算が容易である等の特徴がある。なお、ＭＭＤを用いる場合、代表値を算出することなく、認識ＩＤ別の滞留時間、移動速度、移動距離などの変数を特徴ベクトル（＝１サンプル）として用いて比較することができる。
詳細データ収集部２１Ｄは、誤認識判定部２１Ｃにより障害物が誤認識と判定された場合、インフラカメラ３０から画像データ及びセンサデータを詳細データとして収集する。具体的には、誤認識と判定されたときのインフラカメラ３０、場所、時刻が特定できるため、該当するインフラカメラ３０に対して、関連するグリッド内の詳細データをアップロードするように指示を出す。これにより全ての時刻の詳細データを収集する必要がなく、該当する時刻の詳細データのみを選択的に収集することができる。
オペレータ提示部２１Ｅは、誤認識判定部２１Ｃにより障害物が誤認識と判定された場合に、オペレータに対して、誤認識と判定されたときの画像データを提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。なお、オペレータに対して、画像データに加えてセンサデータを提示してもよい。オペレータ提示部２１Ｅは、オペレータから入力された異常の有無及び要因を含む判定結果をラベル（正解ラベル）として認識結果に対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。データ・モデル蓄積ＤＢ２５Ｂには、後段の認識モデルの学習に利用し易いように、認識結果、詳細データ、及びラベル等を学習すべき負例として登録しておく。
認識モデル学習部２１Ｆは、データ・モデル蓄積ＤＢ２５Ｂに蓄積された認識結果、詳細データ、及びラベルを含む学習用データを用いて、障害物の認識モデルを再学習する。なお、データ・モデル蓄積ＤＢ２５Ｂには、インフラカメラ３０の記憶部３４に記憶されている認識モデルと同様の認識モデルが格納されている。認識モデル学習部２１Ｆは、学習部の一例である。
認識モデル配信部２１Ｇは、認識モデル学習部２１Ｆにより再学習された認識モデルを、通信部２６を介してインフラカメラ３０に配信する。インフラカメラ３０は、配信された再学習後の認識モデルにより、記憶部３４に記憶されている認識モデルを更新する。
図５は、第１の実施形態に係る特徴量分布作成フェーズ、異常検出フェーズ、及びデータ収集・学習フェーズの説明に供する図である。
図５に示す特徴量分布作成フェーズの（Ｓ１）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から障害物の認識結果を収集する。障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
特徴量分布作成フェーズの（Ｓ２）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から収集した過去の認識結果を、グリッドで区切られた場所毎に種別及び滞留時間を特定可能なようにデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
特徴量分布作成フェーズの（Ｓ３）では、自動運転制御装置２０のＣＰＵ２１が、データ・モデル蓄積ＤＢ２５Ｂに蓄積された過去の認識結果に基づいて、一例として、場所毎に滞留時間分布を作成する。このとき、グリッドで区切られた各場所について、障害物の種別毎に滞留時間の代表値を算出し、算出した代表値をその場所のいつもの分布としてデータ・モデル蓄積ＤＢ２５Ｂに蓄積しておく。
異常検出フェーズの（Ｓ４）では、自動運転制御装置２０のＣＰＵ２１が、例えば、１日等の単位時間毎の定期的なバッチ処理により、インフラカメラ３０から、グリッド（場所）毎に単位時間あたりの障害物の認識結果を収集する。
異常検出フェーズの（Ｓ５）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から収集した単位時間あたりの障害物の認識結果を評価対象の認識結果として、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
異常検出フェーズの（Ｓ６）では、自動運転制御装置２０のＣＰＵ２１が、データ・モデル蓄積ＤＢ２５Ｂに蓄積した評価対象の認識結果に基づいて、一例として、場所毎に滞留時間分布を作成する。そして、ＣＰＵ２１は、作成した評価対象の認識結果に基づく滞留時間分布と、（Ｓ３）で作成した過去の認識結果に基づく滞留時間分布とを比較し、評価対象として認識された障害物の誤認識を判定する。
異常検出フェーズの（Ｓ７）では、自動運転制御装置２０のＣＰＵ２１が、（Ｓ６）で障害物が誤認識と判定した場合、インフラカメラ３０に対して、場所及び時刻を特定し、関連するグリッド内の詳細データ（画像データ及びセンサデータ）をアップロードするように指示を出す。
データ収集・学習フェーズの（Ｓ８）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０からアップロードされた詳細データ（画像データ及びセンサデータ）を収集する。
データ収集・学習フェーズの（Ｓ９）では、自動運転制御装置２０のＣＰＵ２１が、インフラカメラ３０から収集した詳細データ（画像データ及びセンサデータ）を、評価対象の認識結果に対応付けて、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
データ収集・学習フェーズの（Ｓ１０）では、自動運転制御装置２０のＣＰＵ２１が、オペレータに対して評価対象の認識結果及び詳細データを提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。
データ収集・学習フェーズの（Ｓ１１）では、自動運転制御装置２０のＣＰＵ２１が、オペレータから入力を受け付けた異常の有無及び要因を含む判定結果をラベルとして、評価対象の認識結果及び詳細データに対応付けて、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
データ収集・学習フェーズの（Ｓ１２）では、自動運転制御装置２０のＣＰＵ２１が、データ・モデル蓄積ＤＢ２５Ｂに蓄積された認識結果、詳細データ、及びラベルを含む学習用データを用いて、障害物の認識モデルを再学習する。
データ収集・学習フェーズの（Ｓ１３）では、自動運転制御装置２０のＣＰＵ２１が、（Ｓ１２）で再学習した認識モデルをインフラカメラ３０に配信する。インフラカメラ３０は、配信された再学習後の認識モデルに基づいて、記憶部３４に記憶されている認識モデルを更新する。
次に、図６及び図７を参照して、第１の実施形態に係る自動運転制御装置２０の作用を説明する。
図６は、第１の実施形態に係る自動運転プログラム２５Ａによる特徴量分布作成処理の流れの一例を示すフローチャートである。
まず、自動運転制御装置２０に対して特徴量分布作成処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
図６のステップＳ１０１では、ＣＰＵ２１が、インフラカメラ３０から、過去に認識された障害物の認識結果を定期的に収集する。障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
ステップＳ１０２では、ＣＰＵ２１が、ステップＳ１０１で定期的に収集した、過去に認識された障害物の認識結果を、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
ステップＳ１０３では、ＣＰＵ２１が、ステップＳ１０２でデータ・モデル蓄積ＤＢ２５Ｂに蓄積された過去の認識結果に基づいて、過去の認識結果の特徴量分布を作成する。具体的には、一例として、上述の図３に示すように、グリッドで区切られた場所（場所ＩＤ）毎に種別毎の滞留時間を集計し、種別毎の滞留時間分布を作成する。
ステップＳ１０４では、ＣＰＵ２１が、ステップＳ１０３で作成した特徴量分布を統計分析し、種別毎の特徴量分布の代表値を算出する。具体的には、上述したように、滞留時間分布を統計分析し、種別毎の滞留時間分布の代表値を算出する。この代表値としては、例えば、平均、最大値、最小値、分散等が用いられる。
ステップＳ１０５では、ＣＰＵ２１が、ステップＳ１０４で種別毎の特徴量分布（例えば、滞留時間分布）の代表値を、データ・モデル蓄積ＤＢ２５Ｂに蓄積し、本自動運転プログラム２５Ａによる特徴量分布作成処理を終了する。
図７は、第１の実施形態に係る自動運転プログラム２５Ａによる異常検出処理及びデータ収集・学習処理の流れの一例を示すフローチャートである。
まず、自動運転制御装置２０に対して異常検出処理及びデータ収集・学習処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
図７のステップＳ１１１では、ＣＰＵ２１が、インフラカメラ３０から、評価対象として認識された障害物の認識結果を収集する。
ステップＳ１１２では、ＣＰＵ２１が、ステップＳ１１１で収集した、評価対象として認識された障害物の認識結果を、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
ステップＳ１１３では、ＣＰＵ２１が、ステップＳ１１２でデータ・モデル蓄積ＤＢ２５Ｂに蓄積された評価対象の認識結果に基づいて、評価対象の認識結果の特徴量分布を作成する。
ステップＳ１１４では、ＣＰＵ２１が、図６のステップＳ１０５でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した種別毎の特徴量分布の代表値と、ステップＳ１１３で作成した評価対象の特徴量分布の代表値とを比較し、一例として、上述の図４に示すように、類似度を算出する。
ステップＳ１１５では、ＣＰＵ２１が、ステップＳ１１６で算出した類似度に基づいて、一例として、上述の図４に示すように、評価対象として認識された障害物が誤認識であるか否かを判定する。誤認識と判定した場合（肯定判定の場合）、ステップＳ１１６に移行し、誤認識ではないと判定した場合（否定判定の場合）、本自動運転プログラム２５Ａによる異常検出処理及びデータ収集・学習処理を終了する。
ステップＳ１１６では、ＣＰＵ２１が、インフラカメラ３０から、誤認識と判定されたときの画像データ及びセンサデータを詳細データとして収集し、収集した詳細データを認識結果に対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
ステップＳ１１７では、ＣＰＵ２１が、ステップＳ１１６でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した認識結果及び詳細データをオペレータに提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。
ステップＳ１１８では、ＣＰＵ２１が、ステップＳ１１７でオペレータから入力を受け付けた判定結果（入力結果）をラベルとして、認識結果、詳細データ、及びラベルを含むデータセットを学習用データとしてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
ステップＳ１１９では、ＣＰＵ２１が、ステップＳ１１８でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した学習用データを用いて、障害物の認識モデルを再学習する。
ステップＳ１２０では、ＣＰＵ２１が、ステップＳ１１９で再学習した認識モデルを、インフラカメラ３０に配信し、本自動運転プログラム２５Ａによる異常検出処理及びデータ収集・学習処理を終了する。インフラカメラ３０は、配信された再学習後の認識モデルに基づいて、記憶部３４に記憶されている認識モデルを更新する。
このように本実施形態によれば、インフラカメラで認識された障害物が誤認識と判定された場合に、判定結果が認識モデルにフィードバックされる。このため、障害物の誤認識が抑制される。
[第２の実施形態]
上記第１の実施形態では、インフラカメラに認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布を用いる形態について説明した。第２の実施形態では、インフラカメラに認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量を用いる形態について説明する。
図８は、第２の実施形態に係るインフラカメラ３０、自動運転制御装置２０Ａ、及び車載装置１０の機能的な構成の一例を示すブロック図である。これらインフラカメラ３０、自動運転制御装置２０Ａ、及び車載装置１０により自動運転システム１００Ａが構成される。
本実施形態では、インフラカメラ３０に認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量が用いられる。
本実施形態に係るインフラカメラ３０のＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図８に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０ＡのＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図８に示す各部として機能する。また、本実施形態に係る車載装置１０のＣＰＵ１１は、記憶部１４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図８に示す各部として機能する。
図８に示すように、本実施形態に係るインフラカメラ３０のＣＰＵ３１は、動作制御部３１Ａ、認識部３１Ｂ、データ送信部３１Ｃ、及びデータ受信部３１Ｄとして機能する。なお、本実施形態に係るインフラカメラ３０では、上記第１の実施形態で説明したインフラカメラ３０が有する構成要素と同じ構成要素を有しているため、その繰り返しの説明は省略する。
また、本実施形態に係る自動運転制御装置２０ＡのＣＰＵ２１は、認識結果収集部２１Ａ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｈ、詳細データ収集部２１Ｄ、オペレータ提示部２１Ｅ、認識モデル学習部２１Ｆ、認識モデル配信部２１Ｇ、及び車両通知部２１Ｊとして機能する。なお、本実施形態に係る自動運転制御装置２０Ａでは、上記第１の実施形態で説明した自動運転制御装置２０が有する構成要素と同じ構成要素には同じ符号を付し、その繰り返しの説明は省略する。
誤認識判定部２１Ｈは、特徴量分布作成部２１Ｂにより作成された滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つと、評価対象として認識された障害物の滞留時間、移動速度、及び移動距離の少なくとも１つとを比較し、評価対象として認識された障害物の誤認識を判定する。この比較は、滞留時間分布から得られる閾値、移動速度分布から得られる閾値、及び、移動距離分布から得られる閾値の少なくとも１つを基準として実行される。ここでいう閾値には、例えば、滞留時間分布、移動速度分布、及び移動距離分布の各々の平均値が用いられる。
ここで、図９を参照して、特徴量の一例として滞留時間を用いて障害物の誤認識を判定する場合について説明する。
図９は、第２の実施形態に係る誤認識判定処理の説明に供する図である。
図９の例では、上述の図３の例と同様に、グリッドで区切られた場所の各々について障害物の種別（ここでは駐車車両）毎の滞留時間の分布を示している。横軸は時間ｔ、縦軸は障害物の数であり、時間帯毎に発生する障害物の数がヒストグラムとして示されている。
誤認識判定部２１Ｈは、過去の認識結果からグリッド別に作成した滞留時間分布から閾値Ｔｈを予め抽出しておく。閾値Ｔｈには、上述したように、滞留時間分布の平均値が用いられる。誤認識判定部２１Ｈは、抽出した閾値Ｔｈと、評価対象の認識結果から得られた滞留時間とを比較し、滞留時間が閾値を超えた場合に異常（誤認識）と判定する。本実施形態では、評価対象とされる障害物の滞留時間が取得されると、リアルタイムで誤認識が判定される。
車両通知部２１Ｊは、誤認識判定部２１Ｈにより障害物が誤認識と判定された場合に、障害物の認識結果を除外するフラグが付与された障害物情報を、障害物の周辺を走行する自動運転車両に通知する。車両通知部２１Ｊは、通知部の一例である。
また、オペレータ提示部２１Ｅは、誤認識判定部２１Ｈにより障害物が誤認識と判定された場合に、オペレータに対して、誤認識と判定されたときの画像データ及びセンサデータを提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付けようにしてもよい。この場合、車両通知部２１Ｊは、オペレータから異常有りの入力を受け付けた場合に、障害物の認識結果を除外するフラグが付与された障害物情報を、障害物の周辺を走行する自動運転車両に通知する。つまり、オペレータが異常と判定した場合には当該障害物を認識結果から除外するように自動運転車両に通知する。具体的に、障害物には固有の認識ＩＤが割り振られており、トラッキング中は同じ認識ＩＤが割り振られる。このため、認識ＩＤを含むフラグを自動運転車両に通知することで、自動運転車両では該当する障害物の認識結果を除去することができる。
また、本実施形態に係る車載装置１０のＣＰＵ１１は、データ受信部１１Ａ及び認識部１１Ｂとして機能する。
データ受信部１１Ａは、車両通知部２１Ｊから通知された、障害物の認識結果を除外するフラグが付与された障害物情報を受信する制御を行う。
認識部１１Ｂは、自装置のカメラ１６によって撮影して得られた画像データに基づいて、障害物の認識を行うと共に、インフラカメラ３０から取得される障害物の認識結果に基づいて、障害物の認識を行う。つまり、認識部１１Ｂは、自装置の障害物認識機能を用いた認識結果と、インフラカメラ３０から取得される認識結果とを組み合わせて、障害物の認識を行う。認識部１１Ｂは、インフラカメラ３０から取得される認識結果に含まれる認識ＩＤを、自動運転制御装置２０Ａとの間で共有する。このため、認識部１１Ｂは、障害物の認識結果を除外するフラグが付与された障害物情報が受信された場合に、当該フラグに含まれる認識ＩＤによって、除外すべき障害物の認識結果を特定することができる。
次に、図１０及び図１１を参照して、第２の実施形態に係る自動運転制御装置２０Ａの作用を説明する。
図１０は、第２の実施形態に係る自動運転プログラム２５Ａによる特徴量分布作成処理の流れの一例を示すフローチャートである。
まず、自動運転制御装置２０Ａに対して特徴量分布作成処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
図１０のステップＳ１２１では、ＣＰＵ２１が、インフラカメラ３０から、過去に認識された障害物の認識結果を定期的に収集する。障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
ステップＳ１２２では、ＣＰＵ２１が、ステップＳ１２１で定期的に収集した、過去に認識された障害物の認識結果を、データ・モデル蓄積ＤＢ２５Ｂに蓄積する。
ステップＳ１２３では、ＣＰＵ２１が、ステップＳ１２２でデータ・モデル蓄積ＤＢ２５Ｂに蓄積された過去の認識結果に基づいて、過去の認識結果の特徴量分布を作成する。具体的には、一例として、上述の図９に示すように、グリッドで区切られた場所毎に種別毎の滞留時間を集計し、種別毎の滞留時間分布を作成する。
ステップＳ１２４では、ＣＰＵ２１が、ステップＳ１２３で作成した特徴量分布から閾値を抽出する。この閾値としては、例えば、特徴量の平均値が用いられる。
ステップＳ１２５では、ＣＰＵ２１が、ステップＳ１２４で種別毎の特徴量分布（例えば、滞留時間分布）の閾値を、データ・モデル蓄積ＤＢ２５Ｂに蓄積し、本自動運転プログラム２５Ａによる特徴量分布作成処理を終了する。
図１１は、第２の実施形態に係る自動運転プログラム２５Ａによる異常検出処理及び車両通知処理の流れの一例を示すフローチャートである。
まず、自動運転制御装置２０Ａに対して異常検出処理及び車両通知処理の実行が指示されると、自動運転プログラム２５Ａが起動され、以下の各ステップを実行する。
図１１のステップＳ１３１では、ＣＰＵ２１が、インフラカメラ３０から、評価対象として認識された障害物の認識結果を取得する。
ステップＳ１３２では、ＣＰＵ２１が、ステップＳ１３１で取得した、評価対象として認識された障害物の認識結果から特徴量（例えば、滞留時間）を取得する。
ステップＳ１３３では、ＣＰＵ２１が、ステップＳ１３２で取得した特徴量（例えば、滞留時間）に対応する閾値を、データ・モデル蓄積ＤＢ２５Ｂから読み出す。
ステップＳ１３４では、ＣＰＵ２１が、一例として、上述の図９に示すように、特徴量（例えば、滞留時間）が閾値よりも大きいか否かを判定する。特徴量が閾値よりも大きいと判定した場合、つまり、誤認識であると判定した場合（肯定判定の場合）、ステップＳ１３５に移行し、特徴量が閾値以下であると判定した場合、つまり、誤認識ではないと判定した場合（否定判定の場合）、本自動運転プログラム２５Ａによる異常検出処理及び車両通知処理を終了する。
ステップＳ１３５では、ＣＰＵ２１が、インフラカメラ３０から、誤認識と判定されたときの画像データ及びセンサデータを詳細データとして収集し、収集した詳細データを認識結果に対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
ステップＳ１３６では、ＣＰＵ２１が、ステップＳ１３５でデータ・モデル蓄積ＤＢ２５Ｂに蓄積した認識結果及び詳細データをオペレータに提示し、オペレータから異常の有無及び要因を含む判定結果の入力を受け付ける。
ステップＳ１３７では、ＣＰＵ２１が、ステップＳ１３６でオペレータから入力を受け付けた判定結果（入力結果）が異常有りであるか否かを判定する。判定結果（入力結果）が異常有りである場合（肯定判定の場合）、ステップＳ１３８に移行し、判定結果（入力結果）が異常無しである場合（否定判定の場合）、本自動運転プログラム２５Ａによる異常検出処理及び車両通知処理を終了する。
ステップＳ１３８では、ＣＰＵ２１が、ステップＳ１３７で異常有りと判定された障害物の認識結果を除外するフラグ（除外フラグ）を障害物情報に付与する。
ステップＳ１３９では、ＣＰＵ２１が、ステップＳ１３８で除外フラグが付与された障害物情報を、該当する障害部の周辺を走行する自動運転車両にリアルタイムで通知し、本自動運転プログラム２５Ａによる異常検出処理及び車両通知処理を終了する。障害物情報の通知を受けた自動運転車両は、障害物情報に含まれるフラグに基づいて、該当する障害物の認識結果を除去する。
このように本実施形態によれば、インフラカメラで認識された障害物が誤認識と判定された場合に、判定結果が即座に自動運転車両にフィードバックされる。このため、障害物の誤認識によって自動運転車両の走行が妨害されることが抑制される。
[第３の実施形態]
第３の実施形態では、自動運転制御装置に認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布を用いる形態について説明する。
図１２は、第３の実施形態に係るインフラカメラ３０Ａ及び自動運転制御装置２０Ｂの機能的な構成の一例を示すブロック図である。これらインフラカメラ３０Ａ及び自動運転制御装置２０Ｂにより自動運転システム１００Ｂが構成される。
本実施形態では、自動運転制御装置２０Ｂに認識部が設けられ、評価対象として、所定期間毎にバッチ処理で抽出される障害物の特徴量分布が用いられる。
本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図１２に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０ＢのＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図１２に示す各部として機能する。
図１２に示すように、本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、動作制御部３１Ａ及びデータ送信部３１Ｃとして機能する。なお、本実施形態に係るインフラカメラ３０Ａでは、上記第１の実施形態で説明したインフラカメラ３０Ａが有する構成要素の一部と同じ構成要素を有しているため、その繰り返しの説明は省略する。
また、本実施形態に係る自動運転制御装置２０ＢのＣＰＵ２１は、データ収集部２１Ｋ、認識部２１Ｌ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｃ、オペレータ提示部２１Ｅ、及び認識モデル学習部２１Ｆとして機能する。なお、本実施形態に係る自動運転制御装置２０Ｂでは、上記第１の実施形態で説明した自動運転制御装置２０が有する構成要素と同じ構成要素には同じ符号を付し、その繰り返しの説明は省略する。
データ収集部２１Ｋは、インフラカメラ３０から画像データ及びセンサデータを収集し、収集した画像データ及びセンサデータをデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
認識部２１Ｌは、データ収集部２１Ｋにより収集された画像データ、又は、画像データ及びセンサデータに基づいて、データ・モデル蓄積ＤＢ２５Ｂに格納された認識モデルを用いて、障害物を認識する。認識部２１Ｌは、障害物を認識して得られた認識結果を、画像データ及びセンサデータに対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。なお、障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
本実施形態では、自動運転制御装置２０Ｂに認識部２１Ｌが設けられているため、障害物の認識処理はインフラカメラ３０Ａではなく、自動運転制御装置２０Ｂによって実行される。そして、認識モデルの更新は、インフラカメラ３０Ａではなく、自動運転制御装置２０Ｂにおいて実行される。
このように本実施形態によれば、センタの自動運転制御装置で認識された障害物が誤認識と判定された場合に、判定結果が認識モデルにフィードバックされる。このため、障害物の誤認識が抑制される。
[第４の実施形態]
第４の実施形態では、自動運転制御装置に認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量を用いる形態について説明する。
図１３は、第４の実施形態に係るインフラカメラ３０Ａ、自動運転制御装置２０Ｃ、及び車載装置１０の機能的な構成の一例を示すブロック図である。これらインフラカメラ３０Ａ、自動運転制御装置２０Ｃ、及び車載装置１０により自動運転システム１００Ｃが構成される。
本実施形態では、自動運転制御装置２０Ｃに認識部が設けられ、評価対象として、リアルタイムで抽出される障害物の特徴量が用いられる。
本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、記憶部３４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図１３に示す各部として機能する。また、本実施形態に係る自動運転制御装置２０ＣのＣＰＵ２１は、記憶部２５に記憶されている自動運転プログラム２５ＡをＲＡＭに書き込んで実行することにより、図１３に示す各部として機能する。また、本実施形態に係る車載装置１０のＣＰＵ１１は、記憶部１４に記憶されている制御プログラムをＲＡＭに書き込んで実行することにより、図１３に示す各部として機能する。
図１３に示すように、本実施形態に係るインフラカメラ３０ＡのＣＰＵ３１は、動作制御部３１Ａ及びデータ送信部３１Ｃとして機能する。なお、本実施形態に係るインフラカメラ３０Ａでは、上記第２の実施形態で説明したインフラカメラ３０が有する構成要素の一部と同じ構成要素を有しているため、その繰り返しの説明は省略する。
また、本実施形態に係る自動運転制御装置２０ＣのＣＰＵ２１は、データ収集部２１Ｋ、認識部２１Ｌ、特徴量分布作成部２１Ｂ、誤認識判定部２１Ｈ、オペレータ提示部２１Ｅ、認識モデル学習部２１Ｆ、及び車両通知部２１Ｊとして機能する。なお、本実施形態に係る自動運転制御装置２０Ｃでは、上記第２の実施形態で説明した自動運転制御装置２０Ａが有する構成要素と同じ構成要素には同じ符号を付し、その繰り返しの説明は省略する。
データ収集部２１Ｋは、上述の図１２の例と同様に、インフラカメラ３０から画像データ及びセンサデータを収集し、収集した画像データ及びセンサデータをデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。
認識部２１Ｌは、上述の図１２の例と同様に、データ収集部２１Ｋにより収集された画像データ、又は、画像データ及びセンサデータに基づいて、データ・モデル蓄積ＤＢ２５Ｂに格納された認識モデルを用いて、障害物を認識する。認識部２１Ｌは、障害物を認識して得られた認識結果を、画像データ及びセンサデータに対応付けてデータ・モデル蓄積ＤＢ２５Ｂに蓄積する。なお、障害物の認識結果には、上述したように、例えば、認識ＩＤ、時刻、位置情報、種別、トラッキング継続時間、障害物の方向、障害物の速度、障害物のグリッド内の座標等が含まれる。
本実施形態では、自動運転制御装置２０Ｃに認識部２１Ｌが設けられているため、障害物の認識処理はインフラカメラ３０Ａではなく、自動運転制御装置２０Ｃによって実行される。そして、認識モデルの更新は、インフラカメラ３０Ａではなく、自動運転制御装置２０Ｃにおいて実行される。
このように本実施形態によれば、センタの自動運転制御装置で認識された障害物が誤認識と判定された場合に、判定結果が即座に自動運転車両にフィードバックされる。このため、障害物の誤認識によって自動運転車両の走行が妨害されることが抑制される。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
メモリと、
少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識し、
過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成し、
前記作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する
ように構成されている自動運転システム。
（付記項２）
コンピュータを、
自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部、
前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を作成する作成部、及び、
前記作成部により作成された特徴量分布と、評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部、
として機能させるための自動運転プログラムを記憶した非遷移的記録媒体。
以上、実施形態に係る自動運転システムを例示して説明した。実施形態は、自動運転システムが備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非遷移的記録媒体の形態としてもよい。
その他、上記実施形態で説明した自動運転システムの構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
１０ 車載装置、１１、２１、３１ ＣＰＵ、１１Ａ データ受信部、１１Ｂ、２１Ｌ、３１Ｂ 認識部、１２、２２、３２ メモリ、１３、２４ 表示部、１４、２５、３４ 記憶部、１５、３５ センサ群、１６、３６ カメラ、１７、２６、３３ 通信部、２０、２０Ａ、２０Ｂ、２０Ｃ 自動運転制御装置、２１Ａ 認識結果収集部、２１Ｂ 特徴量分布作成部、２１Ｃ、２１Ｈ 誤認識判定部、２１Ｄ 詳細データ収集部、２１Ｅ オペレータ提示部、２１Ｆ 認識モデル学習部、２１Ｇ 認識モデル配信部、２１Ｊ 車両通知部、２１Ｋ データ収集部、２５Ａ 自動運転プログラム、２５Ｂ データ・モデル蓄積ＤＢ、３０、３０Ａ インフラカメラ、３１Ａ 動作制御部、３１Ｃ データ送信部、３１Ｄ データ受信部、１００、１００Ａ、１００Ｂ、１００Ｃ 自動運転システム

Claims (9)

  1. 自動運転車両の外部環境における特定の場所に設置された撮影装置（３０、３０Ａ）によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部（３１Ｂ、２１Ｌ）と、
    前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を障害物が認識された場所毎及び障害物の種別毎に作成する作成部（２１Ｂ）と、
    前記作成部により作成された、評価対象として認識された障害物の場所及び種別に対応する特徴量分布と、前記評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部（２１Ｃ、２１Ｈ）と、
    を備えた自動運転システム（１００、１００Ａ、１００Ｂ、１００Ｃ）。
  2. 前記作成部は、前記特徴量分布として、障害物が滞留した時間の分布を表す滞留時間分布、障害物が移動した速度の分布を表す移動速度分布、及び、障害物が移動した距離の分布を表す移動距離分布の少なくとも１つを作成し、
    前記判定部は、前記作成部により作成された滞留時間分布、移動速度分布、及び移動距離分布の少なくとも１つと、前記評価対象として認識された障害物の滞留時間、移動速度、及び移動距離の少なくとも１つとを比較し、前記評価対象として認識された障害物の誤認識を判定する
    請求項１に記載の自動運転システム。
  3. 前記判定部（２１Ｃ）は、前記比較を、前記滞留時間分布の統計分析から得られる代表値、前記移動速度分布の統計分析から得られる代表値、及び、前記移動距離分布の統計分析から得られる代表値の少なくとも１つを基準として実行する
    請求項２に記載の自動運転システム。
  4. 前記判定部（２１Ｈ）は、前記比較を、前記滞留時間分布から得られる閾値、前記移動速度分布から得られる閾値、及び、前記移動距離分布から得られる閾値の少なくとも１つを基準として実行する
    請求項２に記載の自動運転システム。
  5. 前記判定部により前記障害物が誤認識と判定された場合に、前記障害物の認識結果を除外するフラグが付与された障害物情報を、前記障害物の周辺を走行する自動運転車両に通知する通知部（２１Ｊ）を更に備えた
    請求項４に記載の自動運転システム。
  6. 前記判定部により前記障害物が誤認識と判定された場合に、オペレータに対して、誤認識と判定されたときの画像データを提示し、前記オペレータから異常の有無の入力を受け付ける提示部（２１Ｅ）を更に備え、
    前記通知部は、前記オペレータから異常有りの入力を受け付けた場合に、前記障害物の認識結果を除外するフラグが付与された前記障害物情報を、前記障害物の周辺を走行する自動運転車両に通知する
    請求項５に記載の自動運転システム。
  7. 前記判定部により前記障害物が誤認識と判定された場合に、誤認識の判定結果に対して、オペレータが入力した異常の有無及び要因を含む判定結果をラベルとして、障害物の認識モデルを学習する学習部（２１Ｆ）を更に備えた
    請求項１～請求項６の何れか１項に記載の自動運転システム。
  8. コンピュータが、
    自動運転車両の外部環境における特定の場所に設置された撮影装置によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識し、
    過去に認識された障害物に関する特徴量の分布を表す特徴量分布を障害物が認識された場所毎及び障害物の種別毎に作成し、
    前記作成された、評価対象として認識された障害物の場所及び種別に対応する特徴量分布と、前記評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する、
    自動運転方法。
  9. コンピュータを、
    自動運転車両の外部環境における特定の場所に設置された撮影装置（３０、３０Ａ）によって前記自動運転車両が走行する道路を含む所定領域を撮影して得られた画像データに基づいて、障害物を認識する認識部（３１Ｂ、２１Ｌ）、
    前記認識部により過去に認識された障害物に関する特徴量の分布を表す特徴量分布を障害物が認識された場所毎及び障害物の種別毎に作成する作成部（２１Ｂ）、及び、
    前記作成部により作成された、評価対象として認識された障害物の場所及び種別に対応する特徴量分布と、前記評価対象として認識された障害物の特徴量とを比較し、前記評価対象として認識された障害物の誤認識を判定する判定部（２１Ｃ、２１Ｈ）、
    として機能させるための自動運転プログラム（２５Ａ）。
JP2021029263A 2021-02-25 2021-02-25 自動運転システム、自動運転方法、及び自動運転プログラム Active JP7380614B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021029263A JP7380614B2 (ja) 2021-02-25 2021-02-25 自動運転システム、自動運転方法、及び自動運転プログラム
PCT/JP2022/006780 WO2022181502A1 (ja) 2021-02-25 2022-02-18 自動運転システム、自動運転方法、及び自動運転プログラム
US18/455,489 US20230401870A1 (en) 2021-02-25 2023-08-24 Autonomous driving system, autonomous driving method, and autonomous driving program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021029263A JP7380614B2 (ja) 2021-02-25 2021-02-25 自動運転システム、自動運転方法、及び自動運転プログラム

Publications (3)

Publication Number Publication Date
JP2022130209A JP2022130209A (ja) 2022-09-06
JP2022130209A5 JP2022130209A5 (ja) 2022-12-08
JP7380614B2 true JP7380614B2 (ja) 2023-11-15

Family

ID=83048977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021029263A Active JP7380614B2 (ja) 2021-02-25 2021-02-25 自動運転システム、自動運転方法、及び自動運転プログラム

Country Status (3)

Country Link
US (1) US20230401870A1 (ja)
JP (1) JP7380614B2 (ja)
WO (1) WO2022181502A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030776A (ja) 2001-07-17 2003-01-31 Japan Radio Co Ltd 物体検知システムおよびその方法
JP2008026985A (ja) 2006-07-18 2008-02-07 Toyota Motor Corp 車載用歩行者検出装置
JP2019021201A (ja) 2017-07-20 2019-02-07 株式会社デンソー 学習サーバ及び支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030776A (ja) 2001-07-17 2003-01-31 Japan Radio Co Ltd 物体検知システムおよびその方法
JP2008026985A (ja) 2006-07-18 2008-02-07 Toyota Motor Corp 車載用歩行者検出装置
JP2019021201A (ja) 2017-07-20 2019-02-07 株式会社デンソー 学習サーバ及び支援システム

Also Published As

Publication number Publication date
WO2022181502A1 (ja) 2022-09-01
US20230401870A1 (en) 2023-12-14
JP2022130209A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
US11990036B2 (en) Driver behavior monitoring
US11769318B2 (en) Systems and methods for intelligent selection of data for building a machine learning model
EP2984642B1 (en) Mapping active and inactive construction zones for autonomous driving
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
CN111382768A (zh) 多传感器数据融合方法和装置
US11657591B2 (en) Autonomous vehicle system for intelligent on-board selection of data for building a remote machine learning model
CN110573978A (zh) 用于自驾交通工具的动态传感器选择
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
US20220188695A1 (en) Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model
WO2017123665A1 (en) Driver behavior monitoring
JP7380616B2 (ja) 自動運転制御装置、自動運転制御方法、及び自動運転制御プログラム
US11577732B2 (en) Methods and systems for tracking a mover's lane over time
US20230068848A1 (en) Systems and methods for vehicle camera obstruction detection
WO2022108744A1 (en) On-board feedback system for autonomous vehicles
CN117416344A (zh) 自主驾驶***中校车的状态估计
JP7380614B2 (ja) 自動運転システム、自動運転方法、及び自動運転プログラム
WO2024090388A1 (ja) 情報処理装置及びプログラム
EP4394664A1 (en) Automated data generation by neural network ensembles
CN117416343A (zh) 自动驾驶***中对校车的活跃状态估计与响应
JP2024062325A (ja) 情報処理装置及びプログラム
CN118262298A (zh) 存在于道路上的对象的分类

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151