JP2020013206A - 動画・カメラからの二輪車検知装置、プログラム及びシステム - Google Patents
動画・カメラからの二輪車検知装置、プログラム及びシステム Download PDFInfo
- Publication number
- JP2020013206A JP2020013206A JP2018133299A JP2018133299A JP2020013206A JP 2020013206 A JP2020013206 A JP 2020013206A JP 2018133299 A JP2018133299 A JP 2018133299A JP 2018133299 A JP2018133299 A JP 2018133299A JP 2020013206 A JP2020013206 A JP 2020013206A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- motorcycle
- area
- data
- bicycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】非常に小さく映っている、自転車やオートバイ等の動体であっても、正確に認識する装置を提供する。【解決手段】二輪車検知装置は、カメラから得られた映像において、動態を検知する範囲を、最大エリアとして事前に指定して、当該最大エリア内で動態検知を行う。動態検知により検出されたエリアを、深層学習により学習された畳み込みニューラルネットワーク等の画像認識モデルに適したサイズになるように縮小、拡大を行うことで、映像中において小さく映った歩行者、自転車及びオートバイ等の小さな対象物でも正確に識別する。【選択図】図1
Description
本発明は、動画やカメラからの二輪車を自動的に検知する装置、プログラム及びシステム(以下、「装置等」という。)に関する。具体的には、カメラからの映像や、記憶装置に記憶された動画、静止画ファイルから、人が乗った自転車やオートバイ等の二輪車を、深層学習に基づいて予め生成された二輪車検知モデルを用いて、人と自転車やオートバイ等の二輪車とを検知する精度を向上させた二輪車検知装置等に関する。
近年、画像認識技術の向上に伴って、車両に搭載されたカメラで撮影された動画、静止画(以下、単に「映像」という。)から動体を検知し、自転車や二輪車およびそれらの乗員と歩行者を認識する画像認識装置(特許文献1)等の画像認識技術を用いて、カメラからの映像における動体を検知する手法の開発が盛んに行われている。
カメラで撮影された映像から動体を検知する手法のその他の従来例としては、道路に存在する柱等に取り付けられたステレオカメラから得られる画像を用いて、歩行者や自転車等の対象物を検出し、対象物の位置や速度等の運動情報を推定する装置(特許文献2)や、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者等の存在を認識した場合に、認識対象物である歩行者等の存在を他の車両を運転中のドライバに報知することができる障害物検出システム(特許文献3)等がある。
これらの従来例で用いられた、動くもの(歩行者、自動車、二輪車等)を検知する手法は、道路脇の電柱や商店街に設置されたカメラで撮影された映像にも適用することができ、一定の期間内に検知された歩行者、自転車、自動車等の各種動体の数をカウントして、道路の交通量や商店街の通行量等を算出することが期待できる。
しかしながら、商店街や交差点に設置されたカメラは、撮影場所を引いた画で、つまり、俯瞰で撮影している場合があり、その場合、カメラで撮影された映像中の歩行者、自転車やオートバイの二輪車等の動体は、非常に小さく映っているため、車載カメラが撮影した比較的大きく映った動体を対象とするような上記従来例(特に、特許文献1、特許文献3)の動体検知手法では、映像中の動体が歩行者なのか、自転車やオートバイ等の二輪車なのか正確に認識することができないという問題が生じていた。
また、ステレオカメラを用いた従来例(特許文献2)では、監視領域を定めて、監視領域に存在する対象物領域を検知することで、比較的小さく映った対象物を検出することができるが、ステレオカメラを用いた映像を対象とするものであり、通常の1つのレンズのカメラで撮影された映像にそのままでは適用することはできない。
このような課題を解決するために、交差点や商店街に設置されたカメラ等の設備を、ステレオカメラ等の新たな設備に置き換えることが考えられるが、設備投資に費用がかかり現実的ではない。そのため、交差点や商店街に設置されたカメラ等の既存設備を置き換えることなく、既存設備をそのまま活かして、映像中の動態を検知して、それが何なのかを認識できる仕組みが必要となる。
そこで、本発明では、カメラから得られた映像において、動態検知により検出されたエリアを、深層学習により学習された畳み込みニューラルネットワーク(CNN)等の物体検出モデル(画像認識モデル)に適したサイズになるように縮小、拡大を行うことで、映像中において小さく映った歩行者、自転車及びオートバイ等の小さな対象物でも正確に識別できる装置等を提供する。
本発明の1つの実施形態に係る二輪車検知装置は、
カメラで撮影された動画又は連続した静止画を含む映像データから動態を検知した検出エリアを抽出する動態検知部と
前記検出エリアに対応するデータを、物体検出モデルに入力して前記検出エリアにおける物体を検出する二輪車検出部と
を含み、
前記動態検知部は、前記検出エリアに対応するデータを予め設定されたサイズにおさめるために、拡大又は縮小の画像処理を行い、
前記二輪車検出部によって検出される前記物体は、少なくとも自転車及びオートバイを含む二輪車を含むことを特徴とする。
カメラで撮影された動画又は連続した静止画を含む映像データから動態を検知した検出エリアを抽出する動態検知部と
前記検出エリアに対応するデータを、物体検出モデルに入力して前記検出エリアにおける物体を検出する二輪車検出部と
を含み、
前記動態検知部は、前記検出エリアに対応するデータを予め設定されたサイズにおさめるために、拡大又は縮小の画像処理を行い、
前記二輪車検出部によって検出される前記物体は、少なくとも自転車及びオートバイを含む二輪車を含むことを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記物体検出モデルによって、前記検出エリアから少なくとも自転車及びオートバイを含む二輪車が検出された場合に、前記検出エリアに識別子を割り当てることを特徴とする。
前記物体検出モデルによって、前記検出エリアから少なくとも自転車及びオートバイを含む二輪車が検出された場合に、前記検出エリアに識別子を割り当てることを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記識別子は、今回抽出された前記検出エリアと、該検出エリアが抽出される前に、抽出されていた前回の検出エリアとを比較して、予め設定された個体識別用時間の範囲以内で、かつ、予め設定された個体識別用距離の範囲以内にある場合には、前記前回の検出エリアと同じ識別子であり、それ以外の場合には新たな識別子であることを特徴とする。
前記識別子は、今回抽出された前記検出エリアと、該検出エリアが抽出される前に、抽出されていた前回の検出エリアとを比較して、予め設定された個体識別用時間の範囲以内で、かつ、予め設定された個体識別用距離の範囲以内にある場合には、前記前回の検出エリアと同じ識別子であり、それ以外の場合には新たな識別子であることを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記検出エリアは、予め設定された検出最大エリア以内であり、かつ、予め設定された検出最小エリア以上の範囲内の差分エリアデータであり、
前記差分エリアデータは、前記映像データのフレームと後続フレームとの差分を抽出した差分データの輪郭から内側をエリアとしたデータであることを特徴とする。
前記検出エリアは、予め設定された検出最大エリア以内であり、かつ、予め設定された検出最小エリア以上の範囲内の差分エリアデータであり、
前記差分エリアデータは、前記映像データのフレームと後続フレームとの差分を抽出した差分データの輪郭から内側をエリアとしたデータであることを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記差分データは、膨張又は収縮の画像処理により、なめらかな画像に加工されたこと
を特徴とする。
前記差分データは、膨張又は収縮の画像処理により、なめらかな画像に加工されたこと
を特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記検出エリアは、画像解析され、明暗、コントラストの調整がなされていること
を特徴とする。
前記検出エリアは、画像解析され、明暗、コントラストの調整がなされていること
を特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記検出エリアは、前記識別子に対応するIDに加えて、検出時刻、自転車かオートバイかを表す種別、検出エリアの中心点座標、検出エリアの面積を記録したレコードとして検知データベースに記憶されることを特徴とする。
前記検出エリアは、前記識別子に対応するIDに加えて、検出時刻、自転車かオートバイかを表す種別、検出エリアの中心点座標、検出エリアの面積を記録したレコードとして検知データベースに記憶されることを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記検知データベースにおいて、前記ID毎に前記検出時刻の古いレコードから前記検出時刻の新しいレコードまでの前記中心点座標の移動の軌跡に基づいて、前記種別で表される自転車又はオートバイの進行方向を判別することを特徴とする。
前記検知データベースにおいて、前記ID毎に前記検出時刻の古いレコードから前記検出時刻の新しいレコードまでの前記中心点座標の移動の軌跡に基づいて、前記種別で表される自転車又はオートバイの進行方向を判別することを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記検知データベースにおいて、前記IDで特定される複数のレコードから、時系列的に最初に記録されたレコードにおける中心点座標を始点とし、最後に記録されたレコードにおける中心点座標を終点とし、前記始点と前記終点を、予め設定された射影変換座標に基づいて、射影変換を行い、
前記射影変換の後の前記始点と前記終点の座標から予め設定されたピクセル間距離に基づいて推定距離を算出し、前記始点を含むレコードに記録された検出時刻と前記終点を含むレコードに記録された検出時刻から、移動時間を算出して、前記種別で表される自転車又はオートバイの通過速度を推定し、
前記予め設定された射影変換座標は、前記カメラで撮影される景色を真上からみたように射影した座標であることを特徴とする。
前記検知データベースにおいて、前記IDで特定される複数のレコードから、時系列的に最初に記録されたレコードにおける中心点座標を始点とし、最後に記録されたレコードにおける中心点座標を終点とし、前記始点と前記終点を、予め設定された射影変換座標に基づいて、射影変換を行い、
前記射影変換の後の前記始点と前記終点の座標から予め設定されたピクセル間距離に基づいて推定距離を算出し、前記始点を含むレコードに記録された検出時刻と前記終点を含むレコードに記録された検出時刻から、移動時間を算出して、前記種別で表される自転車又はオートバイの通過速度を推定し、
前記予め設定された射影変換座標は、前記カメラで撮影される景色を真上からみたように射影した座標であることを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記種別で表される自転車又はオートバイの前記通過速度と予め設定された乗車・降車判定速度とを比較して、乗車・降車状態を判定し、
前記通過速度が予め設定された乗車・降車判定速度以上であれば、前記乗車・降車状態は乗車であることを示し、
前記予め設定された乗車・降車判定速度未満であれば、前記乗車・降車状態は降車であることを示すことを特徴とする。
前記種別で表される自転車又はオートバイの前記通過速度と予め設定された乗車・降車判定速度とを比較して、乗車・降車状態を判定し、
前記通過速度が予め設定された乗車・降車判定速度以上であれば、前記乗車・降車状態は乗車であることを示し、
前記予め設定された乗車・降車判定速度未満であれば、前記乗車・降車状態は降車であることを示すことを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記進行方向、前記通過速度、前記乗車・降車状態に基づいて、単位時間あたりの方向別通行件数、方向別乗車・降車比率、方向別通行速度の少なくとも1つの値を算出することを特徴とする。
前記進行方向、前記通過速度、前記乗車・降車状態に基づいて、単位時間あたりの方向別通行件数、方向別乗車・降車比率、方向別通行速度の少なくとも1つの値を算出することを特徴とする。
本発明に係る二輪車検知装置の好ましい実施形態として、
前記物体検出モデルは、畳み込みニューラルネットワーク(CNN)であることを特徴とする。
前記物体検出モデルは、畳み込みニューラルネットワーク(CNN)であることを特徴とする。
本発明の1つの実施形態に係る二輪車検知プログラムは、コンピュータによって実行させることで、前記コンピュータを前記二輪車検知装置として機能させることを特徴とする。
本発明の1つの実施形態に係る二輪車検知システムは、カメラから動画又は連続した静止画データを取得して記憶する記憶装置と、該記憶装置とネットワークを介して接続され、前記プログラムを実行したコンピュータとを含むことを特徴とする。
本発明に係る二輪車検知装置、方法及びプログラムを用いることで、交差点や商店街に設置されたカメラ等の設備を、新たな設備に置き換えることなく、既存設備をそのまま活かして、映像中の動態を検知して、検知したものが人なのか、自転車又はオートバイ等の二輪車なのかを認識することができる。
また、本発明を交差点や商店街に設置されたカメラから得られた映像データに適用することで、自転車、オートバイの各々の単位時間毎の方向別通行件数、方向別乗車・降車比率、方向別通行速度等、交差点や商店街における二輪車の通行量を時間帯毎に把握することができ、それにより、交差点や商店街を走行する二輪車の監視を自動化することができる。
以下に図面を参照して、本発明の一実施形態について説明する。なお、実施の形態を説明するための全ての図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。
図1は、本発明の一実施形態に係る二輪車検知システムにおける装置等の構成概要を示す。本発明の二輪車検知システムは、二輪車検知装置10と防犯カメラ等のカメラ20とを含み、二輪車検知装置10の記憶装置30に記憶される映像データは、カメラ20で撮影されて記憶装置40に記憶された映像データである。例えば、カメラ20で撮影された動画又は連続した静止画(以下、単に「映像」という。)は、映像データとして一時的に記憶装置40に記憶され、ネットワークを介して、二輪車検知装置10に送信されて、記憶装置30に蓄積される。
図1に示す実施形態では、コンピュータに動態検知分析プログラム50を実行させることで、当該コンピュータを二輪車検知装置10として機能されるものであるが、これに限定されるものではなく、二輪車検知装置10の少なくとも一部の機能又は全部の機能を、特定用途向け集積回路(ASIC)等でハードウェア的に実装することも可能である。
動態検知分析プログラム50は、主に、画像処理による動態検知と深層学習による二輪車検知といった2つの機能を有しており、映像中の自転車及びオートバイ等の二輪車に加えて、人、自動車等の動くものを検知して、それらの移動速度、移動方向、通行量等を測定することができる。動態検知は、映像全体(すなわち、映像を映す画面全体)に対して行われる。検知されたエリアに対しは、ノイズ除去として、後述する検出最大エリア、検出最小エリアを使用する。動態検知分析プログラム50の各機能のより具体的な構成は、図2に示すとおりである。
図2は、本発明の一実施形態に係るコンピュータを二輪車検知装置として機能させるための動態検知分析プログラムの構成を示す。コンピュータを二輪車検知装置10として機能させる動態検知分析プログラム50は、画像処理による動態検知部51及び深層学習による二輪車検出部53を含む。動態検知部51及び二輪車検出部53は、動態検知分析プログラム50を実行したコンピュータ上で実現することができる。
画像処理による動態検知部51には、例えば、既存のオープンソースソフトウェア(OSS)である画像処理ライブラリOpenCVを使用し、深層学習による二輪車検出部53には、例えば、既存の物体検出アルゴリズムSSD:Single Shot MultiBox Detectorを使用することができる。深層学習には、例えば、既存の深層学習フレームワークのTensorFlow/Kerasを使用することができる。ただし、深層学習については、上述したフレームワークに限定されるものではなく、ニューラルネットワーク、認識アルゴリズムを特定する必要はなく、一般的な画像より物体認識できるものであれば使用可能である。また、図2に示す実施形態では、本発明の二輪車検出部を「深層学習による二輪車検出部53」としているが、これに限定されるものではなく、深層学習以外の方法で生成された物体検出モデルを用いることもできる。
動態検知分析プログラム50に対して、ユーザは、以下の各種事前設定を行うことができる。
(1)検出最大エリア、検出最小エリア:
ユーザは映像データの動態として検出されたエリアを処理対象とするか否かを判別するために「検出最大エリア」、「検出最小エリア」を設定することができる。具体的には、検出最大エリア及び検出最小エリアを、面積または矩形座標で指定する。これら検出最大エリア及び検出最小エリアは、動態として検知したエリアを対象とするか、除外するかの判定に使用する。
ユーザは映像データの動態として検出されたエリアを処理対象とするか否かを判別するために「検出最大エリア」、「検出最小エリア」を設定することができる。具体的には、検出最大エリア及び検出最小エリアを、面積または矩形座標で指定する。これら検出最大エリア及び検出最小エリアは、動態として検知したエリアを対象とするか、除外するかの判定に使用する。
(2)個体識別用時間:
ユーザは、動態検知により検出したエリアを、フレーム間で「同じ自転車か」否か、「同じオートバイか」否かなどの個体識別するための時間を「個体識別用時間」として設定することができる。動態検知分析プログラム50は、この設定値(秒)以下で、かつ「個体識別用距離」以内の検出エリアには、同じ個体としてID(識別子)を設定する。
ユーザは、動態検知により検出したエリアを、フレーム間で「同じ自転車か」否か、「同じオートバイか」否かなどの個体識別するための時間を「個体識別用時間」として設定することができる。動態検知分析プログラム50は、この設定値(秒)以下で、かつ「個体識別用距離」以内の検出エリアには、同じ個体としてID(識別子)を設定する。
(3)個体識別用距離:
ユーザは、動態検知により検出したエリアを、フレーム間で「同じ自転車か」否か、「同じオートバイか」否かなどの個体識別するための距離を「個体識別用距離」として設定することができる。動態検知分析プログラム50は、この設定値(ピクセル)以下で、かつ「個体識別用時間」以内の検出エリアには、同じ個体としてID(識別子)を設定する。
ユーザは、動態検知により検出したエリアを、フレーム間で「同じ自転車か」否か、「同じオートバイか」否かなどの個体識別するための距離を「個体識別用距離」として設定することができる。動態検知分析プログラム50は、この設定値(ピクセル)以下で、かつ「個体識別用時間」以内の検出エリアには、同じ個体としてID(識別子)を設定する。
(4)乗車・降車判定速度:
ユーザは、検出エリア内の二輪車の乗車・降車状態を判定するために使用する「乗車・降車判定速度」を設定することができる。例えば、乗車状態を時速6km以上と設定することができる。
ユーザは、検出エリア内の二輪車の乗車・降車状態を判定するために使用する「乗車・降車判定速度」を設定することができる。例えば、乗車状態を時速6km以上と設定することができる。
(5)射影変換座標:
ユーザは、速度算出のための、画像の射影変換を行うための座標(変換元起点の4点座標、変換先起点の4点座標)を「射影変換座標」として設定することができる。図3には、映像データの座標を射影変換した例を示す。図3に示される例では、ユーザは変換元起点と変換先起点を設定することができる。例えば、映像イメージに示される十字の交差点の4つの角の座標を変換元起点として設定し、当該十字の交差点を真上から見える位置(座標)を変換先起点として設定している。射影変換前の二輪車等の物体の検出軌跡は、交差点の手前から奥へ又は奥から手前へと見えているが、射影変換後は、十字の交差点は真上からみたように変換され、検出軌跡は下から上へ又は上から下へと変換される。
ユーザは、速度算出のための、画像の射影変換を行うための座標(変換元起点の4点座標、変換先起点の4点座標)を「射影変換座標」として設定することができる。図3には、映像データの座標を射影変換した例を示す。図3に示される例では、ユーザは変換元起点と変換先起点を設定することができる。例えば、映像イメージに示される十字の交差点の4つの角の座標を変換元起点として設定し、当該十字の交差点を真上から見える位置(座標)を変換先起点として設定している。射影変換前の二輪車等の物体の検出軌跡は、交差点の手前から奥へ又は奥から手前へと見えているが、射影変換後は、十字の交差点は真上からみたように変換され、検出軌跡は下から上へ又は上から下へと変換される。
(6)ピクセル間距離:
ユーザは、速度算出ために射影変換を行った後の画像のピクセル間の距離を「ピクセル間距離」として設定することができる。
ユーザは、速度算出ために射影変換を行った後の画像のピクセル間の距離を「ピクセル間距離」として設定することができる。
(7)深層学習入力画像サイズ:
ユーザは、深層学習による二輪車検出部53に入力する画像のサイズを「深層学習入力画像サイズ」として設定することができる。動態検知分析プログラム50は、検出エリアの画像をこのサイズに合わせ拡大・縮小し、深層学習入力画像とすることができる。つまり、動態検知で動態として検知して切り出したエリア(検出エリア)が深層学習の入力画像となり、その入力の際に、この設定に従い入力画像サイズの調整を行うことができる。
ユーザは、深層学習による二輪車検出部53に入力する画像のサイズを「深層学習入力画像サイズ」として設定することができる。動態検知分析プログラム50は、検出エリアの画像をこのサイズに合わせ拡大・縮小し、深層学習入力画像とすることができる。つまり、動態検知で動態として検知して切り出したエリア(検出エリア)が深層学習の入力画像となり、その入力の際に、この設定に従い入力画像サイズの調整を行うことができる。
(8)深層学習入力画像処理:
ユーザは、検出エリアの画像の、明暗を調整やコントラストを調整する設定を「深層学習入力画像処理」として設定することができる。例えば、輝度を調整する場合、補正を行うしきい値とガンマ補正値を設定する。
ユーザは、検出エリアの画像の、明暗を調整やコントラストを調整する設定を「深層学習入力画像処理」として設定することができる。例えば、輝度を調整する場合、補正を行うしきい値とガンマ補正値を設定する。
動態検知分析プログラム50は、映像データから動態検知を行い、検知対象の動態検知したものに対し、深層学習により自転車・オートバイを識別し、「検知データ」を作成して、検知データを1レコードとして検知データベースに記憶する。映像データから「検知データ」を作成する手順は、図4及び図6のフローチャートに示される。
図4は、映像データから動態を検知して検出エリアを特定する処理のフローチャートを示す。また、図5には、映像データから動態を検知して検出エリアを特定するまでの処理の様子を示す。図4及び図5を参照しながら、検出エリアを特定するまでの手順は次のとおりである。まず、映像データの現フレームと後続フレームの比較を行い、フレーム間の差分を抽出する(ステップS100)。次に、抽出した差分を白黒2値化した「差分データ」を作成する(ステップS101)。図5(a)に現フレームと後続フレームとの差分を抽出して白黒2値化する処理の様子をしめす。現フレームと後続フレームとが重なった部分を白色とし、重なっていない部分を黒色とする。
なお、ユーザは、フレームの比較間隔を「比較フレーム間隔」として事前に設定することができる。このような事前設定は、映像の性質(「動きが激しい」、「動きがほとんどない」など)または接続カメラの台数に伴うPCハードウェアの処理性能などに対応するためである。
通常、この「差分データ」には細かなノイズなどが含まれるため、膨張と収縮の画像処理を行い、なめらか画像に加工する(ステップS102)。図5(b)に「差分データ」が、膨張・縮小の処理によってなめらか画像に加工された様子を示す。
膨張と収縮の画像処理を行った「差分データ」を、画像処理により輪郭を抽出し、輪郭の内側を1かたまりとした「差分エリアデータ」に変換する(ステップS103)。図5(c)に、なめらか画像に加工した後の「差分データ」の輪郭から内側(塗りつぶされた領域)を1つのエリアとした「差分エリアデータ」に変換する。
「差分エリアデータ」が、事前の設定の「検出最大エリア」、「検出最小エリア」の範囲内であるか否かを判定し(ステップS104)、範囲内である場合(ステップS104のYES)、「差分エリアデータ」を「検出エリア」とし(ステップS105)、範囲外である場合(ステップS104のNO)、「差分エリアデータ」を除外データとする(ステップS106)。ここで、図7には、映像データにおいて検出エリアとされた部分と除外データとされた部分の概略を示す。差分エリアデータは、その外周が、検出最大エリア(図7の例では、検出エリアの一番外側の矩形領域)と、検出最小エリア(図7の例では、検出エリアの一番内側の矩形領域)との間にある場合には、検出エリアとして設定される。
予め設定された「検出最大エリア」よりも大きい「差分エリアデータ」は、除外データとして設定され、予め設定された「検出最小エリア」よりも小さい「差分エリアデータ」も、除外データとして設定される。
図6には、「検出エリア」に基づいて「検知データ」を生成する手順が示される。まず、「検出エリア」に対し、予め指定した「深層学習入力画像サイズ」設定のサイズに拡大・縮小の画像処理を行い(ステップS110)、「検出エリア」に対し、「深層学習入力画像処理」設定がある場合、画像を解析して、明暗、コントラストの調整を行う(ステップS111)。「深層学習入力画像処理」設定がなければ、明暗、コントラストはデフォルトのままで調整を行わない。
その後、画像処理を行った「検出エリア」を、深層学習により学習済みの物体検出モデルを用いて、物体検出を行う(ステップS112)。深層学習の物体検出によって、「自転車」、「オートバイ」の二輪車であるか否かを判定する(ステップS113)。「自転車」、「オートバイ」の二輪車として検出された場合(ステップS113のYES)、IDを割り当てる対象となる「検出エリア」とし(ステップS114)、「自転車」、「オートバイ」の二輪車として検出されない場合(ステップS113のNO)、二輪車検出の処理をそのまま終了する。なお、二輪車が検出されない場合でも、人や自動車を検出した場合には、それらを識別するIDを割り当ててもよい。
IDを割り当てる対象とした「検出エリア」が、前回検出された「検出エリア」の情報と比べ、「個体識別用時間」内でかつ、中心点(中心点座標)の距離が「個体識別用距離」内にあるか否かを判定する(ステップS115)。IDを割り当てる対象とした「検出エリア」が、前回検出された「検出エリア」の情報と比べ、「個体識別用時間」内でかつ、中心点(中心点座標)の距離が「個体識別用距離」内にある場合(ステップS115のYES)、当該「検出エリア」に前回検出された「検出エリア」のIDと同じIDを設定する(ステップS116)。
他方、IDを割り当てる対象とした「検出エリア」が、前回検出された「検出エリア」の情報と比べ、「個体識別用時間」内でかつ、中心点(中心点座標)の距離が「個体識別用距離」内にない場合(ステップS115のNO)、当該「検出エリア」に新しいIDを設定する(ステップS117)。なお、「検出エリア」が複数存在する場合には、それぞれ別のIDを割り当てる。
IDを設定した「検出エリア」を「検知データ」として保存する(ステップS118)。「検知データ」は1レコードに相当し、次の情報を含む。
<時刻>,<ID>,<種別:自転車,オートバイ>,<中心点座標X,Y>,(<面積>)
<時刻>は、検出エリアを検出した時刻であり、IDは検出エリアに割り当てられた識別子(ID)に対応する識別子である。<種別>は、検出エリア内の個体(物体)が自転車なのかオートバイなのかを表しており、<中心点座標>は、検出エリアの中心点の座標である。<面積>は、検出エリアの面積であり、面積の情報は、検知データに含めなくてもよい。検知データは1レコードとして、検知データベースに記憶される。なお、カメラから得られた映像データを動画ファイルとして保存している場合に、当該動画ファイルを分析する際に、<時刻>は先頭フレームの時刻を設定し、フレーム数とFPS(1秒のフレーム数)からの差に基づいて算出することができる。
<時刻>,<ID>,<種別:自転車,オートバイ>,<中心点座標X,Y>,(<面積>)
<時刻>は、検出エリアを検出した時刻であり、IDは検出エリアに割り当てられた識別子(ID)に対応する識別子である。<種別>は、検出エリア内の個体(物体)が自転車なのかオートバイなのかを表しており、<中心点座標>は、検出エリアの中心点の座標である。<面積>は、検出エリアの面積であり、面積の情報は、検知データに含めなくてもよい。検知データは1レコードとして、検知データベースに記憶される。なお、カメラから得られた映像データを動画ファイルとして保存している場合に、当該動画ファイルを分析する際に、<時刻>は先頭フレームの時刻を設定し、フレーム数とFPS(1秒のフレーム数)からの差に基づいて算出することができる。
検知データベースに記憶された複数の「検知データ」(複数のレコード)からID毎に「通行データ」を作成することができる。二輪車検知装置10(動態検知分析プログラム50)は、「通行データ」から通行量の算出等を行うことができる。「通行データ」のレコードは、以下の情報を含む。
<時刻>,<ID>,<種別:自転車,オートバイ>,<進行方向>,<通過速度>,<乗車・降車>
<時刻>は、検知データベースに記憶された複数の「検知データ」(複数のレコード)からID毎に任意の時刻(例えば、最初のレコードに記録された時刻、真ん中のレコードに記録された時刻、または、最後のレコードに記録された時刻)とすることができる。
<時刻>,<ID>,<種別:自転車,オートバイ>,<進行方向>,<通過速度>,<乗車・降車>
<時刻>は、検知データベースに記憶された複数の「検知データ」(複数のレコード)からID毎に任意の時刻(例えば、最初のレコードに記録された時刻、真ん中のレコードに記録された時刻、または、最後のレコードに記録された時刻)とすることができる。
<進行方向>は、検知データベースに記憶された複数の「検知データ」(複数のレコード)からID毎に、各「検知データ」(各レコード)に記録された中心点の座標を使用して判定される。進行方向の種別は事前に決め(例:東西南北,左右など)、方向の求め方は、例えば、最終の2レコード(または数レコード)の中心点の直線を求め角度により決定する。
<通過速度>は、検知データベースに記憶された複数の「検知データ」(複数のレコード)からID毎に、最初のレコードに記録された中心点(始点)と、最後のレコードに記録された中心点(終点)に関して、予め定めた「射影変換座標」設定をもとに射影変換を行って、変換後の始点と終点の座標から距離を算出し、予め定めた「ピクセル間距離」設定と始点終点の時刻に基づいて、通過速度を求めることができる。
<乗車・降車>は、種別で表される自転車又はオートバイが、乗車状態にあるか降車状態にあるかを判断するための情報である。<乗車・降車>は、通過速度を予め定めた「乗車・降車判定速度」設定と比較し、速い場合は乗車状態と判定して乗車状態を示す値を設定し、遅い場合は降車状態と判定して降車状態を示す値を設定する。
二輪車検知装置10(動態検知分析プログラム50)は、作成された「通行データ」から、<種別>、<進行方向>、<通過速度>、<乗車・降車>等の情報に基づいて、時間単位の方向別通行件数の算出、方向別乗車・降車比率の算出、及び方向別通行速度の算出の少なくともいずれか1つ値を求めることができる。
実証実験は、ある場所に設定されている防犯カメラの12時台の映像データを使用した。映像データは、640×480ピクセル、3FPSで画質は粗いものを使用した。本発明の二輪車検知装置10(動態検知分析プログラム50)では、二輪車の検出台数は215台であった。目視によるカウントでは、221台であり、本発明の二輪車検知装置10(動態検知分析プログラム50)は、ほぼ人と同程度にオートバイ又は自転車といった二輪車を検出することができた。
これに対して、動態検知を行わず単に深層学習のフレームワークを使用した場合には、次の表に示すとおり、検出されたフレームは12フレームであり、二輪車の検出台数は、10台であった。
図8及び図9は、本発明の一実施形態に係る二輪検知装置による動態検知分析の結果の例及び深層学習のみによる物体検出の結果の例を示す静止画像である。図8及び図9の撮影場所は同じであるが、それぞれ別の角度から撮影したものである。映像データは、1920×1080ピクセル、30FPS、スマートフォンカメラで撮影した動画から二輪車検知を行った。
図8(a)と(b)の画像を比較すると、本発明の二輪車検知装置10(動態検知分析プログラム50)による画像認識では、画像に写るすべての人をヒトとして認識し、さらに一台を除いて、人が乗車中の自転車を認識していることが分かる。これに対して、深層学習のみによる物体検出モデルを用いた画像認識では、すべての人を認識できず、さらに、自転車を一台も認識することはできなかった。
また、図9(a)と(b)の画像を比較すると、本発明の二輪車検知装置10(動態検知分析プログラム50)による画像認識では、画像に小さく映る、横断歩道を渡る人及び横断歩道付近の人をヒトとして認識し、さらに、横断歩道上及び横断歩道付近の自転車も認識していることが分かる。これに対して、深層学習のみによる物体検出モデルを用いた画像認識では、画像に大きく写る自動車を辛うじて認識するだけで、画像に写るすべての人を認識できず、さらに、自転車を一台も認識することはできなかった。なお、図8及び図9での比較のために用いた映像データは、通常の防犯カメラの映像よりも高画質である。実際の防犯カメラの映像データ(例えば、640×480ピクセル、3FPS)を用いた場合には、深層学習のみによる物体検出モデルを用いた画像認識では何も認識できなかった。
以上のことから、本発明の一実施形態に係る二輪車検知装置10(動態検知分析プログラム50)は、深層学習により学習された畳み込みニューラルネットワーク(CNN)等の物体検出モデル(画像認識モデル)による画像認識にかける前処理として、検出エリアのサイズを当該物体検出モデルに適したサイズになるように縮小、拡大を行うことができる。つまり、二輪車検知装置10(動態検知分析プログラム50)は、画像処理による動態検知によって動態検知を行い、動態検知により検出されたエリアを、深層学習による物体検出モデルの画像認識性能を引き出すのに適したサイズになるように縮小、拡大を行うことができる。
このように、二輪車検知装置10(動態検知分析プログラム50)は、検出エリアを物体検出モデル(画像認識モデル)に適したサイズになるように縮小、拡大を行うことで、映像中において小さく映った歩行者、自転車及びオートバイ等の小さな対象物でも正確に識別することができる。
その他の実証実験として、ある商店街で、歩行者天国で自転車に乗車したまま通行する危険行為を解決するために、防犯カメラの映像から自転車の通行状況を「見える化」し、解決策を検討するための実験を行った。時間帯はある日の12時から18時までで、防犯カメラ(1台)の映像データを、二輪車検知装置10(動態検知分析プログラム50)で分析した。二輪車検知装置10により、動画ファイル(防犯カメラの映像)から、自転車を検知し、検知情報(動画フレーム,画面位置など)を自転車検知データファイルに保存した。
自転車検知データファイルから自転車の通行状況を時間帯ごとにまとめた結果を次に示す。12時台から17時台までの自転車の合計台数は1198台であり、1時間あたり199.7台で、1分あたり3.3台であった。自転車の通行数のカウント精度は、84.7%(1198÷1414×100)であり(17時台を除いた場合のカウント精度は94.6%)、深層学習による一般的な認識率の精度(例えば、図8及び図9参照)と比べ、高い精度となった。
本発明の二輪車検知装置10(動態検知分析プログラム50)による検出台数と、目視による検出台数との差異について、本発明の二輪車検知装置10では、画面上部(遠い)範囲のみ移動する自転車を認識することができないこと(例えば、図9(a)参照)、17時台はあたりが暗くなったことにより、映像データから得られる自転車の特徴が少なくなり認識しなくなったと考えられる。
また、本発明の二輪車検知装置10を用いて、ある時間帯の映像データから検出された自転車の走行速度を算出する実証実験を行った。自転車の走行速度、及び方向別の速度は、二輪車検知装置10により、作成された「通行データ」から、<種別>、<進行方向>、<通過速度>、<乗車・降車>等の情報に基づいて計算することができる。その結果、時速10km以上で通行する自転車の台数とその割合を次の表に示す。
全台数中時速10km以上で通行する自転車台数の割合は34÷224=15.2%であった。このように、比較的早い速度で走る自転車を検出することができるので、本発明の二輪車検知装置10は、商店街等の歩行者天国で、走行する自転車を自動的に検出し危険性を判別することができる。なお、本実証実験では、歩行者(人)の数をカウントしていないが、歩行者の数と自転車の通過速度との関係により、危険性を判別することも可能である。
そして、進行方向別の自転車の速度の算出結果を次の表に示す。
方向別の自転車の走行速度を算出したことで、下り坂の東方向に進む平均速度は、上り坂の西方向に進む平均速度よりも速いことが分かる。このように、本発明の二輪車検知装置10は、自転車を含む二輪車の走行速度を方向別に算出することができる。
以上のとおり、本発明に係る二輪車検知装置等を用いることで、従来の深層学習による物体検出モデルでは検出できない、映像に小さく映る動態を検知して、人、オートバイ及び自転車を含む二輪車を正確に検出することができる。言い換えると、商店街や交差点に設置された防犯カメラ等のカメラで、撮影場所を引いた画で、つまり、俯瞰で撮影している場合でも、映像中の動体が歩行者なのか、自転車やオートバイ等の二輪車なのか正確に認識することができる。これにより、商店街や交差点における二輪車の通行量及び通行速度を、単位時間当たり(例えば1時間毎に)方向別に自動的に計算することができる。
本発明の二輪車検知装置等は、カメラで撮影された映像データから自動的に歩行者等の人、オートバイや自転車等の二輪車を検知して、検知結果に基づいて分析等を行うことに利用可能である。
10 二輪車検知装置
20 カメラ
30 記憶装置
40 記憶装置
50 動態検知分析プログラム
51 動態検知部
52 画像処理ライブラリ
53 二輪車検出部
54 物体検出アルゴリズム
55 深層学習フレームワーク
20 カメラ
30 記憶装置
40 記憶装置
50 動態検知分析プログラム
51 動態検知部
52 画像処理ライブラリ
53 二輪車検出部
54 物体検出アルゴリズム
55 深層学習フレームワーク
Claims (14)
- カメラで撮影された動画又は連続した静止画を含む映像データから動態を検知した検出エリアを抽出する動態検知部と
前記検出エリアに対応するデータを、物体検出モデルに入力して前記検出エリアにおける物体を検出する二輪車検出部と
を含み、
前記動態検知部は、前記検出エリアに対応するデータを予め設定されたサイズにおさめるために、拡大又は縮小の画像処理を行い、
前記二輪車検出部によって検出される前記物体は、少なくとも自転車及びオートバイを含む二輪車を含む
ことを特徴とする二輪車検知装置。 - 前記物体検出モデルによって、前記検出エリアから少なくとも自転車及びオートバイを含む二輪車が検出された場合に、前記検出エリアに識別子を割り当てること
を特徴とする請求項1に記載の二輪車検知装置。 - 前記識別子は、今回抽出された前記検出エリアと、該検出エリアが抽出される前に、抽出されていた前回の検出エリアとを比較して、予め設定された個体識別用時間の範囲以内で、かつ、予め設定された個体識別用距離の範囲以内にある場合には、前記前回の検出エリアと同じ識別子であり、それ以外の場合には新たな識別子であること
を特徴とする請求項2に記載の二輪車検知装置。 - 前記検出エリアは、予め設定された検出最大エリア以内であり、かつ、予め設定された検出最小エリア以上の範囲内の差分エリアデータであり、
前記差分エリアデータは、前記映像データのフレームと後続フレームとの差分を抽出した差分データの輪郭から内側をエリアとしたデータであること
を特徴とする請求項1から3のいずれか1項に記載の二輪車検知装置。 - 前記差分データは、膨張又は収縮の画像処理により、なめらかな画像に加工されたこと
を特徴とする請求項4に記載の二輪車検知装置。 - 前記検出エリアは、画像解析され、明暗、コントラストの調整がなされていること
を特徴とする請求項1から5のいずれか1項に記載の二輪車検知装置。 - 前記検出エリアは、前記識別子に対応するIDに加えて、検出時刻、自転車かオートバイかを表す種別、検出エリアの中心点座標を記録したレコードとして検知データベースに記憶されること
を特徴とする請求項2又は3に記載の二輪車検知装置。 - 前記検知データベースにおいて、前記ID毎に前記検出時刻の古いレコードから前記検出時刻の新しいレコードまでの前記中心点座標の移動の軌跡に基づいて、前記種別で表される自転車又はオートバイの進行方向を判別すること
を特徴とする請求項7に記載の二輪車検知装置。 - 前記検知データベースにおいて、前記IDで特定される複数のレコードから、時系列的に最初に記録されたレコードにおける中心点座標を始点とし、最後に記録されたレコードにおける中心点座標を終点とし、前記始点と前記終点を、予め設定された射影変換座標に基づいて、射影変換を行い、
前記射影変換の後の前記始点と前記終点の座標から予め設定されたピクセル間距離に基づいて推定距離を算出し、前記始点を含むレコードに記録された検出時刻と前記終点を含むレコードに記録された検出時刻から、移動時間を算出して、前記種別で表される自転車又はオートバイの通過速度を推定し、
前記予め設定された射影変換座標は、前記カメラで撮影される景色を真上からみたように射影した座標であること
を特徴とする請求項8に記載の二輪車検知装置。 - 前記種別で表される自転車又はオートバイの前記通過速度と予め設定された乗車・降車判定速度とを比較して、乗車・降車状態を判定し、
前記通過速度が予め設定された乗車・降車判定速度以上であれば、前記乗車・降車状態は乗車であることを示し、
前記予め設定された乗車・降車判定速度未満であれば、前記乗車・降車状態は降車であることを示すこと
を特徴とする請求項9に記載の二輪車検知装置。 - 前記進行方向、前記通過速度、前記乗車・降車状態に基づいて、単位時間あたりの方向別通行件数、方向別乗車・降車比率、方向別通行速度の少なくとも1つの値を算出すること
を特徴とする請求項10に記載の二輪車検知装置。 - 前記物体検出モデルは、畳み込みニューラルネットワーク(CNN)であること
を特徴とする請求項1から11のいずれか1項に記載の二輪車検知装置。 - コンピュータによって実行させることで、前記コンピュータを請求項1から12のいずれか1項に記載の二輪車検知装置として機能させることを特徴とする二輪車検知プログラム。
- カメラから動画又は連続した静止画データを取得して記憶する記憶装置と、該記憶装置とネットワークを介して接続され、請求項13に記載のプログラムを実行したコンピュータとを含むことを特徴とする二輪車検知システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018133299A JP2020013206A (ja) | 2018-07-13 | 2018-07-13 | 動画・カメラからの二輪車検知装置、プログラム及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018133299A JP2020013206A (ja) | 2018-07-13 | 2018-07-13 | 動画・カメラからの二輪車検知装置、プログラム及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020013206A true JP2020013206A (ja) | 2020-01-23 |
Family
ID=69170598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018133299A Pending JP2020013206A (ja) | 2018-07-13 | 2018-07-13 | 動画・カメラからの二輪車検知装置、プログラム及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020013206A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6818283B1 (ja) * | 2020-03-18 | 2021-01-20 | マルハニチロ株式会社 | 計数システム、計数装置、計数方法およびプログラム |
CN113920706A (zh) * | 2021-08-28 | 2022-01-11 | 北京工业大学 | 一种基于图像识别的异常事件防控方法 |
JPWO2022019110A1 (ja) * | 2020-07-21 | 2022-01-27 | ||
JP2023034184A (ja) * | 2021-08-30 | 2023-03-13 | 三菱電機インフォメーションシステムズ株式会社 | 領域特定装置、領域特定方法及び領域特定プログラム |
JP7523770B2 (ja) | 2022-03-30 | 2024-07-29 | 株式会社中電工 | 交通量計測装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009132259A (ja) * | 2007-11-30 | 2009-06-18 | Denso It Laboratory Inc | 車両周辺監視装置 |
JP2014219847A (ja) * | 2013-05-08 | 2014-11-20 | 株式会社デンソー | 物体識別装置 |
JP2016057998A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社日立国際電気 | 物体識別方法 |
JP2016186780A (ja) * | 2015-03-27 | 2016-10-27 | 中日本高速道路株式会社 | 移動体検出装置 |
WO2017015887A1 (en) * | 2015-07-29 | 2017-02-02 | Nokia Technologies Oy | Object detection with neural network |
-
2018
- 2018-07-13 JP JP2018133299A patent/JP2020013206A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009132259A (ja) * | 2007-11-30 | 2009-06-18 | Denso It Laboratory Inc | 車両周辺監視装置 |
JP2014219847A (ja) * | 2013-05-08 | 2014-11-20 | 株式会社デンソー | 物体識別装置 |
JP2016057998A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社日立国際電気 | 物体識別方法 |
JP2016186780A (ja) * | 2015-03-27 | 2016-10-27 | 中日本高速道路株式会社 | 移動体検出装置 |
WO2017015887A1 (en) * | 2015-07-29 | 2017-02-02 | Nokia Technologies Oy | Object detection with neural network |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6818283B1 (ja) * | 2020-03-18 | 2021-01-20 | マルハニチロ株式会社 | 計数システム、計数装置、計数方法およびプログラム |
JP2021149430A (ja) * | 2020-03-18 | 2021-09-27 | マルハニチロ株式会社 | 計数システム、計数装置、計数方法およびプログラム |
JPWO2022019110A1 (ja) * | 2020-07-21 | 2022-01-27 | ||
WO2022019110A1 (ja) * | 2020-07-21 | 2022-01-27 | 株式会社シバサキ | プログラム、情報処理装置、情報処理方法及びモデル生成方法 |
CN113920706A (zh) * | 2021-08-28 | 2022-01-11 | 北京工业大学 | 一种基于图像识别的异常事件防控方法 |
JP2023034184A (ja) * | 2021-08-30 | 2023-03-13 | 三菱電機インフォメーションシステムズ株式会社 | 領域特定装置、領域特定方法及び領域特定プログラム |
JP7523770B2 (ja) | 2022-03-30 | 2024-07-29 | 株式会社中電工 | 交通量計測装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
JP7025912B2 (ja) | 車載環境認識装置 | |
Kim | Real time object tracking based on dynamic feature grouping with background subtraction | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
WO2016129403A1 (ja) | 物体検知装置 | |
JP2020013206A (ja) | 動画・カメラからの二輪車検知装置、プログラム及びシステム | |
CN107688764B (zh) | 检测车辆违章的方法及装置 | |
Sina et al. | Vehicle counting and speed measurement using headlight detection | |
CN106652465A (zh) | 一种道路异常驾驶行为的识别方法及*** | |
US10442438B2 (en) | Method and apparatus for detecting and assessing road reflections | |
WO2015089867A1 (zh) | 一种交通违章检测方法 | |
WO2013186662A1 (en) | Multi-cue object detection and analysis | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
US9760783B2 (en) | Vehicle occupancy detection using passenger to driver feature distance | |
JP2002074368A (ja) | 移動物体認識追跡装置 | |
JP6756908B2 (ja) | 車両周囲の歩行者を検出する方法及び装置 | |
US11727580B2 (en) | Method and system for gathering information of an object moving in an area of interest | |
JP5423764B2 (ja) | 移動体検出装置、コンピュータプログラム及び移動体検出方法 | |
JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
CN111127520A (zh) | 一种基于视频分析的车辆跟踪方法和*** | |
KR101840042B1 (ko) | 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템 | |
CN112766046B (zh) | 一种目标检测方法及相关装置 | |
JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
JP2003248895A (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221116 |