JP2020013206A - 動画・カメラからの二輪車検知装置、プログラム及びシステム - Google Patents

Abstract

【課題】非常に小さく映っている、自転車やオートバイ等の動体であっても、正確に認識する装置を提供する。【解決手段】二輪車検知装置は、カメラから得られた映像において、動態を検知する範囲を、最大エリアとして事前に指定して、当該最大エリア内で動態検知を行う。動態検知により検出されたエリアを、深層学習により学習された畳み込みニューラルネットワーク等の画像認識モデルに適したサイズになるように縮小、拡大を行うことで、映像中において小さく映った歩行者、自転車及びオートバイ等の小さな対象物でも正確に識別する。【選択図】図１

Description

本発明は、動画やカメラからの二輪車を自動的に検知する装置、プログラム及びシステム（以下、「装置等」という。）に関する。具体的には、カメラからの映像や、記憶装置に記憶された動画、静止画ファイルから、人が乗った自転車やオートバイ等の二輪車を、深層学習に基づいて予め生成された二輪車検知モデルを用いて、人と自転車やオートバイ等の二輪車とを検知する精度を向上させた二輪車検知装置等に関する。

近年、画像認識技術の向上に伴って、車両に搭載されたカメラで撮影された動画、静止画（以下、単に「映像」という。）から動体を検知し、自転車や二輪車およびそれらの乗員と歩行者を認識する画像認識装置（特許文献１）等の画像認識技術を用いて、カメラからの映像における動体を検知する手法の開発が盛んに行われている。

カメラで撮影された映像から動体を検知する手法のその他の従来例としては、道路に存在する柱等に取り付けられたステレオカメラから得られる画像を用いて、歩行者や自転車等の対象物を検出し、対象物の位置や速度等の運動情報を推定する装置（特許文献２）や、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者等の存在を認識した場合に、認識対象物である歩行者等の存在を他の車両を運転中のドライバに報知することができる障害物検出システム（特許文献３）等がある。

特許第４６９２３４４号公報 特許第５０７５６７２号公報 特開２００６−３１２４２３号公報

これらの従来例で用いられた、動くもの（歩行者、自動車、二輪車等）を検知する手法は、道路脇の電柱や商店街に設置されたカメラで撮影された映像にも適用することができ、一定の期間内に検知された歩行者、自転車、自動車等の各種動体の数をカウントして、道路の交通量や商店街の通行量等を算出することが期待できる。

しかしながら、商店街や交差点に設置されたカメラは、撮影場所を引いた画で、つまり、俯瞰で撮影している場合があり、その場合、カメラで撮影された映像中の歩行者、自転車やオートバイの二輪車等の動体は、非常に小さく映っているため、車載カメラが撮影した比較的大きく映った動体を対象とするような上記従来例（特に、特許文献１、特許文献３）の動体検知手法では、映像中の動体が歩行者なのか、自転車やオートバイ等の二輪車なのか正確に認識することができないという問題が生じていた。

また、ステレオカメラを用いた従来例（特許文献２）では、監視領域を定めて、監視領域に存在する対象物領域を検知することで、比較的小さく映った対象物を検出することができるが、ステレオカメラを用いた映像を対象とするものであり、通常の１つのレンズのカメラで撮影された映像にそのままでは適用することはできない。

このような課題を解決するために、交差点や商店街に設置されたカメラ等の設備を、ステレオカメラ等の新たな設備に置き換えることが考えられるが、設備投資に費用がかかり現実的ではない。そのため、交差点や商店街に設置されたカメラ等の既存設備を置き換えることなく、既存設備をそのまま活かして、映像中の動態を検知して、それが何なのかを認識できる仕組みが必要となる。

そこで、本発明では、カメラから得られた映像において、動態検知により検出されたエリアを、深層学習により学習された畳み込みニューラルネットワーク（ＣＮＮ）等の物体検出モデル（画像認識モデル）に適したサイズになるように縮小、拡大を行うことで、映像中において小さく映った歩行者、自転車及びオートバイ等の小さな対象物でも正確に識別できる装置等を提供する。

本発明の１つの実施形態に係る二輪車検知装置は、
カメラで撮影された動画又は連続した静止画を含む映像データから動態を検知した検出エリアを抽出する動態検知部と
前記検出エリアに対応するデータを、物体検出モデルに入力して前記検出エリアにおける物体を検出する二輪車検出部と
を含み、
前記動態検知部は、前記検出エリアに対応するデータを予め設定されたサイズにおさめるために、拡大又は縮小の画像処理を行い、
前記二輪車検出部によって検出される前記物体は、少なくとも自転車及びオートバイを含む二輪車を含むことを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記物体検出モデルによって、前記検出エリアから少なくとも自転車及びオートバイを含む二輪車が検出された場合に、前記検出エリアに識別子を割り当てることを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記識別子は、今回抽出された前記検出エリアと、該検出エリアが抽出される前に、抽出されていた前回の検出エリアとを比較して、予め設定された個体識別用時間の範囲以内で、かつ、予め設定された個体識別用距離の範囲以内にある場合には、前記前回の検出エリアと同じ識別子であり、それ以外の場合には新たな識別子であることを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記検出エリアは、予め設定された検出最大エリア以内であり、かつ、予め設定された検出最小エリア以上の範囲内の差分エリアデータであり、
前記差分エリアデータは、前記映像データのフレームと後続フレームとの差分を抽出した差分データの輪郭から内側をエリアとしたデータであることを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記差分データは、膨張又は収縮の画像処理により、なめらかな画像に加工されたこと
を特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記検出エリアは、画像解析され、明暗、コントラストの調整がなされていること
を特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記検出エリアは、前記識別子に対応するＩＤに加えて、検出時刻、自転車かオートバイかを表す種別、検出エリアの中心点座標、検出エリアの面積を記録したレコードとして検知データベースに記憶されることを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記検知データベースにおいて、前記ＩＤ毎に前記検出時刻の古いレコードから前記検出時刻の新しいレコードまでの前記中心点座標の移動の軌跡に基づいて、前記種別で表される自転車又はオートバイの進行方向を判別することを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記検知データベースにおいて、前記ＩＤで特定される複数のレコードから、時系列的に最初に記録されたレコードにおける中心点座標を始点とし、最後に記録されたレコードにおける中心点座標を終点とし、前記始点と前記終点を、予め設定された射影変換座標に基づいて、射影変換を行い、
前記射影変換の後の前記始点と前記終点の座標から予め設定されたピクセル間距離に基づいて推定距離を算出し、前記始点を含むレコードに記録された検出時刻と前記終点を含むレコードに記録された検出時刻から、移動時間を算出して、前記種別で表される自転車又はオートバイの通過速度を推定し、
前記予め設定された射影変換座標は、前記カメラで撮影される景色を真上からみたように射影した座標であることを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記種別で表される自転車又はオートバイの前記通過速度と予め設定された乗車・降車判定速度とを比較して、乗車・降車状態を判定し、
前記通過速度が予め設定された乗車・降車判定速度以上であれば、前記乗車・降車状態は乗車であることを示し、
前記予め設定された乗車・降車判定速度未満であれば、前記乗車・降車状態は降車であることを示すことを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記進行方向、前記通過速度、前記乗車・降車状態に基づいて、単位時間あたりの方向別通行件数、方向別乗車・降車比率、方向別通行速度の少なくとも１つの値を算出することを特徴とする。

本発明に係る二輪車検知装置の好ましい実施形態として、
前記物体検出モデルは、畳み込みニューラルネットワーク（ＣＮＮ）であることを特徴とする。

本発明の１つの実施形態に係る二輪車検知プログラムは、コンピュータによって実行させることで、前記コンピュータを前記二輪車検知装置として機能させることを特徴とする。

本発明の１つの実施形態に係る二輪車検知システムは、カメラから動画又は連続した静止画データを取得して記憶する記憶装置と、該記憶装置とネットワークを介して接続され、前記プログラムを実行したコンピュータとを含むことを特徴とする。

本発明に係る二輪車検知装置、方法及びプログラムを用いることで、交差点や商店街に設置されたカメラ等の設備を、新たな設備に置き換えることなく、既存設備をそのまま活かして、映像中の動態を検知して、検知したものが人なのか、自転車又はオートバイ等の二輪車なのかを認識することができる。

また、本発明を交差点や商店街に設置されたカメラから得られた映像データに適用することで、自転車、オートバイの各々の単位時間毎の方向別通行件数、方向別乗車・降車比率、方向別通行速度等、交差点や商店街における二輪車の通行量を時間帯毎に把握することができ、それにより、交差点や商店街を走行する二輪車の監視を自動化することができる。

本発明の一実施形態に係る二輪車検知システムにおける装置等の構成概要を示す図である。 本発明の一実施形態に係るコンピュータを二輪車検知装置として機能させるための動態検知分析プログラムの構成を示す図である。 映像データの座標を射影変換した例を示す図である。 映像データから動態を検知して検出エリアを特定する処理のフローチャートである。 映像データから動態を検知して検出エリアを特定するまでの処理の様子を示す図である。 検出エリアの各々にＩＤを付与してＩＤ毎に検出エリアの動きを時系列的に追跡して検知データとして検知データベースに記憶する処理のフローチャートである。 映像データにおいて検出エリアとされた部分と除外データとされた部分の概略図である。 本発明の一実施形態に係る二輪検知装置による動態検知分析の結果の例及び深層学習のみによる動態検知の結果の例を示す静止画像である。 本発明の一実施形態に係る二輪検知装置による動態検知分析の結果の例及び深層学習のみによる動態検知の結果の例を示す静止画像である。

以下に図面を参照して、本発明の一実施形態について説明する。なお、実施の形態を説明するための全ての図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

図１は、本発明の一実施形態に係る二輪車検知システムにおける装置等の構成概要を示す。本発明の二輪車検知システムは、二輪車検知装置１０と防犯カメラ等のカメラ２０とを含み、二輪車検知装置１０の記憶装置３０に記憶される映像データは、カメラ２０で撮影されて記憶装置４０に記憶された映像データである。例えば、カメラ２０で撮影された動画又は連続した静止画（以下、単に「映像」という。）は、映像データとして一時的に記憶装置４０に記憶され、ネットワークを介して、二輪車検知装置１０に送信されて、記憶装置３０に蓄積される。

図１に示す実施形態では、コンピュータに動態検知分析プログラム５０を実行させることで、当該コンピュータを二輪車検知装置１０として機能されるものであるが、これに限定されるものではなく、二輪車検知装置１０の少なくとも一部の機能又は全部の機能を、特定用途向け集積回路（ＡＳＩＣ）等でハードウェア的に実装することも可能である。

動態検知分析プログラム５０は、主に、画像処理による動態検知と深層学習による二輪車検知といった２つの機能を有しており、映像中の自転車及びオートバイ等の二輪車に加えて、人、自動車等の動くものを検知して、それらの移動速度、移動方向、通行量等を測定することができる。動態検知は、映像全体（すなわち、映像を映す画面全体）に対して行われる。検知されたエリアに対しは、ノイズ除去として、後述する検出最大エリア、検出最小エリアを使用する。動態検知分析プログラム５０の各機能のより具体的な構成は、図２に示すとおりである。

図２は、本発明の一実施形態に係るコンピュータを二輪車検知装置として機能させるための動態検知分析プログラムの構成を示す。コンピュータを二輪車検知装置１０として機能させる動態検知分析プログラム５０は、画像処理による動態検知部５１及び深層学習による二輪車検出部５３を含む。動態検知部５１及び二輪車検出部５３は、動態検知分析プログラム５０を実行したコンピュータ上で実現することができる。

画像処理による動態検知部５１には、例えば、既存のオープンソースソフトウェア（ＯＳＳ）である画像処理ライブラリＯｐｅｎＣＶを使用し、深層学習による二輪車検出部５３には、例えば、既存の物体検出アルゴリズムＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒを使用することができる。深層学習には、例えば、既存の深層学習フレームワークのＴｅｎｓｏｒＦｌｏｗ/Ｋｅｒａｓを使用することができる。ただし、深層学習については、上述したフレームワークに限定されるものではなく、ニューラルネットワーク、認識アルゴリズムを特定する必要はなく、一般的な画像より物体認識できるものであれば使用可能である。また、図２に示す実施形態では、本発明の二輪車検出部を「深層学習による二輪車検出部５３」としているが、これに限定されるものではなく、深層学習以外の方法で生成された物体検出モデルを用いることもできる。

動態検知分析プログラム５０に対して、ユーザは、以下の各種事前設定を行うことができる。

（１）検出最大エリア、検出最小エリア：
ユーザは映像データの動態として検出されたエリアを処理対象とするか否かを判別するために「検出最大エリア」、「検出最小エリア」を設定することができる。具体的には、検出最大エリア及び検出最小エリアを、面積または矩形座標で指定する。これら検出最大エリア及び検出最小エリアは、動態として検知したエリアを対象とするか、除外するかの判定に使用する。

（２）個体識別用時間：
ユーザは、動態検知により検出したエリアを、フレーム間で「同じ自転車か」否か、「同じオートバイか」否かなどの個体識別するための時間を「個体識別用時間」として設定することができる。動態検知分析プログラム５０は、この設定値（秒）以下で、かつ「個体識別用距離」以内の検出エリアには、同じ個体としてＩＤ（識別子）を設定する。

（３）個体識別用距離：
ユーザは、動態検知により検出したエリアを、フレーム間で「同じ自転車か」否か、「同じオートバイか」否かなどの個体識別するための距離を「個体識別用距離」として設定することができる。動態検知分析プログラム５０は、この設定値（ピクセル）以下で、かつ「個体識別用時間」以内の検出エリアには、同じ個体としてＩＤ（識別子）を設定する。

（４）乗車・降車判定速度：
ユーザは、検出エリア内の二輪車の乗車・降車状態を判定するために使用する「乗車・降車判定速度」を設定することができる。例えば、乗車状態を時速６ｋｍ以上と設定することができる。

（５）射影変換座標：
ユーザは、速度算出のための、画像の射影変換を行うための座標（変換元起点の４点座標、変換先起点の４点座標）を「射影変換座標」として設定することができる。図３には、映像データの座標を射影変換した例を示す。図３に示される例では、ユーザは変換元起点と変換先起点を設定することができる。例えば、映像イメージに示される十字の交差点の４つの角の座標を変換元起点として設定し、当該十字の交差点を真上から見える位置（座標）を変換先起点として設定している。射影変換前の二輪車等の物体の検出軌跡は、交差点の手前から奥へ又は奥から手前へと見えているが、射影変換後は、十字の交差点は真上からみたように変換され、検出軌跡は下から上へ又は上から下へと変換される。

（６）ピクセル間距離：
ユーザは、速度算出ために射影変換を行った後の画像のピクセル間の距離を「ピクセル間距離」として設定することができる。

（７）深層学習入力画像サイズ：
ユーザは、深層学習による二輪車検出部５３に入力する画像のサイズを「深層学習入力画像サイズ」として設定することができる。動態検知分析プログラム５０は、検出エリアの画像をこのサイズに合わせ拡大・縮小し、深層学習入力画像とすることができる。つまり、動態検知で動態として検知して切り出したエリア（検出エリア）が深層学習の入力画像となり、その入力の際に、この設定に従い入力画像サイズの調整を行うことができる。

（８）深層学習入力画像処理：
ユーザは、検出エリアの画像の、明暗を調整やコントラストを調整する設定を「深層学習入力画像処理」として設定することができる。例えば、輝度を調整する場合、補正を行うしきい値とガンマ補正値を設定する。

動態検知分析プログラム５０は、映像データから動態検知を行い、検知対象の動態検知したものに対し、深層学習により自転車・オートバイを識別し、「検知データ」を作成して、検知データを１レコードとして検知データベースに記憶する。映像データから「検知データ」を作成する手順は、図４及び図６のフローチャートに示される。

図４は、映像データから動態を検知して検出エリアを特定する処理のフローチャートを示す。また、図５には、映像データから動態を検知して検出エリアを特定するまでの処理の様子を示す。図４及び図５を参照しながら、検出エリアを特定するまでの手順は次のとおりである。まず、映像データの現フレームと後続フレームの比較を行い、フレーム間の差分を抽出する（ステップＳ１００）。次に、抽出した差分を白黒２値化した「差分データ」を作成する（ステップＳ１０１）。図５（ａ）に現フレームと後続フレームとの差分を抽出して白黒２値化する処理の様子をしめす。現フレームと後続フレームとが重なった部分を白色とし、重なっていない部分を黒色とする。

なお、ユーザは、フレームの比較間隔を「比較フレーム間隔」として事前に設定することができる。このような事前設定は、映像の性質（「動きが激しい」、「動きがほとんどない」など）または接続カメラの台数に伴うＰＣハードウェアの処理性能などに対応するためである。

通常、この「差分データ」には細かなノイズなどが含まれるため、膨張と収縮の画像処理を行い、なめらか画像に加工する（ステップＳ１０２）。図５（ｂ）に「差分データ」が、膨張・縮小の処理によってなめらか画像に加工された様子を示す。

膨張と収縮の画像処理を行った「差分データ」を、画像処理により輪郭を抽出し、輪郭の内側を１かたまりとした「差分エリアデータ」に変換する（ステップＳ１０３）。図５（ｃ）に、なめらか画像に加工した後の「差分データ」の輪郭から内側（塗りつぶされた領域）を１つのエリアとした「差分エリアデータ」に変換する。

「差分エリアデータ」が、事前の設定の「検出最大エリア」、「検出最小エリア」の範囲内であるか否かを判定し（ステップＳ１０４）、範囲内である場合（ステップＳ１０４のＹＥＳ）、「差分エリアデータ」を「検出エリア」とし（ステップＳ１０５）、範囲外である場合（ステップＳ１０４のＮＯ）、「差分エリアデータ」を除外データとする（ステップＳ１０６）。ここで、図７には、映像データにおいて検出エリアとされた部分と除外データとされた部分の概略を示す。差分エリアデータは、その外周が、検出最大エリア（図７の例では、検出エリアの一番外側の矩形領域）と、検出最小エリア（図７の例では、検出エリアの一番内側の矩形領域）との間にある場合には、検出エリアとして設定される。

予め設定された「検出最大エリア」よりも大きい「差分エリアデータ」は、除外データとして設定され、予め設定された「検出最小エリア」よりも小さい「差分エリアデータ」も、除外データとして設定される。

図６には、「検出エリア」に基づいて「検知データ」を生成する手順が示される。まず、「検出エリア」に対し、予め指定した「深層学習入力画像サイズ」設定のサイズに拡大・縮小の画像処理を行い（ステップＳ１１０）、「検出エリア」に対し、「深層学習入力画像処理」設定がある場合、画像を解析して、明暗、コントラストの調整を行う（ステップＳ１１１）。「深層学習入力画像処理」設定がなければ、明暗、コントラストはデフォルトのままで調整を行わない。

その後、画像処理を行った「検出エリア」を、深層学習により学習済みの物体検出モデルを用いて、物体検出を行う（ステップＳ１１２）。深層学習の物体検出によって、「自転車」、「オートバイ」の二輪車であるか否かを判定する（ステップＳ１１３）。「自転車」、「オートバイ」の二輪車として検出された場合（ステップＳ１１３のＹＥＳ）、ＩＤを割り当てる対象となる「検出エリア」とし（ステップＳ１１４）、「自転車」、「オートバイ」の二輪車として検出されない場合（ステップＳ１１３のＮＯ）、二輪車検出の処理をそのまま終了する。なお、二輪車が検出されない場合でも、人や自動車を検出した場合には、それらを識別するＩＤを割り当ててもよい。

ＩＤを割り当てる対象とした「検出エリア」が、前回検出された「検出エリア」の情報と比べ、「個体識別用時間」内でかつ、中心点（中心点座標）の距離が「個体識別用距離」内にあるか否かを判定する（ステップＳ１１５）。ＩＤを割り当てる対象とした「検出エリア」が、前回検出された「検出エリア」の情報と比べ、「個体識別用時間」内でかつ、中心点（中心点座標）の距離が「個体識別用距離」内にある場合（ステップＳ１１５のＹＥＳ）、当該「検出エリア」に前回検出された「検出エリア」のＩＤと同じＩＤを設定する（ステップＳ１１６）。

他方、ＩＤを割り当てる対象とした「検出エリア」が、前回検出された「検出エリア」の情報と比べ、「個体識別用時間」内でかつ、中心点（中心点座標）の距離が「個体識別用距離」内にない場合（ステップＳ１１５のＮＯ）、当該「検出エリア」に新しいＩＤを設定する（ステップＳ１１７）。なお、「検出エリア」が複数存在する場合には、それぞれ別のＩＤを割り当てる。

ＩＤを設定した「検出エリア」を「検知データ」として保存する（ステップＳ１１８）。「検知データ」は１レコードに相当し、次の情報を含む。
＜時刻＞，＜ID＞，＜種別：自転車，オートバイ＞，＜中心点座標X,Y＞，（＜面積＞）
＜時刻＞は、検出エリアを検出した時刻であり、ＩＤは検出エリアに割り当てられた識別子（ＩＤ）に対応する識別子である。＜種別＞は、検出エリア内の個体（物体）が自転車なのかオートバイなのかを表しており、＜中心点座標＞は、検出エリアの中心点の座標である。＜面積＞は、検出エリアの面積であり、面積の情報は、検知データに含めなくてもよい。検知データは１レコードとして、検知データベースに記憶される。なお、カメラから得られた映像データを動画ファイルとして保存している場合に、当該動画ファイルを分析する際に、＜時刻＞は先頭フレームの時刻を設定し、フレーム数とＦＰＳ（１秒のフレーム数）からの差に基づいて算出することができる。

検知データベースに記憶された複数の「検知データ」（複数のレコード）からＩＤ毎に「通行データ」を作成することができる。二輪車検知装置１０（動態検知分析プログラム５０）は、「通行データ」から通行量の算出等を行うことができる。「通行データ」のレコードは、以下の情報を含む。
＜時刻＞，＜ID＞，＜種別：自転車，オートバイ＞，＜進行方向＞，＜通過速度＞，＜乗車・降車＞
＜時刻＞は、検知データベースに記憶された複数の「検知データ」（複数のレコード）からＩＤ毎に任意の時刻（例えば、最初のレコードに記録された時刻、真ん中のレコードに記録された時刻、または、最後のレコードに記録された時刻）とすることができる。

＜進行方向＞は、検知データベースに記憶された複数の「検知データ」（複数のレコード）からＩＤ毎に、各「検知データ」（各レコード）に記録された中心点の座標を使用して判定される。進行方向の種別は事前に決め（例:東西南北，左右など）、方向の求め方は、例えば、最終の２レコード（または数レコード）の中心点の直線を求め角度により決定する。

＜通過速度＞は、検知データベースに記憶された複数の「検知データ」（複数のレコード）からＩＤ毎に、最初のレコードに記録された中心点（始点）と、最後のレコードに記録された中心点（終点）に関して、予め定めた「射影変換座標」設定をもとに射影変換を行って、変換後の始点と終点の座標から距離を算出し、予め定めた「ピクセル間距離」設定と始点終点の時刻に基づいて、通過速度を求めることができる。

＜乗車・降車＞は、種別で表される自転車又はオートバイが、乗車状態にあるか降車状態にあるかを判断するための情報である。＜乗車・降車＞は、通過速度を予め定めた「乗車・降車判定速度」設定と比較し、速い場合は乗車状態と判定して乗車状態を示す値を設定し、遅い場合は降車状態と判定して降車状態を示す値を設定する。

二輪車検知装置１０（動態検知分析プログラム５０）は、作成された「通行データ」から、＜種別＞、＜進行方向＞、＜通過速度＞、＜乗車・降車＞等の情報に基づいて、時間単位の方向別通行件数の算出、方向別乗車・降車比率の算出、及び方向別通行速度の算出の少なくともいずれか１つ値を求めることができる。

実証実験は、ある場所に設定されている防犯カメラの１２時台の映像データを使用した。映像データは、６４０×４８０ピクセル、３ＦＰＳで画質は粗いものを使用した。本発明の二輪車検知装置１０（動態検知分析プログラム５０）では、二輪車の検出台数は２１５台であった。目視によるカウントでは、２２１台であり、本発明の二輪車検知装置１０（動態検知分析プログラム５０）は、ほぼ人と同程度にオートバイ又は自転車といった二輪車を検出することができた。

これに対して、動態検知を行わず単に深層学習のフレームワークを使用した場合には、次の表に示すとおり、検出されたフレームは１２フレームであり、二輪車の検出台数は、１０台であった。

図８及び図９は、本発明の一実施形態に係る二輪検知装置による動態検知分析の結果の例及び深層学習のみによる物体検出の結果の例を示す静止画像である。図８及び図９の撮影場所は同じであるが、それぞれ別の角度から撮影したものである。映像データは、１９２０×１０８０ピクセル、３０ＦＰＳ、スマートフォンカメラで撮影した動画から二輪車検知を行った。

図８（ａ）と（ｂ）の画像を比較すると、本発明の二輪車検知装置１０（動態検知分析プログラム５０）による画像認識では、画像に写るすべての人をヒトとして認識し、さらに一台を除いて、人が乗車中の自転車を認識していることが分かる。これに対して、深層学習のみによる物体検出モデルを用いた画像認識では、すべての人を認識できず、さらに、自転車を一台も認識することはできなかった。

また、図９（ａ）と（ｂ）の画像を比較すると、本発明の二輪車検知装置１０（動態検知分析プログラム５０）による画像認識では、画像に小さく映る、横断歩道を渡る人及び横断歩道付近の人をヒトとして認識し、さらに、横断歩道上及び横断歩道付近の自転車も認識していることが分かる。これに対して、深層学習のみによる物体検出モデルを用いた画像認識では、画像に大きく写る自動車を辛うじて認識するだけで、画像に写るすべての人を認識できず、さらに、自転車を一台も認識することはできなかった。なお、図８及び図９での比較のために用いた映像データは、通常の防犯カメラの映像よりも高画質である。実際の防犯カメラの映像データ（例えば、６４０×４８０ピクセル、３ＦＰＳ）を用いた場合には、深層学習のみによる物体検出モデルを用いた画像認識では何も認識できなかった。

以上のことから、本発明の一実施形態に係る二輪車検知装置１０（動態検知分析プログラム５０）は、深層学習により学習された畳み込みニューラルネットワーク（ＣＮＮ）等の物体検出モデル（画像認識モデル）による画像認識にかける前処理として、検出エリアのサイズを当該物体検出モデルに適したサイズになるように縮小、拡大を行うことができる。つまり、二輪車検知装置１０（動態検知分析プログラム５０）は、画像処理による動態検知によって動態検知を行い、動態検知により検出されたエリアを、深層学習による物体検出モデルの画像認識性能を引き出すのに適したサイズになるように縮小、拡大を行うことができる。

このように、二輪車検知装置１０（動態検知分析プログラム５０）は、検出エリアを物体検出モデル（画像認識モデル）に適したサイズになるように縮小、拡大を行うことで、映像中において小さく映った歩行者、自転車及びオートバイ等の小さな対象物でも正確に識別することができる。

その他の実証実験として、ある商店街で、歩行者天国で自転車に乗車したまま通行する危険行為を解決するために、防犯カメラの映像から自転車の通行状況を「見える化」し、解決策を検討するための実験を行った。時間帯はある日の１２時から１８時までで、防犯カメラ（１台）の映像データを、二輪車検知装置１０（動態検知分析プログラム５０）で分析した。二輪車検知装置１０により、動画ファイル（防犯カメラの映像）から、自転車を検知し、検知情報（動画フレーム，画面位置など）を自転車検知データファイルに保存した。

自転車検知データファイルから自転車の通行状況を時間帯ごとにまとめた結果を次に示す。１２時台から１７時台までの自転車の合計台数は１１９８台であり、１時間あたり１９９．７台で、１分あたり３．３台であった。自転車の通行数のカウント精度は、８４．７％(１１９８÷１４１４×１００)であり（１７時台を除いた場合のカウント精度は９４．６%）、深層学習による一般的な認識率の精度（例えば、図８及び図９参照）と比べ、高い精度となった。

本発明の二輪車検知装置１０（動態検知分析プログラム５０）による検出台数と、目視による検出台数との差異について、本発明の二輪車検知装置１０では、画面上部（遠い）範囲のみ移動する自転車を認識することができないこと（例えば、図９（ａ）参照）、１７時台はあたりが暗くなったことにより、映像データから得られる自転車の特徴が少なくなり認識しなくなったと考えられる。

また、本発明の二輪車検知装置１０を用いて、ある時間帯の映像データから検出された自転車の走行速度を算出する実証実験を行った。自転車の走行速度、及び方向別の速度は、二輪車検知装置１０により、作成された「通行データ」から、＜種別＞、＜進行方向＞、＜通過速度＞、＜乗車・降車＞等の情報に基づいて計算することができる。その結果、時速１０ｋｍ以上で通行する自転車の台数とその割合を次の表に示す。
全台数中時速１０ｋｍ以上で通行する自転車台数の割合は３４÷２２４＝１５．２％であった。このように、比較的早い速度で走る自転車を検出することができるので、本発明の二輪車検知装置１０は、商店街等の歩行者天国で、走行する自転車を自動的に検出し危険性を判別することができる。なお、本実証実験では、歩行者（人）の数をカウントしていないが、歩行者の数と自転車の通過速度との関係により、危険性を判別することも可能である。

そして、進行方向別の自転車の速度の算出結果を次の表に示す。
方向別の自転車の走行速度を算出したことで、下り坂の東方向に進む平均速度は、上り坂の西方向に進む平均速度よりも速いことが分かる。このように、本発明の二輪車検知装置１０は、自転車を含む二輪車の走行速度を方向別に算出することができる。

以上のとおり、本発明に係る二輪車検知装置等を用いることで、従来の深層学習による物体検出モデルでは検出できない、映像に小さく映る動態を検知して、人、オートバイ及び自転車を含む二輪車を正確に検出することができる。言い換えると、商店街や交差点に設置された防犯カメラ等のカメラで、撮影場所を引いた画で、つまり、俯瞰で撮影している場合でも、映像中の動体が歩行者なのか、自転車やオートバイ等の二輪車なのか正確に認識することができる。これにより、商店街や交差点における二輪車の通行量及び通行速度を、単位時間当たり（例えば１時間毎に）方向別に自動的に計算することができる。

本発明の二輪車検知装置等は、カメラで撮影された映像データから自動的に歩行者等の人、オートバイや自転車等の二輪車を検知して、検知結果に基づいて分析等を行うことに利用可能である。

１０ 二輪車検知装置
２０ カメラ
３０ 記憶装置
４０ 記憶装置
５０ 動態検知分析プログラム
５１ 動態検知部
５２ 画像処理ライブラリ
５３ 二輪車検出部
５４ 物体検出アルゴリズム
５５ 深層学習フレームワーク

Claims (14)

1. カメラで撮影された動画又は連続した静止画を含む映像データから動態を検知した検出エリアを抽出する動態検知部と
   前記検出エリアに対応するデータを、物体検出モデルに入力して前記検出エリアにおける物体を検出する二輪車検出部と
   を含み、
   前記動態検知部は、前記検出エリアに対応するデータを予め設定されたサイズにおさめるために、拡大又は縮小の画像処理を行い、
   前記二輪車検出部によって検出される前記物体は、少なくとも自転車及びオートバイを含む二輪車を含む
   ことを特徴とする二輪車検知装置。
2. 前記物体検出モデルによって、前記検出エリアから少なくとも自転車及びオートバイを含む二輪車が検出された場合に、前記検出エリアに識別子を割り当てること
   を特徴とする請求項１に記載の二輪車検知装置。
3. 前記識別子は、今回抽出された前記検出エリアと、該検出エリアが抽出される前に、抽出されていた前回の検出エリアとを比較して、予め設定された個体識別用時間の範囲以内で、かつ、予め設定された個体識別用距離の範囲以内にある場合には、前記前回の検出エリアと同じ識別子であり、それ以外の場合には新たな識別子であること
   を特徴とする請求項２に記載の二輪車検知装置。
4. 前記検出エリアは、予め設定された検出最大エリア以内であり、かつ、予め設定された検出最小エリア以上の範囲内の差分エリアデータであり、
   前記差分エリアデータは、前記映像データのフレームと後続フレームとの差分を抽出した差分データの輪郭から内側をエリアとしたデータであること
   を特徴とする請求項１から３のいずれか１項に記載の二輪車検知装置。
5. 前記差分データは、膨張又は収縮の画像処理により、なめらかな画像に加工されたこと
   を特徴とする請求項４に記載の二輪車検知装置。
6. 前記検出エリアは、画像解析され、明暗、コントラストの調整がなされていること
   を特徴とする請求項１から５のいずれか１項に記載の二輪車検知装置。
7. 前記検出エリアは、前記識別子に対応するＩＤに加えて、検出時刻、自転車かオートバイかを表す種別、検出エリアの中心点座標を記録したレコードとして検知データベースに記憶されること
   を特徴とする請求項２又は３に記載の二輪車検知装置。
8. 前記検知データベースにおいて、前記ＩＤ毎に前記検出時刻の古いレコードから前記検出時刻の新しいレコードまでの前記中心点座標の移動の軌跡に基づいて、前記種別で表される自転車又はオートバイの進行方向を判別すること
   を特徴とする請求項７に記載の二輪車検知装置。
9. 前記検知データベースにおいて、前記ＩＤで特定される複数のレコードから、時系列的に最初に記録されたレコードにおける中心点座標を始点とし、最後に記録されたレコードにおける中心点座標を終点とし、前記始点と前記終点を、予め設定された射影変換座標に基づいて、射影変換を行い、
   前記射影変換の後の前記始点と前記終点の座標から予め設定されたピクセル間距離に基づいて推定距離を算出し、前記始点を含むレコードに記録された検出時刻と前記終点を含むレコードに記録された検出時刻から、移動時間を算出して、前記種別で表される自転車又はオートバイの通過速度を推定し、
   前記予め設定された射影変換座標は、前記カメラで撮影される景色を真上からみたように射影した座標であること
   を特徴とする請求項８に記載の二輪車検知装置。
10. 前記種別で表される自転車又はオートバイの前記通過速度と予め設定された乗車・降車判定速度とを比較して、乗車・降車状態を判定し、
    前記通過速度が予め設定された乗車・降車判定速度以上であれば、前記乗車・降車状態は乗車であることを示し、
    前記予め設定された乗車・降車判定速度未満であれば、前記乗車・降車状態は降車であることを示すこと
    を特徴とする請求項９に記載の二輪車検知装置。
11. 前記進行方向、前記通過速度、前記乗車・降車状態に基づいて、単位時間あたりの方向別通行件数、方向別乗車・降車比率、方向別通行速度の少なくとも１つの値を算出すること
    を特徴とする請求項１０に記載の二輪車検知装置。
12. 前記物体検出モデルは、畳み込みニューラルネットワーク（ＣＮＮ）であること
    を特徴とする請求項１から１１のいずれか１項に記載の二輪車検知装置。
13. コンピュータによって実行させることで、前記コンピュータを請求項１から１２のいずれか１項に記載の二輪車検知装置として機能させることを特徴とする二輪車検知プログラム。
14. カメラから動画又は連続した静止画データを取得して記憶する記憶装置と、該記憶装置とネットワークを介して接続され、請求項１３に記載のプログラムを実行したコンピュータとを含むことを特徴とする二輪車検知システム。