JP6978986B2 - 警報システム、警報制御装置及び警報方法 - Google Patents

Description

本発明は、テストコースへの野生動物又は不審者等の物体の侵入に伴う警報を迅速、正確かつ効率的にドライバーに報知するとともに、ドライバーへの誤報知に伴う試験効率の低下を抑制することができる警報システム、警報制御装置及び警報方法に関する。

従来、車両のコースでは、車両の高速走行試験等の各種の試験を厳正な秘密環境下で行う必要があるため、都市部から離隔した場所に設けられることが多い。かかるテストコースには、野生動物（以下、単に「動物」と言う）の侵入を防ぐための外柵が設けられているが、外柵の一部に破れが存在する場合や積雪が多いような場合には、この外柵を越えて動物がテストコース内に侵入する場合がある。このため、テストコースでは、該テストコース内に侵入する物体を監視するための複数の監視カメラを設け、監視員が、監視カメラにより撮像された映像を視認しつつ、異常の検知を行っている。

ところが、かかる監視員の目視によって監視カメラの映像を確認することとすると、人的労力が過大になるとともに、監視漏れが生ずる可能性がある。例えば、動物が外柵を乗り越えて試験車両が走行する走行路に侵入した事実を監視員が見落としたならば、この動物が走行路を走行する試験車両に衝突してしまう可能性が生ずる。このため、テンプレートマッチング等の従来の画像処理技術を用いて動物を自動認識し、テストコース内に動物が侵入した場合には試験を中止にする案が考えられる。また、深層学習に関する従来技術（特許文献１、特許文献２を参照）を用いて動物を学習し、入力画像に動物が含まれているか否かを判定する案も考えられる。

特開２０１５−２１０８２４号公報 特開２０１７−１８７９５４号公報

しかしながら、上記のテンプレートマッチング等の画像処理技術により動物の存在を認識するためには、動物の姿態が判別可能に入力画像に含まれていなければならない。同様に、深層学習を用いて動物の存在の有無を判定する場合にも、動物の姿態が判別可能に入力画像に含まれていなければならない。

ところが、テストコースに設置した監視カメラで撮像した実際の画像には、動物の姿態が判別可能に含まれていないケースが多い。テストコースは広大な面積を有しており、設置可能な監視カメラの台数が一定数に制限され、監視カメラから離隔した位置に所在する動物を撮像せざるを得ないからである。その結果、入力画像に含まれる動物に係る画素数は少なくなり、テンプレートマッチング又は深層学習を用いたとしても動物を検知できない状況が生ずる。

このため、入力画像に動物の姿態が十分に含まれていない場合には、動物と試験車両の衝突の回避を優先し、動物であるか否かが曖昧な状況であっても試験を中止せざるを得なくなるが、例えば試験車両や監視員を動物と誤認識して試験を頻繁に中止したのでは、試験効率の著しい低下を招くことになる。なお、監視カメラの焦点距離を制御することもできるが、監視カメラの焦点をズームアップして特定の物体に焦点を当ててしまうと、その分だけ監視カメラの視野が制限されてしまい、他の箇所に所在する動物の検知漏れを招くおそれがあるため、焦点のズームアップに頼る処理を行うのは望ましくない。

これらのことから、試験効率の低下を防止しつつ、いかにしてテストコースへの物体の侵入に伴う警報をドライバーに迅速かつ効率的に報知するかが重要な課題となっている。なお、かかる課題は、テストコースに不審者が侵入しようとする場合についても同様に生ずる課題である。新車種の試験車両に関する情報を取得しようとする不審者が、外柵を乗り越えてテストコース内に侵入する可能性が考えられるためである。

本発明は、上記従来技術の問題点（課題）を解決するためになされたものであって、試験効率の低下を防止しつつ、テストコースへの物体の侵入に伴う警報をドライバーに迅速かつ効率的に報知することができる警報システム、警報制御装置及び警報方法を提供することを目的とする。

上記の課題を解決するため、本発明は、複数の撮像装置と、利用者に対して警報を知らせる警報灯と、前記複数の撮像装置及び前記警報灯と通信可能に接続された警報制御装置とを有する警報システムであって、前記警報制御装置は、各撮像装置により撮像された画像に含まれる物体を検知する検知部と、前記検知部により検知された物体を追跡して該物体の移動履歴情報を取得する移動履歴情報取得部と、前記検知部により検知された物体の種別を判定する種別判定部と、前記種別判定部により前記物体の種別が判定できない場合に、前記移動履歴情報取得部により取得された前記移動履歴情報に基づいて、前記警報灯を用いた警報を行うか否かを判定する警報判定部とを備えたことを特徴とする。

また、本発明は、上記の発明において、前記検知部は、複数の画像間の画素の移動ベクトルに基づいて、各撮像装置により撮像された画像に含まれる物体を検知することを特徴とする。

また、本発明は、上記の発明において、前記移動履歴情報取得部は、前記検知部により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得することを特徴とする。

また、本発明は、上記の発明において、前記種別判定部は、前記画像内の矩形領域の部分画像を含む入力画像を多層ニューラルネットワークに入力し、該多層ニューラルネットワークから出力される種別毎の確率に基づいて、前記検知部により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記多層ニューラルネットワークは、少なくとも動物、不審者、監視員、車両を含む多数の入力画像とした教師有り学習を行うことを特徴とする。

また、本発明は、上記の発明において、前記多層ニューラルネットワークは、前記入力画像に含まれる物体が動物、不審者、監視員、車両である確率を出力とすることを特徴とする。

また、本発明は、上記の発明において、前記警報判定部は、少なくとも前記種別判定部により前記検知部により検知された物体が車両又は監視員であると判定された場合には、前記警報灯を用いた警報を行わないと判定することを特徴とする。

また、本発明は、上記の発明において、前記警報判定部は、前記種別判定部により前記検知部により検知された物体が動物又は不審者であると判定された場合には、前記警報灯を用いた警報を行うと判定することを特徴とする。

また、本発明は、上記の発明において、前記警報判定部は、前記種別判定部により前記検知部により検知された物体の種別が特定されない場合には、該物体の移動履歴情報が所定の警報除外条件に該当するならば、前記警報灯を用いた警報を行わないと判定し、該物体の移動履歴情報が所定の警報除外条件に該当しないならば、前記警報灯を用いた警報を行うと判定することを特徴とする。

また、本発明は、所定の撮像装置により撮像された画像に含まれる対象物を検知する検知部と、前記検知部により検知された物体を追跡して該物体の移動履歴情報を取得する移動履歴情報取得部と、前記検知部により検知された物体の種別を判定する種別判定部と、前記種別判定部により前記物体の種別が判定できない場合に、前記移動履歴情報取得部により取得された前記移動履歴情報に基づいて、警報灯を用いた警報を行うか否かを判定する警報判定部とを備えたことを特徴とする。

また、本発明は、複数の撮像装置と、利用者に対して警報を知らせる警報灯と、前記複数の撮像装置及び前記警報灯と通信可能に接続された警報制御装置とを有する警報システムにおける警報方法であって、前記警報制御装置が、各撮像装置により撮像された画像に含まれる物体を検知する検知工程と、前記検知工程により検知された物体を追跡して該物体の移動履歴情報を取得する移動履歴情報取得工程と、前記検知工程により検知された物体の種別を判定する種別判定工程と、前記種別判定工程により前記物体の種別が判定できない場合に、前記移動履歴情報取得工程により取得された前記移動履歴情報に基づいて、前記警報灯を用いた警報を行うか否かを判定する警報判定工程とを含んだことを特徴とする。

本発明によれば、試験効率の低下を防止しつつ、テストコースへの物体の侵入に伴う警報をドライバーに迅速かつ効率的に報知することができる。特に、入力画像内に含まれる物体に係る画素数が少ない場合であっても、不必要な試験中止を招くことなく、テストコースへの物体の侵入に伴う警報を行うことができる。

図１は、本実施の形態に係る警報システムのシステム構成及び動作の概要を説明するための説明図である。 図２は、本実施の形態に係る警報システムの概念を説明するための説明図である。 図３は、図１に示した警報制御装置の構成を示す機能ブロック図である。 図４は、図３に示した種別判定部によるＣＮＮを用いた種別判定の一例を示す図である。 図５は、図３に示した警報制御装置の処理手順を示すフローチャートである。 図６は、図５のステップＳ１０２に示した物体検知及び移動履歴情報の取得に関する処理手順を示すフローチャートである。 図７は、図５のステップＳ１０４に示した警報判定の処理手順を示すフローチャートである。 図８は、ＣＮＮの教師有り学習を行う場合に用いる学習データの生成手順を示すフローチャートである。 図９は、図１に示した警報制御装置のハードウエア構成の一例を示す図である。

以下、添付図面を参照して、本実施の形態に係る警報システム、警報制御装置及び警報方法について説明する。本実施の形態では、車両の走行試験を行うテストコースに本発明を適用した場合について示すこととする。以下では、入力画像Ａに物体Ａ１が映りこんでいる場合について説明する。

＜システム構成及び動作の概要＞
まず、本実施の形態に係る警報システムのシステム構成及び動作の概要について説明する。図１は、本実施の形態に係る警報システムのシステム構成及び動作の概要を説明するための説明図である。図１に示すように、この警報システムは、監視カメラ１０、警報灯２０、スピーカ３０、警報制御装置４０を有する。

監視カメラ１０は、テストコースＴの外部からテストコースＴに侵入する物体Ａ１の画像を撮像する撮像装置であり、テストコースＴの外柵周辺に一定間隔（例えば、数百ｍごと）で配設されている。かかる監視カメラ１０は、ＬＡＮ（Local Area Network）等のＩＰネットワークを介して、警報制御装置４０に入力画像Ａを送信する。なお、ここでは監視カメラ１０から警報制御装置４０に対して入力画像Ａを送信する場合を示すこととするが、監視カメラ１０から警報制御装置４０に対して動画像を送信することもできる。動画像を送信する場合には、警報制御装置４０が動画像からフレーム毎に入力画像Ａを切り出す処理を行うことになる。

警報灯２０は、試験車両を運転するドライバー及びテストコースＴの監視を行う監視員等に対して、テストコースＴでの異常発生を視覚的に報知するための表示デバイスである。かかる警報灯２０は、テストコースＴを走行する試験車両のドライバーが視認できるように、一定間隔（例えば、数百ｍごと）で配設され、警報制御装置４０により表示制御される。ここでは、試験車両の走行試験を行っている間は警報灯２０を緑色表示し、走行試験を中止すべき事象が発生したならば警報灯２０を赤色点滅させることとする。このため、例えば試験車両のドライバーが、走行路を走行している状況で警報灯２０の赤色点滅を視認したならば、直ちに試験中止と判断して所定の位置に移動する。

スピーカ３０は、試験車両を運転するドライバー及びテストコースＴの監視を行う監視員等に対して、テストコースＴでの試験状況を音響的に報知するための報知デバイスである。走行試験を中止すべき事象が発生したならば、警報制御装置４０の指示に応じて所定の警報音を出力する。このため、例えば試験車両のドライバーが、走行路を走行している状況で警報音を確認したならば、直ちに試験中止と判断して所定の位置に移動する。

警報制御装置４０は、動物又は不審者等の物体Ａ１がテストコースＴに侵入したと判定した場合に、警報灯２０の表示制御及びスピーカ３０からの警報音の出力制御により試験車両のドライバー等に警報を行う装置である。また、この警報制御装置４０は、テストコースＴに侵入した物体Ａ１の種別を特定することができず、かつ、該物体Ａ１が車両又は監視員等の正当な物体でない蓋然性が高いと判定した場合にも、警報灯２０の表示制御及びスピーカ３０からの警報音の出力制御により試験車両のドライバー等に警報を行う。なお、かかる警報制御装置４０に関する詳細な説明については後述する。

ここで、監視カメラ１０により物体Ａ１が撮像されたならば（Ｓ１）、この監視カメラ１０は、撮像した入力画像Ａを順次警報制御装置４０に送信する（Ｓ２）。警報制御装置４０は、複数の入力画像Ａを用いて物体Ａ１を検知し（Ｓ３）、該物体Ａ１の移動履歴情報を取得した後（Ｓ４）、この物体Ａ１の種別（動物、監視員、不審者又は車両）を判定する（Ｓ５）。この種別判定に際しては、ＣＮＮ（Convolutional Neural Network）を用いた深層学習を利用する。物体Ａ１の種別を識別することができた場合にはその種別を出力し、種別を識別できない場合には、物体Ａ１の種別を識別できない旨を示す「ＵＮＫＮＯＷＮ（不明）」を出力する。その後、この種別判定結果に基づいて警報を行うか否かを判定する（Ｓ６）。具体的には、物体Ａ１の種別が「動物」又は「不審者」と判定された場合には、警報を行うと判定され、物体Ａ１の種別が「車両」又は「監視員」と判定された場合には、警報を行わないと判定される。

また、物体Ａ１の種別が「ＵＮＫＮＯＷＮ」と判定された場合には、物体Ａ１の移動履歴が所定の警報除外条件に該当するか否かを判定する。この警報除外条件とは、物体Ａ１が試験車両と衝突する可能性が低く、警報すべきでない条件を指す。この警報除外条件の一例として、例えば、「物体Ａ１が所定の監視位置で停止している場合」や「物体Ａ１が一定の速度で走行路上を走行路に沿って周回している場合」などが挙げられる。深層学習による判定された物体Ａ１の種別が不明であるものの、該物体Ａ１が試験車両と衝突する可能性が低いためである。物体Ａ１の移動履歴が所定の警報除外条件に該当するならば警報を行わず、物体Ａ１の移動履歴が所定の警報除外条件に該当しない場合には警報を行う。物体Ａ１が、試験車両と衝突する可能性が低い場合にまで警報を行うと、試験効率の低下を招くためである。警報を行うべきであると判定されたならば、警報灯２０及びスピーカ３０に警報指示を行って（Ｓ７）。警報灯２０を赤色点灯させるとともに、スピーカ３０から警報音を出力させる。

＜警報システムの概念＞
次に、本実施の形態に係る警報システムの概念について説明する。図２は、本実施の形態に係る警報システムの概念を説明するための説明図である。ここでは、監視カメラ１０により撮像した入力画像Ａに物体Ａ１が映りこんでいる状況を示している。

背景技術において説明したように、動物又は不審者等の物体Ａ１を正確に検知するためには、この物体Ａ１の姿態を区別可能な程度に入力画像Ａ内に含まれていることが望まれる。ところが、テストコースの面積は広大であり、テストコースの外柵周辺のあらゆる箇所に監視カメラ１０を設置するのは現実的ではないため、監視カメラ１０は、相互に一定距離（例えば、数百ｍ）離隔した位置に設置せざるを得ない。その結果、入力画像Ａに含まれる物体Ａ１に係る画素数が少なくなり、テンプレートマッチング又は深層学習を用いたとしても動物を検知できない状況が生ずる。このため、この物体Ａ１が走行路を走行する試験車両に衝突してしまう事態が生じ得る。一方、物体Ａ１が試験車両又は監視員であるにも関わらず試験を中止したのでは、試験効率の低下を招いてしまう。

そこで、本実施の形態に係る警報システムでは、入力画像Ａ内の物体Ａ１に係る画素数が比較的少ない場合であっても、可能な限り物体Ａ１の種別（動物、監視員、不審者又は車両）を判定する努力を行う。物体Ａ１に係る画素数が少なかったとしても、物体Ａ１の特徴量が顕在化している場合があるためである。具体的には、ＣＮＮを用いた深層学習を利用して可能な限り物体Ａ１の種別を判定する。

そして、ＣＮＮの出力結果から物体Ａ１の種別を特定できた場合には、該物体Ａ１の種別が車両、監視員、動物、不審者のいずれであるかを確認する。その結果、物体Ａ１の種別が車両又は監視員である場合には試験を続行して警報を行わず、物体Ａ１の種別が動物又は不審者である場合には試験を中止する旨の警報を行う。

これに対して、ＣＮＮの出力結果から物体Ａ１の種別を特定できない場合もある。物体Ａ１に係る画素数が少なすぎるために、ＣＮＮによる種別判定には限界があるためである。かかる場合に、物体Ａ１の移動履歴が警報除外条件に該当するならば試験を続行して警報を行わない。物体Ａ１が、試験車両と衝突する可能性が低い場合にまで警報を行うと、試験効率の低下を招くためである。一方、物体Ａ１の移動履歴が警報除外条件に該当しないならば試験を中止する旨の警報を行う。

これにより、監視カメラ１０によって物体Ａ１を適切な距離で撮影できず、入力画像Ａに含まれる物体Ａ１に係る画素数が少ない場合であっても、試験効率の低下を防止しつつ、テストコースＴへの物体Ａ１の侵入に伴う警報をドライバーに迅速かつ効率的に報知することができる。

＜警報制御装置４０の構成＞
次に、図１に示した警報制御装置４０の構成について説明する。図３は、図１に示した警報制御装置４０の構成を示す機能ブロック図である。同図に示すように、この警報制御装置４０は、入力部４１、表示部４２、通信インターフェース部（以下、単に「通信Ｉ／Ｆ部」と言う）４３、記憶部４４及び制御部４５を有する。

入力部４１は、キーボード又はマウス等の入力デバイスであり、表示部４２は、液晶パネル又はディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部４３は、ＬＡＮ等を介して監視カメラ１０、警報灯２０及びスピーカ３０と通信するためのインターフェース部である。

記憶部４４は、不揮発性メモリ又はハードディスク装置等の記憶デバイスであり、学習データ４４ａ及び移動履歴情報４４ｂ等を記憶する。学習データ４４ａは、後述するＣＮＮが教師有り学習を行う際に用いる学習用の画像データである。移動履歴情報４４ｂは、物体Ａ１の移動履歴を示す情報である。

制御部４５は、警報制御装置４０の全体制御を行う制御部であり、検知部４５ａと、移動履歴情報取得部４５ｂと、種別判定部４５ｃと、警報判定部４５ｄと、警報指示部４５ｅとを有する。なお、その詳細な説明は後述するが、警報制御装置４０のＣＰＵ（Central Processing Unit）が、検知部４５ａ、移動履歴情報取得部４５ｂ、種別判定部４５ｃ、警報判定部４５ｄ及び警報指示部４５ｅに対応するルーチンを含む警報制御プログラムを不揮発性メモリ等から主記憶装置であるＲＡＭ（Random Access Memory）上にロードして実行することにより、各機能部に対応するプロセスが形成される。

検知部４５ａは、連続する複数のフレームの画像（入力画像Ａ）間の画素の移動ベクトルに基づいて、監視カメラ１０により撮像された入力画像Ａに含まれる物体Ａ１を検知する処理部である。具体的には、複数の入力画像Ａで動きのある画素が存在するならば、動きのある画素に基づいて物体Ａ１を検知する。なお、画素の移動ベクトルとは、物体Ａ１の同じ箇所を示す画素間のベクトル（例えば、オプティカルフロー）である。

移動履歴情報取得部４５ｂは、検知部４５ａにより検知された物体Ａ１を形成する画素の移動ベクトルと所定の尤度に基づいて、物体Ａ１を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する処理部である。具体的には、入力画像Ａを形成する画素ごとにオプティカルフローと尤度を算出し、オプティカルフローに基づき過去の物体抽出結果を移動させて動きのある画素を抽出し、パーティクルとしての矩形領域を入力画像Ａ上に配置し、矩形領域内の物体抽出結果位置のオプティカルフローに基づいて矩形領域を移動させ、矩形領域内外の物体抽出結果に基づいて矩形領域ごとに算出した尤度を用いてリサンプリングさせたパーティクルフィルタを用いて物体Ａ１を検知し、矩形領域内外の物体抽出結果位置の色のヒストグラムに基づいて矩形領域ごとに算出した尤度を用いてリサンプリングさせたパーティカルフィルタを用いて物体Ａ１を追跡する。具体的な処理については、特願２０１８−０４６５８２号と同様のものとなる。このようにして、物体Ａ１を含む矩形領域が特定されたならば、例えば矩形領域の中心点の移動履歴（中心点の座標位置の推移）が移動履歴情報として取得される。

種別判定部４５ｃは、検知部により検知された物体Ａ１の種別を判定する処理部であり、多層の畳み込みニューラルネットワーク（ＣＮＮ）を用いて種別判定を行う。かかるＣＮＮには、オープンソース製品として提供される「ｃａｆｆｅ」、「ＴｅｎｓｏｒＦｌｏｗ」、「Ｃｈａｉｎｅｒ」、「ＣＮＴＫ」などを用いることができる。

ここで、上記のＣＮＮを用いた種別判定についてさらに説明する。図４は、図３に示した種別判定部４５ｃによるＣＮＮを用いた種別判定の一例を示す図である。ここでは、ＣＮＮ５０による教師有り学習はすでに完了しているものとする。図４に示したＣＮＮ５０に対して物体Ａ１を含む入力画像Ａが入力されたならば、ＣＮＮ５０は、物体Ａ１が動物である確率Ｐ１、物体Ａ１が不審者である確率Ｐ２、物体Ａ１が監視員である確率Ｐ３、物体Ａ１が車両である確率Ｐ４を出力する。なお、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、０〜１の間の値であり、閾値は「０．８」であり、複数の確率が同時に閾値以上とならないものとする。

確率Ｐ１、Ｐ２、Ｐ３又はＰ４が「０．８」以上であるならば、該当する種別を特定する。ＣＮＮ５０から出力された確率Ｐ１が「０．８」以上であるならば、物体Ａ１は動物であると特定され、ＣＮＮ５０から出力された確率Ｐ２が「０．８」以上であるならば、物体Ａ１は不審者であると特定され、ＣＮＮ５０から出力された確率Ｐ３が「０．８」以上であるならば、物体Ａ１は監視員であると特定され、ＣＮＮ５０から出力された確率Ｐ４が「０．８」以上であるならば、物体Ａ１は車両であると特定される。

これに対して、確率Ｐ１、Ｐ２、Ｐ３、Ｐ４の全てが「０．８」未満であるならば、種別が不定（ＵＮＫＮＯＷＮ）であるとされる。このように、入力画像Ａに含まれる物体Ａ１の画素数が非常に少なく、この物体Ａ１を識別するだけの情報量（特徴量）が得られない場合には、ＣＮＮ５０を用いたとしても物体Ａ１の種別を特定するには至らず、種別が不定とされる。

警報判定部４５ｄは、種別判定部４５ｃにより物体Ａ１が動物又は不審者であると判定された場合、警報灯２０及びスピーカ３０を用いた警報を行うと判定する。また、種別判定部４５ｃにより物体Ａ１が車両又は監視員であると判定された場合には、警報灯２０及びスピーカ３０を用いた警報を行わないと判定する。また、物体Ａ１の種別が「ＵＮＫＮＯＷＮ」と判定された場合には、物体Ａ１の移動履歴が警報除外条件に該当するならば警報を行わないと判定し、物体Ａ１の移動履歴が警報除外条件に該当しないならば警報を行うと判定する。

警報指示部４５ｅは、警報判定部４５ｄにより警報を行うと判定された場合に、警報灯２０及びスピーカ３０に対して警報指示を行う処理部である。警報灯２０には、あらかじめ警告指示のデータパターンに対応付けて警告灯の表示態様が記憶されており、警報指示部４５ｅの警告指示に含まれるデータパターンに対応する表示態様で表示を行う。同様に、スピーカ３０には、あらかじめ警告指示のデータパターンに対応付けて出力音のパターンが記憶されており、警報指示部４５ｅの警告指示に含まれるデータパターンに対応する出力音を出力する。なお、スピーカ３０は、警報指示部４５ｅから出力される警告指示に含まれる出力音を出力することもできる。

＜警報制御装置４０の処理手順＞
次に、図３に示した警報制御装置４０の処理手順について説明する。図５は、図３に示した警報制御装置４０の処理手順を示すフローチャートである。同図に示すように、警報制御装置４０は、監視カメラ１０から複数の入力画像Ａを受信する（ステップＳ１０１）。かかる複数の入力画像Ａは、時系列的に連続するフレームの各画像である。なお、監視カメラ１０から動画を入力し、動画から各フレームに対応する入力画像Ａを切り出しても良い。

その後、警報制御装置４０は、複数の入力画像Ａを用いた物体検知及び移動履歴情報の取得を行い（ステップＳ１０２）、入力画像Ａ内の物体Ａ１の種別判定を行う（ステップＳ１０３）。かかる種別判定に際しては、すでに説明したように、ＣＮＮを用いた深層学習が利用される。かかる種別判定により種別が特定できた場合には、この種別判定結果が出力される。ＣＮＮからは、物体Ａ１の種別が「動物」である確率Ｐ１、物体Ａ１の種別が「不審者」である確率Ｐ２、物体Ａ１の種別が「監視員」である確率Ｐ３、物体Ａ１の種別が「車両」である確率Ｐ４が出力されるため、いずれか一つの確率が閾値となる「０．８」以上となる場合に、該確率を持つ種別が物体Ａ１の種別として特定される。

その後、警報制御装置４０は、警報を行うべきであるか否かの警報判定を行う（ステップＳ１０４）。具体的には、物体Ａ１の種別が「車両」又は「監視員」であると特定されたならば警報を行わないと判定し、物体Ａ１の種別が「動物」又は「不審者」であると特定されたならば警報を行うと判定する。また、物体Ａ１の種別が「ＵＮＫＮＯＷＮ」であると判定されたならば、物体Ａ１の移動履歴が警報除外条件に該当するならば警報を行わないと判定する。例えば、物体Ａ１が車両であるかのように走行路上を走行路に沿って一定速度で移動している場合、物体Ａ１が監視員であるかのように所定の監視位置で停止している場合には、警報を行わないと判定する。なお、かかる警報除外条件に該当しない場合には、警報を行うと判定する。

そして、警報すべきであると判定された場合には（ステップＳ１０５；Ｙｅｓ）、警報指示部４５ｅから警報灯２０及びスピーカ３０に対して警報指示が行われる（ステップＳ１０６）。この警報指示を受け付けた警報灯２０は警報灯を赤色点滅させ、スピーカ３０から所定の出力音が出力される。これにより、試験車両を運転するドライバーは、試験の中止を認識することができる。なお、警報すべきではないと判定された場合には（ステップＳ１０５；Ｎｏ）、警報指示は行われない。

次に、図５のステップＳ１０２に示した物体検知及び移動履歴情報の取得に関する手順について説明する。図６は、図５のステップＳ１０２に示した物体検知及び移動履歴情報の取得に関する手順を示すフローチャートである。

図６に示すように、警報制御装置４０は、入力画像Ａの画素毎にオプティカルフローと尤度を算出し（ステップＳ２０１）、オプティカルフローに基づいて動きのある画素を抽出する（ステップＳ２０２）。その後、入力画像Ａ上にパーティクルとしての矩形を配置し（ステップＳ２０３）、オプティカルフローに基づいて矩形を移動させる（ステップＳ２０４）。その後、矩形の中心の移動ベクトルの地歴を移動履歴情報４４ｂとして記憶部４４に記憶する（ステップＳ２０５）。これにより、矩形領域の部分画像を入力画像ＡとしてＣＮＮに入力して種別判定を効率良く行うことができるとともに、移動履歴情報４４ｂを取得することができる。

次に、図５のステップＳ１０４に示した警報判定の処理手順を説明する。図７は、図５のステップＳ１０４に示した警報判定手順を示すフローチャートである。同図に示すように、種別判定部４５ｃにより物体Ａ１の種別が特定された場合には（ステップＳ３０１；Ｙｅｓ）、この物体Ａ１の種別が「動物」又は「不審者」であるか否かが判定される（ステップＳ３０２）。

その結果、物体Ａ１の種別が「動物」又は「不審者」である場合には（ステップＳ３０２；Ｙｅｓ）、試験中止すなわち警報すべきと判定される（ステップＳ３０３）。これに対して、物体Ａ１の種別が「動物」又は「不審者」ではない場合には（ステップＳ３０２；Ｎｏ）、試験続行すなわち警報しないと判定される（ステップＳ３０４）。物体Ａ１が「車両」又は「監視員」である場合にまで試験を中止したのでは、あらためて再度同じ試験を繰り返さねばならず、試験効率が低下してしまうからである。

一方、種別判定部４５ｃにより物体Ａ１の種別が特定されない場合には（ステップＳ３０１；Ｎｏ）、物体Ａ１の移動履歴が警報除外条件に該当するか否かが判定される（ステップＳ３０５）。例えば、物体Ａ１が所定の監視位置で停止している場合」や「物体Ａ１が一定の速度で走行路上を走行路に沿って周回している場合には、警報を行わないと判定する。その結果、物体Ａ１の移動履歴が警報除外条件に該当する場合には（ステップＳ３０６；Ｙｅｓ）、試験続行すなわち警報しないと判定される（ステップＳ３０７）。これに対して、物体Ａ１の移動履歴が警報除外条件に該当しない場合には（ステップＳ３０６；Ｎｏ）、試験中止すなわち警報すると判定される（ステップＳ３０８）。

次に、ＣＮＮが教師有り学習を行う際に利用する学習データ４４ａの生成要領について説明する。図８は、ＣＮＮが教師有り学習を行う際に利用する学習データ４４ａの生成要領を説明するための説明図である。ここでは、入力画像Ａに含まれる物体Ａ１の画素数が少ない場合であっても可能な限り物体Ａ１の種別を判定できるようにするために、入力画像Ａに含める物体Ａ１の画像を縮小させた状態で教師有り学習に用いられる学習データ４４ａを生成している。

図８に示すように、背景画像と動物の合成画像を生成し（ステップＳ４０１）、この合成画像を学習データ４４ａの一部とする。同様に、背景画像と不審者の合成画像を生成し（ステップＳ４０２）、この合成画像を学習データ４４ａの一部とする。また、背景画像と監視員の合成画像を生成し（ステップＳ４０３）、この合成画像を学習データ４４ａの一部とする。さらに、背景画像と車両の合成画像を生成し（ステップＳ４０４）、この合成画像を学習データ４４ａの一部とする。

その後、各物体Ａ１の画像を所定の倍率で縮小処理し（ステップＳ４０５）、縮小率が所定のしきい値以下でない場合には（ステップＳ４０６；Ｎｏ）、ステップＳ４０１に移行して同様の処理を繰り返す。そして、縮小率が所定のしきい値以下となったならば（ステップＳ４０６；Ｙｅｓ）、処理を終了する。かかる一連の処理を行うことにより、入力画像Ａに含まれる物体Ａ１が小さい場合であっても、その種別を判定することが可能となる。

上述してきたように、本実施の形態では、監視カメラ１０により物体Ａ１が撮像されたならば、この監視カメラ１０により撮像された入力画像Ａを順次警報制御装置４０に送信し、警報制御装置４０は、複数の入力画像Ａを用いて物体Ａ１を検知し、該物体Ａ１の移動履歴情報を取得した後、この物体Ａ１の種別（動物、監視員、不審者又は車両）を判定するとともに、物体Ａ１の種別が特定されない場合には、物体Ａ１の移動履歴が警報除外条件に該当するか否かを判定し、警報を行うべきであると判定されたならば、警報灯２０及びスピーカ３０に警報指示を行って、警報灯２０を赤色点灯させるとともに、スピーカ３０から警報音を出力させるよう構成したので、試験効率の低下を防止しつつ、テストコースＴへの物体Ａ１の侵入に伴う警報をドライバーに迅速かつ効率的に報知することができる。

＜ハードウエアとの関係＞
次に、本実施の形態に係る警報制御装置４０と、コンピュータの主たるハードウエア構成の対応関係について説明する。図９は、ハードウエア構成の一例を示す図である。

一般的なコンピュータは、ＣＰＵ６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ６３及び不揮発性メモリ６４などがバスにより接続された構成となる。不揮発性メモリ６４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。

ここで、ＲＯＭ６２又は不揮発性メモリ６４には、オペレーティングシステム（Operating System；以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ６１は、電源投入時にＲＯＭ６２又は不揮発性メモリ６４からＯＳのプログラムをリードして実行する。

一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ６４に記憶されており、ＣＰＵ６１がＲＡＭ６３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。

そして、本実施の形態に係る警報制御装置４０の警報処理プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ６４等に記憶され、ＣＰＵ６１が、かかる警報制御プログラムをロードして実行することになる。実施の形態に係る警報制御装置４０の場合には、図３に示した検知部４５ａ、移動履歴情報取得部４５ｂ、種別判定部４５ｃ、警報判定部４５ｄ、警報指示部４５ｅに対応するルーチンを含む警報制御プログラムが不揮発性メモリ６４等に記憶される。ＣＰＵ６１により警報制御プログラムがロード実行されることにより、検知部４５ａ、移動履歴情報取得部４５ｂ、種別判定部４５ｃ、警報判定部４５ｄ、警報指示部４５ｅに対応するプロセスが生成される。なお、学習データ４４ａ及び設定データ等は、あらかじめ不揮発性メモリ６４に記憶される。

また、上記の実施の形態では、スタンドアロンとしての装置上で動作実行する場合を示したが、本発明はこれに限定されるものではなく、クラウドのエッジサーバ装置において実現する場合に適用することもできる。また、複数台のコンピュータによる分散処理する場合に適用することもできる。

さらに、上記の実施例の形態では、動物又は侵入者等の物体を警報対象とする場合を示したが、本発明はこれに限定されるものではなく、テストコースへの進入が許可されていない不審物、ドローン等の各種の物体を警報対象とする場合に適用することもできる。

なお、上記の実施の形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明の警報システム、警報制御装置及び警報方法は、試験効率の低下を防止しつつ、テストコースへの物体の侵入に伴う警報をドライバーに迅速かつ効率的に報知する場合に有用である。

Ａ 入力画像
Ａ１ 物体
１０ 監視カメラ
２０ 表示灯
３０ スピーカ
４０ 警報制御装置
４１ 入力部
４２ 表示部
４３ 通信Ｉ／Ｆ部
４４ 記憶部
４４ａ 学習データ
４４ｂ 移動履歴情報
４５ 制御部
４５ａ 検知部
４５ｂ 移動履歴情報取得部
４５ｃ 種別判定部
４５ｄ 警報判定部
４５ｅ 警報処理部
５０ ＣＮＮ
６１ ＣＰＵ
６２ ＲＯＭ
６３ ＲＡＭ
６４ 不揮発性メモリ
６５ バス

Claims (11)

1. 複数の撮像装置と、利用者に対して警報を知らせる警報灯と、前記複数の撮像装置及び前記警報灯と通信可能に接続された警報制御装置とを有する警報システムであって、
   前記警報制御装置は、
   各撮像装置により撮像された画像に含まれる物体を検知する検知部と、
   前記検知部により検知された物体を追跡して該物体の移動履歴情報を取得する移動履歴情報取得部と、
   前記検知部により検知された物体の種別を判定する種別判定部と、
   前記種別判定部により前記物体の種別が判定できない場合に、前記移動履歴情報取得部により取得された前記移動履歴情報に基づいて、前記警報灯を用いた警報を行うか否かを判定する警報判定部と
   を備えたことを特徴とする警報システム。
2. 前記検知部は、
   複数の画像間の画素の移動ベクトルに基づいて、各撮像装置により撮像された画像に含まれる物体を検知することを特徴とする請求項１に記載の警報システム。
3. 前記移動履歴情報取得部は、
   前記検知部により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得することを特徴とする請求項１又は２に記載の警報システム。
4. 前記種別判定部は、
   前記画像内の矩形領域の部分画像を含む入力画像を多層ニューラルネットワークに入力し、該多層ニューラルネットワークから出力される種別毎の確率に基づいて、前記検知部により検知された物体の種別を判定することを特徴とする請求項３に記載の警報システム。
5. 前記多層ニューラルネットワークは、
   少なくとも動物、不審者、監視員、車両を含む多数の入力画像とした教師有り学習を行うことを特徴とする請求項４に記載の警報システム。
6. 前記多層ニューラルネットワークは、
   前記入力画像に含まれる物体が動物、不審者、監視員、車両である確率を出力とすることを特徴とする請求項４に記載の警報システム。
7. 前記警報判定部は、
   少なくとも前記種別判定部により前記検知部により検知された物体が車両又は監視員であると判定された場合には、前記警報灯を用いた警報を行わないと判定することを特徴とする請求項４に記載の警報システム。
8. 前記警報判定部は、
   前記種別判定部により前記検知部により検知された物体が動物又は不審者であると判定された場合には、前記警報灯を用いた警報を行うと判定することを特徴とする請求項４に記載の警報システム。
9. 前記警報判定部は、
   前記種別判定部により前記検知部により検知された物体の種別が特定されない場合には、該物体の移動履歴情報が所定の警報除外条件に該当するならば、前記警報灯を用いた警報を行わないと判定し、該物体の移動履歴情報が所定の警報除外条件に該当しないならば、前記警報灯を用いた警報を行うと判定することを特徴とする請求項４に記載の警報システム。
10. 所定の撮像装置により撮像された画像に含まれる対象物を検知する検知部と、
    前記検知部により検知された物体を追跡して該物体の移動履歴情報を取得する移動履歴情報取得部と、
    前記検知部により検知された物体の種別を判定する種別判定部と、
    前記種別判定部により前記物体の種別が判定できない場合に、前記移動履歴情報取得部により取得された前記移動履歴情報に基づいて、警報灯を用いた警報を行うか否かを判定する警報判定部と
    を備えたことを特徴とする警報制御装置。
11. 複数の撮像装置と、利用者に対して警報を知らせる警報灯と、前記複数の撮像装置及び前記警報灯と通信可能に接続された警報制御装置とを有する警報システムにおける警報方法であって、
    前記警報制御装置が、各撮像装置により撮像された画像に含まれる物体を検知する検知工程と、
    前記検知工程により検知された物体を追跡して該物体の移動履歴情報を取得する移動履歴情報取得工程と、
    前記検知工程により検知された物体の種別を判定する種別判定工程と、
    前記種別判定工程により前記物体の種別が判定できない場合に、前記移動履歴情報取得工程により取得された前記移動履歴情報に基づいて、前記警報灯を用いた警報を行うか否かを判定する警報判定工程と
    を含んだことを特徴とする警報方法。

Images