以下に、本開示の情報処理方法、情報処理装置、プログラム及び情報処理システムについて、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
道路の交差点で右折又は左折しようとしている車両がある場合に、注意喚起が必要な通行人に注意を行う情報処理システムについて説明する。図1及び図2は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム100は、例えば道路の交差点を監視エリアとして各監視エリアに設けられている。情報処理システム100は、監視エリアを撮影して得られた撮影画像に基づいて交通状態を監視する監視装置10、監視エリア内に設けられた表示装置20、監視エリア内の歩行者等が携帯しているユーザ端末30、監視エリア内の車両に搭載されている車載端末40等を含む。監視装置10及び表示装置20は例えばLAN(Local Area Network)を介して通信接続されており、それぞれの監視装置10又はいずれか1つの監視装置10が、それぞれの表示装置20に注意メッセージを出力して表示させる処理を行う。なお、監視装置10はインターネット等のネットワークNに接続されており、監視装置10及び表示装置20はネットワークNを介して通信接続されていてもよい。
監視装置10(撮影装置)は、死角が生じずに監視エリア内の全てを撮影できるように複数設けられていてもよく、広角レンズ等を用いて監視エリア内の全てを撮影できるカメラ13(図3参照)を用いる場合、1つの監視装置10が設けられていてもよい。表示装置20は、液晶ディスプレイ、有機ELディスプレイ又は電子ペーパー等であり、監視装置10からの指示に従って注意メッセージを表示することにより、監視エリア内の通行人に注意メッセージを通知する。なお、表示装置20は、例えば道路内に埋め込まれたライトで構成されていてもよく、この場合、ライトを点灯又は点滅させることによって注意メッセージを通知するように構成することができる。また表示装置20は、ランプ、回転灯等の発光部を有し、発光部を点灯又は点滅させることによって注意喚起を行うように構成されていてもよい。表示装置20は、特に監視エリア内の横断歩道を横断中の通行人が注意メッセージを視認できる箇所に設けられていることが好ましい。横断歩道を横断中の通行人は、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用して横断歩道を横断中の人も含む。
ユーザ端末30は、監視エリア内にいるユーザが携帯している端末装置である。ユーザ端末30はスマートウォッチ等のウェアラブルデバイスで構成されていることが好ましいが、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成されていてもよい。ユーザ端末30は、それぞれの監視装置10との間で無線通信できるように構成されている。ユーザ端末30及び監視装置10は例えばブルートゥース(登録商標)による無線通信が可能に構成されており、ユーザ端末30は、監視装置10を中心とした通信可能範囲内にいる場合に、監視装置10から出力された出力信号を受信する。監視エリア内にいるユーザは、監視エリア内の横断歩道、歩道及び車道にいる歩行者、二輪車、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人を含む。なお、ユーザは、ユーザ端末30を携帯している人を意味しており、通行人は、ユーザ端末30を携帯しているユーザに加えて、ユーザ端末30を携帯していない人も含む。車載端末40は、監視エリア内にいる自動車及び自動二輪車等の車両に搭載された端末装置であり、例えばカーナビゲーション装置である。車載端末40はネットワークNに接続可能であり、ネットワークNを介してそれぞれの監視装置10と通信接続されている。
監視エリアは道路上に複数設けられており、それぞれの監視エリアに上述した構成の情報処理システム100が設けられている。また本実施形態では、ネットワークNに車両管理サーバ50が接続されており、車両管理サーバ50は、予め登録してある各車両の車載端末40から各車両の現在地情報を取得して管理している。車両管理サーバ50は、種々の情報処理及び情報の送受信処理が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータ等である。車両管理サーバ50は、複数台設けられてもよいし、1台のサーバ装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。車両管理サーバ50は、予め登録してある車両に関する情報を保持しており、ネットワークN経由で車載端末40から車両の現在地情報を取得する処理、監視装置10からの要求に応じて所定位置にいる車両(車載端末40)の情報を監視装置10へ提供する処理等を行う。
本実施形態の情報処理システム100では、監視装置10は、カメラ13による撮影を行い、得られた撮影画像に基づいて、撮影範囲である監視エリア内の交差点で右折又は左折しようとしている車両(右折車両又は左折車両)の有無を検知する。監視装置10は、監視エリア内に右折車両又は左折車両を検知した場合、右折車両又は左折車両が進入する横断歩道に設けられた表示装置20(横断歩道を横断中の通行人が視認できる表示装置20)に注意メッセージを表示させる処理を行う。また監視装置10は、右折車両又は左折車両が進入する横断歩道を横断中の通行人がいる場合に、無線通信にて注意信号を出力する処理を行う。更に監視装置10は、右折車両又は左折車両が進入する横断歩道を横断中の通行人がいる場合に、右折車両又は左折車両の車載端末40に注意信号を出力する処理を行う。
図3は、監視装置10及びユーザ端末30の構成例を示すブロック図である。本実施形態の監視装置10は、制御部11、記憶部12、カメラ13、通信部14、無線通信部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理及び制御処理を監視装置10に行わせる。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。更に記憶部12は、機械学習によって学習させた学習済みモデルである車両判別モデルM1及び歩行者判別モデルM2等を記憶する。車両判別モデルM1及び歩行者判別モデルM2は、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。
カメラ13は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。カメラ13は、制御部11からの指示に従って撮影を行い、1枚(1フレーム)の画像データ(撮影画像)を順次取得する。カメラ13は、例えば1秒間に60フレーム、30フレーム又は15フレームの映像データを取得するように構成されており、カメラ13にて取得された映像データは順次記憶部12に記憶される。なお、カメラ13は、監視装置10に内蔵された構成のほかに、監視装置10に外付けされる構成でもよい。この場合、監視装置10は、外部カメラの接続が可能な接続部又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した映像データを接続部又は無線通信部を介して取得する。
通信部14は、有線通信又は無線通信によってLANに接続するためのインタフェースと、有線通信又は無線通信によってネットワークNに接続するためのインタフェースとを有する。これにより、通信部14は、LANを介して表示装置20との間で情報の送受信を行い、ネットワークNを介して他の装置との間で情報の送受信を行うことができる。無線通信部15は、例えばブルートゥースによる無線通信を行うためのインタフェースであり、監視装置10に設けられたブルートゥースアンテナ(図示せず)を介して、通信可能な範囲内にいる他の装置(本実施形態ではユーザ端末30)へ制御信号を送信する。
読み取り部16は、CD(Compact Disc)−ROM、DVD(Digital Versatile Disc)−ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が通信部14を介して他の装置からダウンロードして記憶部12に記憶してもよい。
本実施形態の監視装置10は、上述した構成のほかに、監視装置10を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する入力部、音声メッセージを出力するスピーカ等を備えていてもよい。
ユーザ端末30は、制御部31、記憶部32、無線通信部33、通知部34等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末30の制御部31、記憶部32、無線通信部33のそれぞれは、監視装置10の制御部11、記憶部12、無線通信部15と同様の構成であるので詳細な説明は省略する。なお、ユーザ端末30の無線通信部33は、ユーザ端末30に設けられたブルートゥースアンテナ(図示せず)を中心とした通信可能な範囲内にいる他の装置(本実施形態では監視装置10)から出力された制御信号をブルートゥースアンテナを介して受信する。
通知部34は、ランプ、ブザー、スピーカ、表示部、又はバイブレータ等を含み、ランプの点灯又は点滅、ブザーの鳴動、スピーカによるメッセージの音声出力、表示部による注意メッセージの表示、バイブレータによる振動等を行うことにより、ユーザ端末30のユーザに所定の状況(右折車両又は左折車両がある状況)を通知する。なお、通知部34は、制御部31からの指示に従って、所定の処理を行うことによって通知処理を実現する。
本実施形態のユーザ端末30は、上述した構成のほかに、ユーザ端末30を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部31へ送出する入力部、液晶ディスプレイ又は有機ELディスプレイ等の表示部等を備えていてもよい。
図4は、車両判別モデルM1の構成例を示す模式図である。本実施形態の車両判別モデルM1は、例えば図4に示すようにCNN(Convolution Neural Network)モデルで構成されている。車両判別モデルM1は、CNNモデルのほかに、RNN(Recurrent Neural Network)モデル、LSTM(Long Short-Term Memory)モデルで構成されていてもよい。また、車両判別モデルM1は、R−CNN(Regions with CNN)、Fast R−CNN、Faster R−CNN、Mask R−CNN,SSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等の任意の物体検出アルゴリズム(ニューラルネットワーク)で構成されてもよく、これらのモデルのいくつかを組み合わせて構成されてもよい。車両判別モデルM1(動体判別モデル)は、自動車及び自動二輪車等の車両を撮影した撮影画像(車両画像)を入力とし、入力された車両画像に基づいて、撮影されている車両が、例えば右折車両、左折車両及び直進車両のいずれであるかを演算し、演算した結果を出力するように学習した学習済みモデルである。
図4に示す車両判別モデルM1は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の車両判別モデルM1では、入力層を介して、走行中の車両を撮影した車両画像(画像データ)が入力される。入力層の各ノードには車両画像中の各画素が入力され、入力層の各ノードを介して入力された車両画像は中間層に入力される。中間層に入力された車両画像は、畳み込み層でフィルタ処理等によって画像の特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量が削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(図4では2層)設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各出力ノードにそれぞれの出力値を与える。
図4に示す車両判別モデルM1では、出力層は3つの出力ノードを有しており、それぞれの出力ノードは、右折、左折及び直進の各進行方向に対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、入力層に入力された車両画像に写っている車両が、それぞれの出力ノードに対応付けられた進行方向に走行中の車両(具体的には右折車両、左折車両、直進車両)である可能性を示す。出力層の各出力ノードの出力値は例えば0〜1.0の値であり、全ての出力ノードから出力される判別確率の合計が1.0となる。車両判別モデルM1において、入力層の入力ノードの数、中間層における畳み込み層、プーリング層及び全結合層のそれぞれの層数、出力層の出力ノードの数は図4に示す例に限定されない。例えば出力層は、上述した3つの出力ノードに加え、バック走行している後進車両、蛇行運転又はあおり運転している危険車両等に対する判別確率を出力する出力ノードを有する構成でもよい。
車両判別モデルM1は、車両画像と、車両画像中に写っている車両の進行方向(正解ラベル)とを含む教師データを用いて学習する。車両判別モデルM1は、教師データに含まれる車両画像が入力された場合に、教師データに含まれる正解ラベルが示す進行方向に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。学習処理において車両判別モデルM1は、中間層における各層のノードを結合する重み付け係数及び関数を最適化するように学習する。これにより、車両画像が入力された場合に、車両画像中に写っている車両を、右折車両、左折車両及び直進車両の中から特定するように学習された学習済みの車両判別モデルM1が得られる。なお、教師データに用いる車両画像は、例えば右折専用レーンを走行中の車両、方向指示器(ウインカー)で右折を示している車両等を撮影した画像を、右折車両の画像として用いることができる。また、教師データに用いる車両画像は、例えば左折専用レーンを走行中の車両、方向指示器(ウインカー)で左折を示している車両等を撮影した画像を、左折車両の画像として用いることができる。車両判別モデルM1の学習は、他の学習装置で行われるが、監視装置10で行われてもよい。車両判別モデルM1は、図4に示すようなニューラルネットワーク(深層学習)に限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。
歩行者判別モデルM2は、撮影画像を入力とし、撮影画像が入力された場合に、撮影画像中に歩行者がいるか否かを示す情報を出力するように学習した学習済みモデルである。なお、ここでの歩行者は、歩行している人のほかに、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人も含む。歩行者判別モデルM2は、図4に示す車両判別モデルM1と同様の構成で構築されており、例えば出力層は2つの出力ノードを有し、それぞれの出力ノードは、歩行者がいる状態と歩行者がいない状態とに対する判別確率を出力する。なお、歩行者判別モデルM2は、複数の出力ノードを設け、それぞれの出力ノードは、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーのそれぞれに対する判別確率を出力するように構成されていてもよい。このように歩行者判別モデルM2を構成した場合、それぞれの出力ノードが出力する判別確率は、入力された撮影画像に写っている人が、それぞれの出力ノードに対応付けられた状態(具体的には、歩行者、或いは、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーを使用中の人)である可能性を示す。
歩行者判別モデルM2は、撮影画像と、撮影画像中に歩行者がいるか否かを示す情報(正解ラベル)とを含む教師データを用いて学習する。歩行者判別モデルM2は、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルが示す状態(歩行者がいるか否か)に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。これにより、歩行者、或いは、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用中の人を撮影した撮影画像が入力された場合に、撮影画像中に歩行者がいるか否かを判別するように学習された学習済みの歩行者判別モデルM2が得られる。なお、歩行者判別モデルM2の教師データに用いる撮影画像は、例えば横断歩道上の歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用中の人を撮影した画像を、歩行者がいる画像として用いることができる。歩行者判別モデルM2の学習も、他の学習装置で行われてもよく、監視装置10で行われてもよい。なお、歩行者判別モデルM2を、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーのそれぞれに対する判別確率を出力するように構成した場合、撮影画像と、撮影画像中に写っている被写体が歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーのいずれであるかを示す情報(正解ラベル)とを含む教師データを用いて学習すればよい。また歩行者判別モデルM2も図4に示すようなニューラルネットワークに限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。
図5は、車載端末40及び車両管理サーバ50の構成例を示すブロック図である。車載端末40は、制御部41、記憶部42、通信部43、測位部44、通知部45等を含み、これらの各部はバスを介して相互に接続されている。車載端末40の制御部41、記憶部42のそれぞれは、監視装置10の制御部11、記憶部12と同様の構成であり、車載端末40の通知部45はユーザ端末30の通知部34と同様の構成であるので詳細な説明は省略する。なお、車載端末40の通信部43は、無線通信によってネットワークNに接続するためのインタフェースであり、ネットワークNを介して他の装置との間で情報の送受信を行う。
測位部44は、車載端末40の現在地を検出し、現在地を示す現在地情報(例えば、経度及び緯度の座標値)を取得する。測位部44は、例えばGPS(Global Positioning System )衛星から送信される電波を、車載端末40に設けられたGPSアンテナ(図示せず)を介して受信し、受信した電波に基づいて現在地を検出する。なお、現在地の検出方法はGPS衛星からの電波に基づく方法に限らない。本実施形態の車載端末40は、上述した構成のほかに、車載端末40を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部41へ送出する入力部、液晶ディスプレイ又は有機ELディスプレイ等の表示部等を備えていてもよい。
車両管理サーバ50は、制御部51、記憶部52、通信部53、入力部54、表示部55等を含み、これらの各部はバスを介して相互に接続されている。車両管理サーバ50の制御部51、記憶部52、通信部53のそれぞれは、車載端末40の制御部41、記憶部42、通信部43と同様の構成であるので詳細な説明は省略する。なお、車両管理サーバ50の記憶部52は、制御部51が実行する制御プログラム52Pに加えて、後述する車両情報DB(データベース)52aを記憶する。また、車両管理サーバ50の通信部53は、有線通信によってネットワークNに接続される構成でもよい。
入力部54は、車両管理サーバ50を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部51へ送出する。表示部55は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部51からの指示に従って各種の情報を表示する。入力部54及び表示部55は一体として構成されたタッチパネルであってもよい。
図6は、車両情報DB52aの構成例を示す模式図である。車両情報DB52aは、予め登録された車両に関する情報を記憶する。図6に示す車両情報DB52aは、車両ID列、車両情報列、宛先情報列、現在地情報列等を含み、車両IDに対応付けて、車両及び車両に搭載されている車載端末40に関する各情報を記憶する。車両ID列は、登録された各車両に割り当てられた識別情報(車両ID)を記憶する。車両情報列は、車種及びボディカラー等のように車両を識別できる情報を記憶する。宛先情報列は、車両に搭載されている車載端末40とネットワークN経由で通信を行う際の宛先情報を記憶する。現在地情報は、車載端末40から取得する車両の現在地を示す情報を記憶する。車両情報DB52aに記憶される車両IDは、新たな車両の情報が車両情報DB52aに登録される際に、制御部51によって発行されて記憶される。車両情報DB52aに記憶される他の情報は、制御部51が入力部54又は通信部53を介して追加又は変更の指示を受け付ける都度、制御部51によって追加又は変更される。車両情報DB52aの記憶内容は図6に示す例に限定されない。例えば車両の現在の走行方角、走行速度及び走行経路履歴等が車両情報DB52aに記憶されてもよい。
以下に、本実施形態の情報処理システム100において、監視装置10が監視エリア内に右折車両又は左折車両を検知した場合に監視エリア内の通行人に通知する処理を行う際に各装置が行う処理について説明する。図7は通知処理手順の一例を示すフローチャートである。図7では左側に右折車両又は左折車両に搭載されている車載端末40が行う処理を、中央に監視装置10が行う処理を、右側にユーザ端末30が行う処理をそれぞれ示す。以下の処理は、監視装置10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行され、ユーザ端末30の記憶部32に記憶してある制御プログラム32Pに従って制御部31によって実行され、車載端末40の記憶部42に記憶してある制御プログラム42Pに従って制御部41によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
本実施形態の情報処理システム100において、監視装置10の制御部11は、カメラ13を用いて撮影可能な監視エリアを撮影する(S11)。制御部11はカメラ13による撮影を常時行っている。また、情報処理システム100が監視エリア内における動体の有無を検知する動体センサを有する場合、制御部11は、動体センサによって動体の存在が検知された後にカメラ13による撮影を開始してもよい。制御部11(画像取得部)は、カメラ13による撮影によって撮影画像を取得し、取得した撮影画像に基づいて、撮影画像中に右折車両又は左折車両が含まれるか否かを判断する(S12)。具体的には、制御部11(検知部)は、撮影画像を車両判別モデルM1に入力し、車両判別モデルM1からの出力情報に基づいて、撮影画像中に写っている車両の進行方向を特定(検知)する。例えば制御部11は、車両判別モデルM1において、最大の出力値(判別確率)が所定値(例えば0.7)以上であった場合に、最大出力値を出力した出力ノードに対応する車両の進行方向を、撮影画像中に写っている車両の進行方向に特定する。
制御部11は、車両判別モデルM1を用いた車両の進行方向の判別結果に基づいて、撮影画像中に右折車両及び左折車両が含まれないと判断した場合(S12:NO)、ステップS11の処理に戻り、監視エリアの撮影を継続する。本実施形態では、監視装置10が、車両判別モデルM1を用いて撮影画像中の右折車両又は左折車両の有無を判断するが、ネットワークNに接続された所定のサーバで撮影画像中の右折車両又は左折車両の有無が判断されてもよい。この場合、制御部11は、逐次取得する撮影画像をネットワークN経由で所定のサーバへ送信し、所定のサーバで判断された判断結果(撮影画像中の右折車両又は左折車両の有無)を取得し、取得した検知結果に従って、撮影画像中に右折車両又は左折車両が含まれるか否かを判断してもよい。
撮影画像中に右折車両又は左折車両が含まれると判断した場合(S12:YES)、制御部11(特定部)は、撮影画像中の右折車両又は左折車両に基づいて、監視エリアにおいて右折車両又は左折車両の注意喚起が必要なエリア(通知エリア)を特定する(S13)。例えば撮影画像中の右折車両又は左折車両が進入する横断歩道を通知エリアに特定する。具体的には、図1に示す車両(右折車両)が撮影された場合、制御部11は、この右折車両が進入する上側の横断歩道を通知エリアに特定する。制御部11は、通知エリアを特定した場合、通知エリアに対応する位置に設けてある表示装置20に注意メッセージを表示させる(S14)。例えば右折車両が進入する横断歩道を通知エリアに特定した場合、制御部11は、この横断歩道を横断する通行人が視認できる位置に設けられた表示装置20に「右折車両に注意!」等の注意メッセージを表示させる。表示装置20に表示させる注意メッセージは、例えば記憶部12に記憶してある。なお、表示装置20が発光部を有する場合、制御部11は、発光部を点灯又は点滅させることによって注意喚起を行ってもよい。また監視装置10又は表示装置20がスピーカを有する場合、制御部11は、スピーカから音声メッセージを出力させることによって注意喚起を行ってもよい。
次に制御部11は、ステップS13で特定した通知エリアに歩行者等の通行人がいるか否かを判断する(S15)。ここでは制御部11は、通知エリアをカメラ13で撮影した撮影画像に基づいて、撮影画像中に通行人が含まれるか否かを判断する。具体的には、制御部11は、撮影画像を歩行者判別モデルM2に入力し、歩行者判別モデルM2からの出力情報に基づいて、撮影画像中に通行人(歩行者等)がいるか否かを判別する。例えば制御部11は、歩行者判別モデルM2において、最大(大きい値)の出力値(判別確率)を出力した出力ノードに対応する状態(歩行者等の通行人の有無)を、撮影画像中の状態に特定する。なお、制御部11は、テンプレートを用いたパターンマッチングによって、特定した通知エリアをカメラ13で撮影した撮影画像中に通行人がいるか否かを判断してもよい。この場合、一般的な歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人を撮影した撮影画像のテンプレートを予め記憶部12に記憶しておき、制御部11は、撮像画像からテンプレートに一致する領域の有無を判断することにより、撮影画像中の通行人の有無を判断できる。また、制御部11は、通知エリアを撮影した時系列の撮影画像の差分を算出し、差分情報に基づいて通知エリア内に通行人がいるか否かを判断してもよい。更に、制御部11は、歩行者等の通行人だけでなく、撮影画像中(通知エリア内)に障害物等の物体又は動物等の動体(移動物体)が存在するか否かを判断してもよい。
制御部11(出力部)は、通知エリアに通行人がいると判断した場合(S15:YES)、無線通信部15を介した無線通信によって、右折車両又は左折車両があることを通知する通知情報を出力する(S16)。監視装置10と通信可能な範囲内にいるユーザ端末30の制御部31は、監視装置10から出力された車両の通知情報を、無線通信部33を介して受信した場合、通知部34による通知処理を実行する(S17)。例えば制御部31は、通知部34がランプを有する場合、ランプの点灯又は点滅を行い、通知部34がブザーを有する場合、ブザーの鳴動を行い、通知部34がスピーカを有する場合、スピーカによるメッセージの音声出力を行い、通知部34が表示部を有する場合、表示部による注意メッセージの表示を行い、通知部34がバイブレータを有する場合、バイブレータによる振動を行う。これにより、ユーザ端末30のユーザに右折車両又は左折車両が存在することを通知できる。
次に制御部11は、ステップS12で撮影画像に基づいて検知した右折車両又は左折車両に搭載されている車載端末40の宛先情報を取得する(S18)。例えば制御部11は、監視装置10の位置情報(設置場所の情報)をネットワークN経由で車両管理サーバ50へ送信し、監視装置10の設置位置の周囲にいる車両に搭載されている車載端末40に割り当てられている宛先情報を車両管理サーバ50から取得する。このとき車両管理サーバ50の制御部51は、監視装置10から受信した位置情報を現在地情報とする車両を車両情報DB52aに記憶してある車両の中から特定し、特定した車両に対応する車載端末40の宛先情報を車両情報DB52aから読み出して監視装置10へ送信する。なお、制御部11は、監視装置10の位置情報に基づいて、検知した右折車両又は左折車両の位置情報を算出し、右折車両又は左折車両の位置情報を現在地情報とする車両の車載端末40の宛先情報を車両管理サーバ50から取得してもよい。監視装置10の位置情報は、例えば記憶部12に記憶されていてもよく、監視装置10が測位部を有する場合、測位部によって監視装置10の現在地情報(例えば、経度及び緯度の座標値)を取得してもよい。また制御部11は、撮影画像から右折車両又は左折車両の車両情報(例えば車種又はボディカラー)を抽出し、抽出した車両情報に基づいて、右折車両又は左折車両の宛先情報を車両管理サーバ50から取得してもよい。
制御部11(出力部)は、ステップS18で取得した宛先情報に基づいて通信部14を介して、右折車両又は左折車両に搭載されている車載端末40に対して、通知エリアに歩行者等の通行人がいることを通知する通知情報を出力する(S19)。車載端末40の制御部41は、監視装置10から出力された通行人の通知情報を通信部43を介して受信した場合、通知部45による通知処理を実行する(S20)。ここでも、制御部41は、通知部45がランプを有する場合、ランプの点灯又は点滅を行い、通知部45がブザーを有する場合、ブザーの鳴動を行い、通知部45がスピーカを有する場合、スピーカによるメッセージの音声出力を行い、通知部45が表示部を有する場合、表示部による注意メッセージの表示を行い、通知部45がバイブレータを有する場合、バイブレータによる振動を行う。これにより、車載端末40が搭載されている車両を運転中のユーザ(運転者)に、車両の進行方向に歩行者等の通行人がいることを通知できる。なお、制御部11は、通知情報を車載端末40へ出力する際に、ステップS15で通知エリア内に通行人がいることを検知した際に用いた撮影画像を通知情報に含めて車載端末40へ送信してもよい。この場合、通知情報を受信した車載端末40は、通知情報に含まれる撮影画像を表示部(図示せず)に表示することにより、自車両の進行方向に通行人がいることを車両内の搭乗者に通知できる。よって、例えば、右折車両又は左折車両から視認し辛い位置に通行人がいる場合であっても、車両内の搭乗者は、監視装置10で撮影された撮影画像によって通行人の位置を把握できる。また制御部11は、通知情報に、右折車両又は左折車両が右折又は左折する状態であることを示す情報を通知情報に含めて車載端末40へ送信してもよい。この場合、通知情報を受信した車載端末40は、通知情報に含まれる情報に基づいて、例えば通知部45にて右折又は左折する状態であることを車両内の搭乗者に通知するこができる。なお、情報処理システム100に、監視エリア内の車両の車載端末40に対してピンポイントで情報を送信できる送信機が設けられている場合、監視装置10の制御部11は、送信機を用いて右折車両又は左折車両の車載端末40に対してピンポイントで通行人の通知情報を送信してもよい。
また、監視装置10の制御部11は、右折車両又は左折車両を撮影した撮影画像に基づいて、右折車両又は左折車両が停車中であるか走行中であるかを判断し、停車中である場合と走行中である場合とにおいて、異なる通知情報を車載端末40に出力してもよい。そして、車載端末40の制御部41は、監視装置10からの通知情報に応じた通知処理を行うことにより、自車両(右折車両又は左折車両)が停車中であるか走行中であるかに応じた通知処理が可能となる。例えば、右折車両又は左折車両が停車中である場合、この車両の運転者は前方の歩行者等を認識している可能性が高い。一方、右折車両又は左折車両が走行中である場合、この車両の運転者は前方の歩行者等を認識している可能性が低い。よって、車両の状態に応じて車載端末40による通知処理の内容を異ならせることにより、運転者が歩行者等を認識しているか否かに応じて注意レベルを切り替えることが可能となる。また、監視装置10の制御部11は、右折車両又は左折車両を撮影した撮影画像に基づいて、右折車両又は左折車両の走行速度を検出し、検出した走行速度に応じて異なる通知情報を車載端末40に出力してもよい。この場合には、右折又は左折しようとしている車両の走行速度に応じて注意レベルを切り替えることが可能となる。
制御部11は、通知エリアに通行人がいないと判断した場合(S15:NO)、ステップS16,S18〜S19の処理をスキップする。次に制御部11は、監視エリアを撮影した撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両が監視エリアを通過したか否かを判断する(S21)。具体的には、制御部11は、カメラ13にて順次取得する撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両を追跡する処理を行い、撮影画像中から右折車両又は左折車両がいなくなった場合に、この右折車両又は左折車両は監視エリアを通過したと判断する。右折車両又は左折車両が監視エリアを通過していないと判断する場合(S21:NO)、制御部11は、ステップS14の処理に戻り、表示装置20に注意メッセージを表示させる処理と、通知エリア内に通行人がいるか否かを判断する処理とを継続する。これにより、監視エリア内に右折車両又は左折車両がある場合に、右折車両又は左折車両が進入予定の横断歩道(通知エリア)に設けられた表示装置20に注意メッセージを表示させると共に、通知エリア内に通行人がいた場合には、右折車両又は左折車両があることをユーザ端末30を携帯するユーザに通知し、右折車両又は左折車両には、進入予定の横断歩道上に通行人がいることを通知できる。
右折車両又は左折車両が監視エリアを通過したと判断した場合(S21:YES)、制御部11は、無線通信部15を介した無線通信によって、右折車両又は左折車両が通過して安全な状態であることを通知する安全情報を出力する(S22)。そして、監視装置10と通信可能な範囲内にいるユーザ端末30の制御部31は、監視装置10から出力された安全情報を無線通信部33を介して受信した場合、ステップS17で開始した通知部34による通知処理を終了する(S23)。これにより、右折車両又は左折車両が監視エリアを通過した後は、ユーザ端末30の通知部34による通知処理が終了する。なお、このとき制御部31は、通知部34による他の通知処理を行うことによって、ユーザ端末30のユーザに安全状態であることを通知するように構成されていてもよい。
また制御部11は、ステップS14で表示装置20に表示させていた注意メッセージの表示を終了する(S24)。更に制御部11は、ステップS18で取得した宛先情報に基づいて、右折車両又は左折車両の車載端末40に対して、自車両(右折車両又は左折車両)が監視エリアを通過して安全な状態であることを通知する安全情報を出力する(S25)。車載端末40の制御部41は、監視装置10から出力された安全情報を通信部43を介して受信した場合、ステップS20で開始した通知部45による通知処理を終了する(S26)。これにより、自車両が監視エリアを通過した後は、自車両の車載端末40の通知部45による通知処理が終了する。ここでも、制御部41は、通知部45による他の通知処理を行うことによって、車両内の搭乗者に安全状態であることを通知するように構成されていてもよい。
上述した処理により、監視装置10は、監視エリアを撮影した撮影画像に基づいて監視エリア内において右折車両又は左折車両の有無を監視している。そして、右折車両又は左折車両の存在を検知した場合、例えば右折車両又は左折車両が進入する横断歩道を通知エリアに特定し、通知エリアに設けられた表示装置20に注意メッセージを表示する。また、監視装置10は、通知エリアを撮影した撮影画像に基づいて、通知エリア内において通行人の有無を判断し、通知エリア内に通行人がいる場合に、この通行人が携帯している可能性のあるユーザ端末30に対して、ブルートゥース等の無線通信によって、右折車両又は左折車両があることを通知する。更に、監視装置10は、通知エリア内に通行人がいる場合に、ここでの右折車両又は左折車両の車載端末40に対して、進入方向に歩行者等の通行人がいることを通知する。このように表示装置20に表示された注意メッセージによって、表示装置20を視認した通行人に注意を促すことができると共に、ユーザ端末30を携帯しているユーザ及び車載端末40が搭載されている車両内の運転者等に対しても注意を促すことができる。これにより、右折車両又は左折車両が関わる事故の発生が抑制されることが期待される。
上述した処理では、監視装置10は、通知エリアに歩行者等の通行人がいる場合に、無線通信部15による無線通信によって、通知エリア内のユーザ端末30に通知情報を出力して注意喚起を行う構成であるが、この構成に限定されない。例えば、監視装置10は、無線通信部15による無線通信を、通知エリアにおける通行人の有無に関わらず行ってもよい。即ち、監視装置10は、通知エリア内の通行人の有無を判断せずに、右折車両又は左折車両があることを通知する通知情報を無線通信にて送信してもよく、この場合、より早期に通知情報をユーザ端末30へ送信することが可能となる。
本実施形態では、監視装置10が自装置10のカメラ13で撮影した撮影画像に基づいて監視エリア内の状況を監視する処理を行う構成であるが、この構成に限定されない。例えば、1つの監視エリアに設けられた情報処理システム100が複数の監視装置10を含む場合、複数の監視装置10で撮影された撮影画像が1つの監視装置10へ送信され、1つの監視装置10で複数の撮影画像に基づく監視処理が行われるように構成することができる。この場合、監視処理を行う1つの監視装置10が、監視処理の結果、表示装置20への注意メッセージの表示処理、通知エリア内の歩行者等のユーザ端末30への通知処理、右折車両又は左折車両の車載端末40への通知処理を行えばよい。また、それぞれの監視装置10で撮影された撮影画像が、ネットワークN経由でクラウドサーバに集約され、クラウドサーバで、それぞれの監視エリアの撮影画像に基づく監視処理が行われるように構成することもできる。
(実施形態2)
上述した実施形態1の情報処理システム100において、監視エリア内で監視中の右折車両又は左折車両が他の車両又は歩行者等と接触した事故が発生した場合に通報を行う情報処理システムについて説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。
図8は、実施形態2における通知処理手順の一例を示すフローチャートである。図8に示す処理は、図7に示す処理において、ステップS19,S21の間にステップS31〜S33を追加したものである。図7と同じステップについては説明を省略する。なお、図8では、図7中のステップS11〜S13,S22〜S26の図示を省略している。
本実施形態の情報処理システム100において、監視装置10、ユーザ端末30及び車載端末40の制御部11,31,41はそれぞれ、図7中のステップS11〜S20と同様の処理を行う。これにより、監視装置10は、監視エリア内における右折車両又は左折車両の有無を監視し、右折車両又は左折車両がある場合に、表示装置20への注意メッセージの表示、無線通信によるユーザ端末30への通知、及び車載端末40への通知を行う。よって、監視エリア内に右折車両又は左折車両がある場合に、通知エリア内の通行人及び車両内の搭乗者に注意喚起することができる。
制御部11は、ステップS19の処理後、監視エリアを順次撮影した撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両、又はステップS15で検知した通行人が関わる事故が発生したか否かを判断する(S31)。例えば制御部11は、カメラ13にて順次取得する撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両、及びステップS15で検知した通行人を追跡する処理を行い、右折車両又は左折車両が、いずれかの通行人又は他の車両と接触した場合に、事故が発生したと判断する。事故が発生していないと判断する場合(S31:NO)、制御部11は、ステップS21の処理に移行し、ステップS21以降の処理を行う。
事故が発生したと判断した場合(S31:YES)、制御部11は、例えば警察署に通報する処理を行う(S32)。例えば制御部11は、ネットワークN経由で、予め登録してある警察署又は警備会社の端末に、交通事故が発生した場所の情報を含む通報情報を出力する。そして制御部11は、カメラ13で撮影した撮影画像、即ち、カメラ13で事故現場を撮影して得らえた事故映像を記憶部12に記憶する(S33)。なお、制御部11は、カメラ13で順次撮影する撮影画像に基づいて、事故に関する処理が完了したか否かを判断し、事故に関する処理が完了したと判断した場合、カメラ13で撮影した事故映像の記憶処理を終了する。また制御部11は、通信部14又は入力部(図示せず)を介して事故映像の記録処理を終了する指示を受け付けた場合に、カメラ13で撮影した事故映像の記憶処理を終了してもよい。
上述した処理により、本実施形態においても、監視エリア内に右折車両又は左折車両がある場合に、表示装置20に表示された注意メッセージによって通知エリア内の通行人に注意喚起を行うことができる。また、通知エリア内のユーザにはユーザ端末30を介して、右折車両又は左折車両があることを通知でき、右折車両又は左折車両内のユーザには車載端末40を介して、車両の進入方向に歩行者等の通行人がいることを通知できる。このように監視エリア内の各ユーザに注意喚起を行うことにより、監視エリア内での事故の発生が抑制されることが期待される。更に、本実施形態では、監視エリア内で事故が発生した場合には通報すると共に、事故現場の撮影画像(事故映像)を蓄積することが可能となる。このように蓄積された事故映像は、警察又は保険会社等に提供され、事故の状況を把握するための映像として使用することができる。また、各車両の運転者等の家族の連絡先(電話番号等)が車両管理サーバ50(車両情報DB52a)に登録してある場合、事故の発生を検知した場合に、事故車両の運転者等の家族に通知するように構成してもよい。更に、事故の発生を検知した場合に、監視装置10は、事故現場の周囲の車両の宛先情報を車両管理サーバ50から取得し、周囲の車両に対して、事故現場から退避するように誘導する通知情報をネットワークN経由で送信するように構成してもよい。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、監視エリア内で接触事故等の交通事故が発生した場合に、警察署又は警備会社等に通報でき、更に事故現場の撮影画像を収集することができる。本実施形態においても、上述した実施形態1で適宜説明した変形例の適用が可能である。
(実施形態3)
赤信号の横断歩道を横断している横断者、信号機がない横断歩道を横断している横断者、及び、横断歩道がない箇所で道路を横断している横断者がいる場合に、注意喚起が必要なユーザ(通行人,車両の搭乗者)に注意を行う情報処理システムについて説明する。なお、赤信号の横断歩道を横断している横断者、信号機がない横断歩道を横断している横断者、及び、横断歩道がない箇所で道路を横断している横断者をまとめて「危険横断者」という。また、ここでの危険横断者は、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人を含む。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。また、本実施形態の情報処理システム100は、道路の交差点だけでなく、信号機がない横断歩道、信号機及び横断歩道がない箇所で歩行者等が道路を横断する頻度が多い箇所等を監視エリアとして各監視エリアに設けられている。なお、本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。
以下に、本実施形態の情報処理システム100において、監視装置10が監視エリア内で危険横断している危険横断者を検知した場合に、所定の通知エリア内のユーザに通知する処理を行う際に各装置が行う処理について説明する。図9は実施形態3の通知処理手順の一例を示すフローチャートである。図9では左側に車載端末40が行う処理を、右側に監視装置10が行う処理をそれぞれ示す。以下の処理は、監視装置10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行され、車載端末40の記憶部42に記憶してある制御プログラム42Pに従って制御部41によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
本実施形態の情報処理システム100において、監視装置10の制御部11は、カメラ13を用いて監視エリアを撮影する(S41)。本実施形態においても、制御部11はカメラ13による撮影を常時行ってもよく、情報処理システム100が監視エリア内における動体の有無を検知する動体センサを有する場合、動体センサによって動体の存在が検知された後にカメラ13による撮影を開始してもよい。制御部11は、カメラ13で撮影した撮影画像に基づいて、撮影画像中に危険横断者が含まれるか否かを判断する(S42)。ここでは制御部11は、例えば歩行者判別モデルM2を用いて撮影画像中に危険横断者が含まれるか否かを判断する。具体的には、制御部11は、撮影画像を歩行者判別モデルM2に入力し、歩行者判別モデルM2からの出力情報に基づいて、撮影画像中に危険横断者がいるか否かを判別する。なお、本実施形態の歩行者判別モデルM2は、画像中に歩行者等の通行人がいるか否かだけでなく、危険横断者がいるか否かも判別するように学習している。よって、制御部11は、歩行者判別モデルM2において、最大の出力値(判別確率)が所定値(例えば0.7)以上であった場合に、最大出力値を出力した出力ノードに対応する状態(通行人又は危険横断者の有無)を撮影画像中の状態に特定する。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に通行人又は危険横断者がいるか否かを判断してもよい。
制御部11は、監視エリア内に危険横断者がいないと判断した場合(S42:NO)、ステップS41の処理に戻る。監視エリア内に危険横断者がいると判断した場合(S42:YES)、制御部11は、危険横断者に関する注意喚起が必要な通知エリアを特定する(S43)。例えば制御部11は、危険横断者の周囲の所定範囲内の道路を通知エリアに特定する。制御部11は、通知エリアを特定した場合、通知エリア内に車両があるか否かを判断する(S44)。ここでは、制御部11は、特定した通知エリアがカメラ13にて撮影可能である場合、カメラ13によって撮影した撮影画像に基づいて、通知エリア内に車両があるか否かを判断する。一方、特定した通知エリアがカメラ13にて撮影可能でない場合、制御部11は、例えば通知エリアを示す位置情報をネットワークN経由で車両管理サーバ50へ送信し、車両管理サーバ50によって通知エリア内の車両の有無を判断してもよい。
通知エリア内に車両があると判断した場合(S44:YES)、制御部11は、通知エリア内にいる車両の車載端末40に割り当てられている宛先情報を車両管理サーバ50から取得する(S45)。このとき制御部11は、監視装置10の位置情報、又は、監視装置10の位置情報から算出された通知エリアの位置情報をネットワークN経由で車両管理サーバ50へ送信し、通知エリア内にいる車両の車載端末40の宛先情報を車両管理サーバ50から取得する。なお、車両管理サーバ50の制御部51は、監視装置10から受信した位置情報が示す位置から所定範囲内の位置を現在地とする車両に対応する宛先情報を車両情報DB52aから読み出して監視装置10へ送信する。このとき、各車両の進行方向が車両情報DB52aに登録されている場合、制御部51は、通知エリア内の車両のうちで、危険横断者の方向が進行方向である車両を特定し、特定した車両の宛先情報を監視装置10へ送信してもよい。
制御部11は、通知エリア内の車両の宛先情報を取得した場合、宛先情報に基づいて通信部14を介して、通知エリア内の各車両の車載端末40に対して、周囲又は進行方向に危険横断者がいることを通知する通知情報を出力する(S46)。車載端末40の制御部41は、監視装置10から出力された危険横断者の通知情報を受信した場合、通知部45による通知処理を実行する(S47)。これにより、通知エリア内の車両を運転中のユーザに、危険横断者がいることを通知できる。ここでも、制御部11は、ステップS42で監視エリア内に危険横断者がいることを検知した撮影画像を通知情報に含めて車載端末40へ送信してもよい。この場合、通知情報に含まれる撮影画像が車載端末40の表示部(図示せず)に表示され、車両の進行方向に危険横断者がいることを車両内の搭乗者に通知できる。
制御部11は、通知エリアに車両がないと判断した場合(S44:NO)、ステップS45〜S46の処理をスキップする。次に制御部11は、監視エリアを撮影した撮影画像に基づいて、ステップS42で検知した危険横断者が監視エリアを通過したか否かを判断する(S48)。ここでは制御部11は、カメラ13にて順次取得する撮影画像に基づいて、ステップS42で検知した危険横断者を追跡する処理を行い、この危険横断者が撮影画像中からいなくなった場合、又は道路の横断を完了した場合に、危険横断者は監視エリアを通過したと判断してもよい。危険横断者が監視エリアを通過していないと判断する場合(S48:NO)、制御部11は、ステップS44の処理に戻り、通知エリア内に車両があるか否かを判断する処理を継続する。これにより、監視エリア内に危険横断者がいる場合に、通知エリア内の車両に、危険横断者がいることを通知できる。
危険横断者が監視エリアを通過したと判断した場合(S48:YES)、制御部11は、ステップS45で取得した宛先情報に基づいて、通知エリア内の車両の車載端末40に対して、安全な状態であることを通知する安全情報を出力する(S49)。車載端末40の制御部41は、監視装置10から出力された安全情報を受信した場合、ステップS47で開始した通知部45による通知処理を終了する(S50)。ここでも、制御部41は、通知部45による他の通知処理によって、車両内のユーザに安全状態であることを通知してもよい。
上述した処理により、本実施形態の監視装置10は、監視エリアを撮影した撮影画像に基づいて監視エリア内の危険横断者の有無を監視している。そして、危険横断者を検知した場合、例えば危険横断者の方向に走行中の車両の車載端末40に対して、進行方向に危険横断者がいることを通知する。これにより、車両内の運転者等に対して注意を促すことができ、危険横断者が関わる事故の発生が抑制されることが期待される。なお、監視装置10は、監視エリア内に設けられた表示装置20に、例えば「道路横断禁止!」「ここでは道路を横断しないで下さい」のような注意メッセージを表示させてもよい。この場合、危険横断者及びその周囲の人に危険であることを通知できる。また、監視装置10は、無線通信が可能な範囲内のユーザ端末30に対して、危険横断者がいることを通知してもよい。この場合、危険横断者の周囲にいる人に危険であることを通知することができる。特に、危険横断者がユーザ端末30を携帯している場合には、危険横断者本人に危険であることを通知でき、注意を発することができる。
本実施形態において、監視装置10は、上述したような危険横断者に加えて、道路に面した場所にある公園及び遊び場等を監視エリアとし、公園及び遊び場からの飛び出しを監視するように構成することもできる。具体的には、歩行者判別モデルM2を、撮影画像が入力された場合に、撮影画像中に、道路に飛び出そうとしている人がいるか否かを示す情報を出力するように学習させる。このような歩行者判別モデルM2を用いることにより、撮影画像に写っている人が道路に飛び出そうとしているか否かを判別でき、公園及び遊び場等から子供等が飛び出したことを検知した場合には、周囲を走行している車両の搭乗者に通知することができる。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、赤信号の横断歩道を横断している横断者、及び横断歩道がない箇所で道路を横断している横断者等のように危険な横断をしている横断者だけでなく、信号機がない横断歩道を横断している横断者がいる場合にも、周囲を走行している車両の搭乗者に、進行方向にいる危険横断者の存在を通知できる。よって、危険横断者によって発生する可能性のある事故の発生を抑制できることが期待される。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態4)
道路上に複数の監視エリアが設定してあり、1つの監視エリア内で危険な走行をしている車両(以下では危険車両という)がある場合に、この危険車両の進行方向にある別の監視エリア内のユーザ(通行人及び車両の搭乗者)に注意喚起を行う情報処理システムについて説明する。ここでの危険車両は、自転車、自動車及び自動二輪車等の車両を想定しているが、スケートボード、キックスケーター、電動車椅子、シニアカー等であってもよい。また危険車両は、車線を無視して走行している車両(車線無視)、所定速度以上で走行している車両(速度超過)、蛇行運転している車両(蛇行運転)、信号を無視して走行している車両(信号無視)、あおり運転している車両(あおり運転)等を含む。
図10は実施形態4の情報処理システム100の構成例を示す模式図である。本実施形態の情報処理システム100は、上述した各実施形態と同様に、道路の交差点等を監視エリアとして各監視エリアに設けられている。例えば図10中の第1監視エリア及び第2監視エリアは隣り合って設けられた監視エリアであり、上下方向に伸びる道路によって連結されている。このような状況において、本実施形態では、例えば第1監視エリア内に危険車両が検知された場合、この危険車両の進行方向が第2監視エリアであった場合、第2監視エリア内にいるユーザ(通行人及び車両の搭乗者)に、危険車両の存在を通知する。具体的には、第1監視エリアに設けられた監視装置10(第1監視装置10)が、撮影画像に基づいて、第1監視エリア内に危険車両を検知した場合、第2監視エリアに設けられた監視装置10(第2監視装置10)に通知し、第2監視装置10が第2監視エリア内のユーザに注意喚起を行う。その際、第1監視装置10は、危険車両の撮影画像を第2監視装置10へ送信し、第2監視装置10は、第2監視エリアの撮影画像と、第1監視装置10から取得した危険車両の撮影画像とに基づいて、危険車両が第2監視エリア内にいる、又は近付いていることを検知した場合に、第2監視エリア内のユーザに注意喚起を行う。
本実施形態において、各監視エリアに設けられる情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。また、本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。なお、本実施形態の監視装置10は、図3に示す構成に加えて、機械学習によって学習させた危険車両判別モデルM3を記憶部12に記憶している。
図11は、危険車両判別モデルM3の構成例を示す模式図である。本実施形態の危険車両判別モデルM3は、図4に示す車両判別モデルM1と同様の構成を有し、撮影画像が入力された場合に、撮影画像中の車両が、車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両のいずれであるかを演算し、演算した結果を出力するように学習した学習済みモデルである。危険車両判別モデルM3は、例えば出力層に5つの出力ノードを有し、それぞれの出力ノードは、車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両のそれぞれに対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、入力層に入力された撮影画像に写っている車両が、それぞれの出力ノードに対応付けられた車両(具体的には車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両)である可能性を示す。
危険車両判別モデルM3は、撮影画像と、撮影画像中の車両の挙動(車線無視、速度超過、蛇行運転、信号無視、あおり運転)を示す情報(正解ラベル)とを含む教師データを用いて学習する。危険車両判別モデルM3は、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルが示す挙動に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。これにより、撮影画像が入力された場合に、撮影画像中の車両の挙動を判別するように学習された学習済みの危険車両判別モデルM3が得られる。危険車両判別モデルM3の学習も、他の学習装置で行われてもよく、監視装置10で行われてもよい。また危険車両判別モデルM3も図4に示すようなニューラルネットワークに限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。
以下に、本実施形態の情報処理システム100において、第1監視装置10が第1監視エリア内で危険車両を検知した場合に第2監視エリア内のユーザに通知(注意喚起)する処理を行う際に各装置が行う処理について説明する。図12及び図13は実施形態4の通知処理手順の一例を示すフローチャートである。図12では左側に第1監視装置10が行う処理を、右側に第2監視装置10が行う処理をそれぞれ示し、図13では左側に第2監視エリア内の車載端末40が行う処理を、中央に第2監視装置10が行う処理を、右側に第2監視エリア内のユーザ端末30が行う処理をそれぞれ示す。
本実施形態の情報処理システム100において、第1監視装置10の制御部11は第1監視エリアを撮影し(S61)、撮影画像に基づいて、撮影画像中に危険車両が含まれるか否かを判断している(S62)。ここでは制御部11(検知部)は、撮影画像を危険車両判別モデルM3に入力し、危険車両判別モデルM3からの出力情報に基づいて、撮影画像中に危険車両があるか否かを判別する。例えば、制御部11は、危険車両判別モデルM3において、最大の出力値(判別確率)が所定値(例えば0.7)以上であった場合に、最大出力値を出力した出力ノードに対応する挙動(車線無視、速度超過、蛇行運転、信号無視、あおり運転)の車両が撮影画像中に含まれると特定する。
制御部11は、監視エリア内に危険車両がないと判断した場合(S62:NO)、ステップS61の処理に戻る。監視エリア内に危険車両があると判断した場合(S62:YES)、制御部11(特定部)は、危険車両に関する注意喚起が必要な通知エリア、ここでは第2監視エリアを特定する(S63)。例えば制御部11は、検知した危険車両の進行方向を撮影画像に基づいて特定し、進行方向にある隣の監視エリア(第2監視エリア)を特定する。なお、各監視エリアの位置情報は、例えば監視装置10の記憶部12に記憶されており、制御部11は、各監視エリアの位置情報に基づいて第2監視エリアを特定する。また制御部11は、各監視エリアの位置情報をネットワークN経由で所定のサーバから取得し、取得した位置情報に基づいて第2監視エリアを特定してもよく、所定のサーバで特定された第2監視エリアの情報を取得してもよい。
第1監視装置10の制御部11は、第2監視エリアを特定した場合、第2監視エリアに設けられた第2監視装置10に、危険車両を撮影した撮影画像をネットワークN経由で送信する(S64)。なお、第1監視装置10は、危険車両に関する注意喚起が必要な通知エリアとして複数の第2監視エリアを特定した場合、それぞれの第2監視エリアの第2監視装置10に危険車両の撮影画像を送信する。また、第2監視エリアに複数の第2監視装置10が設けられている場合、第1監視装置10は、任意の第2監視装置10、又は予め設定された第2監視装置10へ危険車両の撮影画像を送信する。また、第1監視装置10の制御部11は、危険車両の撮影画像と共に危険車両の種類(車線無視、速度超過、蛇行運転、信号無視、又はあおり運転)も第2監視装置10に送信してもよい。
第2監視装置10の制御部11は、第2監視エリアを撮影し(S65)、第2監視エリアの撮影画像と、第1監視装置10から受信した危険車両の撮影画像とに基づいて、危険車両が第2監視エリア内にいる、又は近付いているか否かを判断する(S66)。ここでは制御部11は、パターンマッチングによって、第2監視エリアの撮影画像中に危険車両の撮影画像に一致する領域があるか否かを判断することにより、第2監視エリア内又は近傍における危険車両の有無を判断する。また第2監視装置10の制御部11は、第1監視装置10から受信した危険車両の撮影画像から危険車両のナンバープレートの情報を抽出し、抽出したナンバープレートの車両が第2監視エリアの撮影画像中にあるか否かに応じて、第2監視エリア内又は近傍に危険車両があるか否かを判断してもよい。なお、第1監視装置10が、危険車両の撮影画像から危険車両のナンバープレートの情報を抽出し、抽出したナンバープレートの情報を第2監視装置10へ送信することにより、危険車両の情報を第2監視装置10に通知する構成でもよい。これにより、第2監視装置10の制御部11(判定部)は、第1監視エリア内で検知された危険車両と同一の車両の有無を判定できる。第2監視エリア内又は近傍に危険車両がないと判断した場合(S66:NO)、第2監視装置10の制御部11は処理を終了する。
第2監視エリア内又は近傍に危険車両があると判断した場合(S66:YES)、第2監視装置10の制御部11は、第2監視エリアの撮影画像に基づいて、第2監視エリア内に他の車両があるか否かを判断する(S67)。例えば制御部11は、第2監視エリアの撮影画像を車両判別モデルM1に入力し、車両判別モデルM1からの出力情報に基づいて、第2監視エリア内に車両があるか否かを判断してもよい。第2監視エリア内に車両があると判断した場合(S67:YES)、制御部11は、第2監視エリア内の車両の車載端末40の宛先情報を車両管理サーバ50から取得する(S68)。ここでの処理は、上述した各実施形態で説明した、車両管理サーバ50から車両の宛先情報を取得する処理と同様である。
第2監視装置10の制御部11(出力部)は、車両管理サーバ50から取得した宛先情報に基づいて、第2監視エリア内の各車両の車載端末40に対して、危険車両が近くにあることを通知する通知情報をネットワークN経由で出力する(S69)。車載端末40の制御部41は、監視装置10から出力された危険車両の通知情報を受信した場合、通知部45による通知処理を実行する(S70)。これにより、第2監視エリア内の車両の搭乗者に、近くに危険車両が存在することを通知できる。ここでも、制御部11は、第1監視装置10から取得した危険車両の撮影画像を通知情報に含めて車載端末40へ送信してもよい。また、第2監視装置10が第1監視装置10から危険車両の種類(車線無視、速度超過、蛇行運転、信号無視、又はあおり運転)を通知されていた場合、第2監視装置10の制御部11は、危険車両が近くにあることと共に危険車両の種類を通知する通知情報を各車両の車載端末40に送信してもよい。この場合、車載端末40は、通知部45によって危険車両の種類も搭乗者に通知することができ、搭乗者は、接近してくる危険車両がどのような車両であるのかを把握できるので、早期に退避行動を行うことが可能となる。
制御部11は、第2監視エリアに車両がないと判断した場合(S67:NO)、ステップS68〜S69の処理をスキップする。次に制御部11は、第2監視エリアの撮影画像に基づいて、第2監視エリア内に歩行者等の通行人がいるか否かを判断する(S71)。第2監視エリア内に通行人がいると判断した場合(S71:YES)、制御部11(出力部)は、無線通信部15を介した無線通信によって、危険車両が近くにあることを通知する通知情報を出力する(S72)。第2監視装置10と通信可能な範囲内にいるユーザ端末30の制御部31は、第2監視装置10から出力された危険車両の通知情報を受信した場合、通知部34による通知処理を実行する(S73)。これにより、ユーザ端末30のユーザに危険車両が存在することを通知できる。
制御部11は、第2監視エリア内に通行人がいないと判断した場合(S71:NO)、ステップS72の処理をスキップし、第2監視エリアの撮影画像に基づいて、危険車両が第2監視エリアを通過したか否かを判断する(S74)。危険車両が第2監視エリアを通過していないと判断する場合(S74:NO)、制御部11は、ステップS67の処理に戻り、第2監視エリアにおける車両の有無及び通行人の有無を判断する処理を継続する。これにより、第2監視エリア内又は近傍に危険車両がある場合に、第2監視エリア内の車両の搭乗者及び通行人に危険車両があることを通知できる。
危険車両が第2監視エリアを通過したと判断した場合(S74:YES)、制御部11は、無線通信部15を介した無線通信によって安全情報を出力し(S75)、ユーザ端末30の制御部31は、第2監視装置10から安全情報を受信した場合、ステップS73で開始した通知処理を終了する(S76)。これにより、危険車両が第2監視エリアを通過した後は、ユーザ端末30による通知処理が終了する。また制御部11は、ステップS68で取得した宛先情報に基づいて、第2監視エリア内の車両の車載端末40に対してネットワークN経由で安全情報を出力し(S77)、車載端末40の制御部41は、第2監視装置10から安全情報を受信した場合、ステップS70で開始した通知処理を終了する(S78)。
上述した処理により、本実施形態では、第1監視エリア内で危険車両が検知された場合に、第2監視エリア内の通行人及び車両の搭乗者に注意喚起を行うことができる。よって、危険車両の存在に気付いていない第2監視エリア内の通行人及び車両の搭乗者に知らせることが可能となる。なお、第2監視装置10は、危険車両の通知情報を第2監視エリア内のユーザ端末30及び車載端末40に送信するだけでなく、第2監視エリア内の表示装置20に注意メッセージを表示させてもよい。この場合、ユーザ端末30を携帯していない人にも危険車両の存在を通知できる。
本実施形態では、第2監視装置10は、第1監視装置10から取得した危険車両の撮影画像に基づいて、この危険車両が第2監視エリア内又は近傍にいるか否かを判断し、いる場合に第2監視エリア内の通行人及び車両の搭乗者に通知する処理を行っていた。このほかに、第2監視装置10は、危険車両が第2監視エリア内又は近傍にいるか否かを判断せずに、第2監視エリア内の通行人及び車両の搭乗者に通知する処理を行ってもよい。即ち、第1監視装置10は、第1監視エリア内に危険車両を検知した場合、第2監視エリアを特定して第2監視装置10に対して危険車両の存在を通知する。そして第2監視装置10は、第1監視装置10から危険車両の通知を受けた時点で、第2監視エリア内の車載端末40にネットワークN経由で危険車両の通知情報を送信し、第2監視エリア内のユーザ端末30に無線通信にて危険車両の通知情報を送信する。このような構成とすることにより、危険車両が第2監視エリア内に入る前に第2監視エリア内の通行人及び車両の搭乗者に通知できるので、早期の通知が可能であり、通知を受けたユーザが速やかに避難することが可能となる。
また本実施形態において、それぞれの監視装置10で撮影された撮影画像が、ネットワークN経由でクラウドサーバに集約され、クラウドサーバが、それぞれの監視エリア内における危険車両の検知処理を行い、危険車両を検知した場合に、周囲の監視エリア内の通行人及び車両の搭乗者(ユーザ端末30及び車載端末40)に通知する処理を行うように構成することもできる。このような構成とした場合、監視装置10は、カメラ13による撮影処理と、撮影した画像をネットワークN経由でクラウドサーバへ送信する処理とを行えばよい。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、第1監視エリア内で危険車両が検知された場合に、近傍の第2監視エリア内の通行人及び車両の搭乗者に通知されるので、第2監視エリア内の通行人及び車両の搭乗者に注意喚起を行うことができる。これにより、第2監視エリアにおいて、第1監視エリアで検知された危険車両が原因となる事故の発生が抑制されることが期待される。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態5)
道路を緊急車両が緊急走行している場合に、緊急車両の進行方向にいるユーザ(通行人及び車両の搭乗者)に注意喚起を行う情報処理システムについて説明する。緊急車両は例えば警察車両、消防車、救急車等を含み、サイレンを鳴らしながら、かつ、赤色の警光灯を点灯させて緊急走行している車両を意味する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。
以下に、本実施形態の情報処理システム100において、監視装置10が緊急車両を検知した場合に、緊急車両の走行方向における所定エリア(通知エリア)内のユーザに通知する処理を行う際に各装置が行う処理について説明する。図14及び図15は実施形態5の通知処理手順の一例を示すフローチャートである。図14及び図15では左側に車載端末40が行う処理を、中央に監視装置10が行う処理を、右側にユーザ端末30が行う処理をそれぞれ示す。
本実施形態の情報処理システム100において、監視装置10の制御部11は監視エリアを撮影し(S91)、撮影画像に基づいて、撮影画像中に緊急走行中の緊急車両が含まれているか否かを判断する(S92)。ここでは制御部11は、例えば車両判別モデルM1を用いて撮影画像中に緊急車両が含まれるか否かを判断する。なお、本実施形態の車両判別モデルM1は、画像中の車両が、右折車両、左折車両及び直進車両だけでなく、緊急車両であるか否かも判別するように学習している。即ち、車両判別モデルM1は、撮影画像(車両画像)が入力された場合に、撮影画像中の車両が、右折車両、左折車両、直進車両又は緊急車両である可能性(判別確率)を出力する。よって、制御部11は、車両判別モデルM1から出力された判別確率に基づいて、撮影画像中に緊急車両が含まれるか否かを判断できる。このような車両判別モデルM1の教師データに用いる撮影画像(車両画像)は、例えば緊急車両に用いられる車種の車両、警光灯が点灯している緊急車両、緊急走行している緊急車両等を撮影した画像を用いることができる。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に緊急車両が含まれるか否かを判断してもよい。また、緊急車両が無線通信によって自車両(緊急車両)の接近を示す信号を送信する送信機を有する場合、制御部11は、緊急車両の送信機から送信された信号を受信することにより、緊急車両の接近を把握してもよい。
制御部11は、監視エリア内に緊急車両がないと判断した場合(S92:NO)、ステップS91の処理に戻る。監視エリア内に緊急車両があると判断した場合(S92:YES)、制御部11は、緊急車両に関する注意喚起が必要な通知エリアを特定する(S93)。例えば制御部11は、緊急車両の進行方向にある横断歩道を通知エリアに特定する。制御部11は、特定した通知エリアに設けてある表示装置20に、緊急車両の存在を通知するメッセージを表示させ(S94)、通知エリア内の通行人に緊急車両の接近を知らせる。なお、表示装置20が発光部を有する場合は発光部を点灯又は点滅させ、監視装置10又は表示装置20がスピーカを有する場合はスピーカから音声メッセージを出力させることによって注意喚起を行ってもよい。
次に制御部11は、通知エリア内に車両があるか否かを判断し(S95)、通知エリア内に車両があると判断した場合(S95:YES)、通知エリア内の車両(車載端末40)の宛先情報を車両管理サーバ50から取得する(S96)。そして制御部11は、取得した宛先情報に基づいて、通知エリア内の車両の車載端末40に対してネットワークN経由で、緊急車両の接近を通知する通知情報を出力する(S97)。車載端末40の制御部41は、監視装置10から出力された緊急車両の通知情報を受信した場合、通知部45による通知処理を実行する(S98)。ここでは制御部41は、例えば緊急車両の接近を通知する音声メッセージと共に、安全な場所に車両を誘導するための音声メッセージを音声出力してもよく、この場合、車両を安全な場所に退避させるように搭乗者を誘導できる。制御部11は、通知エリアに車両がないと判断した場合(S95:NO)、ステップS96〜S97の処理をスキップする。
次に制御部11は、通知エリア内に歩行者等の通行人がいるか否かを判断する(S99)。通知エリア内に通行人がいると判断した場合(S99:YES)、制御部11は、無線通信部15を介した無線通信によって、緊急車両の接近を通知する通知情報を出力する(S100)。ユーザ端末30の制御部31は、監視装置10から出力された緊急車両の通知情報を受信した場合、通知部34による通知処理を実行する(S101)。制御部11は、通知エリア内に通行人がいないと判断した場合(S99:NO)、ステップS100の処理をスキップし、監視エリアの撮影画像に基づいて、緊急車両が監視エリアを通過したか否かを判断する(S102)。緊急車両が監視エリアを通過していないと判断する場合(S102:NO)、制御部11は、ステップS94の処理に戻る。これにより、監視エリア内を緊急車両が走行中の場合に、進行方向の通知エリア内の車両の搭乗者及び通行人に緊急車両の接近を通知することができる。
緊急車両が監視エリアを通過したと判断する場合(S102:YES)、制御部11は、無線通信部15を介した無線通信によって安全情報を出力し(S103)、監視装置10から安全情報を受信したユーザ端末30の制御部31は、ステップS101で開始した通知処理を終了する(S104)。また制御部11は、ステップS94で表示装置20に表示させたメッセージの表示を終了し(S105)、ステップS96で取得した宛先情報に基づいて、監視エリア内の車両(車載端末40)に対してネットワークN経由で安全情報を出力する(S106)。車載端末40の制御部41は、監視装置10から安全情報を受信した場合、ステップS98で開始した通知処理を終了する(S107)。
上述した処理により、本実施形態の監視装置10は、監視エリアの撮影画像に基づいて監視エリア内における緊急車両の有無を監視している。そして監視装置10は、緊急車両を検知した場合に、緊急車両の進行方向の通知エリア内の通行人及び車両に注意喚起を行うことにより、通知エリア内の通行人及び車両を退避させるように誘導することができる。また、本実施形態の監視装置10は、緊急走行中の緊急車両を検知した場合に、緊急車両の進行方向の他の監視エリアの監視装置10に通知してもよい。この場合、他の監視エリアの監視装置10によって、他の監視エリア内の通行人及び車両に注意喚起を行うことができる。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、緊急車両の接近を、緊急車両の進行方向にいる通行人及び車両の搭乗者に通知することができる。よって、緊急車両の進行方向において、歩行者等の通行人及び車両が安全な場所に速やかに退避するように促すことができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態6)
道路を逆走している車両(逆走車両)がある場合に、逆走車両の搭乗者に警告を行う情報処理システムについて説明する。逆走車両は例えば自動車及び自動二輪車等の車両であり、道路に対して定められた進行方向とは逆方向に走行している車両を意味する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。
以下に、本実施形態の情報処理システム100において、監視装置10が逆走車両を検知した場合に、逆走車両の搭乗者(運転者等)に警告すると共に、周囲の車両(一般車両)の搭乗者に通知する処理を行う際に各装置が行う処理について説明する。図16は実施形態6の通知処理手順の一例を示すフローチャートである。図16では左側に逆走車両の車載端末40が行う処理を、中央に監視装置10が行う処理を、右側に一般車両の車載端末40が行う処理をそれぞれ示す。
本実施形態の情報処理システム100において、監視装置10の制御部11は監視エリアを撮影し(S111)、撮影画像に基づいて、撮影画像中に逆走車両が含まれているか否かを判断する(S112)。ここでは制御部11は、例えば車両判別モデルM1を用いて撮影画像中に逆走車両が含まれるか否かを判断する。なお、本実施形態の車両判別モデルM1は、画像中の車両が、右折車両、左折車両及び直進車両だけでなく、逆走車両であるか否かも判別するように学習している。即ち、車両判別モデルM1は、撮影画像(車両画像)が入力された場合に、撮影画像中の車両が、右折車両、左折車両、直進車両又は逆走車両である可能性(判別確率)を出力する。よって、制御部11は、車両判別モデルM1から出力された判別確率に基づいて、撮影画像中に逆走車両が含まれるか否かを判断できる。このような車両判別モデルM1の教師データに用いる撮影画像(車両画像)は、例えば一般道路及び高速道路等で逆走している車両の撮影画像を用いることができる。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に逆走車両が含まれるか否かを判断してもよい。
制御部11は、監視エリア内に逆走車両がないと判断した場合(S112:NO)、ステップS111の処理に戻る。監視エリア内に逆走車両があると判断した場合(S112:YES)、制御部11は、逆走車両の車載端末40の宛先情報を車両管理サーバ50から取得する(S113)。そして制御部11は、取得した宛先情報に基づいて、逆走車両の車載端末40に対してネットワークN経由で、逆走中であることを通知して警告する警告情報を出力する(S114)。逆走車両の車載端末40の制御部41は、監視装置10から出力された警告情報を受信した場合、通知部45による警告処理を実行する(S115)。例えば制御部41は、自車両が逆走していることを通知する音声メッセージ、及び安全な場所に自車両を誘導するための音声メッセージ等を音声出力して警告する。これにより、逆走車両の運転者等に逆走中であることを知らせることができると共に、逆走車両を速やかに安全な場所に退避させるように誘導することができる。
次に制御部11は、逆走車両に関する注意喚起が必要な通知エリアを特定する(S116)。例えば制御部11は、逆走車両の進行方向にある横断歩道を通知エリアに特定する。制御部11は、特定した通知エリア内に車両(一般車両)があるか否かを判断し(S117)、通知エリア内に一般車両があると判断した場合(S117:YES)、通知エリア内の一般車両(車載端末40)の宛先情報を車両管理サーバ50から取得する(S118)。そして制御部11は、取得した宛先情報に基づいて、通知エリア内の一般車両の車載端末40に対してネットワークN経由で、逆走車両の存在を通知する通知情報を出力する(S119)。一般車両の車載端末40の制御部41は、監視装置10から出力された逆走車両の通知情報を受信した場合、通知部45による通知処理を実行する(S120)。制御部11は、通知エリアに一般車両がないと判断した場合(S117:NO)、ステップS118〜S119の処理をスキップする。
次に制御部11は、監視エリアの撮影画像に基づいて、逆走車両が監視エリアを通過したか否かを判断し(S121)、通過していないと判断した場合(S121:NO)、ステップS117の処理に戻る。これにより、監視エリアを逆走車両が走行中の場合に、逆走車両の進行方向にいる一般車両の搭乗者に逆走車両の存在を知らせることができる。逆走車両が監視エリアを通過したと判断する場合(S121:YES)、制御部11は、ステップS118で取得した宛先情報に基づいて、通知エリア内の一般車両(車載端末40)に対してネットワークN経由で安全情報を出力する(S122)。一般車両の車載端末40の制御部41は、監視装置10から安全情報を受信した場合、ステップS120で開始した通知処理を終了する(S123)。なお、制御部11は、撮影画像に基づいて、逆走車両が逆走をやめたことを検知した場合、ステップS113で取得していた逆走車両の宛先情報に基づいて、逆走車両に、逆走状態ではなくなったことを通知する安全情報を出力してもよい。これにより、逆走車両の車載端末40は、ステップS115で開始した警告処理を終了してもよい。
上述した処理により、本実施形態の監視装置10は、監視エリアの撮影画像に基づいて監視エリア内における逆走車両の有無を監視している。そして監視装置10は、逆走車両を検知した場合、逆走車両の搭乗者に警告すると共に、逆走車両の進行方向にいる一般車両の搭乗者に逆走車両の存在を通知して注意喚起することができる。また、本実施形態の監視装置10は、逆走車両を検知した場合に、逆走車両の進行方向の他の監視エリアの監視装置10に通知してもよい。この場合、他の監視エリアの監視装置10によって、他の監視エリア内の一般車両に注意喚起を行うことができる。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、逆走車両の搭乗者に警告できると共に、逆走車両の接近を、周囲の一般車両の搭乗者に通知することができる。よって、逆走車両の運転者に逆走している状況を知らせることができると共に、周囲の一般車両が安全な場所に速やかに退避するように促すことができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態7)
道幅が狭い道路等で、例えば歩行者の背後から車両が接近している状況、歩行者及び車両の間の狭い隙間を自転車が走行している状況等の危険な状況が生じている場合に、注意喚起が必要なユーザ(通行人及び車両の搭乗者)に注意を行う情報処理システムについて説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。また、本実施形態の情報処理システム100は、道路の交差点だけでなく、道幅が狭い道路で接触事故が発生し易い箇所等を監視エリアとして各監視エリアに設けられている。なお、本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。また、本実施形態の監視装置10は、図3に示す構成に加えて、機械学習によって学習させた危険状況判別モデル(図示せず)を記憶部12に記憶している。
本実施形態の危険状況判別モデルは、図4に示す車両判別モデルM1と同様の構成を有し、撮影画像が入力された場合に、撮影画像に写っている状況が、危険な状況であるか否かを判別し、判別結果を出力するように学習した学習済みモデルである。危険状況判別モデルは、例えば出力層に2つの出力ノードを有し、それぞれの出力ノードは、撮影画像に写っている状況が危険な状況である可能性を示す判別確率と、危険な状況でない可能性を示す判別確率とを出力する。このような危険状況判別モデルは、撮影画像と、撮影画像中の状況が危険状況であるか否かを示す情報(正解ラベル)とを含む教師データを用いて学習する。危険状況判別モデルは、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルが示す状況(危険状況であるか否か)に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。これにより、撮影画像が入力された場合に、撮影画像中の状況が危険状況であるか否かを判別するように学習された学習済みの危険状況判別モデルが得られる。
以下に、本実施形態の情報処理システム100において、監視装置10が監視エリア内で危険な状況を検知した場合に、危険な状況に巻き込まれる可能性のあるユーザに通知する処理を行う際に各装置が行う処理について説明する。図17は実施形態7の通知処理手順の一例を示すフローチャートである。図17では左側に車載端末40が行う処理を、中央に監視装置10が行う処理を、右側にユーザ端末30が行う処理をそれぞれ示す。
本実施形態の情報処理システム100において、監視装置10の制御部11は監視エリアを撮影し(S131)、撮影画像に基づいて、撮影画像中に危険な状況が含まれるか否かを判断する(S132)。ここでは制御部11は、危険状況判別モデルを用いて撮影画像中に写っている状況が危険状況であるか否かを判断する。具体的には、制御部11は、撮影画像を危険状況判別モデルに入力し、危険状況判別モデルからの出力情報に基づいて、撮影画像中の状況が危険であるか否かを判別する。例えば制御部11は、危険状況判別モデルにおいて、最大(大きい方)の出力値を出力した出力ノードに対応する状況(危険状況であるか否か)を撮影画像中の状況に特定する。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に写っている状況が危険な状況であるか否かを判断してもよい。
制御部11は、監視エリア内で危険状況が発生していないと判断した場合(S132:NO)、ステップS131の処理に戻る。監視エリア内で危険状況が発生していると判断した場合(S132:YES)、制御部11は、無線通信部15を介した無線通信によって、危険状況を通知する危険情報を出力する(S133)。例えば制御部11は、ユーザ端末30を携帯しているユーザの背後から車両が近付いていることを通知する危険情報をユーザ端末30へ送信する。ユーザ端末30の制御部31は、監視装置10から危険情報を受信した場合、通知部34による通知処理を実行する(S134)。次に制御部11は、危険状況を生じさせている車両(車載端末40)の宛先情報を車両管理サーバ50から取得する(S135)。なお、制御部11は、監視装置10の位置情報、又は監視装置10の位置情報から算出された車両の位置情報、或いは、この車両の進行方向又は車種等を用いることにより、この車両の宛先情報を車両管理サーバ50から取得することができる。
制御部11は、取得した宛先情報に基づいてネットワークN経由で、危険状況を生じさせている車両の車載端末40に対して、危険状況を通知する危険情報を出力する(S136)。車載端末40の制御部41は、監視装置10から出力された危険情報を受信した場合、通知部45による通知処理を実行する(S137)。制御部11は、監視エリアの撮影画像に基づいて、ステップS132で検知した危険状況が解消されたか否かを判断する(S138)。ここでは制御部11は、カメラ13にて順次取得する撮影画像を危険状況判別モデルに入力し、危険状況判別モデルからの出力情報に基づいて、撮影画像中の危険状況が解消されたか否かを判断する。なお、制御部11は、カメラ13にて順次取得する撮影画像に基づいて、撮影画像中の歩行者及び車両等を追跡する処理を行い、歩行者及び車両等が接触する可能性がなくなった場合に、危険状況が解消されたと判断してもよい。
危険状況が解消されていないと判断した場合(S138:NO)、制御部11は、ステップS133の処理に戻り、ユーザ端末30及び車載端末40への通知処理を継続する。これにより、監視エリア内で危険状況が発生した場合に、危険状況にかかわる歩行者及び車両の搭乗者に、危険状況の発生を通知でき、危険状況から接触事故等に発展することを抑制できることが期待される。危険状況が解消されたと判断した場合(S138:YES)、制御部11は、無線通信部15を介した無線通信によって安全情報を出力し(S139)、ユーザ端末30の制御部31は、監視装置10から安全情報を受信した場合、ステップS133で開始した通知処理を終了する(S140)。また制御部11は、ステップS135で取得した宛先情報に基づいて、危険状況を生じさせていた車両の車載端末40に対してネットワークN経由で安全情報を出力し(S141)、車載端末40の制御部41は、監視装置10から安全情報を受信した場合、ステップS137で開始した通知処理を終了する(S142)。
上述した処理により、本実施形態の監視装置10は、監視エリアの撮影画像に基づいて監視エリア内での危険状況の発生を監視している。そして、危険状況の発生を検知した場合、危険状況にかかわる歩行者等のユーザ(ユーザ端末30)及び車両(車載端末40)に対して、危険状況であることを通知する。これにより、例えば道幅が狭い道路で、歩行者が背後から接近している車両に気付いていない場合であっても、ユーザ端末30を介して歩行者に通知することができるので、歩行者は背後の車両に気付くことができる。また、例えば道幅が狭い道路を走行中の車両では、かなり近い位置に歩行者及び自転車等がいる場合があるが、このような状況であっても、車両の搭乗者は監視装置10からの通知情報によって、車両の周囲の歩行者及び自転車の状況を把握することができる。よって、危険状況から接触事故等に発展する前に当事者の歩行者及び車両の運転者等が状況を把握することできるので、事故の発生を抑制することが期待できる。
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、道幅が狭い道路を監視エリアとすることにより、歩行者及び車両等が近距離で行き来する状況であっても、互いの存在を把握できるので、接触事故の発生が抑制されることが期待される。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
上述した各実施形態において、車両判別モデルM1を用いることにより、撮影画像中の監視エリア内の車両が右折車両、左折車両、直進車両、緊急車両、逆走車両等であるか否かを判別できる。また歩行者判別モデルM2を用いることにより、撮影画像中の監視エリア内における歩行者等の通行人の有無、危険横断している横断者の有無を判別できる。更に危険車両判別モデルM3を用いることにより、撮影画像中の車両が、車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両等の危険車両であるかを判別できる。更に危険状況判別モデルを用いることにより、撮影画像中の監視エリアが危険状況であるか否かを判別できる。このような判別モデルは、それぞれ組み合わせて1つのモデルとして構成してもよく、複数のモデルに分割して構成してもよい。また、それぞれのモデルで判別する内容は、上述したものに限定されず、監視エリア内又は監視エリアの近傍の通行人に危険を及ぼす可能性のある挙動(所定動作)を行う動体(移動体)の有無を判別できるように構成されていればよい。このような構成により、各監視エリア内の全ての歩行者及び車両等を監視対象として、危険な状態であるか、又は危険な状態となる可能性があるか否かを監視できる。そして、危険な状態を検知した場合に、注意喚起が必要なユーザに注意喚起を行うことができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。