JP7115277B2 - 行動監視装置、行動監視システム、及び行動監視プログラム - Google Patents

Description

本開示は、行動監視装置、行動監視システム、及び行動監視プログラムに関する。

従来、カメラによる監視装置が知られている。例えば特許文献１には、定点カメラによって対象者の行動を監視し、異常行動の発生を迅速かつ効率的に通報するシステムが開示されている。

特開２０１４－６７３８３号公報

対象者個人の行動の解析だけでは顕在化しないリスクが存在しうる。行動監視によるリスクの検出精度の向上が求められる。

かかる事情に鑑みてなされた本開示の目的は、行動監視によるリスクの検出精度を向上させることにある。

本開示の一実施形態に係る行動監視装置は、
車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
前記制御部は、
前記車載カメラ画像から複数の人物を検出し、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む。

本開示の一実施形態に係る行動監視システムは、
車両と、行動監視装置とを備える行動監視システムであって、
前記行動監視装置は、前記車両の車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
前記制御部は、
前記車載カメラ画像から複数の人物を検出し、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む。

本開示の一実施形態に係る行動監視プログラムは、
プロセッサに、
車載カメラ画像から複数の人物を検出するステップと、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出するステップと、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価するステップと、
評価結果を出力するステップと
を実行させ、
前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む。

本開示の一実施形態に係る行動監視装置、行動監視システム、及び行動監視プログラムによれば、行動監視によるリスクの検出精度が向上する。

一実施形態に係る行動監視システムの構成例を示す模式図である。 一実施形態に係る行動監視システムの構成例を示すブロック図である。 車載カメラ及び画像解析部の構成例を示すブロック図である。 行動監視方法の手順の一例を示すフローチャートである。 行動監視装置を備える車両を含む行動監視システムの構成例を示すブロック図である。 行動監視方法の手順の他の例を示すフローチャートである。

（一実施形態に係る行動監視システムの構成例）
図１及び図２に示されるように、一実施形態に係る行動監視システム１００は、車両１を備える。車両１は、例えば自動車であるが、これに限られず任意の車両であってもよい。行動監視システム１００は、複数の車両１を備えてもよい。行動監視システム１００が複数の車両１を備える場合、各車両１は、互いに通信可能であるとする。各車両１は、ネットワーク６０を介して他の車両１と通信してもよいし、ネットワーク６０を介さずに直接、他の車両１と通信してもよい。行動監視システム１００は、サーバ５０をさらに備えてもよい。車両１は、サーバ５０と通信可能であるとする。車両１は、ネットワーク６０を介してサーバ５０と通信してもよい。

サーバ５０は、サーバ制御部５１と、サーバ通信部５２と、サーバ記憶部５３とを備える。サーバ制御部５１は、１つ以上のプロセッサを含んでよい。サーバ通信部５２は、通信モジュールを含み、車両１の通信装置３０と通信してよい。サーバ記憶部５３は、１つ以上のメモリを含んでよい。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。サーバ記憶部５３に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部５３は、磁気ディスク等の電磁記憶媒体を含んでよい。サーバ記憶部５３は、サーバ５０の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部５３は、システムプログラム、又はアプリケーションプログラム等を記憶してもよい。

行動監視システム１００は、行動監視装置１０を備える。行動監視装置１０は、１つ以上のプロセッサによって実現されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。行動監視装置１０は、サーバ５０の機能の一部として実現されてもよい。つまり、サーバ制御部５１は、行動監視装置１０の制御部として機能してもよい。行動監視装置１０は、車両１に搭載されていてもよい。図２に例示される実施形態において、行動監視装置１０は、サーバ５０の機能の一部として実現されるとする。

行動監視システム１００は、端末７０をさらに備えてよい。端末７０は、ネットワーク６０を介して、又は、ネットワーク６０を介さずに、行動監視装置１０と通信する。端末７０は、例えばスマートフォン等の携帯端末を含んでよい。端末７０は、例えばトランシーバ等の機器を含んでもよい。図１の例において、端末７０は、人物５によって所持されているとする。端末７０を所持する人物５は、例えば、自治体の職員、地域の見回りボランティア、又は、警察官若しくは警備員等を含んでよい。端末７０を所持する人物５は、端末所持者ともいう。端末７０は、行動監視装置１０から取得する情報を端末所持者に報知する報知部を有する。

報知部は、表示デバイスを含んでよい。表示デバイスは、端末所持者に対して報知する情報を表す、文字、図形又は画像等を表示してよい。表示デバイスは、ＬＥＤ（Light Emission Diode）等の発光デバイスを含んでよい。表示デバイスは、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）であってよい。表示デバイスは、有機ＥＬ（Electro-Luminescence）ディスプレイ又は無機ＥＬディスプレイであってよい。表示デバイスは、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）であってよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイであってもよい。報知部は、スピーカを含んでよい。スピーカは、端末所持者に対して報知する情報を表す音声を出力してよい。報知部は、振動デバイスを含んでよい。振動デバイスは、端末所持者に対して報知する情報を表す振動パターンを出力してよい。報知部は、これらの例に限られず、他の種々のデバイスを含んでよい。

車両１は、車載カメラ２０と、通信装置３０と、画像解析部４０とを搭載している。車載カメラ２０と、通信装置３０と、画像解析部４０とは、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能に接続されている。

通信装置３０は、他の車両１に搭載されている通信装置３０と通信する。通信装置３０は、ネットワーク６０を介して、他の車両１に搭載されている通信装置３０と通信してよい。通信装置３０は、ネットワーク６０を介さずに直接、他の車両１に搭載されている通信装置３０と通信してもよい。本実施形態において、車両１は、ネットワーク６０を介して互いに通信すると仮定する。通信装置３０は、ネットワーク６０を介して、サーバ５０と通信してもよい。通信装置３０は、例えばＤＣＭ（Data Communication Module）等の車載通信機であってよい。通信装置３０は、ネットワーク６０に接続する通信モジュールを含んでよい。通信モジュールは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応する通信モジュールを含んでよいが、これらに限られない。

車載カメラ２０は、車両１の周囲に存在する人物２を、行動監視システム１００の監視対象として撮影する。車載カメラ２０は、一人で歩いている人物２ａを、行動監視システム１００の監視対象として撮影してよい。車載カメラ２０は、複数で集まっている人物２ｂ、又は、人物２ｂを含むグループ３を、行動監視システム１００の監視対象として撮影してよい。車両１は、車載カメラ２０が撮影した人物２の画像を、車両１の間で共有したり、サーバ５０に送信したりしてよい。

車載カメラ２０は、車両１の周囲又は車室内に位置する対象物を撮影する。車載カメラ２０が撮影した画像は、車載カメラ画像ともいう。車載カメラ画像は、撮影位置に関する情報、又は、撮影時刻に関する情報と対応づけられるとする。車載カメラ画像は、静止画像を含んでよいし、動画を含んでもよい。

車両１は、位置情報取得装置２５をさらに搭載していてもよい。位置情報取得装置２５は、車両１に搭載されている他の構成部とＣＡＮ等の車載ネットワーク又は専用線を介して互いに通信可能に接続されている。位置情報取得装置２５は、車両１の位置情報を取得する。位置情報取得装置２５は、衛星測位システムに対応する受信機を含んでよい。衛星測位システムに対応する受信機は、例えばＧＰＳ（Global Positioning System）受信機を含んでもよい。本実施形態において、車両１は、位置情報取得装置２５を用いて自車両の位置情報を取得できるとする。車両１は、車載カメラ画像に対して、車載カメラ画像が撮影された位置に関する情報として、位置情報取得装置２５で取得した自車両の位置情報を対応づけてよい。

車載カメラ２０は、図３に例示されているように、前方カメラ２１、側方カメラ２２、後方カメラ２３及び車内カメラ２４のうち少なくとも１つを備えてよい。前方カメラ２１は、車両１の前方に位置する対象物を撮影する。前方カメラ２１が撮影した画像は、前方画像ともいう。側方カメラ２２は、車両１の側方に位置する対象物を撮影する。側方カメラ２２が撮影した画像は、側方画像ともいう。後方カメラ２３は、車両１の後方に位置する対象物を撮影する。後方カメラ２３が撮影した画像は、後方画像ともいう。車内カメラ２４は、車両１の車室内に位置する対象物及び車両１の後方に位置する対象物を撮影する。車内カメラ２４が撮影した画像は、車内画像ともいう。

画像解析部４０は、車載カメラ画像を解析し、解析結果を通信装置３０に出力する。画像解析部４０は、１つ以上のプロセッサによって実現されてよい。画像解析部４０は、車載カメラ２０に含まれてもよい。画像解析部４０は、前方カメラ２１から前方画像を取得し、前方画像を解析する前方画像解析部４１を含んでよい。画像解析部４０は、側方カメラ２２から側方画像を取得し、側方画像を解析する側方画像解析部４２を含んでよい。画像解析部４０は、後方カメラ２３から後方画像を取得し、車内カメラ２４から車内画像を取得し、後方画像と、車内画像に含まれる車両１の後方の対象物の画像とを解析する後方画像解析部４３を含んでよい。

画像解析部４０は、車載カメラ画像から、人物２、又は、複数の人物２を含むグループ３の画像を検出し、行動監視装置１０に出力する。人物２又はグループ３の画像は、監視対象画像ともいう。

車両１は、画像解析部４０を備えていなくてもよい。車両１が画像解析部４０を備えていない場合、車載カメラ２０は、車載カメラ画像を、通信装置３０を介して、行動監視装置１０の機能を実現するサーバ５０に出力する。行動監視装置１０は、車載カメラ画像から、監視対象画像を検出する。

車載カメラ画像及び監視対象画像の少なくとも一方を含む情報は、カメラ出力情報ともいう。車両１が画像解析部４０を備えるか否かにかかわらず、行動監視装置１０は、カメラ出力情報を取得するといえる。行動監視装置１０は、監視対象画像に基づいて、人物２又はグループ３の行動を監視する。行動監視装置１０は、カメラ出力情報が監視対象画像を含む場合、カメラ出力情報から監視対象画像を抽出し、抽出した監視対象画像に基づいて、人物２又はグループ３の行動を監視する。行動監視装置１０は、カメラ出力情報が車載カメラ画像を含む場合、車載カメラ画像から監視対象画像を検出し、検出した監視対象画像に基づいて、人物２又はグループ３の行動を監視する。

図１に例示されている行動監視システム１００は、人物２ａと、人物２ｂとを含むグループ３を監視対象としている。行動監視装置１０は、車載カメラ画像から、人物２ａ及び２ｂを含む画像を、監視対象画像として検出する。

行動監視装置１０は、監視対象画像に基づいて、人物２の属性情報を検出する。人物２の属性情報は、監視対象画像が撮影された場所に関する情報に基づく位置情報を含んでよい。人物２の属性情報は、監視対象画像が撮影された時刻に関する情報を含んでよい。

人物２の属性情報は、例えば、人物２の年齢層又は性別等を表す情報を含んでよい。年齢層の分類は、例えば、子どもと大人とを含んでよい。子どもとして分類される年齢層は、例えば、乳幼児、小学生、中学生又は高校生等を含んでよい。図１の例において、行動監視装置１０は、人物２ａを小学生と分類する属性情報を検出し、人物２ｂを大人と分類する属性情報を検出してよい。

人物２の属性情報は、人物２の服装又は持ち物等の外見に関する情報を含んでよい。人物２の服装に関する情報は、例えば、制服を着ているか、私服を着ているかに関する情報等を含んでよい。人物２の持ち物に関する情報は、例えば、かばんを持っているかに関する情報等を含んでよい。図１の例において、行動監視装置１０は、人物２ａがランドセルを背負っていることを属性情報として検出してよい。

人物２の属性情報は、人物２の顔に関する情報を含んでよい。人物２の顔に関する情報は、例えば、人物２の視線若しくは目つき等の目に関する情報、又は、表情に関する情報等を含んでよい。人物２の顔に関する情報は、表情に基づいて推定される感情を表す情報を含んでもよい。図１の例において、行動監視装置１０は、人物２ｂが人物２ａに対して視線を向けていることを、人物２ｂの属性情報として検出してよい。

人物２の属性情報は、人物２の行動を表す情報を含んでよい。行動監視装置１０は、監視対象画像が動画を含む場合、動画に基づいて、人物２の行動を表す情報を検出してよい。行動監視装置１０は、異なる時刻に撮影された複数の監視対象画像それぞれから人物２を検出し、人物２の行動を表す情報を検出してもよい。人物２の行動を表す情報は、人物２がその場にとどまっているか移動中であるかを表す情報、又は、人物２がふらついていることを表す情報等を含んでよい。図１の例において、行動監視装置１０は、人物２ａ及び人物２ｂが所定方向に歩いていることを人物２ａ及び人物２ｂそれぞれの属性情報として検出してよい。

人物２の属性情報は、これらの例に限られず、種々の情報を含んでもよい。

行動監視装置１０は、監視対象画像に基づいて、複数の人物２の間の関連性を表す相関情報を検出する。行動監視装置１０は、２人以上の人物２を含むグループ３を仮定し、グループ３に含まれる人物２間の関連性を表す情報を相関情報として検出してよい。グループ３は、所定範囲内に存在している２人以上の人物２を含んでよい。グループ３は、１枚の監視対象画像に含まれる２人以上の人物２を含んでよい。グループ３は、１枚の監視対象画像に含まれる複数の人物２のうち、一部の人物２だけを含んでよい。グループ３は、ある監視対象画像だけに含まれる人物２と、他の監視対象画像だけに含まれる人物２とを含んでもよい。

図１の例において、行動監視装置１０は、人物２ａと人物２ｂとを含むグループ３を仮定する。行動監視装置１０は、人物２ａと人物２ｂとの間の関連性を表す相関情報を検出する。

相関情報は、人物２ａと人物２ｂとの間の距離を表す情報を含んでよい。行動監視装置１０は、人物２ａと人物２ｂとが第１距離だけ離れて存在していることをグループ３の相関情報として検出してよい。行動監視装置１０は、人物２ａ又は人物２ｂの行動に関する情報に基づいて、人物２ａと人物２ｂとが第１距離だけ離れて存在している状態が所定時間にわたって継続していることを、グループ３の相関情報として検出してよい。

行動監視装置１０は、人物２ａと人物２ｂとが家族又は友だち若しくは知人の関係にあることを表す情報を、グループ３の相関情報として検出してよい。行動監視装置１０は、人物２ａと人物２ｂとが互いに面識を有していないことを表す情報を、グループ３の相関情報として検出してよい。

行動監視装置１０は、人物２の属性情報と、グループ３の相関情報とに基づいて、人物２、又は、グループ３に含まれる人物２を監視する。図１の例において、行動監視装置１０は、人物２ｂが人物２ａに対して視線を向けていることを表す属性情報に基づいて、人物２ｂが人物２ａに対して関心を持っている可能性があることを検出する。行動監視装置１０は、人物２ａと人物２ｂとが第１距離だけ離れて存在している状態が所定時間にわたって継続していることを表す相関情報に基づいて、人物２ｂが人物２ａの後をつけている可能性があることを検出してもよい。

行動監視装置１０は、人物２ｂに関する検出結果に基づいて、人物２ｂが異常行動を引き起こす可能性があることを検出してよい。つまり、行動監視装置１０は、人物２ｂの属性情報と、人物２ｂを含むグループ３の相関情報とに基づいて、人物２ｂの行動を評価してよい。行動監視装置１０は、人物２ｂが異常行動を引き起こす可能性があるか否かを、人物２ｂの行動の評価結果として出力してよい。

行動監視装置１０は、人物２ａが異常行動に巻き込まれる可能性があることを検出してよい。つまり、行動監視装置１０は、人物２ａを含むグループ３の相関情報に基づいて、人物２ａがリスクにさらされる可能性があるか評価してよい。行動監視装置１０は、人物２ａがリスクにさらされる可能性があるか否かを、人物２ａの行動の評価結果として出力してよい。

行動監視装置１０は、人物２の属性情報と、人物２を含むグループ３の相関情報とに基づいて、人物２の行動を評価するスコアを算出してよい。人物２の行動を評価するスコアは、人物２の行動評価値と称される。行動監視装置１０は、人物２が異常行動を引き起こす可能性を表すスコアを行動評価値として算出してよい。人物２が異常行動を引き起こす可能性を表すスコアは、人物２の行動危険度と称される。行動危険度は、行動評価値の一形態であるとする。人物２が異常行動を引き起こす可能性が高いほど、人物２の行動危険度の値が大きくなるように算出されてよい。人物２が異常行動を引き起こす可能性が高いほど、人物２の行動危険度の値が小さくなるように算出されてもよい。人物２が異常行動を引き起こす可能性が高いほど、人物２の行動危険度の絶対値が大きくなるように算出されてもよい。

本実施形態において、人物２が異常行動を引き起こす可能性が高いほど、人物２の行動危険度は、大きい値で表されるとする。図１の例において、行動監視装置１０は、人物２ｂが人物２ａに対して視線を向ける頻度を属性情報として検出し、その頻度が高いほど人物２ｂの行動危険度を大きい値に算出してよい。行動監視装置１０は、人物２ｂが人物２ａに対して所定距離以内に存在する時間が長いほど人物２ｂの行動危険度を大きい値に算出してよい。行動監視装置１０は、これらの例に限られず、人物２の属性情報及び人物２を含むグループ３の相関情報に含まれる種々の情報に基づいて、人物２の行動評価値又は行動危険度を算出してよい。行動監視装置１０は、行動評価値を評価結果として出力してもよい。

図１に例示されている行動監視システム１００において、行動監視装置１０は、人物２ｂの行動危険度が所定条件を満たす場合に、人物２ｂが異常行動を引き起こす可能性があることを、人物２ｂの行動の評価結果として出力してよい。行動監視装置１０は、人物２ｂの行動危険度が所定条件を満たす場合に、人物２ｂに対して所定範囲内にいる人物２ａが異常行動に巻き込まれる可能性があることを、人物２ａの行動の評価結果として出力してよい。言い換えれば、行動監視装置１０は、人物２ａがさらされているリスクの大きさを人物２ａの行動の評価結果として出力してもよい。所定条件は、例えば、行動危険度が所定値以上であることを含んでよい。

人物２の異常行動は、他の人物２に危害を加えるような他の人物２に影響を及ぼす行動に限られず、人物２が自ら転倒したりするような他の人物２に影響を及ぼさない行動も含んでよい。他の人物２に影響を及ぼさない異常行動は、他の人物２がさらされているリスクの大きさに影響を及ぼしにくいともいえる。

行動監視装置１０は、人物２の行動の評価結果を端末７０に出力してよい。端末７０に出力される評価結果は、人物２の位置情報を含んでよい。端末７０は、人物２の行動の評価結果に基づいて、人物２が異常行動を引き起こす可能性があることを表す警告を報知してよい。端末７０が警告を報知することによって、端末所持者は、人物２が異常行動を引き起こす可能性があることを認識できる。端末所持者が人物２の位置情報に基づいて人物２がいる場所に向かうことによって、異常行動の発生が未然に防がれうる。図１の例において、端末７０を所持している人物５が、人物２ｂがいる場所に向かってよい。その結果、地域の安全性が向上する。

行動監視装置１０は、人物２の行動の評価結果を車両１に出力してもよい。行動監視装置１０は、人物２が異常行動を引き起こす可能性がある場合、人物２に対して所定範囲内に位置する車両１に、人物２を追跡する指示を出力してよい。車両１は、人物２を追跡する指示に基づいて走行する場合、車載カメラ２０で人物２を撮影できるように走行してよい。車両１が自動運転制御されている場合、行動監視装置１０は、車両１が人物２を追跡するように走行させる自動運転制御情報を出力してよい。車両１が運転者によって運転されている場合、行動監視装置１０は、運転者に走行ルートを指示する情報を出力し、車両１に搭載されているカーナビゲーションシステム等に表示させてよい。異常行動を引き起こす可能性がある人物２を車両１が追跡することによって、異常行動の発生が未然に防がれうる。図１の例において、人物２ｂを撮影している車載カメラ２０を備える車両１が継続して人物２ｂを追跡してもよい。他の車両１が人物２ｂの位置情報を取得し、人物２ｂを撮影するための追跡を開始してもよい。その結果、地域の安全性が向上する。

以上説明してきたように、一実施形態に係る行動監視装置１０は、人物２の行動を評価できる。人物２の行動を評価することによって、人物２の行動に起因するリスクが予測されうる。行動監視装置１０は、人物２の行動を単独行動として評価しただけでは見逃すかもしれない異常行動の予兆を、相関情報に基づいて人物２の行動を評価することによって検出しうる。つまり、リスクの予測精度が高まりうる。その結果、地域の安全性が向上する。

行動監視装置１０は、車載カメラ画像を用いて人物２の行動を評価できる。車載カメラ画像を用いることによって、定点カメラで撮影する画像を用いる場合と比較して、人物２を検出する範囲が広がりうる。言い換えれば、監視の死角が減少しうる。その結果、リスクの予測精度が高まりうる。

（行動監視方法の一例）
行動監視装置１０は、図４に例示されるフローチャートの手順を含む行動監視方法を実行してよい。行動監視方法は、プロセッサに実行させる行動監視プログラムとして実現されてもよい。

行動監視装置１０は、監視対象画像を取得する（ステップＳ１）。行動監視装置１０は、車載カメラ２０又は画像解析部４０からカメラ出力情報を取得する。カメラ出力情報が監視対象画像を含む場合、行動監視装置１０は、カメラ出力情報から監視対象画像を抽出する。カメラ出力情報が車載カメラ画像を含む場合、行動監視装置１０は、車載カメラ画像から監視対象画像を検出する。

行動監視装置１０は、監視対象画像から人物２を検出する（ステップＳ２）。

行動監視装置１０は、監視対象画像に基づいて、人物２の属性情報を検出する（ステップＳ３）。

行動監視装置１０は、人物２を含むグループ３を仮定し、グループ３に含まれる人物２の相関情報を検出する（ステップＳ４）。

行動監視装置１０は、人物２の属性情報と、人物２を含むグループ３の相関情報とに基づいて、人物２の行動を評価する（ステップＳ５）。

行動監視装置１０は、人物２の行動の評価結果を出力する（ステップＳ６）。行動監視装置１０は、評価結果を端末７０に出力してもよいし、車両１に出力してもよい。行動監視装置１０は、ステップＳ６の手順を実行した後、図４のフローチャートに示されている手順の実行を終了する。

行動監視装置１０は、ステップＳ５の、人物２の行動を評価する手順において、人物２の行動評価値を算出してもよい。行動監視装置１０は、人物２の行動評価値として、人物２の行動危険度を算出してもよい。

以上説明してきたように、一実施形態に係る行動監視方法によれば、人物２の行動が評価される。人物２の行動が評価されることによって、人物２の行動に起因するリスクが予測されうる。本実施形態に係る行動監視方法において、相関情報に基づいて人物２の行動を評価することによって、人物２の行動を単独行動として評価しただけでは見逃すかもしれない異常行動の予兆が検出されうる。つまり、リスクの予測精度が高まりうる。その結果、地域の安全性が向上する。

一実施形態に係る行動監視方法によれば、車載カメラ画像を用いて人物２の行動が評価される。車載カメラ画像を用いることによって、定点カメラで撮影する画像を用いる場合と比較して、人物２を検出する範囲が広がりうる。言い換えれば、監視の死角が減少しうる。その結果、リスクの予測精度が高まりうる。

（行動監視装置が車両に搭載されている場合の構成例）
図５に示されるように、行動監視装置１０は、車両１に搭載されていてよい。行動監視装置１０は、車両１に搭載されている場合、車両１のＥＣＵ（Electronic Control Unit）の機能の一部として実現されてもよい。行動監視装置１０を搭載している車両１は、車両１ａと称されるとする。車両１ａは、行動監視装置１０と、車載カメラ２０と、位置情報取得装置２５と、通信装置３０と、画像解析部４０とを搭載しているとする。行動監視装置１０は、制御部１１を備えてよい。制御部１１は、１つ以上のプロセッサによって実現されてよい。行動監視装置１０を搭載していない車両１は、車両１ｂと称されるとする。車両１ｂは、車載カメラ２０と、位置情報取得装置２５と、通信装置３０と、画像解析部４０とを搭載しているとする。

車両１ａの車載カメラ２０又は画像解析部４０は、カメラ出力情報を、自車両内の行動監視装置１０に出力してよい。行動監視システム１００が複数の車両１ａを備える場合、車両１ａの車載カメラ２０又は画像解析部４０は、カメラ出力情報を、他の車両１ａに搭載されている行動監視装置１０に出力してもよい。行動監視システム１００が行動監視装置１０の機能を実現するサーバ５０を備える場合、車両１ａの車載カメラ２０又は画像解析部４０は、カメラ出力情報を、サーバ５０に出力してもよい。

行動監視装置１０は、車両１ａに搭載されている場合であっても、サーバ５０の機能の一部として実現されている場合と同じ動作を実行できる。車両１ａに搭載されている行動監視装置１０は、人物２の行動の評価結果を自車両に出力してよい。車両１ａは、評価結果に基づいて人物２を追跡してもよい。つまり、車両１ａは、自車両に搭載されている行動監視装置１０による人物２の行動の評価結果に基づいて走行してよい。

（リスクを低減する行動を検出する構成例）
図１において、行動監視システム１００は、人物２ａと人物２ｂとを含むグループ３を監視対象としている。一例として、さらに人物２ａ及び２ｂと異なる人物２がグループ３に含まれると仮定する。人物２ａ及び２ｂと異なる人物２は、本構成例において第三者と称されるとする。行動監視装置１０は、第三者がグループ３に含まれていない場合に、人物２ａと人物２ｂとを含むグループ３の相関情報に基づいて、人物２ｂの行動危険度を高い値で算出しているとする。

グループ３が人物２ａ及び２ｂの他に第三者を含む場合、行動監視装置１０は、第三者の属性情報を検出するとともに、第三者を含むグループ３の相関情報を検出する。第三者が地域の見回りボランティア又は警備員等の地域の安全性の向上に寄与しうる人物２である場合、行動監視装置１０は、第三者の存在によって人物２ｂが異常行動を引き起こす可能性が低下すると判定し、人物２ｂの行動危険度を低くしてよい。一方で、行動監視装置１０は、第三者の行動評価値として、第三者が他の人物２による異常行動の発生を防止する可能性を表すスコアを算出してよい。人物２が他の人物２による異常行動の発生を防止する可能性を表すスコアは、人物２の行動安全度と称される。行動安全度は、行動評価値の一形態であるとする。人物２が他の人物２による異常行動の発生を防止する可能性が高いほど、人物２の行動安全度の値が大きくなるように算出されてよいし、小さくなるように算出されてもよい。人物２が他の人物２による異常行動の発生を防止する可能性が高いほど、人物２の行動安全度の絶対値が大きくなるように算出されてもよい。行動安全度と行動危険度とは、互いに独立に算出されてもよい。

本実施形態において、人物２が他の人物２による異常行動の発生を防止する可能性が高いほど、人物２の行動安全度は、大きい値で表されるとする。行動監視装置１０は、グループ３に含まれる各人物２の行動危険度と行動安全度とを算出し、ある人物２の行動危険度を、他の人物２の行動安全度に基づいて低下させてよい。

行動安全度は、行動危険度と異なる符号の値で表されてもよい。例えば行動危険度が正の値で表される場合、行動安全度は負の値で表されてよい。この場合、行動監視装置１０は、人物２ｂの行動危険度と、第三者の行動安全度との和を算出するだけで、人物２ｂの行動危険度を更新できる。その結果、行動監視装置１０は、行動評価値を容易に管理できる。

行動監視装置１０は、行動安全度が高い値である人物２の行動を、グループ３に含まれる人物２等の周囲の人物２がさらされているリスクを減少させる安全行動として判定してもよい。行動監視装置１０は、行動危険度が高い値である人物２の行動を、グループ３に含まれる人物２等の周囲の人物２がさらされているリスクを増大させる異常行動として判定してもよい。

行動監視装置１０は、グループ３に含まれる人物２がスマートフォン等の携帯端末又は雑誌若しくは新聞等を注視していることを検出した場合、その人物２の行動安全度と行動危険度とを両方とも小さい値で算出してよい。行動安全度と行動危険度とが両方とも低い値である人物２は、グループ３に含まれる他の人物２の行動危険度、又は、他の人物２がさらされているリスクを増大も減少もさせにくい。行動監視装置１０は、行動安全度と行動危険度とが両方とも低い値である人物２の行動を、安全行動でも異常行動でもない通常行動であると判定してよい。

行動監視装置１０は、グループ３が行動安全度を有する複数の人物２を含む場合、各人物２の行動の相乗効果を考慮して、行動安全度をさらに高い値に更新してよい。行動監視装置１０は、グループ３が行動危険度を有する複数の人物２を含む場合、各人物２の行動の相乗効果を考慮して、行動危険度をさらに高い値に更新してよい。

（時系列に沿った行動の検出の例）
行動監視装置１０は、複数の時刻それぞれで撮影された監視対象画像を取得してよい。行動監視装置１０は、例えば、第１時刻に撮影された第１時刻画像と、第２時刻に撮影された第２時刻画像とを取得すると仮定する。行動監視装置１０は、第１時刻画像及び第２時刻画像それぞれに含まれる人物２を検出し、第１時刻画像及び第２時刻画像に共通に含まれる人物２を特定してよい。このようにすることで、行動監視装置１０は、第１時刻画像及び第２時刻画像に共通に含まれる人物２の行動を、時系列に沿って監視できる。

行動監視装置１０は、第１時刻における人物２の属性情報及びその人物２を含むグループ３の相関情報と、第２時刻における人物２の属性情報及びその人物２を含むグループ３の相関情報とをそれぞれ検出し、比較する。行動監視装置１０は、第１時刻における人物２の属性情報と、第２時刻における人物２の属性情報との差に基づいて、その人物２がさらされているリスクの大きさを検出してもよい。行動監視装置１０は、第１時刻における人物２を含むグループ３の相関情報と、第２時刻における人物２を含むグループ３の相関情報との差に基づいて、その人物２がさらされているリスクの大きさを検出してもよい。

行動監視装置１０は、例えば、グループ３に含まれる人物２の数が第１時刻よりも第２時刻において減少した場合に、第２時刻においてグループ３に含まれる人物２がさらされているリスクが増大したと検出してもよい。

行動監視装置１０は、例えば、図１に示されている人物２ａ及び２ｂの位置関係が第１時刻と第２時刻とで変わらないことを検出すると仮定する。行動監視装置１０は、人物２ａ及び２ｂを含むグループ３に含まれる人物２の数が第１時刻よりも第２時刻において減少したことをさらに検出した場合、人物２ａがさらされているリスクが増大したと検出してもよい。

行動監視装置１０は、グループ３に含まれる各人物２の属性情報が第１時刻と第２時刻とで差異を有する場合、その差異に基づいて、グループ３に含まれる各人物２がさらされているリスクの大きさを算出してもよい。

（相関情報に含まれる情報の例）
行動監視装置１０は、複数の人物２を含むグループ３の相関情報として種々の情報を検出し、人物２の行動を評価してよい。

行動監視装置１０は、グループ３に含まれる複数の人物２が制服を着用している等によって類似の服装であると検出された場合、これらの人物２が学校又は会社等の組織に所属していることを表す相関情報を検出してよい。行動監視装置１０は、このような相関情報を検出したグループ３に含まれる人物２の行動安全度を高い値で算出してよいし、行動危険度を低い値で算出してもよい。

行動監視装置１０は、グループ３に含まれる複数の人物２が所定範囲内に集まる集団を形成しており、その中の一部の人物２が他の多数の人物２に取り囲まれていることを表す相関情報を検出してよい。行動監視装置１０は、各人物２の視線に基づいて、どの人物２がその集団の中で注目されているかを表す相関情報を検出してもよい。例えば、行動監視装置１０は、子どもを含むグループ３の相関情報を検出することによって、グループ３の中にいじめにつながりうる行動があるか監視してもよい。行動監視装置１０は、このような相関情報を検出したグループ３に含まれる人物２の行動危険度を高い値で算出してもよい。

行動監視装置１０は、例えば、グループ３に老人が含まれている場合において、老人単独の行動危険度を高い値で算出してもよい。一方で、そのグループ３に含まれる他の人物２の行動として、老人を手助けする行動が検出された場合、行動監視装置１０は、老人の行動危険度を低い値に更新してもよい。行動監視装置１０は、老人を手助けしている人物２の行動安全度を高い値で算出してもよい。

行動監視装置１０は、例えば、グループ３に含まれる人物２の感情に関する情報として人物２がリラックスしていることを検出した場合、グループ３に含まれる人物２が家族又は友だち若しくは知人の関係にあることを表す相関情報を検出してもよい。行動監視装置１０は、このような相関情報を検出したグループ３に含まれる人物２の行動安全度を高い値で算出してよいし、行動危険度を低い値で算出してもよい。

行動監視装置１０は、例えば、グループ３に含まれる人物２の感情に関する情報として人物２が緊張していることを検出した場合、グループ３に含まれる人物２が互いに面識を有していないことを表す相関情報を検出してもよい。行動監視装置１０は、このような相関情報を検出したグループ３に含まれる人物２の行動危険度を高い値で算出してよいし、行動安全度を低い値で算出してもよい。

行動監視装置１０は、例えば、人物２の顔に関する情報として、人物２が他の人物２を所定期間にわたって見続けていることを検出した場合、人物２が他の人物２に関心を抱いていることを表す相関情報を検出してもよい。行動監視装置１０は、このような相関情報を検出したグループ３に含まれる人物２の行動危険度を高い値で算出してよいし、行動安全度を低い値で算出してもよい。

行動監視装置１０は、人物２から所定範囲内に他の人物２がいない場合、人物２がグループ３に含まれないことを検出してよい。この場合、行動監視装置１０は、人物２を含むグループ３の相関情報を検出できない。行動監視装置１０は、人物２を含むグループ３の相関情報を検出できないことに基づいて、人物２が単独行動していることを検出してよい。行動監視装置１０は、人物２が単独行動している場合、その人物２の行動危険度を高い値で算出してもよい。このようにすることで、行動監視装置１０は、人物２がグループ３に含まれない場合でも、人物２の属性情報だけでなく相関情報にさらに基づいて人物２の行動を監視できるといえる。

行動監視装置１０は、例えば、人物２の属性情報として人物２が老人であり、且つ、視線が定まっていないことを検出し、さらに、その人物２が単独行動していることを検出した場合、その人物２が徘徊老人である可能性が高いと検出してもよい。行動監視装置１０は、このような人物２の行動危険度を高い値で算出してもよい。

（種々の行動を対象とする行動監視方法の例）
車両１と、行動監視装置１０として機能するサーバ５０とを備える行動監視システム１００は、図６に例示されるフローチャートの手順を含む行動監視方法を実行してもよい。車両１に搭載されている、車載カメラ２０と、位置情報取得装置２５と、通信装置３０と、画像解析部４０とは、まとめて車載機と称されるとする。

車両１は、車載機によって、車載カメラ画像に含まれている人物２を検出する（ステップＳ１１）。

車両１は、車載機によって、人物２を含む動画を監視対象画像としてサーバ５０に出力する（ステップＳ１２）。車両１は、ステップＳ１２の手順を実行した後、図６のフローチャートに示されている手順の実行を終了する。

サーバ５０は、車載機から監視対象画像を取得する（ステップＳ２１）。サーバ５０は、複数の車両１の車載機から監視対象画像を取得してよい。

サーバ５０は、取得した監視対象画像を、撮影された場所に関する情報、及び、含まれている人物２に関する情報の少なくとも一方の情報に基づいて分類し、分類毎に時系列に連結する（ステップＳ２２）。

サーバ５０は、ステップＳ２２において分類毎に連結した監視対象画像から人物２の行動を検出する（ステップＳ２３）。サーバ５０は、監視対象画像から人物２の属性情報を検出してよい。サーバ５０は、監視対象画像から人物２を含むグループ３の相関情報を検出してよい。

サーバ５０は、検出した人物２の行動が、老人の挙動がふらついている等の異常行動に該当するか判定する（ステップＳ２４）。つまり、サーバ５０は、検出した人物２の行動を単独行動として異常か否か判定してよい。サーバ５０は、老人に限られず、種々の人物２の行動に関して異常行動に該当するか判定してよい。異常行動は、挙動がふらついている行動に限られず、座り込んでいたり倒れこんでいたりする行動を含んでよい。サーバ５０は、検出した人物２の行動が異常行動に該当する場合（ステップＳ２４：ＹＥＳ）、ステップＳ２７の手順に進む。サーバ５０は、検出した人物２の行動が異常行動に該当しない場合（ステップＳ２４：ＮＯ）、ステップＳ２５の手順に進む。

サーバ５０は、検出した人物２の行動が、暗所において子どもが集団で留まっている行動に該当するか判定する（ステップＳ２５）。サーバ５０は、人物２の属性情報に基づいて、人物２が小学生等の子どもであるか判定してよい。サーバ５０は、人物２がいる場所が暗所であるか判定してよい。サーバ５０は、所定範囲内にいる人物２の数を算出してもよい。サーバ５０は、検出した人物２の行動が暗所において子どもが集団で留まっている行動に該当する場合（ステップＳ２５：ＹＥＳ）、ステップＳ２７の手順に進む。サーバ５０は、検出した人物２の行動が暗所において子どもが集団で留まっている行動に該当しない場合（ステップＳ２５：ＮＯ）、ステップＳ２６の手順に進む。

サーバ５０は、検出した人物２の行動が、子ども又は女性の後ろを追尾している行動に該当するか判定する（ステップＳ２６）。サーバ５０は、複数の人物２を含むグループ３の相関情報に基づいて、人物２が他の人物２を追尾しているか判定してよい。追尾されている人物２は、子ども又は女性に限られず、種々の人物２であってよい。サーバ５０は、検出した人物２の行動が子ども又は女性の後ろを追尾している行動に該当する場合（ステップＳ２６：ＹＥＳ）、ステップＳ２７の手順に進む。サーバ５０は、検出した人物２の行動が子ども又は女性の後ろを追尾している行動に該当しない場合（ステップＳ２６：ＮＯ）、図６のフローチャートに示されている手順の実行を終了する。

サーバ５０は、ステップＳ２４からステップＳ２６のいずれかのステップにおいて検出された人物２の行動が所定時間にわたって継続しているか判定する（ステップＳ２７）。

サーバ５０は、検出された人物２の行動が所定時間にわたって継続している場合（ステップＳ２７：ＹＥＳ）、その行動が検出された監視対象画像と、検出された行動の内容とを通知する（ステップＳ２８）。サーバ５０は、端末７０又は車両１に対して通知してよい。

サーバ５０は、検出された人物２の行動が所定時間にわたって継続していない場合（ステップＳ２７：ＮＯ）、図６のフローチャートに示されている手順の実行を終了する。

図６の例において、サーバ５０は、ステップＳ２４からステップＳ２６の各手順を順番に実行しているが、各手順を並列に実行してもよいし、各手順の順番を入れ替えて実行してもよい。

図６のフローチャートの手順は、行動監視装置１０の機能を実現するサーバ５０によって実行されるとして説明されてきたが、車両１に搭載されている行動監視装置１０によって実行されてもよい。

行動監視装置１０は、図６に例示したフローチャートの手順を実行することによって、人物２の種々の行動を監視できる。その結果、地域の安全性が向上しうる。

（登録人物見守りの例）
行動監視システム１００は、予め登録されている人物２を監視対象としてよい。例えば、徘徊する可能性がある老人を保護している、老人の家族又は施設の職員は、その老人を監視対象となる人物２として、行動監視システム１００に登録しておいてよい。例えば、どのような行動をするかわからない幼児又は小学生等の子どもの親等の保護者は、その子どもを監視対象となる人物２として、行動監視システム１００に登録しておいてよい。例えば、行動監視システム１００に登録されている人物２は、登録人物と称される。登録人物を行動監視システム１００に登録する、老人の家族若しくは施設の職員、又は、子どもの保護者等は、監視依頼者と称される。

行動監視システム１００は、登録人物の位置情報を取得する機器を含んでよい。監視依頼者は、登録人物にその機器を所持させているとする。監視依頼者は、端末７０を所持しているとする。

監視依頼者は、登録人物の所在を見失った場合、端末７０から、行動監視システム１００に登録人物の行動の監視を依頼する情報を出力する。行動監視装置１０は、監視依頼者からの依頼情報に基づき、登録人物の位置情報を取得する。行動監視装置１０は、登録人物の現在位置から所定範囲内に位置する車両１に対して、車載カメラ２０による登録人物の現在位置周辺の撮影を要求する制御情報を送信する。

車両１は、制御情報に基づいて、登録人物の現在位置周辺の画像を含むカメラ出力情報を取得し、行動監視装置１０に送信する。

行動監視装置１０は、車両１から取得したカメラ出力情報から人物２を含む監視対象画像を検出する。行動監視装置１０は、監視対象画像に含まれる人物２の属性情報を検出し、登録人物の属性情報と照合する。行動監視装置１０は、属性情報が合致する人物２を登録人物として検出する。仮に複数の人物２が登録人物として検出される場合、行動監視装置１０は、監視依頼者の端末７０に対してどの人物２が登録人物であるか確認を求める情報を送信する。監視依頼者は、端末７０によって、確認を求められている複数の人物２から登録人物を指定する情報を送信する。

行動監視装置１０は、登録人物を含む監視対象画像を時系列に蓄積する。行動監視装置１０は、登録人物を含むグループ３の相関情報を検出した場合、相関情報に基づいて、登録人物の行動を監視する。行動監視装置１０は、登録人物の行動危険度を算出してもよい。行動監視装置１０は、登録人物の行動を検出し、検出した情報を監視依頼者の端末７０に通知する。例えば、行動監視装置１０は、登録人物が信号又は横断歩道が無い場所で道路を横断しようとしている等の行動を検出した場合、監視依頼者の端末７０に検出した情報を通知する。行動監視装置１０は、登録人物を含む監視対象画像そのものを監視依頼者の端末７０に送信してもよい。監視依頼者は、端末７０によって、登録人物の行動に関する情報を閲覧できる。

本構成例によれば、監視依頼者は、登録人物の予期せぬ行動を把握しやすくなる。その結果、地域の安全性が向上する。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１（１ａ、１ｂ） 車両
２（２ａ、２ｂ）、５ 人物
３ グループ
１０ 行動監視装置
１１ 制御部
２０ 車載カメラ
２１ 前方カメラ
２２ 側方カメラ
２３ 後方カメラ
２４ 車内カメラ
２５ 位置情報取得装置
３０ 通信装置
４０ 画像解析部
４１ 前方画像解析部
４２ 側方画像解析部
４３ 後方画像解析部
５０ サーバ
５１ サーバ制御部
５２ サーバ通信部
５３ サーバ記憶部
６０ ネットワーク
７０ 端末
１００ 行動監視システム

Claims (11)

1. 車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
   前記制御部は、
   前記車載カメラ画像から複数の人物を検出し、
   検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
   前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
   前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む、
   行動監視装置。
2. 前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物の中で注目されている人物を表す情報を含む、請求項１に記載の行動監視装置。
3. 前記相関情報は、前記複数の人物のうちの第１の人物の視線に基づいて前記第１の人物が関心を持っている人物を表す情報を含む、請求項１又は２に記載の行動監視装置。
4. 請求項１から３までのいずれか一項に記載の行動監視装置であって、
   前記各人物を検出した車載カメラ画像の撮影時刻及び撮影位置の少なくとも一方をさらに特定し、
   前記検出した各人物の行動を、前記撮影時刻及び前記撮影位置の少なくとも一方にさらに基づいて評価する、行動監視装置。
5. 請求項１から４までのいずれか一項に記載の行動監視装置であって、
   前記制御部は、前記評価結果として、検出した人物がさらされているリスクの大きさを出力する、行動監視装置。
6. 請求項１から５のいずれか一項に記載の行動監視装置であって、
   前記制御部は、
   前記車載カメラ画像から、第１時刻に撮影された第１時刻画像と、第２時刻に撮影された第２時刻画像とを取得し、
   前記第１時刻画像及び前記第２時刻画像の両方の画像から検出される第１の人物を特定する、行動監視装置。
7. 請求項６に記載の行動監視装置であって、
   前記制御部は、前記第１時刻における前記第１の人物の属性情報と、前記第２時刻における前記第１の人物の属性情報との差に基づいて、前記第１の人物がさらされているリスクの大きさを検出する、行動監視装置。
8. 請求項６又は７に記載の行動監視装置であって、
   前記制御部は、前記第１時刻における前記第１の人物を含む複数の人物の相関情報と、前記第２時刻における前記第１の人物を含む複数の人物の相関情報との差に基づいて、前記第１の人物がさらされているリスクの大きさを検出する、行動監視装置。
9. 請求項１から８のいずれか一項に記載の行動監視装置であって、
   前記制御部は、
   前記検出した各人物の行動に関する行動評価値を算出し、
   前記行動評価値に基づいて、前記各人物の行動を、周囲の人物のリスクを増大させる異常行動、周囲の人物のリスクを減少させる安全行動、及び、周囲の人物のリスクの大きさを増大も減少もさせない通常行動のいずれかの行動であると判定する、行動監視装置。
10. 車両と、行動監視装置とを備える行動監視システムであって、
    前記行動監視装置は、前記車両の車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
    前記制御部は、
    前記車載カメラ画像から複数の人物を検出し、
    検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
    前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
    前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む、
    行動監視システム。
11. プロセッサに、
    車載カメラ画像から複数の人物を検出するステップと、
    検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出するステップと、
    前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価するステップと、
    評価結果を出力するステップと
    を実行させ、
    前記相関情報は、前記複数の人物のうちの少なくとも１人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む、
    行動監視プログラム。

Images