JP7134282B1 - 映像解析装置、映像解析方法及び映像解析プログラム - Google Patents

Abstract

【課題】列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとれるようにする。【解決手段】映像解析装置１０は、車両５０内を撮影する車載カメラ５１によって得られた映像データ７１に映る各人５２を対象人として、映像データ７１から対象人の行動を対象行動として特定する。映像解析装置１０は、対象行動が、車両５０内における問題行動に該当するか否かを判定する。映像解析装置１０は、対象行動が問題行動に該当すると判定された場合に、通知先である監視拠点６０に通知を行う。【選択図】図１

Description

本開示は、列車等の車両内における人の行動を解析して、対応を促す技術に関する。

列車又は自動運転車両等の乗客が車両内で他の乗客等に迷惑をかける問題行動、又は、自らが体調不良やつまずき等により倒れて転倒する等の問題行動を行うことがある。問題行動が行われた場合には、早急に適切な対応をとることが望ましい。
しかし、列車の車両内は乗務員の目が届きにくく、車両内の状況を監視することが難しい。自動運転によって運行されており、乗務員が乗っていない自動運転車両では、特に車両内の状況を監視することが難しい。昨今では、自動運転バスの実証実験が開始されており、将来的に乗務員が乗っていないバスの運行が開始されることが想定される。このように乗務員が乗っていないバス等でも、列車と同様に車両内の状況を監視することが難しい。

車両内を撮影する車載カメラを設けておき、車載カメラによって得られた映像データを乗務員又は監視センターの監視員が確認することは可能である。しかし、乗務員が業務をこなしながら映像データを監視することは困難である。また、監視センターの監視員が多数の車両についての映像データを監視するには、大きな負担がかかる。

特許文献１には、車両事故が発生した場合等に、車両に搭載された車載カメラの映像データから、けが人がいるかを判定することが記載されている。

特許第６７５５３７４号公報

特許文献１には、車両内における人の行動を特定することは記載されていない。そのため、車両内で問題行動が行われたことを特定することはできない。
列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとれるようにすることを目的とする。

本開示に係る映像解析装置は、
車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定部と、
前記行動特定部によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定部と、
前記行動判定部によって前記対象行動が前記問題行動に該当すると判定された場合に、通知先に通知を行う通知部と
を備える。

本開示では、車載カメラによって得られた映像データに映る人の行動を対象行動として特定し、対象行動が車両内における問題行動に該当する場合に通知先に通知を行う。これにより、列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとることが可能になる。

実施の形態１に係る映像解析装置１０の概要の説明図。 実施の形態１に係る映像解析装置１０の構成図。 実施の形態１に係る映像解析装置１０の全体的な処理のフローチャート。 実施の形態１に係る問題行動の説明図。 実施の形態１に係る通知処理（図３のステップＳ１５）のフローチャート。 実施の形態１に係る対応内容の説明図。 変形例１に係る映像解析装置１０の全体的な処理のフローチャート。 変形例３に係る映像解析装置１０の構成図。 実施の形態２に係る映像解析装置１０の概要の説明図。 実施の形態２に係る映像解析装置１０の構成図。 実施の形態２に係る映像解析装置１０の全体的な処理のフローチャート。

実施の形態１．
＊＊＊概要の説明＊＊＊
図１を参照して、実施の形態１に係る映像解析装置１０の概要を説明する。
映像解析装置１０は、車両５０に搭載された車載カメラ５１によって車両５０内を撮影して得られた映像データ７１を解析して、車両５０内で問題行動を行う乗客等の人５２を特定する。映像解析装置１０は、問題行動を行う人５２が特定されると、監視拠点６０に設置された表示装置６１に問題行動を行う人を囲った枠等を映像データ７１に重畳させた重畳映像７２を表示する。また、映像解析装置１０は、問題行動を行う人が特定されると、監視拠点６０に通知７３を行い、監視拠点６０に設置された警報装置６２を作動させる。なお、本実施形態において監視拠点６０は車両とは独立した拠点として説明するが、列車のように運転手又は車掌等の乗務員が乗務している場合、監視拠点６０は運転席又は車掌室、あるいは乗務員が持つ携帯端末等であってもよい。
監視拠点６０では、監視員６３が、表示装置６１に表示された映像データと、警報装置６２の動作と確認する。そして、監視員６３が、問題行動に対応する対応要員６４に指示を行い、問題行動に対応させる。なお、対応要員６４は、問題行動に対応する要員であり、監視員６３が対応要員６４を兼ねてもよい。

＊＊＊構成の説明＊＊＊
図２を参照して、実施の形態１に係る映像解析装置１０の構成を説明する。
映像解析装置１０は、コンピュータである。映像解析装置１０は、車両５０内に設置されてもよいし、監視拠点６０に設置されてもよい。また、映像解析装置１０は、車両５０及び監視拠点６０とは別の場所に設置されてもよい。
映像解析装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

映像解析装置１０は、機能構成要素として、映像取得部２１と、特徴抽出部２２と、行動特定部２３と、行動判定部２４と、通知部２５とを備える。通知部２５は、重畳映像生成部２６と、映像表示部２７と、付加情報通知部２８とを備える。映像解析装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、映像情報３１、特徴情報３２、定義情報３３、車両情報３４が記憶されている。また、ストレージ１３には、映像解析装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、映像解析装置１０の各機能構成要素の機能が実現される。

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図３から図６を参照して、実施の形態１に係る映像解析装置１０の動作を説明する。
実施の形態１に係る映像解析装置１０の動作手順は、実施の形態１に係る映像解析方法に相当する。また、実施の形態１に係る映像解析装置１０の動作を実現するプログラムは、実施の形態１に係る映像解析プログラムに相当する。

図３を参照して、実施の形態１に係る映像解析装置１０の全体的な処理を説明する。
図３に示す処理は、一定時間毎に繰り返し実行される。

（ステップＳ１１：映像取得処理）
映像取得部２１は、車両５０に搭載された車載カメラ５１によって得られた過去一定期間の映像データ７１を取得する。映像取得部２１は、映像データ７１を処理に適した形式の映像データ３１に変換してストレージ１３に書き込む。
車両５０は、列車の車両、自動運転バスの車両のような監視員６３が同乗しておらず、監視員６３の目が届き辛い車両である。車載カメラ５１は、車両５０内を撮影するように車両５０に搭載されたカメラである。車両５０には、１つ以上の車載カメラ５１が搭載されている。映像取得部２１は、各車載カメラ５１によって得られた映像データ７１を取得する。

各車載カメラ５１によって得られた映像データ７１が変換された映像データ３１を処理対象の映像データ３１として、ステップＳ１２からステップＳ１５の処理が実行される。

（ステップＳ１２：特徴抽出処理）
特徴抽出部２２は、ステップＳ１１で出力された映像データ３１に映る各人を対象人に設定する。特徴抽出部２２は、映像データ３１を構成する複数の画像データそれぞれから、対象人の特徴情報３２を抽出する。
映像データ３１に映る人は、ここでは車両５０の乗客を想定する。特徴情報３２は、人の骨格における代表的な部位の位置を表す情報である。代表的な部位としては、頭と首と肩と肘と手と腰と膝と足先とである。なお、本実施形態では特徴情報３２を人の骨格に関する情報として説明するが、特徴情報３２は骨格に関する情報以外にも、検知したい乗客の行動の種類に応じて、例えば人の体の中心又は重心の位置を表す点、人を直線や矩形で近似表現する場合の各頂点、人の顔の表情を平常、怒り、苦痛等に類別した類型名等であってもよい。

（ステップＳ１３：行動特定処理）
行動特定部２３は、ステップＳ１１で出力された映像データ３１に映る各人を対象人に設定する。行動特定部２３は、映像データ３１から対象人の行動を対象行動として特定する。
具体的には、行動特定部２３は、ステップＳ１２で抽出された対象人の特徴情報３２を解析して、対象人の対象行動を特定する。なお、行動特定部２３は対象人だけの情報をもって対象行動を特定してもよいが、この際、行動特定部２３は、対象人の特徴情報３２と映像データ３１に映る車両５０の設備の位置との関係、又は、対象人の特徴情報３２と対象人の近傍にいる別の人の特徴情報３２との相互関係等を加味して、対象人の対象行動を特定してもよい。

対象人の特徴情報３２と映像データ３１に映る車両５０の設備の位置との関係から対象行動が特定される例としては、次のようなものがある。対象人の特徴情報３２が座っている状態を表し、対象人が車両５０の設備である椅子の位置にいる場合には、対象人は椅子に座っていると特定される。また、対象人の特徴情報３２が寝ている状態を表し、対象人が車両５０の設備である椅子の位置にいる場合には、対象人は椅子に寝ていると特定される。車両５０の設備には、他にドア、吊革、窓、通路、トイレ等が含まれ、これらの設備との位置関係とから対象行動を特定することもできる。例えば、対象人の特徴情報３２と映像データ３１に映る通路との位置関係から対象人が通路にいると特定し、さらにその対象人が車両５０内を基準以上の速度で移動している場合には、通路を基準以上の速度で移動していると特定することもできる。
対象人の特徴情報３２と対象人の近傍にいる別の人の特徴情報３２との相互関係から対象行動が特定される例としては、次のようなものがある。対象人の特徴情報３２が手を突き出している状態を表し、その直後の近傍にいる他の人の特徴情報３２が倒れた状態を表す場合には、対象人は他の人を押した又は殴ったと特定される。他にも、対象人と他の人がある一定の距離の中にあって双方とも激しく動いている場合には、対象人と他の人がもみあっていると特定することもできる。

（ステップＳ１４：行動判定処理）
行動判定部２４は、ステップＳ１１で出力された映像データ３１に映る各人を対象人に設定する。行動判定部２４は、ステップＳ１３で特定された対象人の対象行動が、車両５０内における問題行動に該当するか否かを判定する。
具体的には、行動判定部２４は、車両５０内における問題行動を定義した定義情報３３を参照して、対象人の対象行動が問題行動に該当するか否かを判定する。図４に示すように、問題行動には、「着席しているが、姿勢が崩れている」、「車両５０内を基準以上の速度で移動している」といった、車両５０内特有の迷惑な行動、緊急対応を要する行動が含まれる。「着席しているが、姿勢が崩れている」は、例えば、椅子に寝ている、あるいは体調不良等の原因により椅子に突っ伏して緊急対応を要するというような状態を意味する。なお、問題行動には、「喧嘩等の暴力行為」、「設備等の破壊行為」といった、車両５０内に限定されない一般的な迷惑な行動も含まれてもよい。
行動判定部２４は、問題行動に該当する対象行動があった場合には、処理をステップＳ１５に進める。一方、行動判定部２４は、問題行動に該当する対象行動がなかった場合には、処理対象の映像データ３１についての処理を終了する。

（ステップＳ１５：通知処理）
通知部２５は、問題行動に該当する対象行動があったことを、通知先である監視拠点６０に通知する。
車両５０が自動運転でない列車である場合には、監視拠点６０は、列車内の運転室と、列車内の車掌室と、列車外の監視センターとの少なくともいずれかである。車両５０が自動運転列車又は自動運転バスのように乗務員がいない乗り物である場合には、監視センターである。なお、通知部２５は、監視拠点６０ではなく、監視員６３によって携帯されるモバイル端末に通知してもよい。

図５を参照して、実施の形態１に係る通知処理（図３のステップＳ１５）を説明する。
（ステップＳ２１：強調画像生成処理）
重畳映像生成部２６は、ステップＳ１４で問題行動に該当すると判定された対象行動を強調するための強調画像を生成する。
強調画像は、問題行動に該当すると判定された対象行動を行う人を囲った枠といった、対象行動を行う人の特定を容易にするための画像データである。また、重畳映像生成部２６は、問題行動に該当すると判定された対象行動の内容を示す情報を強調画像に含めてもよい。例えば、重畳映像生成部２６は、対象行動の内容を示す識別情報を強調画像に含めてもよいし、対象行動の内容に応じて強調画像である枠の線の色又は種別を変更してもよい。

（ステップＳ２２：重畳映像生成処理）
重畳映像生成部２６は、ステップＳ２１で生成された強調画像を、処理対象の映像データ３１に重畳させて重畳映像７２を生成する。強調画像が対象行動を行う人を囲った枠である場合には、処理対象の映像データ３１を構成する各画像データにおいて、問題行動に該当すると判定された対象行動を行う人が枠によって囲まれた重畳映像７２が生成される。
この際、重畳映像生成部２６は、ステップＳ１２で抽出された、問題行動に該当すると判定された対象行動を行う人についての特徴情報３２を、処理対象の映像データ３１に重畳させてもよい。

（ステップＳ２３：重畳映像表示処理）
映像表示部２７は、ステップＳ２２で生成された重畳映像７２を、監視拠点６０における表示装置６１に表示する。

（ステップＳ２４：付加情報通知処理）
付加情報通知部２８は、付加情報を監視拠点６０に通知する。
付加情報には、問題行動に該当する対象行動があった車両５０を特定可能な車両情報と、問題行動に該当する対象行動があった車両５０の走行位置を示す位置情報とが含まれる。

車両５０が列車である場合には、車両情報は、運行番号及び号車番号である。運行番号は、路線と、上り又は下りと、識別番号と等によって示される。号車番号は、列車を構成する複数の車両のうち何番目の車両であるかを示す。また、車両５０が列車である場合には、走行位置は、どの駅間を走行しているか、あるいは、ある駅から何メートルの地点を走行しているかを示す。
車両５０がバスである場合には、車両情報は、運行番号と、走行位置とを示す。運行番号は、系統と、識別番号と等によって示される。走行位置は、どの停留所間を走行しているか、あるいは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等によって特定された位置である。

通知する車両情報は、事前に車載カメラ５１毎に車両情報を対応付けてストレージ１３に記憶しておき、処理対象の映像データ３１の取得元の車載カメラ５１に対応する車両情報を特定することにより特定可能である。
通知する位置情報は、運行番号毎に、通過した駅又は停留所を示す運行情報を管理しておき、車両情報が示す運行番号に対応する運行情報を特定することにより特定可能である。あるいは、通知する位置情報は、車両５０からＧＰＳ等によって特定された位置を示す情報を取得することにより特定可能である。

（ステップＳ２５：アラート発信処理）
付加情報通知部２８は、必要に応じてアラートを発信して、監視拠点６０における警報装置６２を作動させる。警報装置６２は、音又は光を出力する、あるいは、振動する装置である。
具体的には、付加情報通知部２８は、問題行動に該当すると判定された対象行動の内容に応じてアラートを発信するか否かを制御する。例えば、付加情報通知部２８は、対象行動の内容が、早急な対応が必要な内容である場合には、アラートを発信する。

監視拠点６０では、通知処理（図３のステップＳ１５）で通知された内容に応じて、問題行動に対応する対応要員６４に指示を行い、問題行動に対応させる。例えば、図６に示すように、監視拠点６０及び問題行動の内容に応じた対応を行うことが考えられる。監視拠点６０及び問題行動の内容に応じた対応内容を事前に定めておき、ステップＳ２４において付加情報通知部２８は、通知先の監視拠点６０と、行われた問題行動の内容とに応じた対応内容を付加情報に含めて通知してもよい。
なお、監視員６３は、付加情報を対応要員６４に伝えることにより、対応要員６４は対応を行う車両５０を特定可能である。また、車両５０へ向かう場合には、車両５０の位置を特定可能である。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る映像解析装置１０は、車載カメラ５１によって得られた映像データ７１に映る人の行動を対象行動として特定し、対象行動が車両５０内における問題行動に該当する場合に通知先に通知を行う。これにより、監視することが難しい列車等の車両５０内における問題行動を特定し、適切な対応をとることが可能になる。

実施の形態１に係る映像解析装置１０は、人の特徴情報と、車両５０の設備の位置との関係等に基づき、対象行動を特定する。これにより、車両５０内特有の問題行動を特定することが可能である。

実施の形態１に係る映像解析装置１０は、車両情報と位置情報とを含む付加情報を通知する。これにより、監視センター等で監視している場合に、対応が必要となる車両５０を特定可能である。

実施の形態１に係る映像解析装置１０は、強調画像を重畳させた重畳映像７２を表示する。これにより、映像データ３１を見た監視員６３は映像データ３１に映る人のうちどの人が問題行動を行ったかを容易に特定でき、問題行動の具体的な内容を容易に把握することができる。

＊＊＊他の構成＊＊＊
＜変形例１＞
図７に示すように、問題行動に該当する対象行動がない場合には、ステップＳ１６で映像表示部２７は、いずれかの車載カメラ５１によって取得された映像データ７１を変換した映像データ３１を、監視拠点６０における表示装置６１に表示する。例えば、映像表示部２７は、各車載カメラ５１によって取得された映像データ７１を変換した映像データ３１を、一定時間毎に切り替えて表示装置６１に表示する。
そして、問題行動に該当する対象行動があった場合には、ステップＳ１５における重畳映像表示処理（図５のステップＳ２３）で映像表示部２７は、重畳映像７２を他の映像データ３１よりも優先して表示する。例えば、映像表示部２７は、問題行動に該当する対象行動が検出されてから一定時間は、他の映像データ３１を表示せず、重畳映像７２を表示する。
これにより、問題行動に該当する対象行動がない場合には、車両５０内の各位置を監視することができる。

＜変形例２＞
監視拠点６０に複数の表示装置６１が設置されている場合がある。この場合には、重畳映像表示処理（図５のステップＳ２３）で映像表示部２７は、最も目立つ表示装置６１に重畳映像７２を表示する。最も目立つ表示装置６１とは、中央に設置された表示装置６１、又は、最もサイズが大きい表示装置６１等である。映像表示部２７は、他の表示装置６１には、他の映像データ３１を表示してもよい。

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。

図８を参照して、変形例３に係る映像解析装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、映像解析装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、車両５０に搭載された非常ボタン５３が押された場合に、非常ボタン５３に近い領域が映った映像データ３１を優先して表示する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊概要の説明＊＊＊
図９を参照して、実施の形態２に係る映像解析装置１０の概要を説明する。
車両５０には、非常状態であることを通知するための１つ以上の非常ボタン５３が搭載されている。非常ボタン５３は、乗客によって必要に応じて押される。非常ボタン５３は、車両５０内で問題が発生した場合等に押される。
映像解析装置１０は、非常ボタン５３が押されていない場合には、実施の形態１で説明した動作を行う。映像解析装置１０は、いずれかの非常ボタン５３が押されると、押された非常ボタン５３に近い領域が映った映像データ３１を優先して監視拠点６０における表示装置６１に表示する。

＊＊＊構成の説明＊＊＊
図１０を参照して、実施の形態２に係る映像解析装置１０の構成を説明する。
映像解析装置１０は、機能構成要素として、信号判定部２９を備える点が図２に示す映像解析装置１０と異なる。信号判定部２９の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

＊＊＊動作の説明＊＊＊
図１１を参照して、実施の形態２に係る映像解析装置１０の動作を説明する。
ステップＳ３１の処理は、図３のステップＳ１１の処理と同じである。また、ステップＳ３３からステップＳ３６の処理は、図３のステップＳ１２からステップＳ１５の処理と同じである。

（ステップＳ３２：信号判定処理）
信号判定部２９は、いずれかの非常ボタン５３から信号が送信されているか否かを判定する。ここで、非常ボタン５３は、押されると映像解析装置１０へ信号を送信するものとする。
信号判定部２９は、いずれかの非常ボタン５３から信号が送信されている場合には、処理をステップＳ３７に進める。一方、信号判定部２９は、いずれの非常ボタン５３からも信号か送信されていない場合には、処理をステップＳ３２に進める。

（ステップＳ３７：映像表示処理）
映像表示部２７は、信号の送信元の非常ボタン５３に近い領域が映った映像データ３１を、監視拠点６０における表示装置６１に表示する。非常ボタン５３毎に、近い領域を撮影する車載カメラ５１を記憶しておくことにより、信号の送信元の非常ボタン５３に近い領域が映った映像データ３１を特定可能である。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る映像解析装置１０は、非常ボタン５３が押された場合には、非常ボタン５３に近い領域の映像データ３１を優先して表示する。これにより、監視員６３が非常ボタン５３に近い領域を適切に監視することが可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態２では非常ボタン５３が押された場合に非常ボタン５３に近い領域の映像データ３１を優先して表示するというものであったが、非常ボタン５３が押されている場合に別の処理を行なうこともできる。
例えば、非常ボタン５３が押された場合には、非常ボタン５３に近い領域の映像データ３１だけではなく、押された非常ボタン５３の設置されている車両に搭載された全ての車載カメラ５１に対応する全ての映像データ３１を表示してもよい。

＜変形例２＞
あるいは、非常ボタン５３が押された場合に、実施の形態２では非常ボタン５３に近い領域の映像データ３１、その変形例１では押された非常ボタン５３の設置されている車両に搭載された全ての車載カメラ５１に対応する全ての映像データ３１を表示するが、その際、表示装置６１に「非常ボタンが押されています」のようなメッセージを合わせて表示し、非常ボタンが押されていることを監視員６３に伝えてもよい。

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

また、本開示においては対象人の問題行動を特定し、適切な対応をとるという実施の形態について説明したが、行動判定部２４の考え方を反転させ、対象人の通常行動を定義情報３３として予め定め、その通常行動を特定している場合は対応をとらず、通常行動を特定しなかった場合を問題発生とみなして適切な対応をとるという実施形態としても同様である。

また、本開示において問題行動という表現を用いたが、必ずしも問題のある行動のみをさす必要はなく、問題や迷惑でなくても検知したい行動、例えば手を挙げて助けを求めている、あるいはある一定の時間以上の長時間にわたって動かない等の行動を検知して適切な対応をとる場合についても同様である。

１０ 映像解析装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 映像取得部、２２ 特徴抽出部、２３ 行動特定部、２４ 行動判定部、２５ 通知部、２６ 重畳映像生成部、２７ 映像表示部、２８ 付加情報通知部、２９ 信号判定部、３１ 映像データ、３２ 特徴情報、３３ 定義情報、３４ 車両情報、５０ 車両、５１ 車載カメラ、５２ 人、５３ 非常ボタン、６０ 監視拠点、６１ 表示装置、６２ 警報装置、６３ 監視員、６４ 対応要員、７１ 映像データ、７２ 重畳映像、７３ 通知。

Claims (15)

1. 車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定部と、
   前記行動特定部によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定部と、
   前記行動判定部によって前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す通知部と
   を備える映像解析装置。
2. 前記通知部は、該当すると判定された前記問題行動の内容に応じた対応内容を含む通知を行う
   請求項１に記載の映像解析装置。
3. 前記通知部は、問題行動の内容毎に事前に定められた対応内容のうち、該当すると判定された前記問題行動の内容に対応する対応内容を含む通知を行う
   請求項２に記載の映像解析装置。
4. 前記通知部は、監視拠点と問題行動の内容との組毎に定められた対応内容のうち、通知先の監視拠点と該当すると判定された前記問題行動の内容との組に対応する対応内容を含む通知を行う
   請求項３に記載の映像解析装置。
5. 前記映像解析装置は、さらに、
   前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
   を備え、
   前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報により前記対象行動を特定する
   請求項１から４までのいずれか１項に記載の映像解析装置。
6. 前記映像解析装置は、さらに、
   前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
   を備え、
   前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報と、前記映像データに映る車両の設備の位置との関係から、前記対象行動を特定する
   請求項１から４までのいずれか１項に記載の映像解析装置。
7. 前記映像解析装置は、さらに、
   前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
   を備え、
   前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報と近傍にいる別の人の特徴情報との相互関係に基づいて前記対象行動を特定する
   請求項１から４までのいずれか１項に記載の映像解析装置。
8. 前記通知部は、前記車両を特定可能な車両情報と、前記車両の位置を示す位置情報とを前記通知先に通知を行う
   請求項１から７までのいずれか１項に記載の映像解析装置。
9. 前記通知部は、
   前記問題行動に該当する前記対象行動を強調するための強調画像を前記映像データに重畳させた重畳映像を生成する重畳映像生成部と、
   前記重畳映像生成部によって生成された前記重畳映像を前記通知先の表示装置に表示する映像表示部と
   を備える請求項１から８までのいずれか１項に記載の映像解析装置。
10. 前記車両には複数の車載カメラが搭載されており、
    前記映像表示部は、前記複数の車載カメラのうちのいずれかの車載カメラによって得られた映像データを前記通知先の表示装置に表示し、前記対象行動が前記問題行動に該当すると判定された場合には、前記対象行動を行った人が映った映像データを前記通知先の表示装置に優先して表示する
    請求項９に記載の映像解析装置。
11. 前記車両には非常状態であることを通知するための１つ以上の非常ボタンが搭載されており、
    前記通知部は、
    前記映像データを前記通知先の表示装置に表示する映像表示部を備え、
    前記映像表示部は、前記１つ以上の非常ボタンのうちいずれかの非常ボタンが押された場合には、非常状態に応じた処理を行なう
    請求項１から１０までのいずれか１項に記載の映像解析装置。
12. 前記非常状態に応じた処理は、押された非常ボタンに近い領域が映った映像データを優先して表示する処理である
    請求項１１に記載の映像解析装置。
13. 前記非常状態に応じた処理は、押された非常ボタンの設置されている車両の全ての車載カメラの映像データを表示する処理である
    請求項１１に記載の映像解析装置。
14. コンピュータが、車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定し、
    コンピュータが、前記対象行動が、前記車両内における問題行動に該当するか否かを判定し、
    コンピュータが、前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す映像解析方法。
15. 車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定処理と、
    前記行動特定処理によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定処理と、
    前記行動判定処理によって前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す通知処理と
    を行う映像解析装置としてコンピュータを機能させる映像解析プログラム。

Images