JP2014192776A - 映像監視システム、映像処理サーバ及び監視映像の閲覧・配信方法 - Google Patents

Abstract

【課題】 複数台のカメラによって撮影された大量の映像データから、危険事象発生の前後経過を正確且つ簡略的に要約した最適閲覧映像を作成することで、実時間監視及び事後閲覧のいずれの場合でも監視作業の負担を軽減し且つ作業効率を高めた映像監視システム等を提供する。
【解決手段】 映像監視システム10は、監視区域50内を移動する複数の監視対象を撮影する複数のカメラ20と映像処理手段33と監視モニタ40を備える。映像処理手段は、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出し、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類し、次に、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義し、総コストが最小になる経路で構成される映像を最適閲覧映像として監視モニタに出力する。
【選択図】図４

Description

本発明は監視作業の負担を軽減し且つ作業効率を高めた映像監視システム、映像処理サーバ及び監視映像の閲覧・配信方法に関する。

世界的な治安の悪化が懸念される中、産業用及び民間用の映像監視システムの市場規模が急拡大しており、防犯分野以外にも防災、介護、経営補助(来店者の行動調査)など幅広い分野に利用されている。
映像監視システムは、街頭、施設、駅等に配置した多数の監視カメラの映像を有線又は無線で監視室に伝送し、監視室内で監視員がモニタによって危険事象の発生の有無を監視するものである。

近年の高速ネットワークと高性能ストレージの発展に伴い、百台以上の監視カメラを使用し、監視室内に並列配置した数十台のモニタに各監視カメラの映像を切り替えながら表示する大規模な映像監視システムも登場している。
このような大規模な映像監視システムでは膨大な情報量と人間の感知限界との間に矛盾が生じることが知られている。すなわち、多数のモニタを常時監視する作業が監視員に過度の負担を与え、疲れや注意散漫による人為的ミスが起きやすいことが知られている。

そこで、例えば特許文献１には、監視員に替わって映像解析システムが監視対象である人物の手足の動きや姿勢等を観察し、危険事象と判断した際にはモニタに当該映像を表示すると共に所定の連絡先に通報する技術が開示されている。本技術によれば監視員が多数のモニタを常時監視する必要がなくなるという利点がある。
また、特許文献２及び３には、監視対象をモニタ等の仮想３次元空間上に表現する技術が開示されている。
また、特許文献４及び５には、監視対象である人物の移動方向から顔の向きを算出し、顔を撮影可能な位置にあるカメラに当該人物を自動追跡させる技術が開示されている。
また、特許文献６及び７には、監視対象の位置と監視カメラの位置を認識し、監視対象が一つのカメラの撮影範囲外に移動した場合には他のカメラの映像に順次切り替えていく技術が開示されている。

特開２００６−２８７８８３号公報 米国特許第５７４５１２６号明細書 国際公開第２０１２／１５３８０５号 米国特許第８１８４１５７号明細書 特開２００９−２７３００６３号公報 米国特許第８１７４５７２号明細書 特開２０１１−２１７３２０号公報

しかし、上記従来技術では以下のような問題があった。
すなわち、特許文献１〜７に開示された技術は、基本的にはその時点の状況をいわゆるオンタイムで監視（実時間監視）するためのものであり、監視終了後又は一定時間経過後に監視映像を見返す（事後閲覧）用途には適していないという問題がある。
日常生活において、全監視時間に対して危険事象が発生している時間が占める割合は極めて小さい。したがって、危険事象が発生した後、当該危険事象の発生理由や不審人物の行動等を把握するべく、監視員や警察等の関係者（以後、「監視員」と総称する。）が監視映像を見返す際には膨大な量の映像の中から、例えば危険事象の発生推定時刻等に基づいて、危険事象の発生に関連している可能性がある映像群を見つけ出す必要があり、事後閲覧作業に大変な労力と時間を要するという問題がある。

また、特許文献２及び３のような監視対象を仮想３次元空間上に表現する場合には、２次元の画像データを３次元に合成する際にデータの補完を行わざるを得ず、３次元映像の信頼性・信憑性について万全であるとは言えず、証拠資料としての価値に乏しいという問題がある。
また、特許文献４及び５のような複数のカメラが監視対象を自動追跡する場合や、特許文献６及び７のような映像（カメラ）を適宜切り替えながら監視対象を追跡する場合、監視対象が複数存在しており、各監視対象が異なる方向に移動した場合には追跡が困難になるという問題や、そもそも実時間監視において監視対象をその場で決定すること自体が困難という問題がある。
このように、上記従来技術では実時間監視及び事後閲覧の両者を効率よく行うことが難しいのが現状である。

本発明はこのような問題に鑑み、複数台のカメラによって撮影された大量の映像データから、危険事象発生の前後経過を正確且つ簡略的に要約した最適閲覧映像を作成することで、実時間監視及び事後閲覧のいずれの場合でも監視作業の負担を軽減し且つ作業効率を高めた映像監視システム、映像処理サーバ及び監視映像の閲覧・配信方法を提供することを目的とする。

本発明の映像監視システムは、監視区域内を移動する複数の監視対象を撮影する複数のカメラと、前記複数のカメラが撮影した各映像を処理する映像処理手段と、前記映像処理手段によって処理された映像を表示する監視モニタとを備え、前記映像処理手段は、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出し、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類し、次に、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義し、総コストが最小になる経路で構成される映像を最適閲覧映像として前記監視モニタに出力することを特徴とする。
また、監視者が任意の個体群又は監視対象を選択した場合に、前記映像処理手段が当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を再計算し、最適閲覧映像として出力することを特徴とする。
また、前記映像処理手段が、群相互作用の強度に基づいて最適閲覧映像の再生速度を変化させることを特徴とする。
また、前記映像処理手段が、最適閲覧映像を監視モニタの性能に応じた解像度になるように処理して出力することを特徴とする。

また、本発明の映像処理サーバは、監視区域内を移動する複数の監視対象を複数のカメラで撮影し、撮影した各映像を処理した上で監視モニタに出力する映像処理手段を備え、前記映像処理手段は、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出し、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類し、次に、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義し、総コストが最小になる経路で構成される映像を最適閲覧映像として前記監視モニタに出力することを特徴とする。
また、監視者が任意の個体群又は監視対象を選択した場合に、前記映像処理手段が当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を再計算し、最適閲覧映像として出力することを特徴とする。
また、前記映像処理手段が、群相互作用の強度に基づいて最適閲覧映像の再生速度を変化させることを特徴とする。
また、前記映像処理手段が、最適閲覧映像を監視モニタの性能に応じた解像度になるように処理して出力することを特徴とする。

また、本発明の監視映像の閲覧・配信方法は、監視区域内を移動する複数の監視対象を複数のカメラで撮影するステップと、前記複数のカメラが撮影した各映像を処理するステップと、処理された映像を監視モニタに表示するステップとを備え、更に、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出するステップと、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類するステップと、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義するステップと、総コストが最小になる経路で構成される映像を最適閲覧映像として前記監視モニタに出力するステップを備えることを特徴とする。
また、監視者が任意の個体群又は監視対象を選択した場合に、当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を再計算し、最適閲覧映像として出力するステップを備えることを特徴とする。
また、群相互作用の強度に基づいて最適閲覧映像の再生速度を変化させるステップを備えることを特徴とする。
また、最適閲覧映像を監視モニタの性能に応じた解像度になるように処理して出力するステップを備えることを特徴とする。

本発明によると、映像処理手段が最適閲覧映像のみを監視モニタに出力するので、監視者は多数のモニタを監視する必要がなくなり、監視作業の負担を軽減できる。
また、最適閲覧映像には危険事象発生の前後経過が含まれている可能性が高いので、監視作業の効率を高めることができる。
また、監視者が最適閲覧映像を見ている際に任意の個体群又は監視対象を選択することで、当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を映像処理手段が再計算してモニタに出力するので、監視作業の精度を高めることもできる。

また、最適閲覧映像の再生速度を変化させる、例えば危険事象の可能性が高い映像については再生速度を実時間に近いものとし、危険事象の可能性が低い映像については再生速度を速めることで、実際の録画時間に対して映像の再生時間を短縮することが可能となり、監視作業の効率を高めることができる。
また、例えば監視員が携帯型の監視モニタを有している場合には最適閲覧映像の解像度を抑えて出力する等、監視モニタの性能に応じた映像を得ることができる。

映像監視システムの構成を示すブロック図 連続運動軌跡を生成するまでの処理を示すフローチャート 連続運動軌跡を生成する際の処理を示す図（ａ）〜（ｅ） 最適閲覧映像を監視モニタに出力するまでの処理を示すフローチャート 各監視対象の運動軌跡を模式的に表したグラフ 群相互作用を検出する際の処理を示すフローチャート 群相互作用を検出する際の処理を示す図 群相互作用の強度分布を示す図 ２つの個体（監視対象）の運動状態と群相互作用の関係を示す図 ホットスポットを説明するための図 各監視対象の運動軌跡に個体群を重ね合わせたグラフ 各個体群間の遷移関係図を生成するまでの処理を示すフローチャート 個体群の形成時刻と解消時刻に対して番号付けを行った状態を示すグラフ 遷移関係図（ａ）及び遷移総コストが最小になる経路を示す図（ｂ） 最適閲覧映像の再生速度を調節した状態を示す図 最適閲覧映像の再計算について説明するための図（ａ）及び（ｂ） 監視モニタの画像レイアウトの一例を示す図 は実際に作成した画像レイアウトを示す図 最適閲覧画像のチェック作業開始から終了までの間に映像処理手段が行う処理を示すフローチャート 本発明の他の適用例を示す図

本発明の映像監視システム、映像処理サーバ及び監視映像の閲覧・配信方法について図を用いて説明する。
図１に示すように、映像監視システム10は複数のカメラ20、情報処理サーバ30及び監視モニタ40から概略構成される。
カメラ20は監視区域50内を移動する複数の監視対象（本実施の形態では監視対象1〜4）を撮影するべく複数台配置される。各カメラ20はその撮影範囲が重複するように、すなわち監視区域50内の同じ場所を撮影するように配置してもよく、或いは撮影範囲が独立するように、すなわち撮影範囲が重ならないように配置してもよい。撮影範囲が重複するように配置する場合には、監視対象を異なる方向から撮影できるように各カメラ20の配置場所や視野角（画角）を調節するのが好ましい。

情報処理サーバ30は映像データ等の各種情報の送受信をカメラ20及び監視モニタ40に対して行う。情報処理サーバ30の設置場所は特に限定されず、例えばカメラ20を配置している施設、監視モニタ40を配置している監視室、或いは施設及び監視室から離れた場所などであってもよい。
情報処理サーバ30は、カメラ20及び監視モニタ40に対して各種情報の送受信を行う通信部31と、カメラ20が撮影した映像データを格納するデータベース32と、当該映像データに対して種々の処理を行う映像処理手段33を備えている。
通信部31を介した各種情報の送受信はインターネット等の情報通信網を介して行うことができ、情報処理サーバ30とカメラ20及び監視モニタ40を接続ケーブルによって繋いだ有線通信や、無線ＬＡＮなどによる無線通信など周知の通信方式を用いることができる。また回線接続やパケット接続など各種接続形式が可能である。また、各種情報の出力形式や信号処理方式なども周知の方式を利用できる。

映像処理手段33はCPU、RAM及びROMから構成されており、CPUがROMに格納されている各種プログラム及びデータベース32に格納されている各映像データを読み出して適宜実行することにより情報処理サーバ30を統括制御する。詳しい説明は後述するが、映像処理手段33は各カメラ20から送信された映像データを解析して、危険事象発生の前後経過を正確且つ簡略的に要約した最適閲覧映像を作成する。作成された最適閲覧映像は通信部31を介して監視モニタ40に送信される。

監視モニタ40は映像処理手段33から送信された最適閲覧映像を通信部41を介して受信し、表示するために設けられる。監視モニタ40としては、監視室内に配置される据え置き型のモニタや、監視員が所持する携帯情報端末のモニタが該当する。
監視者は、閲覧中の最適閲覧映像に表示されている監視対象とは異なる監視対象を監視したい場合には、入力手段42を介して当該新たな監視対象を選択すればよい。この場合、新たな監視対象を選択した旨の情報が通信部41を介して情報処理サーバ30に送信され、映像処理手段33によって新たな最適閲覧映像が作成される。

次に、映像処理手段33で実行される映像解析処理、すなわち監視映像の閲覧・配信方法について説明する。
図２〜図４は当該処理の概要を示しており、図２は各カメラ20が撮影した映像に基づいて映像処理手段33が各監視対象の連続運動軌跡を生成するまでの流れを示している。
まず、監視区域50内を移動する監視対象を各カメラ20が撮影し（図３（ａ）参照）、各映像データが情報処理サーバ30のデータベース32に格納（入力）される（ステップS10）。
映像処理手段33は、ROMに格納された中から適当なプログラムを呼び出し、各映像データに対して前景と背景の分離を行う（ステップＳ11a、図３（ｂ）参照）と共にカメラ座標系の幾何的校正(特に、それぞれ独立したカメラ座標系の座標を一つの世界座標系に統一することを指す)を行う（ステップＳ11b）。

次に映像処理手段33は各映像データから分離した前景に関する情報を統合し（ステップS12、図３（ｃ）参照）、監視区域50内における各監視対象の位置を時系列に沿って算出する（ステップS13、図３（ｄ））。そして、各監視対象が監視区域50内をどのように移動したか、すなわち各監視対象の連続運動軌跡を生成する（ステップS14、図３（ｅ）参照）。
図５のグラフは各監視対象の運動軌跡を模式的に表したものであり、各監視対象が近付いたり遠ざかったりしながら監視区域50内を移動する様子が分かる。

図４は、各監視対象の連続運動軌跡に基づいて最適閲覧映像を生成するまでの流れを示している。
連続運動軌跡を生成した映像処理手段33は（ステップS20）、次に群相互作用を検出する（ステップS21）。群相互作用とは、一定期間内に複数の監視対象間に起きる連続かつ安定的な空間接近として定義される。監視対象には人、動物、車輌等のそれ自体で移動可能な物体と、例えば鞄、スーツケース、消火装置、電話ボックス等の監視区域50内に存在していてそれ自体では移動できない物体（以後、「特定環境物体」という。）が含まれる。

群相互作用の検出方法の一例について、図６にフローチャートを示し、図７にイメージ図を示す。
映像処理手段33は、生成した各監視対象の連続運動軌跡（図７（ａ）の左端の図参照。丸が監視対象を表し、矢印線が運動軌跡とその方向を表す。）から、一つの監視対象と他の一つの監視対象との群相互作用の強度を決定する（ステップS30及びS31）。
群相互作用の強度が強い（高い）場合には2つの監視対象の両者或いはいずれか一方がなんらかの興味を持って近づいている可能性が高いことから、そこに危険事象が発生する可能性もまた高いと推測することができる。
具体的には、連続運動軌跡は時系列に沿って連続的に並べた複数のフレームの集合で構成されており（図７（ｂ）参照）、映像処理手段33は時刻tのフレームにおける各監視対象（ここでは例として6人の監視対象）間の群相互作用の強度を算出する。

群相互作用の強度の算出方法は複数あり、例えば単純に2つの監視対象間の距離で決めてもよい。この場合、2つの監視対象間の距離が近い場合には群相互作用の強度も高くなる。図７（ａ）の中央の表は監視対象1〜6に関する群相互作用の強度を示している。

また、群相互作用の強度の算出方法の他の例として、監視対象の位置及び移動速度を考慮したものについて説明する。
まず、これまでの研究成果として、歩行者の振る舞いに関する以下の観察結果が知られている。
・歩行者は個人的に最も快適な速度で運動を維持する傾向がある(最も快適な速度は1.34m/sであり、標準偏差は0.26m/s)
・直線運動を好む
・衝突を回避するために、私的な場が存在する
・運動方向の前方にはより大きなスペースが必要とされる
・回避するための反発効果の群相互作用に比べ、接近するための誘引効果の群相互作用の方がよりその影響範囲が遠くまでおよぶ
・反発効果と誘引効果の両方とも速度に依存する

この観察結果に基づき、個体間（監視対象間）の位置関係及び速度関係により、群相互作用の強度分布を定義することができる。つまり、群相互作用の強度分布は速度に依存する関数として定義される（図８参照）。

位置x_Aにいる個体Aが速度v_Aで運動し、位置x_Bにいる個体Bが速度v_Bで運動している場合に、個体Aが個体Bと群相互作用を行う強度は、接近・離脱を表す正面強度及び回避を表す側面強度からなる次式で表される。

また、正面強度は次式で表される。

数２中、σ^Vは有効作用範囲と呼ばれ、距離上で強度の分布を制御するパラメータである。また、σ^θは角度上で強度の分布を制御するパラメータであり、次式で表される。

上式により、個体Aの速度が高ければ高いほど、群相互作用の目標個体が運動方向上に存在する確率が高くなり、群相互作用の強度も大きくなる。

個体が運動方向の前方の目標と群相互作用を行う可能性が、後方の目標と群相互作用を行う可能性より高いと仮定し、その区別を次式の関数α_A(x_B)により表す。

速度v_Aがゼロに近ければ近いほど、α_A(x_B)が１に近づき、前後方の区別がなくなる。また、速度v_Aが増大するとともに、α_A(x_B)がパラメータβに減衰し、群相互作用の強度が運動方向の前方に集中していく。

側面強度は私的な場を表し、距離上で近い範囲内のみ有効となり、角度上で敏感でないとモデルとされ、次式のように表される。

ここでω^Vとω^θは二つの制御パラメータである。上述の群相互作用の強度による両個体間の典型的な群相互作用の表現方法を図９に示す。
以上のように、監視対象の位置及び移動速度を考慮して群相互作用の強度を算出してもよい。

次に映像処理手段33は群相互作用の強度を一定の閾値に基づいて区分することで、群相互作用が強い二つ以上の監視対象を一つの個体群として分類する。
図７（ａ）の右端の図では4人の監視対象が含まれる上方の個体群と、2人の監視対象が含まれる下方の個体群の2つに分けた状態を示している。
図７（ｂ）に示すように、映像処理手段33は時刻tにおけるフレームで行なった上記個体群の分類をt＝0の撮影開始から撮影終了までの全フレームに対して行い（ステップS32）、次に個体群を時間軸上で連結する作業を行う（ステップS33）。このようにして連結した個体群は、その範囲内で危険事象が発生している可能性が高いいわゆるホットスポットと捉えることができる（図１０参照）。
図１０では火事が発生した場合において、監視対象である1人が同じく監視対象である消火装置（特定環境物体）に近づくことによって個体群1が形成された状態と、監視対象である2人によって他の個体群2が形成された状態を示している。

図７（ｃ）は、全撮影時間について個体群の分類を行った結果、一時的にはいずれかの個体群に属することがあるものの、すぐに当該個体群から離れていく（群相互作用の強度が低くなる）ため、危険事象に関わっている可能性が低いと判断できる監視対象を個体群から除外した（ノイズとして除去した）状態を示している。このようなノイズ除去作業を行うことで、群相互作用の強度が高い状態が一定時間安定的に続いている個体群のみを抽出できるので、危険事象に関する映像が最適閲覧映像中に含まれる可能性を高めることができる。但し、このようなノイズ除去作業は最適閲覧映像の生成に必須ではない。

図１１は、図５のグラフに楕円形で表す各個体群を重ね合わせたものであり、楕円内の数字は各監視対象の番号を表している。例えば監視対象3の人物は最初に監視対象1及び2に接近することで監視対象1〜3で構成される個体群が形成され、その後当該個体群から離れることで当該個体群が解消される。監視対象3は次に監視対象4に接近することで監視対象3及び4で構成される個体群が形成され、その後当該個体群から離れることで当該個体群が解消される。そして監視対象3は再び監視対象2に接近して監視対象2及び3で構成される個体群が形成され、その後解消されることが分かる。

次に映像処理手段33は各個体群間の遷移関係図を生成する（図４のステップS22）。
図１２に映像処理手段33が各個体群間の遷移関係図を生成する際のフローチャートを示す。
まず映像処理手段33は、各個体群が形成された時刻と解消された時刻を検出し、各時刻に対して撮影開始時刻を１とする番号付けを行う（ステップS40及びS41）。
図１３は当該番号付けを行った状態のイメージを示すものである。図１３中の右向きの矢印線は上から順に監視対象1〜4に該当しており、各線の中で実線部分は対応する監視対象が個体群を形成している時間帯を示し、一点鎖線部分は個体群を形成していない時間帯、つまり監視対象が単独で行動している時間帯を示す。
例えば撮影開始時刻には、図１３の丸で囲った番号1が付され、次に監視対象1と4が接近して個体群が形成された時刻に番号2、当該個体群が解消された時刻に番号3が付される。番号2〜3の時間帯では個体群を形成している監視対象1と4の線は実線で表されており、個体群を形成していない監視対象2と3の線は一点鎖線で表されている。

次に、映像処理手段33は、番号を付した各時刻をノードとし、これらノードを結ぶ線をリンクとするグラフを作成する。
具体的には、図１４（ａ）に示すように、個体群の形成と解消の各時刻に対応するノード同士を結ぶことで、個体群が形成されている時間帯に該当するリンク（例えば番号2と3のノードで結ばれるリンクや番号7と9のノードで結ばれるリンクなど）を作成する。また、個体群が形成されていない時間帯（各監視対象が単独で行動している時間帯）に該当するリンク（例えば番号1と4のノードで結ばれるリンクや番号9と10のノードで結ばれるリンクなど）も作成する（ステップS42）。

また、個体群が形成されている時間帯に該当するリンクには、群相互作用の強度に基づいて一つの個体群から他の個体群に遷移するコストを算出し、これを重みとして付してある。また、個体群が形成されていない時間帯に該当するリンクにもコストを算出し、これを重みとして付してある（ステップS43）。例えば図１４（ａ）のリンク上にカッコ書きで数字が表されている場合（例えば(1,2,3)）には、当該数字（番号）の監視対象からなる個体群に関する重みがリンクに付されていることを示しており、リンク上に一つの数字が表されている場合又は複数の数字がスラッシュ付きで表されている場合（例えば4や1/2/3など）には当該番号の監視対象が単独で行動しており、これに関する重みがリンクに付されていることを示している。

コスト（重み）の具体的な算出方法は以下のとおりである。
まず、遷移グラフGは、次式に示すM個のノードの集合V及びN個のリンクの集合Eにより構成されるとする。

m番目のノードv_mに対応する時刻はt_mとする。ノードv_m1とノードv_m2を結ぶリンクe_nは群相互作用g_nに対応する。群相互作用g_nは当該群相互作用に含まれる個体の番号の集合として次式で定義される。

統一的に定式化するため、個体群が形成されていない時間帯に対しては、単個体により構成される特別な個体群と見なし、これを群相互作用として認めることにする。個体o_iの時刻tでの速度はv_itであり、位置x_itであるとする。個体o_iの時刻tでの重要度はほかの個体からの群相互作用の強度の総和として次式で定義される。

群相互作用g_nの時刻tでの重要度は成員個体の重要度の総和として次式で定義される。

また、リンクe_nのコスト（重み）は対応期間における群相互作用g_nの総重要度の負数として次式で定義される。

以上で映像処理手段33による各個体群間の遷移関係図の作成作業が完了する（ステップS44及び図４のステップS22）。

最適閲覧内容の生成（ステップS23）は、監視者が入力手段を用いて特定の監視対象を指定することで開始される。
具体的には、監視者によって特定の監視対象（例えば監視対象3）が指定されると、映像処理手段33は上記遷移関係図を用いて、監視対象3に関して遷移の総コストが最小になる経路を算出する。この際に監視員は常に一つの画面しか見ることができないというルールを設けることで、一つのノードから複数のリンクが出ている場合でも遷移の総コストが最小になる方のリンクしか選択できないことになる。

映像処理手段33はこのようなルールに基づいて遷移の総コストが最小になる経路（図１４（ａ）の太線の矢印で示す経路）を算出し、その経路で構成される映像を編集処理して最適閲覧映像を作成する。図１４（ｂ）は監視対象3に関する遷移総コストが最小になる経路を図１４（ａ）のグラフから抜き出したものである。
作成した最適閲覧映像（監視映像）は通信部41を介して監視モニタ40に出力（配信）され（ステップS24）、監視員がこれをチェック（監視）する。

なお、映像処理手段33は監視モニタ40の性能に応じた解像度になるように処理して出力するのが好ましい。また、最適閲覧映像は撮影開始時点から再生されるいわゆる順再生でもよく、或いは撮影終了時点から再生されるいわゆる逆再生でもよい。
このようにして作成された最適閲覧映像は、危険事象発生の前後経過を正確且つ簡略的に要約したものとなるため、実時間監視及び事後閲覧のいずれの場合でも監視員による監視作業の負担軽減と作業効率の向上を実現できる。

また、総撮影時間が長い場合には、映像処理手段33は群相互作用の強度等に基づいて最適閲覧映像の再生速度を変化させることができる。
図１５に示すように、群相互作用が強い個体群を含む経路、すなわち危険事象に関連している可能性が高い経路では再生速度を1倍（1x）、1.5倍(1.5x)、2倍(2x)程度の監視員がチェックし易い速度まで落とし、群相互作用が弱い個体群又は監視対象が単独で行動している経路、すなわち危険事象に関連している可能性が低い経路では再生速度を例えば10倍〜無限大までの目視では確認できない程度に速めることにすれば、実質的に当該箇所をスキップすることになり、監視作業のより一層の負担軽減と効率向上を実現できる。再生速度の調節基準は上述した群相互作用の強度以外にも、一つの個体群が形成されてから解消されるまでの時間の長さに基づいてもよく、或いは監視員が手動で調節してもよい。

また、最適閲覧画像をチェックしている監視者は、当初指定した監視対象とは異なる監視対象又は個体群を入力手段を介して指定することもできる。
この場合、映像処理手段33は、遷移関係図上の当該監視対象又は個体群が含まれるノードを終点とし、撮影終了時点を始点とする経路のうち遷移総コストが最小になる経路を再計算し、これを最適閲覧映像として出力する。図１６（ｂ）は、逆再生で最適閲覧映像をチェックしている際に、監視者が番号10のノードにおいて監視対象を3から2へと変更した場合に、映像処理手段33が再計算することでの当初の経路（図１６（ａ））から変更された状態を示している。

図１７は監視モニタ40に表示される画像レイアウトの一例を示すものであり、最上段には各カメラ20の映像が表されている。その下の左側には監視対象や個体群を色分けした2D又は3Dのバーで表した映像、その右側には最適閲覧映像が表されている。更にその下には図１３のような、各監視対象が個体群を形成している時間帯や単独で行動している時間帯を示すグラフや再生速度等の各種情報が表されており、最下段には映像の再生、停止、早送り、巻き戻し等を行うためのボタンや再生時間等の各種情報が表されている。図１８は実際に作成した画像レイアウトを示す。

図１９は監視員による最適閲覧画像のチェック作業の開始から終了までの間に映像処理手段33が行う処理作業を示すフローチャートである。
まず監視員が入力手段を介して監視対象又は個体群を指定する、すなわち閲覧条件を指定すると（ステップS50）、映像処理手段33は各個体群間の遷移関係図を生成し（ステップS51）、遷移総コストが最小となる経路を決定する（ステップS52）。
次に映像処理手段33は再生速度を決定し（ステップS53）、各カメラ20の映像データの中から最適閲覧画像に使用するのに最も適した映像データを選択すると共に画面範囲の決定、すなわち当該映像の一部を必要に応じて拡大／縮小表示することにして（ステップS54）、適宜画像処理を行った上で最適閲覧画像として監視モニタ40に出力する（ステップS55）。

映像処理手段33が最適閲覧映像を最後まで出力した場合には再生を終了し（ステップS56においてＹＥＳ）、監視員によるチェック作業が終了する。
一方、最適閲覧映像を最後まで出力していない場合には（ステップS56においてＮＯ）、監視員から閲覧条件の変更指示があるまで最適閲覧画像を出力し続ける（ステップS57においてＮＯ）。
監視員から閲覧条件の変更指示があった場合には（ステップS57においてＹＥＳ）、当該指示の種類すなわち「映像の解像度の指定」（ステップS58）、「再生速度の指定」（ステップS59）、「個体群の指定」（ステップS60）、「監視対象の指定」（ステップS61）に応じて適宜再処理を行い、最適閲覧画像を生成し直すことになる。

本発明の他の適用例を図２０を用いて説明する。
図２０（ａ）は複数のカメラ（カメラ1〜4）を用いて、火事が発生して消火活動に入るまでの各監視対象（人物一〜三）の行動を写した映像を時間経過と共に表しており、図２０（ｂ）は個体群形成の有無、個体群に含まれる人物、最適閲覧画像に用いられるカメラ映像を表している。

まず時間１ではカメラ3が火事発生を捉えているが各監視対象はまだ火事の発生を認識していない。
時間2では人物二と三が火事を発見し、この際に両者間で個体群が形成される。時間3では人物二が火事が発生したという情報を消火装置の付近に居る人物一に連絡し、この際に両者間で個体群が形成される。一方、人物三は消火装置の方向に移動する。時間4では消火装置を持った人物1と3が消火作業に入り、この際に個体群が形成される。一方、人物二は火事が発生した旨を通報するべく監視区域50外の方向に移動する。
このような映像が撮影された場合、最適閲覧映像として時間1ではカメラ2の映像、時間2では個体群が形成された状態を撮影したカメラ3の映像、時間3では新たな個体群が形成されたカメラ2の映像、時間4では更に新たな個体群が形成されたカメラ3の映像が選択されることになる。

複数台のカメラによって撮影された大量の映像データから、危険事象発生の前後経過を正確且つ簡略的に要約した最適閲覧映像を作成することで、実時間監視及び事後閲覧のいずれの場合でも監視作業の負担を軽減し且つ作業効率を高めた映像監視システム、映像処理サーバ及び監視映像の閲覧・配信方法に関するものであり、産業上の利用可能性を有する。

10 映像監視システム
20 カメラ
30 情報処理サーバ
31 通信部
33 映像処理手段
40 監視モニタ
41 通信部
42 入力手段
50 監視区域

Claims (12)

1. 監視区域内を移動する複数の監視対象を撮影する複数のカメラと、
   前記複数のカメラが撮影した各映像を処理する映像処理手段と、
   前記映像処理手段によって処理された映像を表示する監視モニタとを備え、
   前記映像処理手段は、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出し、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類し、次に、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義し、総コストが最小になる経路で構成される映像を最適閲覧映像として前記監視モニタに出力することを特徴とする映像監視システム。
2. 監視者が任意の個体群又は監視対象を選択した場合に、前記映像処理手段が当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を再計算し、最適閲覧映像として出力することを特徴とする請求項１に記載の映像監視システム。
3. 前記映像処理手段が、群相互作用の強度に基づいて最適閲覧映像の再生速度を変化させることを特徴とする請求項１又は２に記載の映像監視システム。
4. 前記映像処理手段が、最適閲覧映像を監視モニタの性能に応じた解像度になるように処理して出力することを特徴とする請求項１〜３のいずれか一項に記載の映像監視システム。
5. 監視区域内を移動する複数の監視対象を複数のカメラで撮影し、撮影した各映像を処理した上で監視モニタに出力する映像処理手段を備え、
   前記映像処理手段は、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出し、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類し、次に、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義し、総コストが最小になる経路で構成される映像を最適閲覧映像として前記監視モニタに出力することを特徴とする映像処理サーバ。
6. 監視者が任意の個体群又は監視対象を選択した場合に、前記映像処理手段が当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を再計算し、最適閲覧映像として出力することを特徴とする請求項５に記載の映像処理サーバ。
7. 前記映像処理手段が、群相互作用の強度に基づいて最適閲覧映像の再生速度を変化させることを特徴とする請求項５又は６に記載の映像処理サーバ。
8. 前記映像処理手段が、最適閲覧映像を監視モニタの性能に応じた解像度になるように処理して出力することを特徴とする請求項５〜７のいずれか一項に記載の映像処理サーバ。
9. 監視区域内を移動する複数の監視対象を複数のカメラで撮影するステップと、
   前記複数のカメラが撮影した各映像を処理するステップと、
   処理された映像を監視モニタに表示するステップとを備え、
   更に、各監視対象の軌跡情報に基づいて、時間経過に伴い変化する各監視対象間の群相互作用の強度を算出するステップと、群相互作用が強い二つ以上の監視対象が存在する場合にはこれら監視対象を一つの個体群として分類するステップと、グラフ理論を用いて各個体群に遷移するコストを群相互作用の強度に基づいて定義するステップと、総コストが最小になる経路で構成される映像を最適閲覧映像として前記監視モニタに出力するステップを備えることを特徴とする監視映像の閲覧・配信方法。
10. 監視者が任意の個体群又は監視対象を選択した場合に、当該個体群又は監視対象が含まれる経路のうち総コストが最小になる経路を再計算し、最適閲覧映像として出力するステップを備えることを特徴とする請求項９に記載の監視映像の閲覧・配信方法。
11. 群相互作用の強度に基づいて最適閲覧映像の再生速度を変化させるステップを備えることを特徴とする請求項９又は１０に記載の監視映像の閲覧・配信方法。
12. 最適閲覧映像を監視モニタの性能に応じた解像度になるように処理して出力するステップを備えることを特徴とする請求項９〜１１のいずれか一項に記載の監視映像の閲覧・配信方法。
    
    

Images