JP6758834B2 - 表示装置、表示方法及びプログラム - Google Patents

Description

本発明は、監視映像を表示する表示装置に関するものである。

近年、監視カメラの普及が進んでおり、大量の監視カメラの映像を効率的にモニタリングするニーズが高まっている。大量の監視カメラの映像のモニタリング方法としては、１つのモニタの領域を分割する、複数のモニタを並べる等して、複数の監視カメラの映像を同時表示することが一般的である。しかし、監視カメラの数が多い場合には、全カメラの映像を同時にモニタに表示することはできないため、モニタに表示する映像を切り替えながら表示する必要がある。

モニタに表示する映像の切り替え方法としては、一定の表示時間ごとに表示映像を一括で切り替えることが一般的である。しかし、複数の監視カメラの映像の中には監視者にとって内容把握に時間が掛かる映像とそうではない映像が混在している。たとえば、人や物体の動きを注視して監視している場合を考える。映像内に多数の人物やオブジェクトが映っている場合、その数に応じて内容把握に時間が掛かる。

また、映像上の人物サイズが小さい、遮蔽物が多い、明度が低い映像等の場合には、内容把握のためにより注意深く見る必要があり、結果として内容把握に時間が掛かる。一方、人物が映っていない映像は内容把握に時間を要しない。この場合、一般的な映像の表示切り替え方法では、監視者にとって内容把握に時間が掛かる映像とそうではない映像が同一の時間で表示されてしまい、監視者が映像の内容を把握し終えない内に映像が切り替わってしまうことがある。

複数の映像の表示切り替え方法に関する技術として、特許文献１および２が開示されている。特許文献１では、複数の監視映像を１つの領域に１つずつ順次表示する表示装置において、各映像の時間的変化の大きさに応じて表示時間を長くする方法が開示されている。

特許文献２は、１つのモニタ内を複数の領域に分割し、１台の監視カメラで撮影された映像の経時変化を示すフレームごとの静止画を各領域に表示するシステムに関する文献である。表示対象フレームを切り替える際に、映像の変化が発生しているフレーム画像が存在するか否かを判別し、変化がある場合には変化前と後のフレームが比較できるように、変化前フレームの表示を継続する方法が開示されている。

特許第３７６３９８１号公報 特許第４９０５７６１号公報 特開２００２−３７３３３２号公報 特開２０１４−９３０２３号公報 特開２０１０−１６５１５６号公報 特開２００８−９７３５９号公報

Ｅｒｉｋ Ｍｕｐｈｙ−Ｃｈｕｔｏｒｉａｎ，"Ｈｅａｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ：Ａ ｒｏｂｕｓｔ ａｌｇｏｒｉｔｈｍ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｅｖａｌｕａｔｉｏｎ，" ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ，２００７，ｐｐ．７０９−７１４．

特許文献１は、映像の変化が大きい場合に表示時間が長くなるので、監視者が映像の変化を見落としにくいという効果がある。しかし、１つの領域に対して１つの映像を表示させるものであり、大量の監視カメラがある場合は、複数の監視カメラの映像を同時にモニタリングすることができない。特許文献２は、映像の変化があった場合に変化前と後の映像が同時に表示されるため、監視者が映像の変化を把握しやすい効果がある。しかし、１台の監視カメラの映像しか扱うことができないため、こちらも大量の監視カメラの映像を同時にモニタリングすることができない。

特許文献１および２では、いずれも複数の監視カメラの映像を切り替えて表示していないので、大量の監視カメラがある場合に対応できない。また、特許文献１および２では、いずれも映像の変化量に応じて表示の切り替えを制御するものであるが、映像内の人や物の数や人物サイズといった映像の内容把握に影響する要素を考慮できず、映像の視認性に応じて表示を制御することができない。

本発明は、上記の問題を鑑みてなされたものであり、複数の監視カメラの映像を切り替えて表示する表示装置において、映像の内容把握に影響する要素に応じて映像の表示時間を異ならせることによって、表示映像の内容を把握しやすくすることを目的とする。

本発明に係る表示装置は以下の構成を備える。即ち、複数の撮像装置が撮像した複数の映像を入力する入力手段と、前記入力手段によって入力された前記複数の映像のうち第１グループの複数の映像を複数の表示領域に表示した後に、前記複数の表示領域に前記複数の映像のうち第２グループの複数の映像に切り替えて表示する表示手段と、映像からオブジェクトを検出する検出手段と、前記検出手段によって前記第１グループのそれぞれの映像から検出された前記オブジェクトの数が第一の所定数以上である第一映像がある場合、前記第一映像の表示時間を、前記第一映像以外の前記第１グループの映像を表示する所定時間より長くするように前記表示手段を制御する制御手段。

本発明によれば、複数の監視カメラの映像を同時に表示する表示装置において、映像の内容把握に影響する要素に応じて映像表示時間を長くすることによって、表示映像の内容を把握しやすくすることができる。

（ａ）第１の実施形態のハードウェア構成例を示すブロック図である。（ｂ）第１の実施形態の機能構成を示すブロック図である。 （ａ）第１の実施形態の基本的な表示切り替えの様子を示す図である。（ｂ）視認困難度の高い映像の表示切り替えの様子を示す図である。（ｃ）一つの表示領域の様子を示す図である。 （ａ）撮像装置に関するデータを示す図である。（ｂ）表示レイアウトに関するデータを示す図である。（ｃ）映像解析に関するデータを示す図である。（ｄ）表示制御に関するデータを示す図である。（ｅ）システム設定に関するデータを示す図である。 第１の実施形態における全体制御のフローチャートである。 本実施形態における視認困難度算出処理のフローチャートである。 第１の実施形態における表示時間算出処理のフローチャートである。 第１の実施形態における選択映像表示の切り替え処理のフローチャートである。 第２の実施形態の機能構成を示すブロック図である。 第２の実施形態における全体制御のフローチャートである。 第２の実施形態における表示時間変更対象判定処理のフローチャートである。 第２の実施形態における表示時間算出処理のフローチャートである。

以下、添付図面を参照しながら実施形態を詳細に説明する。

（第１の実施形態）
図１（ａ）は、本実施形態における監視映像表示装置のハードウェア構成図である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。ＲＯＭ１０２に格納されている制御プログラムは、後述する映像解析部１０３および映像表示制御部１０４の機能を実現するものである。ＲＡＭ１０５は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＣＰＵ１０１が実行可能な状態にする。

記憶部１０６は、本実施形態の処理対象となるデータを格納するものである。記憶部１０６の媒体としては、フラッシュメモリ、ＨＤＤ、ＤＶＤ−ＲＡＭなどを用いることができる。表示部１０７は、液晶パネル等で構成され、本実施形態の処理対象となるデータを表示する。表示部１０７は１つまたは複数の表示デバイスから構成することができる。操作部１０８は、操作ボタン、タッチパネル等で構成され、ユーザからの指示を受け付ける。たとえば、操作部１０８を介して、ユーザは映像の表示切り替えに関する指示を行うことができる。また、本装置は通信部１０９を介して、監視カメラ等の他の装置と通信することができる。

図１（ｂ）は、本実施形態における表示装置１１１の機能構成を示すブロック図である。表示装置１１１は、監視カメラ等の外部の撮像装置１１０が撮像した監視映像が映像入力部１１２に入力され、映像解析部１０３が入力された映像の解析を行う。映像解析部１０３では、人物に代表される監視対象オブジェクトの検出やオブジェクト数のカウントなどを行い、監視映像の内容把握の困難さを示す視認困難度を算出する。監視対象オブジェクトは人物であってもよいし、車両であってもよい。本実施形態では監視対象オブジェクトが人物である場合を例に説明を行う。

本実施形態の映像解析部１０３は、図１（ｃ）に示すように、検出部１１４と算出部１１５とを含む。映像解析部１０３に含まれる検出部１１４は、オブジェクトの数、サイズ、密度や移動速度などの検出を行う。また、オブジェクトが人物である場合は、検出部１１４はさらに人物の顔向きなどの検出を行うことができる。映像解析部１０３に含まれる算出部１１５は、視認困難度などの算出を行う。

映像表示制御部１０４は、映像解析部１０３の解析結果に基づいて、各映像の表示時間の設定や監視映像表示方法の制御を行い、表示部１０７の中の表示領域１１３に映像を表示する。映像表示制御部１０４は、非図示の算出部を含むことができる。映像表示制御部１０４に含まれる算出部は、表示時間や残表示時間などの算出を行う。

本実施形態では、表示部１０７が一つの表示デバイス（モニタ）によって構成され、表示部１０７にある表示領域１１３は、モニタの表示領域を分割した部分領域であるとして説明するが、これに限定する必要はない。表示部１０７が複数の表示デバイスで構成される場合は、表示部１０７の複数の表示領域１１３のそれぞれは、一つの表示デバイスの表示領域と対応させることができる。

各表示領域１１３には、表示対象となる複数の撮像装置の監視映像が事前に定められており、映像表示制御部１０４の指示によって順次切り替えが行われる。映像解析部１０３および映像表示制御部１０４の処理は、表示領域１１３ごとに並列で実行される。

なお、本実施形態で記述するフローチャートの各ステップに対応する処理は、ＣＰＵを用いてソフトウェアで実現しても良いし、電子回路などのハードウェアで実現するようにしても良い。

図２は、本実施形態における表示処理の概要を示す図である。図２（ａ）は、各監視カメラと、監視カメラの映像を表示する表示装置の関係性および表示装置の基本的な表示切り替えの様子を示している。監視空間には撮像装置１１０として複数の監視カメラが設置されており、監視空間内の人物等を撮影している。それぞれの監視カメラは同一の撮影場所を異なる方向から撮影している場合もあるし、異なる撮影場所を撮影している場合もある。別の場所には表示部１０７に相当するモニタ（表示デバイス）が設置されている。

ここでは、モニタは１６個の表示領域に分割されており、それぞれの表示領域に異なる監視カメラの映像が表示されている。同時に表示することが可能な映像は最大１６個であるため、監視空間内に１７台以上の監視カメラが設置されている場合には、一部の監視カメラの映像を所定時間表示した後に（所定表示時間ごとに）映像の切り替えが行われる。たとえば３２台のカメラが設置されている場合には、１台目から１６台目までの撮像装置を一つのグループ、１７台目から３２台目までの撮像装置をもう一つのグループとして分けることができる。１台目から１６台目までのグループの撮像装置の映像を表示するパターンと、１７台目から３２台目までのグループの撮像装置の映像を表示する２つの表示パターンがあり、交互に切り替えが行われる。

図２（ｂ）は一部の監視カメラが、視認困難度の高い映像を捉えた場合の表示部１０７の表示切り替えの様子を示した図である。ここでは、監視カメラ５が視認困難度の高い映像を撮影しており、監視者が確認する時間を確保するために、監視カメラ５の映像の表示時間を通常（所定表示時間）より延長している。

この例では、監視カメラ５の映像の表示時間を通常の３倍に延長しているが、視認困難度に応じてこの長さを変化させることができる。監視カメラ５が表示されている領域を除く領域は、通常通りに所定時間が経過後に表示切り替えが行われるが、監視カメラ５の映像表示領域は切り替えが行われず、同一の位置に延長して映像が表示される。監視カメラのモニタリング者は映像の撮影場所を習慣で覚えている事が多く、監視カメラ５が表示されている領域を除く領域に対しては、そのレイアウトを変えない事で、違和感の無い表示を実現する。

監視カメラ５の延長された表示時間が終了した後に、通常の表示に復帰して監視カメラ２１の映像が表示される。また、表示時間が延長されていることを監視者が容易に把握できるように、監視カメラ５の映像表示領域に対して枠２０１を表示している。

図２（ｃ）は、１つの表示領域の様子を示した図である。監視映像とともにカメラ特定情報２０２および残表示時間２０３が表示され、監視者は各映像がどのカメラのものであるか、どのくらいの時間で次の映像に切り替わるかを把握することができる。また、ユーザは映像の表示切り替え指示や表示時間の延長指示を、操作部１０８を介して行うことができる。

図３は、本装置において扱うデータの形式を示した図である。図３（ａ）は、撮像装置１１０に関する情報を格納するものであり、撮像装置１１０を識別するカメラＩＤ３０１と設置場所３０２を格納している。

図３（ｂ）は、表示部１０７の表示レイアウトに関するデータである。各撮像装置１１０の映像が表示部１０７のどの領域に表示されるかを示す映像表示位置３０３、および同一表示領域内での各映像の表示順序を示す表示パターン３０４の情報を保有する。

図３（ｃ）は、撮像装置１１０から得た映像を映像解析部１０３が解析した結果を示すデータである。映像内に映っている人数３０５や人物平均サイズ３０６を格納し、さらにそれらの情報を使って算出した視認困難度３０７を格納する。図３（ｄ）は、映像表示制御部１０４によって更新されるものであり、映像の表示制御に関するデータである。ここでは、映像ごとの表示時間３０８および表示開始時刻３０９を格納する。

図３（ｅ）は、表示装置の設定に関するデータであり、通常時の映像表示切り替え時間、表示時間を延長する場合の最大表示時間（許容時間）、視認困難度の算出時に用いるパラメータ（設定値）などを格納している。図３（ｅ）では、表示部１０７に表示される通常人物サイズの下限値と上限値との例として、３００画素と９００画素とを例に挙げたが、これらのパラメータは表示装置の解像度によって変化し、また、ユーザが任意に変更することができる。

上述の動作を、フローチャートに従って説明する。図４は、表示装置の全体の制御フローを示している。本フローチャートは、表示部１０７の表示領域１１３ごとに並列で実行されるものである。ステップＳ４０１では、映像表示制御部１０４が図３（ｂ）の表示レイアウトデータに基づき表示対象の映像を選択する。

ここでは、表示レイアウトデータを参照し、映像表示位置３０３にフローチャートの処理対象となっている表示領域１１３が設定されている映像の中から、表示パターン３０４の順序に従って１つの映像を選択する。

ステップＳ４０２では、映像解析部１０３に含まれる算出部１１５がステップＳ４０１で選択された映像の視認困難度を算出する。視認困難度算出方法の詳細は図５で後述する。ステップＳ４０３では、ステップＳ４０２で算出した視認困難度に基づき、映像表示制御部１０４が選択映像の表示時間を算出する。なお、映像表示制御部１０４に含まれる非図示の算出部が選択映像の表示時間を算出してもよい。表示時間算出方法の詳細は図６で後述する。

ステップＳ４０４で映像表示制御部１０４が表示部１０７に選択映像の表示を開始させ、ステップＳ４０５で映像表示制御部１０４が表示部１０７に映像の表示を更新させる。ステップＳ４０５では表示時間の経過に基づいて、表示部１０７が映像表示形態の変更を行うものであり、その詳細は図７で後述する。

ステップＳ４０６では、映像表示制御部１０４がステップＳ４０５で算出された所定の表示時間が経過したか、あるいはユーザによる映像の切り替え指示があったかを判断する。ステップＳ４０６で、所定の表示時間が経過したことにより、所定時間の表示が行われた、あるいはユーザによる映像の切り替え指示があったと判断された場合には、ステップＳ４０７へ進む。ステップＳ４０７では、表示部１０７が現在選択されている映像の表示を終了し、ステップＳ４０１へ戻って次に選択される映像の表示に切り替える。

一方、ステップＳ４０６で表示時間が経過しておらず、ユーザによる映像の切り替え指示もなかった場合には、ステップＳ４０８へ進み、ユーザから現在の選択映像の表示時間の延長指示があるか否かを判定する。ユーザからの表示時間の延長指示がない場合には、そのままステップＳ４０５へ戻り、ユーザからの表示時間の延長指示があった場合には、ステップＳ４０９で選択映像に対する表示時間の更新を行った後に、ステップＳ４０５へ戻って処理を繰り返す。ステップＳ４０６とステップＳ４０８とにおけるユーザ指示の有無を判断する処理は必須ではなく、省略してもよい。なお、本フローはソフトウェアの実行中は繰り返し実施されるものであり、ソフトウェアの終了時や装置の休止時に本フローを終了する。

図５は、映像解析部１０３に含まれる算出部１１５が行う視認困難度算出のフローチャートである。まず、ステップＳ５０１で算出部１１５が本フローの処理対象となる選択映像の視認困難度を初期化する。次にステップＳ５０２で、検出部１１４が選択映像内の人物領域を検出する。人物領域の検出には、特許文献６に示す人物の輪郭領域抽出手法などの公知技術を用いることができる。

ステップＳ５０３では、算出部１１５が映像内の人物領域の平均サイズを算出する。ステップＳ５０２で検出部１１４が人物領域を検出する際に各人物領域のサイズが取得できるため、ステップＳ５０３では、算出部１１５がその値の平均値を算出する。このとき、人物領域のサイズは人物領域の面積としても良いし、人物領域の垂直方向の高さで近似してもよい。本実施形態では、人物領域のサイズを、人物領域の垂直方向の高さとしての人物領域の垂直方向の最大画素数で表す。ステップＳ５０４では、ステップＳ５０２で検出部１１４が検出した映像内の人物領域の数を人数としてカウントする。

ステップＳ５０５では、映像解析部１０３がステップＳ５０３で算出した映像内の人物サイズの平均値が、図３（ｅ）で事前に定めた人物サイズの下限値以下（第一の所定サイズ以下）であるか否かを判定する。人物サイズの下限値以下であった場合には、ステップＳ５０６で算出部１１５が選択映像の視認困難度を増加させる。視認困難度を増加させる方法として、例えば、事前に定めた人物の所定サイズと算出した人物サイズ平均値の差分量に比例して視認困難度を増加させることができる。また、視認困難度の算出基準として映像内の人物の平均サイズの代わりに最小サイズ（最小値）を用いても良い。この場合には、小さく映る人物が１人でもいた場合に表示時間を長くすることができ、見逃しをより少なくすることができる。また、映像解析部１０３がステップＳ５０３で算出した映像内の人物サイズの平均値が、図３（ｅ）で事前に定めた人物サイズの上限値以上（第二の所定サイズ以上）であるか否かを判定する。人物サイズの上限値以上であった場合には、ステップＳ５０６で算出部１１５が選択映像の視認困難度を減少させる。視認困難度を減少させる方法は、視認困難度を増加させる方法と同様であるので、その説明を省略する。

ステップＳ５０７では、映像解析部１０３が、ステップＳ５０４で検出した映像内の人数が、図３（ｅ）で事前に定めた人数の上限値以上（第一の所定数以上）であるか否かを判定する。人数の上限値以上であった場合には、ステップＳ５０８で算出部１１５が選択映像の視認困難度を増加させる。視認困難度を増加させる方法として、例えば、事前に定めた人数の所定数と算出した人数の差分量に比例して視認困難度を増加させることができる。また、映像解析部１０３がステップＳ５０４で検出した映像内の人数が、図３（ｅ）で事前に定めた人数の下限値以下（第二の所定数以下）であるか否かを判定する。人数の下限値以下であった場合には、ステップＳ５０８で算出部１１５が選択映像の視認困難度を減少させる。視認困難度を減少させる方法は、視認困難度を増加させる方法と同様であるので、その説明を省略する。

なお、本フローで算出した人物サイズ、人物数、視認困難度は、図３（ｃ）に示す映像解析データへ記録される。

ここでは、映像内の人数および人物サイズに基づいて視認困難度を算出したが、人数および人物サイズのいずれか一方のみを用いてもよい。また、さらに人物密度・人物の移動速度・人物のブレ・人物の顔向き・人物の遮蔽状況・映像の明るさのいずれか１つ以上に基づいて視認困難度を算出するよう構成しても良い。

この場合には、人が密集している、人の映像にブレが生じている、遮蔽が多い、顔が横向き、映像が暗い等の要因で内容把握が困難な映像の表示時間を長くすることができる。逆に、人が少なく、人の映像にブレがなく、遮蔽がない、顔が正面向き、映像が明るい等の要因で内容把握が容易な映像の表示時間を短くすることができる。

人物密度は人物の検出結果から算出することができ、人物の移動速度・人物のブレ・人物の顔向き・人物の遮蔽状況・映像の明るさの算出には、いずれも公知の技術を用いることができる。たとえば、人物の移動速度については特許文献３で開示されている人物の追尾技術で得られる動きベクトルの値で判断することができる。人物のブレは、暗い場所などで撮像装置のシャッター速度が遅い場合に、人の動きの速さによって生じるものである。ブレの算出には、人物検出領域の周波数成分を用いることができる。具体的には、低周波成分と高周波成分との比率を求め、低周波成分の割合が所定の値を超えた時にブレを生じていると判定する事が可能となる。

人物の顔向きを検出する方法については、非特許文献１に示す公知の技術を用いればよい。例えば、特徴量として勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ，ＨＯＧ）を抽出し、ＳＶＲで顔向きを推定する公知の技術を用いる。遮蔽状況の判定には、特許文献４で開示されている方法を用いることができる。特許文献４では、対象物を複数の部分領域に分割して、各部分領域の対象物らしさをスコアリングすることで遮蔽判定をおこなっている。映像の明るさについては、特許文献５に開示されている顔検出方法で抽出される輝度情報を利用することができる。

図６は、映像表示制御部１０４が実行する選択映像に対する表示時間算出の処理を示すフローチャートである。なお、この算出処理は、映像表示制御部１０４に含まれる非図示の算出部が行ってもよい。

まず、ステップＳ６０１で、映像表示制御部１０４が本フローの処理対象となる選択映像の表示時間を図３（ｅ）で事前に定めた通常表示時間で初期化する。通常表示時間は選択映像を所定時間表示するための表示時間の固定値である。次に、ステップＳ６０２で映像表示制御部１０４が映像の視認困難度の大きさに基づいて表示時間を増加又は減少させる。この処理は、たとえば視認困難度を定数倍した値を通常表示時間に加算又は減算することで実現できる。

ステップＳ６０３では、映像表示制御部１０４がステップＳ６０２で算出した表示時間が図３（ｅ）で事前に定めた最大表示時間（上限値）より大きいか否かを判定する。最大表示時間（上限値）より大きいと判定された場合には、ステップＳ６０４で映像表示制御部１０４が処理対象の映像の表示時間を最大表示時間（上限値）に修正する。また、映像表示制御部１０４がステップＳ６０２で算出した表示時間が図３（ｅ）で事前に定めた最小表示時間（下限値）より小さいか否かを判定する。最小表示時間（下限値）より小さいと判定された場合には、ステップＳ６０４で映像表示制御部１０４が処理対象の映像の表示時間を最小表示時間（下限値）に修正する。最大表示時間（上限値）と最小表示時間（下限値）とを設定することで、特定の表示領域が１つの映像によって占有されてしまうことと映像の表示時間が短すぎることとを防ぐことができる。

なお、本フローで算出した選択映像に対する表示時間が、図３（ｄ）に示す表示制御データへ記録される。本フロー終了後には、図４のステップＳ４０４が実行され、表示部１０７による映像の表示が開始される。このとき、映像の表示開始時刻が図３（ｄ）の表示開始時刻３０９に記録される。

図７は、映像表示制御部１０４が実行する選択映像の表示更新処理を示すフローチャートである。まず、ステップＳ７０１で、映像表示制御部１０４が選択映像に設定されている表示時間が通常表示時間と異なるか否かを判定する。設定されている表示時間が通常表示時間と異なる場合には、ステップＳ７０２で映像表示制御部１０４が映像の表示領域に対して枠を重畳表示し、強調表示して、他の映像と識別可能にする。また、ここでは、映像表示制御部１０４が選択映像に設定されている表示時間が通常表示時間より長いか否かを判定し、表示時間が通常表示時間より長い場合だけ、枠を重畳表示するなどの強調表示をしてもよい。

ステップＳ７０３では、映像表示制御部１０４がすべての選択映像の残表示時間を計算し、映像表示制御部１０４が残表示時間を映像表示領域への重畳表示をさせる。また、すべての選択映像の残表示時間を計算して、重畳表示しなくてもよい。表示時間が通常表示時間と異なる映像だけの残表示時間を計算して、重畳表示してもよい。また、残表示時間を映像表示領域への重畳表示せずに、映像表示領域の近くに表示してもよい。

また、このとき残時間に応じて表示領域の枠を点滅させるなどの表示変化を行ってもよい。残時間に応じた表示変化を行うことによって、監視者が各映像の切り替わるタイミングをより容易に把握することが可能となる。また、さらに人物サイズが小さく視認困難度が高いと判定されている場合には、人物領域のズーム表示をおこなってもよい。

本実施形態では、複数のカメラの映像の一覧表示を切り替えることで、監視空間を効率的に監視可能にしている。さらに監視者が映像の内容の確認に時間を要する視認困難度の高い映像について表示時間を長くすることで、異常状態や不審行動の見落としを少なくすることができる。

なお、本実施形態では、人物を監視対象オブジェクトとして説明したが、監視対象オブジェクトは車両、動物等であってもよい。また、本実施形態では、１つの表示部１０７内を複数の表示領域１１３に分割したが、複数の表示デバイスによって表示部１０７を構成した場合、それぞれ１つの表示デバイスを一つの表示領域１１３としてもよい。また、１つあるいは複数の表示部１０７の一部の領域のみで、本実施形態に従う表示を行ってもよい。

（第２の実施形態）
以下、第２の実施形態を説明する。なお、第１の実施形態と同一構成部分についてはその説明を省略する。第１の実施形態は、各表示領域について独立に表示時間の変更を行うものであった。視認困難度が高い同一の撮影場所を撮影した映像が多数ある場合に、多数の映像の表示時間が一斉に長くなってしまい画面を占有してしまうということがある。本実施形態では、複数の映像が同一箇所を撮影している映像であるか否かを判定し、より効率的な表示切り替えを行う。

図８は、本実施形態における表示装置の機能構成を示すブロック図である。本実施形態の表示装置は、第１の実施形態と同様に監視カメラ等の外部の撮像装置１１０が撮像した監視映像１１２を受信し、映像解析部１０３および映像表示制御部１０４がその処理を行う。第１の実施形態と異なる点は、これらの処理は各表示領域に対して必ずしも並列に実行されるのではなく、複数の表示領域に対してまとめて処理が実行されることがある点である。

図９は、本実施形態における本表示装置の全体処理のフローチャートを示すものである。ステップＳ９０１では、現在映像が表示されていない空き領域に対して、映像表示制御部１０４が図３（ｂ）の表示レイアウトデータに基づき表示対象の映像を選択する。ここでは、表示レイアウトデータを参照し、空き領域が映像表示位置３０３となっている映像の中から、表示パターン３０４の順序に従って表示領域ごとに１つの映像を選択する。

ステップＳ９０２では、映像解析部１０３の算出部１１５がステップＳ９０１で選択された映像の視認困難度を算出する。本実施形態における視認困難度算出方法は、図５に示した処理を映像の個数分実施することで実現可能であるため、説明を省略する。ステップＳ９０２は映像ごとに順次処理を繰り返してもよいし、並列処理をしてもよい。

ステップＳ９０３では、映像解析部１０３がステップＳ９０２で視認困難度が高いと判定された映像の中から、表示時間の変更対象とする映像を選択する。ステップＳ９０３の詳細は図１０を用いて後述する。

ステップＳ９０４では、ステップＳ９０２で算出した視認困難度に基づき、映像表示制御部１０４が選択映像の表示時間を算出する。本実施形態における表示時間算出方法の詳細は図１１を用いて後述する。

ステップＳ９０５で映像表示制御部１０４が表示部１０７に選択映像の表示を開始させ、ステップＳ９０６で映像表示の更新をさせる。本処理は図７に示した処理を映像の個数分実施することで実現可能であるため、説明を省略する。

ステップＳ９０７では、映像表示制御部１０４が表示された映像の中で表示時間が経過したか映像があるかを判断する。ステップＳ９０７で、表示時間が経過したと判断された映像がある場合には、ステップＳ９０８へ進む。ステップＳ９０８では、表示部１０７が表示時間が経過した映像の表示を終了し、ステップＳ９０１へ戻って次に選択される映像の表示に切り替える。一方、ステップＳ９０７で表示時間が経過した映像がない場合には、ステップＳ９０６から処理を繰り返す。本フローはソフトウェアの実行中は繰り返し実施されるものであり、ソフトウェアの終了時や装置の休止時に本フローを終了する。

図１０は、表示時間変更対象を選択する処理の詳細を示すフローチャートである。ステップＳ１００１では、ステップＳ９０２で映像表示制御部１０４が視認困難度が高いと判定された映像の一覧を抽出する。ステップＳ１００２では、ステップＳ１００１で抽出した映像一覧の中から同一場所を撮影している映像の組み合わせがあるかを判定する。同一場所を撮影しているか否かの判定は、図３（ａ）に示す撮像装置データを用いてカメラ設置時に決定しておくこともできるし、映像内の画像特徴量の類似度を用いて動的に判定することもできる。同一場所を撮影している映像の組み合わせがある場合には、ステップＳ１００３へ進み、映像表示制御部１０４が同一場所を撮影した映像の中から１つの映像を選択し、表示時間変更対象の映像として選択する。ここでは、映像内の人物の顔向きや映像の明るさなどの評価指標を用いて、最も有益性が高いと判断される映像を選択することができる。たとえば、顔向きが正面を向いている映像の方が、横向きや後方を向いている映像より有益である。本実施形態では、映像表示制御部１０４が同一場所の撮影映像の中から１つの映像を選択し、表示時間変更対象の映像として選択したが、これに限定する必要はない。本実施形態の処理において、表示時間変更対象の映像の数を制限することができれば、ステップＳ１００３では二つ以上の映像を選択してもよい。

ステップＳ１００３では、それ以外の選択しなかった映像については表示時間変更対象外に設定する。

ステップＳ１００４では、同一場所ではない撮影映像について、すべての映像を表示時間変更対象として映像を選択する。ただし、同一場所ではない撮影映像の中で、視認困難度の高い映像が多数ある場合は、映像表示制御部１０４が、視認困難度の高い順に映像を選択し、表示時間変更対象として選択する映像の数を制限することができる。

なお、本フローで扱う表示時間変更対象か否かの情報は、図３（ｄ）に示す表示制御データに列を追加して記録することができる。

図１１は、本実施形態における表示時間算出処理の詳細を示すフローチャートである。まずステップＳ１１０１では、映像表示制御部１０４が表示する映像の中から１つの映像を選択する。ステップＳ１００２では、映像表示制御部１０４がステップＳ１１０１で選択した映像の表示時間を初期化して通常表示時間に設定する。ステップＳ１１０３では、映像表示制御部１０４が、選択映像が表示時間変更対象の映像であるか否かを判定する。表示時間変更対象の映像である場合には、ステップＳ１１０４へ進み、第一の実施形態と同様に視認困難度に基づいて表示時間を増加又は減少させる。

一方、ステップＳ１１０３で、表示時間変更対象の映像でないと判定された場合には、表示時間の増加処理をおこなわずにステップＳ１１０５へと進む。ステップＳ１１０５およびステップＳ１１０６では第一の実施形態と同様に、映像表示制御部１０４は表示時間が図３（ｅ）で事前に定めた最大表示時間（上限値）より大きいか否かを判定する。表示時間が最大表示時間（上限値）より大きいと判定された場合には、映像表示制御部１０４が処理対象の映像の表示時間を最大表示時間（上限値）に修正する。また、表示時間が最小表示時間（下限値）より小さいと判定された場合には、映像表示制御部１０４が処理対象の映像の表示時間を最小表示時間（下限値）に修正する。

ステップＳ１１０７では、映像表示制御部１０４がステップＳ４０１で選択されたすべての映像の処理が終了したか否かを判定し、未終了の映像がある場合にはステップＳ１１０１から処理を繰り返す。

本実施形態においては、第１の実施形態で得られる効果に加えて、多数の同一箇所の映像で画面を長時間占有することがなくなり、より効率的な監視が可能になる。

（第３の実施形態）
前述の実施形態においては、ある表示領域の映像が通常より長い時間表示された場合には、その表示領域に次に表示される映像の表示タイミングが通常より遅れることになる。表示の遅れをユーザが容易に把握可能にするために、第１の実施形態のステップＳ４０１で映像を選択する際に、直前に表示していた映像が通常より長い時間表示されたか否かを判定する処理を加え、判定結果に応じてその後の映像の表示形態を変化させてもよい。たとえば、直前の映像が通常より長い時間表示された場合に、対象の表示領域に枠やマークを付加した表示を行うよう構成することができる。

また、表示の遅れを解消するために、表示タイミングが遅れた映像の表示速度の変更をおこなってもよい。上述の実施形態において、すべての映像は表示開始時の映像がストリーミング再生されるが、たとえば表示タイミングが遅れた映像について、本来の表示タイミングであった時刻の映像を再生し、さらに通常より再生スピードを上げるように構成することができる。この構成によれば、表示が遅れた分の映像を見落とすことがなく、さらに高速再生によって最新の映像に追いつくことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ 映像解析部
１０４ 映像表示制御部
１０５ ＲＡＭ
１０６ 記憶部
１０７ 表示部
１０８ 操作部
１０９ 通信部
２０１ 枠
２０２ カメラ特定情報
２０３ 残表示時間

Claims (16)

1. 複数の撮像装置が撮像した複数の映像を入力する入力手段と、
   前記入力手段によって入力された前記複数の映像のうち第１グループの複数の映像を複数の表示領域に表示した後に、前記複数の表示領域に前記複数の映像のうち第２グループの複数の映像に切り替えて表示する表示手段と、
   映像からオブジェクトを検出する検出手段と、
   前記検出手段によって前記第１グループのそれぞれの映像から検出された前記オブジェクトの数が第一の所定数以上である第一映像がある場合、前記第一映像の表示時間を、前記第一映像以外の前記第１グループの映像を表示する所定時間より長くするように前記表示手段を制御する制御手段と、を備えることを特徴とする表示装置。
2. 前記制御手段は、検出された前記オブジェクトの前記数が第二の所定数以下である第二映像がある場合、前記表示領域において表示する前記第二映像の表示時間を前記所定時間より短くすることを特徴とする請求項１に記載の表示装置。
3. 検出された前記オブジェクトの前記数と前記第一の所定数又は前記第二の所定数との差分に基づいて、前記第一映像の視認困難度を算出する第一算出手段をさらに備え、
   前記制御手段は、前記視認困難度に基づいて、前記表示時間を制御することを特徴とする請求項２に記載の表示装置。
4. 前記制御手段は、検出された前記オブジェクトのサイズの平均値又は最小値が第一の所定サイズ以下である場合、前記第一映像の表示時間を前記所定時間より長くすることを特徴とする請求項１に記載の表示装置。
5. 前記制御手段は、検出された前記オブジェクトのサイズの平均値又は最小値が第二の所定サイズ以上である場合、前記第一映像の表示時間を前記所定時間より短くすることを特徴とする請求項１に記載の表示装置。
6. 検出された前記オブジェクトのサイズの平均値又は最小値と前記第一の所定サイズとの差分に基づいて、前記第一映像の視認困難度を算出する第二算出手段をさらに備え、前記制御手段は、前記視認困難度に基づいて、前記表示時間を制御することを特徴とする請求項４に記載の表示装置。
7. 前記視認困難度に基づいて、前記第一映像の前記表示時間を算出する第三算出手段と、をさらに備えることを特徴とする請求項３、６何れか１項に記載の表示装置。
8. 算出された前記表示時間が所定の上限値より大きい場合は、前記制御手段は、前記表示時間を前記上限値に設定し、算出された前記表示時間が所定の下限値より小さい場合は、前記制御手段は、前記表示時間を前記下限値に設定することを特徴とする請求項７に記載の表示装置。
9. 前記第一算出手段は、さらに前記オブジェクトの密度、移動速度、ブレ、向き、遮蔽状況、前記第一映像の明るさの少なくとも１つを用いて、前記視認困難度を算出することを特徴とする請求項３に記載の表示装置。
10. 前記第１グループの複数の映像のうち表示時間が前記所定時間より長い映像を表示する前記表示手段の表示領域において、表示されていない前記第２グループの映像から、前記検出手段によって検出された前記オブジェクトの数が第三の所定数以上である、前記第２グループの該映像の表示領域を前記表示手段の異なる表示領域に変更して表示することを特徴とする請求項１に記載の表示装置。
11. 前記制御手段は、撮影場所が同じである複数の前記第一映像に対して、前記表示時間を前記所定時間より長くする前記第一映像の数を制限することを特徴とする請求項１０に記載の表示装置。
12. 前記オブジェクトが人物である場合は、前記検出手段は、前記撮影場所が同じである複数の前記第一映像のそれぞれから、前記人物の顔向きを検出し、
    前記制御手段は、前記人物の前記顔向きに基づいて、前記表示時間を前記所定時間より長くする前記第一映像を選択し、選択された前記第一映像の表示時間を前記所定時間より長くすることを特徴とする請求項１１に記載の表示装置。
13. 前記表示手段は、前記表示時間が変更された前記第一映像の表示領域を強調表示することを特徴とする請求項１に記載の表示装置。
14. 前記表示領域において表示する前記第一映像の前記表示時間と前記表示手段が表示を開始した時間とに基づいて、残表示時間を算出する第四算出手段をさらに備え、
    前記表示手段は、前記表示時間が変更された前記第一映像の表示領域に対して前記残表示時間に応じた情報を表示することを特徴とする請求項１乃至１３の何れか１項に記載の表示装置。
15. 複数の撮像装置が撮像した複数の映像を入力する入力工程と、
    前記入力工程によって入力された前記複数の映像のうち第１グループの複数の映像を複数の表示領域に表示した後に、前記複数の表示領域に前記複数の映像のうち第２グループの複数の映像に切り替えて表示する表示工程と、
    映像からオブジェクトを検出する検出工程と、
    前記検出工程によって前記第１グループのそれぞれの映像から検出された前記オブジェクトの数が第一の所定数以上である映像がある場合、前記第１グループの該映像の表示時間を、該映像以外の前記第１グループの映像を表示する所定時間より長くするように制御する制御工程と、
    を備えることを特徴とする表示装置の制御方法。
16. コンピュータを、
    複数の撮像装置が撮像した複数の映像を入力する入力手段と、
    前記入力手段によって入力された前記複数の映像のうち第１グループの複数の映像を複数の表示領域に表示した後に、前記複数の表示領域に前記複数の映像のうち第２グループの複数の映像に切り替えて表示する表示手段と、
    映像からオブジェクトを検出する検出手段と、
    前記検出手段によって前記第１グループのそれぞれの映像から検出された前記オブジェクトの数が第一の所定数以上である映像がある場合、前記第１グループの該映像の表示時間を、該映像以外の前記第１グループの映像を表示する所定時間より長くするように前記表示手段を制御する制御手段と、として機能させるためのプログラム。

Images